Påvirker ulike styringssystem elevenes skoleprestasjoner? Liv Bente Hannevik Friestad Førsteamanuensis. dr.oecon
Innhold Bakgrunn Om styringssystem-prosjektet Delstudie 1 Delstudie 2 Oppsummering og spørsmål til refleksjon og samtale 2
Bakgrunn Ulikhet mht. prestasjoner mellom skoler og regioner Endring fra «input-styring» til «output-styring» Lang tradisjon for forskning på betydningen av Ulike elev-, lærer- og skolekarakteristika Ulike typer «overordnet» styring Skoleledelse Klasseromspraksis, undervisningsformer, mv. Lite forskning på sammenheng mellom utforming og bruk av styringssystemer på skole- og kommunenivå og elevenes prestasjoner 3
Formål Utforske sammenhengen mellom utforming og bruk av styringssystemer i grunnskolen og elevers prestasjoner 4
Styringssystemer Management controls include all the devices and systems managers use to ensure that the behaviours and decisions of their employees are consistent with the organisation s objectives and strategies» (Malmi & Brown. 2008 p.290) 5
Styringssystemer Visjon/oppdrag/målsetninger/verdier/strategi Kulturell kontroll Klan Verdier Symboler Planlegging Styringssløyfen Budsjett Prestasjonsmålingssystemer/evaluering Belønnings- og kompensasjonssystemer Ledelses-/ ansvarsstruktur Administrativ kontroll Organisasjonsstruktur Retningslinjer og prosedyrer Malmi & Brown. 2008 Ferreira og Otley. 2009 6
Styringssystemer bruk Diagnostiske systemer/diagnostisk bruk: Used to motivate, monitor and reward achievement of specific goals (Simons. 1995. p. 7). Kybernetiske kontroll systemer målstyring/ styringssløyfen Typisk brukt av en/få personer Interaktive systemer/interaktiv bruk: Used to stimulate organizational learning and the emergence of new ideas and strategies (Simons. 1995. p. 7). Involverer ansatte fra ulike nivåer og posisjoner Tid: Når, hvor ofte,. 7
Forskningstilnærminger Case-studie Kvantitative studier Tverrsnittstudier Spørreskjema til skoler og kommuner Data fra Utdanningsdirektoratet og Skattedirektoratet, utlevert av SSB Data fra GSI og andre offentlige tilgjengelige data 8
Kvantitative studier under arbeid Målsetninger for og bruk av NP-resultater i skolene vs. elevprestasjoner Målsetninger for og bruk av NP-resultater på kommunenivå vs. elevprestasjoner Fleksible skolebygg og «fleksibel» organisering av elever og undervisning vs. elevprestasjoner Læringsfokusert kultur vs. elevprestasjoner 9
Model, skolenivåstudier Skolenivå Elevnivå «Effektvariabler» Elevers prestasjoner Kontrollvariabler, skolenivå Elevkarakteristika/ -bakgrunn 10
Utvalg og estimeringsmetode Utvalg: Kommunale barneskoler og kombinerte skoler 347/363 skoler = 16.8/17,5 % av alle skoler respons rate Random-effects ordered logistic regression m/robuste standardfeil NB: Foreløpige resultater 11
Mål- og resultatstyring i skolene Nasjonale prøver => Styringssystem innført av staten for å rette oppmerksomhet mot, og stimulere til innsats, handlinger og beslutninger hos ledere og ansatte som fører til, økte resultater for elevene. Brukes resultatene fra NP som styringssystem/-informasjon på den enkelte skole? Er det en sammenheng mellom bruk av NP resultatene og elevenes prestasjoner på disse? 12
Formål 1. Å undersøke om og hvordan resultatene fra NP brukes som et styringssystem i norske skoler. 2. Å studere sammenhengen mellom denne lokale bruk av resultatene fra NP og elevenes prestasjoner. 13
Forventinger (hypoteser) Skolene bruker resultatene fra NP forskjellig Skoler som har konkrete (tallfestede) målsetninger for sine NP resultater som drøfter resultatene med ansatte på flere nivå/med ulike grupper ansatte har gode rutiner for evaluering av resultatene, som leter etter årsaker til oppnådde resultater som bruker resultatene for tilbakemelding, læring og justering av praksis og som ikke lar det være opp til den enkelte lærer å bruke resultatene oppnår høyere elevresultater enn andre skoler. 14
Tallfestede NP-målsetninger Målsetninger for skolens NP resultater? Antall Prosent Har tallfestede målsetninger for NP (target=1) 189 54.5 Har ikke tallfestede målsetninger for NP (target=0) 158 45.5 Totalt (N) 347 100.0 15
Dummyvariabler Bruk av NT resultatene internt Når resultatene fra nasjonale prøver foreligger... % of N Freq gis disse liten eller ingen oppmerksomhet fra rektors/ledelsens side. 3 0.9 orienterer rektor/skolens ledelse om hovedresultatene på skolens nettsider/intranett og/eller ved skriftlig informasjon til personalet (Brief_orientation) drøfter rektor/skolens ledelse disse med lærerne i de aktuelle fag og klasser (Subject_teachers) drøfter rektor/skolens ledelse resultatene med alle lærere som har elevene det året de har prøven (Grade5_teachers) drøfter rektor/skolens ledelse disse med lærerne som har hatt de aktuelle elevene i årene før prøvene (Former_teachers) har rektor/skolens ledelse en grundig gjennomgang/drøfting av disse sammen med hele lærerkollegiet ved skolen (All_teachers) har rektor/skolens ledelse en grundig gjennomgang/drøfting av disse med alle ansatte ved skolen (All_employees) 32 9.2 103 29.7 271 78.1 223 64.3 169 48.7 250 72.0 Annet. 50 14.4 N 347 16
Dummy-variabler Møter mellom skoler? Arrangeres det møter i din kommune, eller sammen med andre kommuner, hvor ansatte fra flere skoler deltar og hvor resultatene fra nasjonale prøver drøftes? Antall % av N Ja, for barneskoler 82 23.6 Ja, for barne- og ungdomsskoler sammen 132 38.0 Nei, det arrangeres ikke slike møter 166 47.8 Totalt (N) 347 17
«Læringssløyfen» ++ I hvilken grad er du enig i at følgende påstander gjelder for din skole? (1= helt enig, 7= helt uenig) Når resultatene fra NP foreligger er det et stort fokus på årsaker til at resultatene ble slik de ble (Reasons). Vi har et sterkt fokus på hva vi kan endre på for å oppnå bedre resultater på NP i fremtiden (Change). Resultatene fra nasjonale prøver påvirker ikke den videre undervisningen av elevene som gjennomførte NP (Not_influence_students). Resultatene fra NP får konsekvenser for undervisningen av elever på andre klassetrinn enn de trinn som gjennomførte prøven(influence_other_students). Skolens resultater fra NP har ingen betydning for skolens skolens målsetninger fremover (Not_Influence_objectives). Snitt 5.34 5.47 2.48 5.29 2.21 Vi har gode rutiner for å evaluere resultatene fra NP (Good_procedures). 5.50 Det er opp til lærerne som har de aktuelle klasser å bruke resultatene fra NP (Teacher_use). 3.02 18
Resultater fra analysene (fortegn og sign. nivå) Coeff English Reading Mathematics Targets + + + ** Brief_orientation - * - - * Subject_teachers - *** - - * Grade5_teacher +* + *** + Former_teachers - - + All_teachers - * - - All_employees - * - - Meetings_primary + + + ** Meetings_prim_sec - + + Reasons + + + Change - + + Not_influence_students + - - Influence_other_students + - * - Not_Influence_objectives + - - * Good_procedures + *** + * + *** Teachers_use + * + + Number of obs 8626 Number of groups 347 Obs per group: min= 1 avg = 24.9 max = 104 * p<=0.1, ** p<=0.05, *** p<=0.01. Control variables and cuts not reported Log pseudolikelihood -8494.1-8452,2-8349.4 Wald chi2 633.7*** -1036.9*** 1015.1*** 19
Oppsummering funn Skolene bruker resultatene fra NP, og de bruker dem ulikt. Noe støtte for hypotesene om at skoler som har konkrete målsetninger for sine NP og som diskuterer resultatene med sine ansatte på 5. trinn har høyere elevresultater enn andre skoler. Støtte for at det er en positiv sammenheng mellom gode rutiner for evaluering av resultater og elevenes prestasjoner. Ikke støtte for at det er en positiv sammenheng mellom å drøfte resultatene med alle ansatte og elevers resultater. Ikke støtte til hypotesene om at skoler som leter etter årsaker til oppnådde resultater og som bruker resultatene for tilbakemelding, læring og justering av praksis har høyere elevresultater enn andre skoler. Ikke støtte for en negativ sammenheng mellom at det er opp til den enkelte lærer å bruke resultatene og elevenes prestasjoner. Sammenhengen styring NP-resultatet er ulik for engelsk, lesing og regning. 20
«Fleksible skoler» vs resultater? Nye trender mht. Utforming av skolebygg Organisering av Elevene Undervisning og læringsarbeid Lærerne, og arbeidsdelingen og samarbeid mellom lærere Timeplanlegging og hvordan ressurser tildeles til grupper/trinn Har fleksible skoler bedre elevprestasjoner enn andre skoler? 21
Formål Å utforske sammenhengene mellom skolebyggs utforming og hvordan elever, undervisning og læringsarbeidet er organisert, og elevenes prestasjoner. 22
Forventninger 1. Elever i fleksible skoler presterer dårligere enn elever i tradisjonelle skoler 2. Jo mer fleksibel organisering jo bedre elevprestasjoner 23
Variabler «Effektvariabler» - trinn 1-4.: Skolebyggs utforming: Dummy for ikke-tradisjonelle skoler = fleksible og åpne skoler Organisering: Respondentenes svar på skala fra 1=tradisjonell organisering til 7= fleksibel organisering Avhengige variabler: Resultater NP for femte trinn; Engelsk, lesing og regning Kontrollvariabler Nylig endring i organisering (siste 5-6 år): Dummy for hhv. «endring til fleksibel», «endring til tradisjonell» De «vanlige» 24
Utforming og organisering Trad. + andre skoler Ikke-trad. skoler Totalt Antall Antall Antall Tradisjonell org. 30 3 33 2 40 1 41 3 56 6 62 4 75 18 93 5 39 18 57 6 17 14 31 Fleksibel org. 29 17 46 Totalt 286 77 363 Gj.snitt 3.77 5.04 4.04 25
Resultater (fortegn og sign. nivå) Koeffisienter Engelsk Lesing Regning Ikke-trad_1_4 - ** - - Grad av fleksibel organisering + ** + ** + Endring_til_fleksibel_1_4 - *** - ** - ** Endring_til_trad_1_4 - - - Antall skoler 363 363 363 Antall elever 9087 9054 9124 Min 1 1 1 Gj.snitt 25.0 24.9 25.1 Maks 133 105 132 Wald chi 468.9 922.3 882.6 Log pseudolikelihood -8969.1-8900.7-8861.7 26
Oppsummering Elever i ikke-tradisjonelle skoler, alt annet like, presterer signifikant dårligere i engelsk enn elever i andre skoler. Det er en statistisk signifikant og positiv sammenheng mellom grad av fleksibel organisering og elevprestasjoner i engelsk og lesing. Skoler som nylig har gjort endringer til mer fleksibel organisering har elever som presterer signifikant dårligere på alle tre prøver 27
Sogn og Fjordane Analyser gir ingen støtte for at ulikheter mht. målsetninger for og bruk av NP resultatene og ulikheter mht. skolebyggs utforming og organisering av elever og undervisning kan bidra til å forklare hvorfor elever i Sogn og Fjordane presterer bedre enn elever i resten av landet. 28
Årsak-virkning? Statistisk sammenheng årsak-virkning «Årsaksdata» fra 2013 og resultatdata fra 2012 => Men, ettersom endring av praksis vanligvis skjer langsomt og NP ble innført for flere år siden, har praksis rapportert i 2013 med stor sannsynlighet også vært praksis i årene før 2013, skolebyggs utforming er langsiktig, og ettersom det i analysene av fleksible skoler er det korrigert for nylige endringer mht. fleksibel/tradisjonell organisering. => kan virkningen gå fra styring/organisering til NP-resultat. 29
Hva måles - egentlig? Er praksis uttrykk for andre underliggende forhold? Er fleksibel organisering, tallfestede målsetninger mv. et resultat av (måler) ansattes holdninger, motivasjon og innsats og/eller et uttrykk for kultur for læring og stort «læringstrøkk»? Men, styringssystemer kan også påvirke praksis, kultur, motivasjon, innsats! => Mer forskning er nødvendig! 30
Oppsummering Støtte for at elever ved skoler som har konkrete målsetninger for sine NP resultater som diskuterer resultatene med lærerne på 5. trinn som har gode rutiner for evaluering av NP resultatene har høyere NP resultater enn elever ved andre skoler Støtte for at elever i ikke-tradisjonelle skoler presterer dårligere enn elever i andre skoler en positiv sammenheng mellom grad av fleksibel organisering og elevprestasjoner. at skoler som nylig har gjort endringer til mer fleksibel organisering har elever som presterer dårligere enn elever i andre skoler. Sammenhengene er dels ulike for engelsk, lesing og regning 31
Spørsmål til ettertanke/diskusjon Gitt årsak-virkning: Gir disse typer styring økte grunnleggende ferdigheter eller bare bedre testresultater? På hvilken måte kan målsetninger for resultater på nasjonale prøver påvirke oppnåelse av skolens andre målsetninger? Bør funnene føre til konsekvenser for styring i, og organisering av, min/vår skole/skoler? 32