Hva er vårt datagrunnlag, hvordan tolker vi det og hvordan bruker vi det for å drive skoleutvikling?

Transkript

1 Hva er vårt datagrunnlag, hvordan tolker vi det og hvordan bruker vi det for å drive skoleutvikling? Henning Fjørtoft Postdoktor i skoleutvikling Institutt for lærerutdanning, NTNU Trondheim Desember 2017

2

3

4 Hva er «databruk» i utdanning? «evnen til å transformere informasjon til handlingsrelevant kunnskap og praksis gjennom å samle inn, analysere og tolke alle former for data (testing og vurdering, læringsmiljø, atferd, stikkprøver, longitudinelle osv.) for å avgjøre hva som er riktige grep i undervisningen» bygger på en forståelse av læreplanens forventninger, fagspesifikk kunnskap og praksis, fagdidaktikk, og kunnskap om hvordan elever lærer (Gummer & Mandinach, 2015)

5 Hva er «databruk» i utdanning? bygger på kunnskap om testing og måling, læringsteori, kunnskap om organisasjonsendring, og makt og politikk foregår i en sosial, organisatorisk og politisk kontekst tolkningsprosesser er alltid den underliggende nøkkelen (ikke verktøy, satsninger eller politiske ideologier) viktig å skille mellom måten dataene er fremstilt på det fenomenet dataene representerer (Coburn & Turner, 2011)

6 Hva er «databruk» i utdanning? Et sentralt element i evidensbasert politikkutforming Det som skjer når mennesker samhandler med testresultater, karakterer, kartleggingsprøver, spørreundersøkelser og lignende (Coburn & Turner, 2011; Spillane, 2012) Data er bare et råmaterial og trenger fortolkning og handling av ulike aktører for å kunne bli evidens (Little, 2012) Data kan brukes til å overvåke elevenes progresjon og læringsutbytte av myndigheter, ledere, lærere og skoleeiere. Men databruk kan også føre til marginalisering av elever, motivasjonssvikt og innsnevring av utdanningens overordnede mål. (Prøitz, Mausethagen, & Skedsmo, 2017)

7 Mikro- og makroperspektiv Klasserom og elever Skolekontekst Kommune/fylkeskommune

8 Kulturforskjeller i databruk Engelskspråklig kontekst Databruk er et velkjent element i systemene High stakes-systemer ofte store konsekvenser for aktørene Empiriske studier Implementering og effekt, ofte i større skala Tyskspråklig og skandinavisk kontekst Databruk er generelt lite kjent i europeisk kontekst Soft accountability få konsekvenser System-kritiske perspektiver på kontroll og potensielt uheldige virkninger Hvordan denne trenden utvikler seg Prøitz, T. S., Mausethagen, S., & Skedsmo, G. (2017

9 Et eksempel fra en norsk skole «( ) her samler man inn en masse data ( ), men hva bruker man dette til, da? Hvordan forstår man disse dataene, hvordan reflekterer man over disse dataene? Det er det jo mange ting å tenke om disse tallene. Og jeg tenker at det som er viktig for meg er refleksjonen rundt dataene. Kanskje ikke bare selve tallene i seg selv, men hva skal man tenke om de svarene som ligger der. Hva kan man bruke det til, og så angi retning for det videre arbeidet. For det er det som er hensikten her.» (rektor, u-skole)

10 Elevundersøkelsen obligatoriske spørsmål Motivasjon, arbeidsforhold og læring Trivsel Hjem-skole-samarbeid Støtte fra lærer Vurdering for læring Medvirkning Regler på skolen Trygt miljø Rådgiving

11 Hva er vårt datagrunnlag? Elevundersøkelsen Intervjuer med elever, lærere m.fl. Karakterresultater Nasjonale prøver Helsesøsters erfaringer Løpende observasjoner Deltakelse på møter Medarbeidersamtaler Konkrete eksempler på læremidler, elevprodukter, oppgavetyper mm. Prosedyrer for saksbehandling, møter, større hendelser mm. Elevens stemme

12 SLUTNINGSSTIGEN Handlinger vi foretar ut fra det vi tror Det vi tror ut fra det vi har konkludert Konklusjoner Meninger og tolkninger som vi danner utfra dette Det vi velger ut av data, observasjoner og erfaringer Data, observasjoner og erfaringer

13 Aggregering og desaggregering

14 Et eksempel fra en norsk skole «For å gjøre datamaterialet litt mer håndterbart har jeg delt det opp. Dere ser at det står litt forskjellig på de ulike ( ): hjem-skole, trinn, støtte fra lærer dette er felles, og så er det trinndata. Og arbeidsforhold og læring. Og vurdering og læring. Trygt miljø. ( ) Så er det jo noe med at disse dataene er jo ikke uavhengige av hverandre.» (rektor, u-skole)

15 Hva kjennetegner «databruk» ved din enhet, og hvilke handlinger resulterer dette i?

16 Talldata Matematiske eller statistiske måter å representere virkeligheten på Brukes både for å gi et øyeblikksbilde og for å følge utvikling over tid Vektlegger grupper over individer En del statistiske begreper har presis betydning som må forstås (median, prosentpoeng, korrelasjon, faktor, variabel osv.) Grafer, prosentandeler osv. kan fremstå som mer sikre enn de faktisk er

17 Anekdotiske data (fortellinger fra praksis) Læreres profesjonelle kunnskap består av praktisk erfaring som kontinuerlig fortelles og revideres (Clandinin & Connelly, 1995) Består ofte av personer, dramatiske hendelser i et tidsforløp, en form for konfliktutvikling og en løsning Kan skape sammenheng i uoversiktlig praksis Vektlegger individer over grupper Velegnet for kontinuerlige refleksjonsprosesser f.eks. ved å fremme bevissthet om elever med ulike vansker Mindre velegnet for beslutninger som krever stor sikkerhet og presisjon

18 Styring, ledelse og ansvar Metoder og praksiser Gyldighet og pålitelighet Formativ og summativ Feedback Læringsmål og kriterier (Fjørtoft og Sandvik, 2016)

19 GYLDIGHET OG PÅLITELIGHET/ VALIDITET OG RELIABILITET 1. Hva teller som læring i faget? 2. Hvordan kommer denne læringen til uttrykk hos elevene? 3. Hvordan tolker vi det elevene gir uttrykk for?

20 Hva betyr egentlig en karakter? (Brookhart et al., 2016) Forskere påpeker at karakterer har flere dimensjoner: både måloppnåelse og (i noen grad) innsats virker inn. Begge deler er verdifulle aspekter av opplæringen. Lærere oppfatter ofte praktiske oppgaver og prosjekter sammen med mappevurdering som rettferdige og dekkende vurderingsformer. Elever kan oppfatte disse som mer subjektive og upålitelige.

21 Standpunktvurdering det umuliges kunst? (Prøitz & Borgen, 2010) Likeverdig og rettferdig vurdering holdes høyt i Norge Sammenlignet med eksamen er standpunktvurdering i liten grad regulert, diskutert og veiledet fra sentralt hold Hvilket grunnlag vurderes elevene ut fra? Hva vektlegger lærerne når de setter standpunktkarakterer? (norsk, matematikk, naturfag, KRØ, kunst og håndverk, design og håndverk) «Standpunktkaraktersetting i Norge kan således betraktes som et anliggende for den enkelte lærer, prisgitt den enkelte skole og lærers vurdering og vurderingsstrategier.» (s. 9)

22 Standpunktvurdering det umuliges kunst? (Prøitz & Borgen, 2010) «lærerne forteller om store individuelle variasjoner i praksis for standpunktkaraktersetting» «de har ulike oppfatninger om hvilken funksjon standpunktkarakterer har og hva disse karakterene er et uttrykk for.» (s. 11)

23 A marked improvement? Karaktersetting står for en stor andel av læreres arbeidsbelastning, men det finnes lite forskning på karakterenes virkning underveis i opplæringen Bør skje på meningsfylte, håndterbare og motiverende måter, og bygge på læreres profesjonelle dømmekraft Noen råd Gi «færre og bedre» karakterer underveis Å påpeke feil tar mindre tid enn å korrigere dem Slurv bør håndteres annerledes enn misforståelser Karakterer kan overskygge kommentarer Sett mål og gjør tilbakemeldingene konkrete og handlingsrelevante for elevene Elever bør få respondere til læreren (Elliot et al., 2016)

24 Hvilke aktører utenfor din enhet har innflytelse på din forståelse av dataene som er tilgjengelig? (skoleleder, skoleeier, fagnettverk, fagnemnder, opplæringsansvarlige i bedrift, osv.)

25 Noen utfordringer

26 Noen utfordringer Lærere Skoleeier Foreldre

27 TRUSLER MOT KVALITET I VURDERING Uklart formål med vurderingen Uklar avgrensing av hva som skal vurderes Uheldig oppsummering av delresultater Uklare grenser mellom karakterer Forenklet eller upresis tolkning av sluttresultater Uforutsette konsekvenser av vurderingen (Stobart, 2009)

28 Fem grep for bedre sammenheng 1. Lærere bør samarbeide om prinsipper for gyldig vurdering i fagene 2. Strukturerte mapper der elevene samler eksempler på ulike typer arbeid gir et helhetlig inntrykk av elevens faglige utvikling og læringsutbytte 3. Tydelige prinsipper for vurdering av utvalgte enkeltmapper på tvers av skoler sikrer gjennomsiktighet, sammenlignbare resultater og felles forståelse 4. Retningslinjer for grensene mellom formativ og summativ vurdering kan støtte læreres skjønnsutøvelse 5. Skolens vurderingsprosedyrer må kommuniseres til foreldre på en tilpasset måte (Black et al. 2010)

29 Databruk Organisasjonslæring Data-team

30 Skoleutvikling blir altfor ofte presentert som et frynsegode som del av en pakke vi tilbyr lærere som kompensasjon slik at de skal føle seg bedre i jobben. (Wiliam, 2007, s. 187)

31 Tre modeller for skoleutvikling Påfyll og spredning (cascade model) Denne modellen bygger på ideen om at informasjon kan spres vertikalt fra toppen og nedover i systemet, eller horisontalt fra en liten gruppe lærere til hele organisasjonen. Den reflekterte praktiker Denne modellen vektlegger læreres behov for å reflektere over ulike dilemma i yrkesutøvelsen. Undersøkende skolebasert kompetanseutvikling (inquiry) Denne modellen har som utgangspunkt at lærere må undersøke elevenes behov, utforme hypoteser eller spørsmål om årsakene til disse behovene, og søke å dekke dem gjennom å endre undervisningen.

32 Vi må fokusere på hva slags endring vi ønsker i undervisningen, og hvordan vi skal støtte lærerne for å lykkes med denne endringen. Det er ikke et mål i seg selv at lærere skal samarbeide mer. Profesjonelle læringsfellesskap er bare et middel for å få lærere til å endre handlings- og tankemønstre. (Wiliam, 2007, s. 188)