Hvordan er EKVA involvert i arbeidet med kvalitetsindikatorer?

Transkript

1 Kvalitet i skolen: Hvordan kan et tall fortelle oss om det? Gyldendals ungdomsskolekonferanse 17. sep 2013 Rolf Vegar Olsen Leder av Enhet for kvantitative utdanningsanalyser, Institutt for lærerutdanning og skoleforskning, UiO Hvordan er EKVA involvert i arbeidet med kvalitetsindikatorer? Bidrar til å utvikle, gjennomføre, analysere og publisere fra flere internasjonale studier: PISA (Programme for International Student Assessment) TIMSS og TIMSS Adv (Trends in International Mathematics and Science Study) TEDS-M (Teacher Education and Development Study in Mathematics) ICCS (International Civic and Citizenship Study) ICILS (International Computer and Information Literacy Study) Utvikler, analyserer og gir råd om prøver nasjonalt: Lager nasjonale prøver lesing 8./9. trinn Lager kartleggingsprøver regning (1., 2. og 3. trinn) Kvalitetssikrer og gir råd om alle prøvene (NP, nasjonale kartleggingsprøver og nasjonale utvalgsprøver) Utvikler Osloprøver i lesing/norsk for 6. trinn og vg1 + overføringsprøve 7. trinn 1

2 Polarisert debatt om kvalitetsindikatorer og bruk av dem (spesielt faglige tester) Ofte basert på anekdoter og enkelteksempler som vanskelig kan brukes til å generalisere Intens motstand: «Virkeligheten er for kompleks og sammensatt. Enhver måling vil redusere dette til noe meningsløst» Ukritisk omfavnelse: «Alt som finnes, finnes i en gitt mengde, og dermed kan det måles eller kartlegges vha tall» En mulig mellomposisjon (min posisjon): Pragmatisme: Virkeligheten er så kompleks at den må forenkles for å kunne forstås spesielt gjelder dette på et aggregert nivå. Realisme: Godt utviklede tallmål består ikke bare av tilfeldigheter. De sier noe om den virkeligheten som tallene måler indikasjon på noe Skeptisisme: Være klar over at dette er forenklinger, og at man bare i noen grad lykkes med å måle det man skal måle. Og hva er egentlig alternativet? Lytte til autoriteter som vet best, overlate til nyhetsmedia å lage indikatorer, la en viktig samfunnsinstitusjon stå der uten innsyn? Hva er en (god) test? 2

3 Den ideelle indikatoren for faglige prestasjoner for elever og skoler (I) Skal dekke målene for undervisning godt og ikke bidra til en praksis som fører til vektlegging av enkelte mål på bekostning av andre Skal teste også høyere ordens kognitive ferdigheter Skal bidra positivt til elevers, læreres og skolers utvikling kunne gi et flersidig og rikt bilde av elevenes kompetanser (diagnostisk informasjon) synliggjøre krav, bidra til at elever får oppleve mestring av fag, og gjennom dette skape motivasjon fungere som forbilde for lærere på god vurdering i fag Skal kunne la seg tilpasse ulike skolers og elevers behov og evnenivå/dyktighet Den ideelle indikatoren for faglige prestasjoner for elever og skoler (II) Skal være rettferdig for elever og skoler Skal ikke medføre at elever/lærere/skoler blir engstelige eller føler seg urimelig overvåket Skal være statistisk holdbar; reliabel og valid Skal ta hensyn til at ulike skoler har ulik elevsammensetning Skal kunne gi informasjon for hver enkelt elev og hver enkelt skole om utvikling over tid. Skal ikke koste mye, og ikke beslaglegge mye tid på bekostning av undervisning 3

4 Den ideelle indikatoren for faglige prestasjoner for elever og skoler (III) Skal gi data som holder i en rettssak Skal være nyttig indikator for seleksjon, gruppeinndeling, opprykk og nedrykk Skal ha en karakterstøttende funksjon Skal gi elever og foreldre nyttig informasjon for valg av skole til sine barn Skal være verktøy for å implementere sentrale mål og beslutninger Testteori: Begrep: Elevens trivsel, dyktighet i algebra, Forårsaker Å måle det ikke direkte observerbare Tolkning Observasjoner eksempler på adferd hvor begrepet er involvert Educators are interested in how well students understand speed, distance and time, not in what they know about runners or powerboats or people walking along corridors. Paradoxically, however, there is no other way of describing and testing understanding than through such specific examples. (Ramsden et al, 1993, p. 312) 4

5 Et forsøk på en definisjon av testteori Å kombinere informasjonen fra flere enkeltoppgaver eller spørsmål slik at denne informasjonen kan aggregeres. All informasjon er KUN knyttet til begrepet vi ønsker å måle Begrep 3 5 Validitet og reliabilitet (1) To sentrale begreper som sier noe om hvor god en pedagogisk måling er Validitet = hvor godt skalaen måler det den skal måle Reliabilitet = hvor pålitelig/konsistent skalaen er, eller hvor godt målingen kan reproduseres 5

6 Validitet og reliabilitet (2) De to utfyller hverandre, men kan IKKE erstatte hverandre Høy R - lav V: Presis måling av noe irrelevant Lav R: Bingo! Gir nødvendigvis lav V. Kvalitetsmålinger krever rimelig høy både V og R Et verktøy for innholdsvaliditet: Beskrive begrepet i et rammeverk Forskerspiren Mangfold i naturen Kropp og helse Verdensrommet Fenomener og stoffer Teknologi og design Reprodusere/ Beskrive Gjøre rede for hovedelementene som bør være med i en laboratorierapport Undersøke og beskrive blomsterplanter Beskrive skjelett og muskler Forklare/ Anvende Skrive en laboratorierapport med de nødvendige elementene. Forklare funksjonene til ulike plantedeler Forklare hva som skjer under puberteten Vurdere/Evaluere/ Analysere Vurdere design/metode i et gitt forsøk, og foreslå forbedringer Diskutere helseskader som kan oppstå ved bruk av ulike rusmidler 6

7 Systematiske målefeil, et eksempel: Måling av dyktighet i samfunnsfag To kilder til systematiske målefeil: Enhver test får kun med seg deler av begrepets bredde Enhver test får med seg andre begreper som er irrelevante/ forstyrrende for det begrepet vi ønsker å måle Lesing Skriving Digital kompetanse Regning Muntlig Test Kunnskaper i samfunnsfag Erfaringer, holdninger og praktisk innsikt i samfunnsfag Oppgaver møter personer! Skala Personer Oppgaver 7

8 Reliabilitet (r): Tilfeldig målefeil Pålitelighet, stabilitet, konsistens Et mål for i hvilken grad innslaget av tilfeldige målefeil er lavt r mellom 0 (bare feilskåre) og 1 (ingen feilskåre) Kilder til tilfeldige målefeil Årsaker knyttet til respondenten Dagsform : Variabelt mental og fysisk tilstand Årsaker knyttet til oppgaveutvalget (indre konsistens) Flaks med oppgavene : Dekker et begrenset område av universet, noe som vil føre til tilfeldige utslag for elevene avhengig av hva de faktisk mestrer Årsaker knyttet til testadministrasjonen Variabel luftkvalitet, lys etc. En dag får en elev et lite hint, en annen dag får en annen elev et hint Årsaker knyttet til de som vurderer responsene 8

9 Hva påvirker indre konsistens? Antall oppgaver Korrelasjonen mellom hver oppgave og totalskåren Forskjell på kunnskapstester og holdningstester En oppgave må skille mellom dyktige og mindre dyktige elever Oppgavenes vanskegrad og spredning Indre konsistens kan også være ulik for ulike respondenter. Evidensbasert utvikling av prøver Kritisk review av kollegaer av oppgaver Konseptuell vurdering «Kognitiv lab»: Et utvalg oppgaver prøves ut blant noen elever Kognitiv evaluering Pilot ett år før blant noen hundre elever Psykometrisk evaluering Tydelig kravsspesifikasjon 9

10 Hvor mange poeng på hver oppgave? Vanlig poengpraksis: Gi poeng etter arbeidsmengde, etter vanskegrad I testteori: Gi poeng som skiller mellom elever på en god måte Et eksempel Beate spiller fotball og blir veldig varm. Hva gjør kroppen hennes for å bli avkjølt? Opprinnelig poeng pilotering: 2 poeng: Kvitter seg med varme via svette. 1 poeng: Kroppen svetter Final_sum * Oppgav e 12 hefte 5A Final_sum Oppgave 12 hefte 5A Total Mean N Std. Deviation 24, , , , , , , ,

11 Et annet eksempel Oppgave 29. Kompetansemål 5.1 Vurder om påstandene nedenfor riktige eller gale. Sett en ring rundt Riktig eller Galt for hver påstand. Utsagn Fisk kan dø når fabrikker slipper giftige kjemikalier ut i vannet Resirkulering av papir redder trær fra hogst Regnvann som skylles av veiene er rent Det er greit å kaste avfall ut i elva Riktig eller Galt? Riktig / Galt Riktig / Galt Riktig / Galt Riktig / Galt Final_sum * S30_skåre Final_sum S30_skåre,00 1,00 2,00 Total Mean N Std. Deviation 19, , , , , , , ,

12 Om å tolke kvalitetsindikatorer Hvilke sentrale måleinstrumenter har vi i norsk skole? GSI Vigo KOSTRA Brukerundersøkelser: Elevundersøkelsen (obligatorisk 7., 10. og vg1) Foreldreundersøkelsen (frivillig) Lærerundersøkelsen (frivillig) Nasjonale prøver 5. og 8./9. trinn lesing, engelsk og regning og tallforståelse Nasjonale kartleggingsprøver i lesing og regning Obligatorisk (1), 2. trinn og vg 1 Frivillig 3. trinn 12

13 Nye elementer på vei inn Nasjonale utvalgsprøver Først gjennomført på et repr. utvalg. Deretter frigjøres disse prøvene til lokalt bruk i en prøvebank. Naturfag 10. trinn karakterstøttende Samfunnsfag 10. trinn karakterstøttende + flere til vurdering (læringsstøttende prøver) Måling over tid (trender) basert på NP Nye veiledninger og nye rapportmuligheter Ulike kvalitetsområder har unike tolkningsutfordringer Ressurs-/strukturkvalitet: Datagrunnlag: Relativt objektive tellinger Utfordring: På hvilken måte fanger disse målene inn kvalitet? Viktige områder blir ikke målt Prosesskvalitet: Datagrunnlag: Mer subjektive. Oftest basert på brukerundersøkelser. Utfordring: Tilfredshet funksjon av både erfaringer og forventninger Resultatkvalitet: Datagrunnlag: Sentralgitte prøver, eksamen/avgangsprøver og fullføringsgrader Utfordring: Reflekterer disse skolekvalitet? 13

14 Oppsummert: Pragmatisme Kvaliteter er komplekse og må forenkles! Indikatorer = gode forenklinger Realisme Gode tallmål reflekterer begreper! Testteori: Validitet og reliabilitet Skeptisisme Vite at forenklinger har begrensninger! Kritisk etterprøving RESERVEMATERIELL Jeg tror egentlig ikke jeg får dekt mer enn hit. De neste slidene gir hovedmomentene i en syntese av evalueringer av Kunnskapsløftet som jeg og kollegaer gjorde for litt siden 14

15 En syntese av evalueringen av Kunnskapsløftet Olsen, Hopfenbeck, Lillejord og Roe (2012) Syntesens problemstillinger Hvilke effekter har reformen hatt på elevenes læringsutbytte, gjennomføring og formell kompetanseoppnåelse? Hvordan håndterer elevene overganger mellom skoleslagene? Hvordan bidrar reformen til utvikling av en bedre kultur for læring og bedre tilpasset opplæring for alle? 15

16 Syntesens temaer TEMA 1: Læringsresultater i grunnskolen TEMA 2: Overganger og gjennomføring i videregående skole TEMA 3: Vurdering av og for læring TEMA 4: Elevenes læringsmiljø TEMA 5: Tilpasset opplæring TEMA 6: Noen huller i evalueringen av K06 TEMA 7: Mot et system for kontinuerlig evaluering av kvalitet i opplæringen Læringsresultater i grunnskolen: Tydelig framgang 16

17 Læringsresultater i grunnskolen: Et løft fra bunnen Læringsresultater i grunnskolen: En positiv konklusjon Bedre læringsresultater etter reformen Mindre spredning Et kunnskapsløft fra bunnen Tidsseriene utvides i desember (PISA 2012) 17

18 Gjennomføring i videregående opplæring: Rolig på overflaten Fullføringsgrad synes upåvirket av K06 Betydelig bedring overgang vg1 - vg2 Uklar endring overgang vg2 - vg3/lære Akademisering: Årelating av (noen av) yrkesfagene Forsiktig optimisme om bedre fullføring framover? Bedring i overganger Bedring av elevenes grunnleggende ferdigheter Tydeligere mål og bedre indikatorer Vurdering av og for læring: Stor satsing på Vfl Satsing knyttet til Vurdering for læring godt mottatt Vet lite om hvordan praksis har endret seg Læringsresultater brukes mer på alle nivåer 18

19 Elevenes læringsmiljø: Godt kunnskapsgrunnlag, små endringer Få sporbare endringer i perioden Spesielt problematisk atferd synes å være redusert Tilpasset opplæring: Mer organisatorisk differensiering I alle fag I noen fag I alle fag I noen fag Elevene gruppert etter evner/forutsetninger på tvers av trinn Elevene er gruppert etter evner/forutsetninger innenfor samme trinn

20 Tilpasset opplæring - Utjevning: Små endringer i feil retning Bakken og Elstad (2012), s. 242 Tilpasset opplæring - Utjevning: Forsiktig med å konkludere Marginalt forsterkede effekter etter K06 «Gode skoler» er også gode på utjevning (men i internasjonal sammenheng er vi likevel «flinke») Mindre spredning i Norge, både innen og mellom skoler 20

21 Noen mangler i evalueringen Satsing på realfag, virker den? Ingen synlig endring i rekruttering Virker satsingen på matematikk i vgs? Hvordan virker reformen på det som skjer i klasserommet? Hvordan og i hvilken grad er grunnleggende ferdigheter en del av undervisningen? Tidlig innsats: Skjer det og har det effekter? På vei mot et system for kontinuerlig evaluering av kvalitet i opplæringen Aldri tidligere hatt mer og bedre kunnskap om norsk skole Noen svakheter: Kvalitet i videregående opplæring Kvalitet i undervisningen («teacher appraisal») Helhet og sammenheng fra sentrum til periferi NKVS i ferd med å bli godt etablert, og nye tilskudd kommer hele tiden 21