Nasjonale prøver i lesing for 8. trinn

Transkript

1 Institutt for lærerutdanning og skoleutvikling UiO Nasjonale prøver i lesing for 8. trinn Astrid Roe Institutt for lærerutdanning og skoleutvikling, Universitetet i Oslo

2 Institutt for lærerutdanning og skoleutvikling, UiO Innhold Ulike leseprøver, hva de måler - og ikke måler - og hva resultatene kan brukes til PISA-prosjektets påvirkning på Kunnskapsløftet og nasjonale prøver Hvordan utvikles nasjonale leseprøver? utfordringer knyttet til reliabilitet og validitet utvikling av et rammeverk utvalg av tekster utvikling av oppgaver Problemstillinger knyttet til delskalaer og kompetansenivåer Hvordan resultatene fra de nasjonale prøvene kan brukes i undervisningen

3 Kartleggingsprøver (Utdanningsdirektoratet/Lesesenteret) Institutt for lærerutdanning og skoleutvikling UiO Fokus på de ca % svakeste leserne, takeffekt fordi mange elever klarer alt (lesing og regning). Lesehastighet måles ved at alle oppgaver er tidsbegrenset. Ordavkoding måles også (f.eks ordkjeder) Er ment å brukes på individnivå, men enkelte kommuner publiserer også resultatene

4 Kartleggern Utviklet av Grieg Multimedia i Bergen Institutt for lærerutdanning og skoleutvikling UiO Norskprøve med blant annet lesetest: Ordavkoding, lesehastighet, skumming, evne til å oppfatte og huske faktainnhold fra teksten (dette kalles leseforståelse i prøven). Elevenes resultater oppgis i form av profiler, der 100% er gjennomsnitt, og 60% er kritisk grense Kan brukes på individnivå

5 Nasjonale prøver i lesing Institutt for lærerutdanning og skoleutvikling UiO For alle elever på 5. og 8. trinn, fra 2009 også 9. trinn Tekster i ulike sjangrer og fra mange fagområder 25 30% av oppgavene er åpne, resten er avkryssingsoppgaver En gjennomsnittselev vil klare ca 60% av alle oppgavene Resultatene skal gi tilbakemelding på systemnivå og individnivå

6 Institutt for lærerutdanning og skoleutvikling UiO Lesing i PISA (Programme for International Student Assessment) 15-åringers kompetanse i lesing, matematikk og naturfag Undersøkelse hvert tredje år med ulike fokusfag PISA 2000: Lesing (Reading literacy) PISA 2003: Matematikk (Mathematical literacy) PISA 2006: Naturfag (Science literacy) PISA 2009: Lesing Alle tre fagene med hver gang for å kunne måle utvikling over tid Blir ikke rapportert på individ- eller skolenivå

7 Institutt for lærerutdanning og skoleutvikling UiO PISA har som mål å kartlegge kompetanser som anses som viktige i et livslangt perspektiv Rammeverkene i de tre fagområdene er utviklet av fageksperter Det tas ikke utgangspunkt i landenes læreplan Det tas heller ikke hensyn til antall år på skolen, antall undervisningstimer i ulike fag osv disse faktorene kan eventuelt brukes til å diskutere forskjeller mellom land

8 Institutt for lærerutdanning og skoleutvikling UiO Utvalg (samme kriterier gjelder i alle land) i alle land) Skolene trekkes fra offisiell skolestatistikk, inkl. spesialskoler. 30 elever trekkes tilfeldig fra hver skole. Prøven skal være så inkluderende som mulig, men følgende elever kan i spesielle tilfeller fritas: Elever med fysisk funksjonshemming Elever med psykisk og/eller emosjonell funksjonshemming Elever med begrensede norskkunnskaper Disse kriteriene er i utgangspunktet også ment å gjelde nasjonale prøver

9 Innhold Institutt for lærerutdanning og skoleutvikling UiO To timers faglig prøve til elevene med oppgaver fra alle tre fagområder Elektronisk lesing i PISA 2009 Spørreskjema til elevene Hjemmebakgrunn, holdninger til og undervisning i naturfag, bruk av IKT Spørreskjema til skolens leder Skole- og klassestørrelse, ressurser, organisering av skolen, antall lærere etc.

10 Institutt for lærerutdanning og skoleutvikling UiO Det teoretiske rammeverket bestemmer innholdet i prøven Målet med rammeverket for lesing i PISA er å understreke hvorfor lesekompetanse er viktig i dagens samfunn å presentere det teoretiske grunnlaget for hvordan lesing er definert i prøven å vise hvordan selve fagområdet lesing er organisert og operasjonalisert å vise hvordan resultatene kommer til å bli oppsummert og rapportert

11 Rammeverket i lesing i PISA Institutt for lærerutdanning og skoleutvikling UiO Leseforståelse er avhengig av sosial og kulturell bakgrunn tidligere leseerfaringer kunnskaper om teksters form og innhold evne til å trekke slutninger og reflektere over tekster Definisjon: Lesekompetanse er å forstå, bruke, reflektere over og engasjere seg i skrevne tekster, for å kunne nå sine mål, utvikle sine kunnskaper og evner, og delta i samfunnet. I PISA 2009 er altså engasjement med i definisjonen. PISA 2009 omfatter også elektronisk lesing

12 Institutt for lærerutdanning og skoleutvikling UiO Hvorfor har OECD valgt å teste lesekompetanse? Antall tekster og teksttyper øker kraftig, og stadig flere mennesker er forventet å kunne bruke ulike teksttyper på avanserte måter. Lesekompetanse handler både om å forstå og om å reflektere kritisk over det man leser i mange ulike situasjoner i livet: privat, i utdanning og i yrkeslivet. Kravene til teoretisk utdanning øker, og ingen klarer seg uten lesing.

13 Hva henger sammen med god lesekompetanse? Institutt for lærerutdanning og skoleutvikling UiO Avkodingsferdigheter og lesehastighet (måles verken i PISA eller NP 8. trinn) Engasjement (blir målt i PISA): Positive holdninger til leseaktiviteter Interesse for leseaktiviteter Lesevaner (hva man faktisk leser og hvor ofte) Metakoginsjon (strategisk overvåkning av leseprosessen) blir målt i 2009

14 Engasjement Institutt for lærerutdanning og skoleutvikling, UiO Positiv interesse for leseaktiviteter Forståelse for viktigheten av å lese Lesevaner (hva man faktisk leser i fritiden, og hvor ofte)

15 Hvordan foregår arbeidet med å finne tekster til PISA-prøven? Institutt for lærerutdanning og skoleutvikling UiO Med bakgrunn i rammeverket bidrar alle land med forslag til tekster og oppgaver, samt vurdering av andre lands forslag. Tekstene skal ikke være konstruert for prøven, de skal ha vært publisert i blader, aviser, bøker eller på Internett (autentiske tekster).

16 Lesing i PISA 2009 Institutt for lærerutdanning og skoleutvikling UiO Finne fram til og hente ut informasjon Integrere og tolke Reflektere og vurdere Alle de tre aspektene kan spille en større eller mindre rolle i forbindelse med en hvilken som helst leseoppgave, men hver oppgave er definert i forhold til det mest fremtredende aspektet. I den elektroniske prøven: Komplekse oppgaver, det vil si at alle de tre aspektene med hensikt er kombinert.

17 Institutt for lærerutdanning og skoleutvikling UiO Prosentfordeling av oppgaver (for å sikre variasjon og bredde) Lesesituasjoner: personlig (21) offentlig (36%) jobb (15%) utdanning (28%) Oppgaveformat: Flervalgsoppgaver (47 %) åpne oppgaver som krever forklaring eller begrunnelse (31%) åpne oppgaver som bare krever et kort svar (22%)

18 Generelle trekk fra de norske PISAresultatene i lesing Institutt for lærerutdanning og skoleutvikling UiO Norske elever gjør det relativt sett bedre på oppgaver som er knyttet til tekster som er morsomme og spennende, eller som handler om ungdom. Oppgaver som norske elever gjør det spesielt dårlig på, er knyttet til tekster som de fleste ungdommer vil oppfatte som voksne eller kjedelige, og der de må konsentrere seg om detaljer.

19 Generelle trekk ved kjønnsforskjellene i lesing i både PISA (10. trinn) og nasjonale prøver 8. trinn Institutt for lærerutdanning og skoleutvikling UiO Gutter lar i større grad enn jenter være å svare på åpne oppgaver Guttene gjør det like bra som jentene på oppgaver knyttet til ikke-sammenhengende tekster, særlig med teknisk- eller naturvitenskapelig innhold, Jenter gjør det best på de åpne refleksjonsoppgavene som er knyttet til sammenhengende tekster

20 Institutt for lærerutdanning og skoleutvikling UiO Rammeverket for nasjonale prøver lesing i alle fag Både fagtekster og skjønnlitteratur Oppgavene måler elevenes evne til å orientere seg i og finne fram til informasjon i tekster å forstå og tolke det man leser å ta stilling til analytisk eller vurderende teksters innhold og form

21 Institutt for lærerutdanning og skoleutvikling UiO Validitet måler prøven det den er ment å måle? Rammeverket gir kriteriene for hva prøven skal måle En leseprøve bør måle hele eller deler av nettopp lesekompetansen, ikke i for stor gra f. eks. faktakunnskap eller skriveferdigheter. Prøven bør ikke passe bedre for én gruppe elever enn for en annen (gutter og jenter, f. eks). Oppgavene bør ikke være utformet slik at noen elever kan svare riktig uten å ha lest teksten.

22 Institutt for lærerutdanning og skoleutvikling UiO Validitet (forts.) Underrepresentasjon det vil si at oppgavene til sammen ikke representerer fagområdet på en god måte (f.eks bare skjønnlitteratur). Irrelevans det vil si at mange av oppgavene tydelig faller utenfor det angitte fagområdet (f. eks. andre norskfaglige emner). En prøve som er i god overensstemmelse med rammeverket, og dermed måler det den gir seg ut å måle, forutsetter at rammeverket er tilgjengelig og blir ansett som relevant.

23 Reliabilitet er resultatene framkommet på en pålitelig måte? Institutt for lærerutdanning og skoleutvikling UiO Lesing er et bredt kompetansefelt, derfor trengs det et visst antall tekster og oppgaver. For å finne ut hvor god reliabiliteten er, blir prøven pilotert på et utvalg elever for å finne ut hvor høyt skår på enkeltoppgavene korrelerer seg imellom (Cronbach s alpha mellom 0,7 og 0,8). Enkeltoppgavene må altså støtte opp om hverandre slik at de i rimelig grad måler det samme. Legger man inn en matematikkoppgave i leseprøven, kan det hende reliabiliteten blir dårligere ( alpha if item deleted ).

24 Reliabilitet (forts.) Institutt for lærerutdanning og skoleutvikling UiO Elevbesvarelsene må vurderes på samme måte uansett hvem som vurderer dem (forutsatt at de er kompetente og har fulgt vurderingsveiledningen). Reliabilitet innebærer da hvor stor overensstemmelse det er mellom to eller flere ulike sensorer som vurderer samme prøve. Høy sensorreliabilitet er en utfordring, derfor er det forholdsvis få åpne oppgaver i de nasjonale prøvene (ca 30%).

25 Institutt for lærerutdanning og skoleutvikling UiO Tekstenes sjanger og fagtilhørighet (2007) Regnbuekake (oppskrift): Mat og helse Fotball, fy-tv? (avisartikkel): Samfunnsfag, KRL Slangen, hesten og frosken (fabel): Norsk Temperatur og nedbør (faktatekst i lærebok): Naturfag, samfunnsfag, matematikk Stygg, slem og fattig (novelle): Norsk, KRL, samfunnsfag Norske temperaturrekorder (opplysningstekst fra SSB): Naturfag, samfunnsfag Karl XII (historisk beretning): Samfunnsfag, norsk Tungvinte gleder (kåseri): Norsk, samfunnsfag, KRL

26 Flervalgsoppgaver Institutt for lærerutdanning og skoleutvikling UiO Ett spørsmål, fire svaralternariv (en fasit og tre distraktorer) Innledende spørsmål, flere riktig/galt -utsagn

27 Institutt for lærerutdanning og skoleutvikling UiO Kriterier for utvikling av flervalgsoppgaver Direkte spørsmål, ikke Velg det beste utsagnet Unngå negasjoner (Hvorfor hadde de ikke...?) Unngå at det riktige svaret utmerker seg i forhold til de andre (gul, rød, blå, sirkel) Finn plausible distraktorer, dvs. de bør ha forekommet i teksten på en eller annen måte. Pass på at forskjellen mellom dem er klar (vakker, pen, sympatisk, overlegen) Unngå repetisjon, bruk heller felles innledning: Hvor mange fredspriser er blitt delt ut til prisvinnere i Afrika siden den aller første fredsprisen ble delt ut og fram til 2007? A 3 priser B 4 priser C 7 priser D 11 priser

28 Institutt for lærerutdanning og skoleutvikling UiO Distraktorene bør være like i form og lengde, og alle må være et svar på spørsmålet. Unngå absolutte vendinger (alltid, aldri, overalt) Sett alternativene i en rekkefølge så elevene ikke tror det er et system og begynner å gjette * Elevenes gale valg kan fortelle noe om hva de har misforstått i teksten

29 Institutt for lærerutdanning og skoleutvikling UiO Åpne spørsm rsmål Formuler alltid fasiten med en gang La andre eksperter (lærere, studenter) svare, og sjekk mot fasiten Bruk konkret instruksjon Unngå hvorfor Legg til forklar eller begrunn for å unngå ja/nei-svar Gi restriksjoner Ikke varier språket - bruk standardiserte formuleringer

30 Institutt for lærerutdanning og skoleutvikling UiO Sjekkliste for åpne spørsm rsmål Er språket enkelt og entydig? Er det doble negasjoner? Unngå parenteser! Er spørsmålet unødvendig negativt? Kan spørsmålet misforstås? Inneholder spørsmålet nok informasjon? Er det klart for eleven at svaret må begrunnes?

31 Generell sjekkliste Institutt for lærerutdanning og skoleutvikling UiO Tester oppgaven lesekompetanse eller ren fagkunnskap? Kan oppgaven besvares uten lesing? Er oppgaven et lurespørsmål Inneholder oppgaven ledetråder til svaret? Fungerer bruken av illustrasjoner (tabeller, grafer), og er de klare og tydelige? Er henvisning til tekst eller illustrasjoner korrekt?

32 Institutt for lærerutdanning og skoleutvikling UiO Statistisk analyse etter pilotering For å finne ut hvor godt prøven skiller mellom elevene For å finne ut om oppgavene fungerer, dvs om de gjennomsnittlig flinkeste velger riktig svaralternativ. For å se hvor høy reliabilitet det er innad i prøven. Kjønnsforskjeller?

33 Spredning av resultatene i 2008 Institutt for lærerutdanning og skoleutvikling UiO

34 Andel riktige svar for elever på fem kompetansenivå (8. trinn) Institutt for lærerutdanning og skoleutvikling UiO

35 Resultater 2007 Institutt for lærerutdanning og skoleutvikling UiO Gjennomsnittlig p-verdi Finne informasjon: 62,3 Forstå og tolke 63,7 Reflektere og vurdere 58,5 Åpne oppgaver 58,9 Blandet flervalg 44,4 Flervalg 63,1

36 Resultater 2007 Alle Jenter Gutter Dif Ikke-sammenhengende 64,5 64,6 64,4 0,2 Sammenhengende 61,2 64,3 58,1 6,2 Alle Jenter Gutter Dif Finne informasjon 62,3 64,0 60,6 3,5 Forstå og tolke 63,7 66,2 61,2 5,0 Reflektere og vurdere 58,5 67,4 62,7 4,7 Åpen 58,9 62,4 55,5 6,9 Flervalg 63,1 65,0 61,2 3,8 Blandet flervalg 44,3 43,7 44,8-1,1

37 Vurderingsveiledning Institutt for lærerutdanning og skoleutvikling UiO Autentiske eksempelsvar Tydeliggjøring av hva som skiller riktige fra gale svar Tydeliggjøring av hva som skiller ett poeng fra to poeng Ingen vage formuleringer som åpner for at alt blir riktig Ikke for detaljert og komplisert Grafisk oversiktlig

38 Institutt for lærerutdanning og skoleutvikling, UiO Resultatene presenteres i form av andel elever på tre kompetansenivåer på 5. trinn og fem kompetansenivåer på 8. trinn For hvert kompetansenivå er det beskrevet generelle trekk ved elevenes lesekompetanse på hver av de tre oppgavetypene Det finnes veiledningsmateriell til lærerne både når det gjelder gjennomføring og bruk av resultatene på

39 Mestringsnivå 1 Institutt for lærerutdanning og skoleutvikling UiO Finne lokalisere tydelig uttrykte elementer i en tekst med lite konkurrerende informasjon Tolke trekke enkle slutninger eller oppfatte hovedtemaet i en tekst når innholdet er tydelig uttrykt i teksten Reflektere bruke personlige meninger til å kommentere form eller innhold i en tekst

40 Mestringsnivå 2 Institutt for lærerutdanning og skoleutvikling UiO Finne lokalisere tydelig uttrykte elementer i en tekst med noe konkurrerende informasjon Tolke trekke slutninger eller oppfatte hovedtemaet i en tekst på bakgrunn av informasjon som ikke er tydelig uttrykt Reflektere bruke personlige erfaringer eller holdninger til å vurdere form eller innhold i en tekst

41 Mestringsnivå 3 Institutt for lærerutdanning og skoleutvikling UiO Finne lokalisere elementer flere steder i en tekst som inneholder klart konkurrerende informasjon Tolke definere et ikke tydelig uttrykt tema i en tekst eller forstå sammenhenger mellom ulike deler av en tekst Reflektere bruke personlige erfaringer eller formell kunnskap til å gi en begrunnet vurdering av form eller innhold i en tekst

42 Mestringsnivå 4 Institutt for lærerutdanning og skoleutvikling UiO Finne lokalisere og kombinere ulike elementer som finnes flere steder i en tekst og vurdere hvilke av dem som er relevante Tolke forstå hvordan ikke tydelig uttrykte elementer i en tekst henger sammen, eller hvordan disse henger sammen med teksten som helhet Reflektere gi en begrunnet vurdering av form eller innhold i en tekst ved å sammenligne, kontrastere eller kategorisere informasjon

43 Institutt for lærerutdanning og skoleutvikling UiO Mestringsnivå 5 Finne lokalisere og kombinere ulike elementer som finnes flere steder i en tekst, og skille relevant informasjon fra sterkt konkurrerende informasjon Tolke forstå tvetydigheter, meningsinnhold som står i motsetning til det forventede eller meningsinnhold som er negativt uttrykt i en tekst Reflektere vurdere form eller innhold i en tekst kritisk og analytisk, eller å utforme hypoteser ved å sammenligne, kontrastere eller kategorisere informasjon i en tekst

44 Oppfølging av resultatene alle læreres ansvar Institutt for lærerutdanning og skoleutvikling, UiO Studer resultatene for hver elev på oppgavenivå, særlig når det gjelder de oppgavene som elevene ikke har fått til. Når elever ikke får poeng på en oppgave, har de enten ikke svart eller svart feil. Hvorfor? Har de ikke forstått oppgaven, har de ikke rukket å svare, eller har de ikke forsøkt? På flervalgsoppgaver kan elevene ha gjettet hva som er riktig Gå gjennom prøven med elevene, forklar hva som karakteriserer de ulike tekstene (sjanger, form, hensikt) og hva de ulike oppgavene måler. Vis elevene hva som skiller godkjente og ikke godkjente svar på de åpne oppgavene Gå gjennom de ulike svaralternativene på flervalgsoppgaver. La elevene selv forsøke å lage flervalgsoppgaver Hvilke fag har tekster som elevene ser ut til å ha problemer med?

45 Oppfølging av resultatene noen eksempler Institutt for lærerutdanning og skoleutvikling, UiO Nivå 1 På nivå 1 bør teksten være kort og enkel, form og innhold bør være kjent for eleven, og temaet bør interessere eleven. Eleven kan øve på: Å finne fram til viktig informasjon som er godt synlig eller sentralt plassert, for eksempel en tydelig uttrykt egenskap ved hovedpersonen i en fortelling, en tydelig uttrykt mening eller et lett synlig tall. Å oppfatte handlingen eller hovedtemaet i en tekst, for eksempel den viktigste hendelsen eller det viktigste argumentet i teksten. Å oppfatte meninger eller forhold som er framstilt i en tekst, og deretter selv komme med synspunkter.

46 Institutt for lærerutdanning og skoleutvikling, UiO Nivå 3 På nivå 3 kan tekstens innhold være ukjent for eleven, språket kan ha en viss kompleksitet, og teksten kan inneholde relativt mye informasjon. Eleven kan øve på: Å trekke ut ett eller flere informasjonselementer når det er mange elementer som konkurrerer om oppmerksomheten, for eksempel å avlese ulike tallverdier i et diagram, å slå opp i en ordliste eller å velge ut argumenter som befinner seg flere steder i for eksempel et kåseri eller en kronikk. Å forstå hva som er hovedtemaet når dette ikke er tydelig uttrykt, eller å forstå sammenhengen mellom ulike deler av teksten, for eksempel årsakssammenhenger, forholdet mellom personer og/eller hendelser, eller forholdet mellom tekst og illustrasjoner. Å vurdere form eller innhold og begrunne hvorfor ulike elementer i teksten framstår slik de gjør, eller er uttrykt slik de er, gjerne ved bruk av formell kunnskap om sjangertrekk, virkemidler og grafisk framstilling.

47 Institutt for lærerutdanning og skoleutvikling, UiO Nivå 5 På nivå 5 kan teksten være lang og/eller kompleks, og formatet kan være ukjent for eleven. Teksten kan ha tema og innhold som er fremmed for eleven og inneholde avanserte språklige virkemidler. Eleven kan øve på: Å sammenholde informasjon i flere tekster med forskjellig format og finne fram til det som er relevant for oppgaven, for eksempel en instruksjon eller oppskrift der en er avhengig av å kombinere opplysninger fra illustrasjoner, lister og løpende tekst. Å vise forståelse for indirekte og tvetydige framstillingsmåter, for eksempel bruk av ironi, sarkasmer eller negasjoner. Å forklare hendelser som står i motsetning til det forventede, for eksempel i tekster fra fjerne tider, steder eller miljøer. Å gjenkjenne støttende argumenter og motargumenter i argumenterende tekster. Å stille seg kritisk til innhold, framstillingsmåte eller layout i ulike tekster, for eksempel bruke kunnskap om teksters form, innhold, kilde eller opprinnelse til å avgjøre tekstens troverdighet. Å komme med begrunnede hypoteser om bakgrunnen for hendelser, påstander, personers atferd eller uventede forhold.

48 Nyere norsk litteratur om leseopplæring Institutt for lærerutdanning og skoleutvikling UiO E. Maagerø og E.S. Tønnessen (2006): Å lese i alle fag Ivar Bråten (red.) (2007): Leseforståelse Astrid Roe (2008): Lesedidaktikk etter den første leseopplæringen