Nasjonale prøver i lesing Et ledd i vurderingsarbeidet Oddny Judith Solheim 16. oktober, 2008
Nasjonale prøver i lys av et sammenhengende prøveog vurderingssystem Hvem er mottagerne av informasjon fra de nasjonale prøvene, og hva slags informasjon trenger de? Trekk i utviklingsarbeidet Hva kan lærerne bruke resultatene på de nasjonale prøvene i lesing til? Hvordan vi kan bruke nasjonale prøver i klasserommet?
Tiltak Kartleggings materiell Karakter- og læringsstøttende prøver Veilednings materiell Nasjonale prøver Avgangsprøve og eksamen Internasjonale studier http://udir.no/templates/udir/tm_artikkel.aspx?id=1399 Formål Avdekke behov for individuell oppfølging og tilrettelegging på individ- og skolenivå Undersøke hva eleven kan innenfor sentrale områder av faget, og ut fra dette bestemme hvor kreftene må settes inn for at eleven skal mestre faget bedre Synliggjøre hvordan skoleeier, skoler og lærere kan utnytte systemet pedagogisk Kartlegge i hvilken grad elevenes ferdigheter er i samsvar med læreplanens mål. Gi informasjon til elever, lærere, foresatte, skoleeiere, skoleledere, de regionale myndigheter og det nasjonale nivået som grunnlag for forbedrings- og utviklingsarbeid Avsluttende vurdering som har til formål å informere samfunnet, arbeidslivet og utdanningsinstitusjoner om den kompetansen eleven har oppnådd Vurdere norske elevers kompetanse relatert til andre land. Grunnlag for indikatorutvikling og politikkutforming
Standardiserte prøver Betingelsene er de samme for alle elevene Utviklet i samsvar med detaljerte testspesifikasjoner Elevene får de samme oppgavene Prøven gjennomføres under de samme betingelsene Samme instruksjon Like lang tid Oppgavene rettes på samme måte for alle elevene Flervalgsoppgaver Åpne oppgaver har vurderingsveiledning
Kriterie- og normbaserte prøver Standardiserte prøver kan være kriteriebaserte eller normbaserte Forskjellig måte å gi mening til elevenes resultatene på I kriteriebaserte prøver finnes klare mål for hva som forventes oppnådd, og man undersøker så i hvilken grad disse målene mestres I normbaserte prøver undersøker man hvor godt elevene skårer sammenlignet med andre
Reliabilitet og validitet Validitet: måler prøven det den gir seg ut for å måle? I lesing innebærer dette at den skal kunne skille mellom gode og dårlige lesere (i tråd med definisjonen av lesing som ligger til grunn for testutviklingen) Tekster og oppgaver må være representative Reliabilitet: måler prøven det den skal måle på en pålitelig måte? Tilstrekkelig mange oppgaver Alle elevbesvarelsene skal bli vurdert på samme måte uavhengig av hvem som vurderer dem
Farr, 1992 Hvem? Hvorfor trenger de info? Hvem trenger de info om? Hva slags info trenger de? Når trenger de info? Offentlighe ten Evaluere måloppnåelse Grupper av elever Relatert til generelle mål; norm og kriteriebasert Årlig Skoleeier Skoleleder Evaluere måloppnåelse Grupper av elever og enkeltelever Relatert til generelle mål; norm og kriteriebasert Årlig eller hvert semester Foreldre Følge med på og støtte opp om eget barns utvikling Enkeltelever Vanligvis relatert til generelle mål; norm og kriteriebasert Flere ganger i året Lærere Planlegge undervisning Enkeltelever og mindre grupper Relatert til spesifikke mål, kriteriebasert Daglig eller så ofte som mulig Elever Identifisere sterke og svake sider Seg selv Relatert til spesifikke mål, kriteriebasert Daglig eller så ofte som mulig
Kritikk og prøvestans En sentral innvendingen fra gruppen som evaluerte prøvene var sprikende formål De opprinnelige oppdragsbrevene Gi beslutningstakere på ulike nivå informasjon om tilstanden i utdanningssektoren og dermed gi grunnlag for iverksetting av nødvendige tiltak for sektoren Gi informasjon til brukere av utdanning om kvaliteten i opplæringen på det enkelte lærested og dermed gi bedre grunnlag for å gjøre valg og stille krav om forbedringer Å gi informasjon til skoleeier, skoleledere og lærere som grunnlag for forbedrings- og utviklingsarbeid på det enkelte lærested Gi informasjon til den enkelte elev/elevs foresatte som grunnlag for elevens læring og utvikling Å kunne registrere utvikling over tid, både på system og individnivå Lie, 2007
Hvorfor ikke flere delskalaer eller profiler av kompetanse? Hensynet til reliabilitet Hensynet til validitet Dersom en delskala ikke er reliabel og valid er den heller ikke pedagogisk nyttig
Endringer fra 2004/2005-prøvene Fra 4., 7., 10. og 11. trinn til 5. og 8. trinn Prøvetidspunktet er endret fra vår til høst Det er lagt felles føringer for andelen åpne oppgaver, rapporteringsskala osv. Prøven skal gjennomføres i løpet av 90 minutter og skal kunne rettes i løpet av 15-20 min Fremdeles de 3 aspektene: finne, tolke og vurdere
Nasjonale prøver - 2008 Formål: Kartlegge i hvilken grad elevenes ferdigheter er i samsvar med kompetansemål i LK06. Gi informasjon til elever, lærere, foresatte, skoleeiere, skoleledere, de regionale myndigheter og det nasjonale nivået som grunnlag for forbedrings- og utviklingsarbeid Forutsetter: komprimert informasjon om enkeltelever og hele grupper på alle ferdighetsnivå Hva måles: leseforståelse på tvers av fag Viktigste målepunkt: mestringsnivå
Mestringsnivå på 5. trinn Nivå 1 Nivå 2 Nivå 3 Finne Tolke Vurdere Lokalisere tydelige uttrykte elementer i en tekst med lite konkurrerende informasjon Lokalisere tydelige uttrykte elementer i en tekst med klart konkurrerende informasjon Skille sterkt konkurrerende informasjon fra informasjon som er relevant for oppgaven Trekke enkle slutninger og kombinere informasjon fra flere steder i teksten Oppfatte hovedtemaet og forstå sammenhenger som ikke er tydelig uttrykt i teksten Forstå motsetningsfylt innhold og komplekse sammenhenger i teksten Bruke personlige meninger til å kommentere tekstens innhold Identifisere formelle trekk ved tekster og ta stilling til eller vurdere tekstens innhold Bruke kunnskap om språk og tekst for å identifisere og forholde seg til mer komplekser trekk ved tekstens form og innhold
Veiledningsmateriell Består av 3 deler Del 1: Inneholder kort informasjon om de ulike prøvene og hva prøvene måler. Utdanningsdirektoratet sine nettsider. Del 2:Vurderingsveiledinger til prøvene. Blir gjort tilgjengelige på PAS på prøvedagen. Del 3:Inneholder tips om hvordan man kan følge opp resultatene fra nasjonale prøver. Utdanningsdirektoratets nettsider
Kartleggingsprøvene Formål: Avdekke behov for individuell oppfølging og tilrettelegging på individ- og skolenivå Forutsetter: detaljert informasjon om hva enkeltelever mestrer og ikke mestrer Hva måles: blant annet holdning til lesing, bokstavkunnskap, ordlesing, evnen til å hente ut eksplisitt framstilt informasjon i teksten Det viktigste målepunktet er bekymringsgrensen Mange elever har alt rett på disse oppgavene: takeffekt
Nasjonal prøve i lesing på 5. trinn, 2008 6 tekster (28 oppgaver) Tekstene spenner over ulike fag, tema og modaliteter Tekstene har varierende vanskegrad Månen vår Leonardo da Vinci Nøden tvinger hunden i bånd Hva er en ulv Treningsplan Bokfink
Trekk i utviklingsarbeidet Utprøvinger av tekster og spørsmål i samarbeid med lokale skoler, våren 2007 Lokal utprøving, august 2007 11 tekster, 66 spørsmål Nasjonal pilotering, oktober 2007 6 tekster, 38 oppgaver Pilotering av ekstra tekster, desember 2007 3 tekster, 13 oppgaver
Testresultater må brukes med varsomhet Hvordan står resultatet i forhold til det du allerede vet om eleven? Normene er statiske og retter oppmerksomheten mot rett/feil Prøven gir informasjon om mestring i en bestemt situasjon Ingen prøve alene er tilstrekkelig som grunnlag for å vurdere elevenes leseferdighet
Pedagogisk nytteverdi i prøver Reflektere over mulig forklaringer til resultatene Hva kjennetegner de ulike tekstene og oppgavene som elevene har hatt problemer med? Har de svart galt eller latt være å svare? Er det flere blanke/gale svar på noen tekster enn andre? Er blanke/gale svar i større grad knyttet til åpne oppgaver? Har de misforstått oppgaven, teksten, uttrykt seg ufullstendig? Er det flest blanke svar mot slutten av prøven? Prøve ut ulike former for hjelpebetingelser
I samtale med elevene Hva karakteriserer de ulike tekstene (sjanger, form, hensikt) Hva måler de ulike oppgavene? Hvilke strategier kan man bruke for å løse oppgavene? Diskuter godkjente og ikke-godkjente svar på åpne oppgaver Diskuter ulike svaralternativer på flervalgsoppgaver La elevene forsøke seg på å lage spørsmål i ulike kategorier
Farr, R. (1992). Putting it All Together: Solving the Reading Assessment Puzzle. The Reading Teacher, 46, 26-37. Lie, S. (2007). Evalueringen av de nasjonale prøvene og hva vi kan lære av dem. I S. Tveit. Elevvurdering i skolen: grunnlag for kulturendring. Oslo: Universitetsforlaget. Skaftun, A.; Solheim, O. J., Roe, A. & Narvhus, E. (2006). Tilnærminger til et teoretisk rammeverk for de nasjonale prøvene i lesing. Norsk Pedagogisk Tidsskrift 90, 5, 360-371. Valencia, S. & Pearson, P. (1987). Reading assessment: Time for a change. The Reading Teacher, 40, 726-732.