Er Norskprøven en god prøve for spor 1-deltakere? Cecilie Hamnes Carlsen Koordinator for det faglige arbeidet med norskprøven Vox, Bergen Nasjonal konferanse om alfabetisering, Sandefjord 16.- 18. sept. 2015
Hva er en god prøve for spor 1-deltakere? Kvaliteter ved en prøve Validitet Reliabilitet Positive konsekvenser Praktisk gjennomførbarhet En prøves kvalitet kan ikke ses uavhengig av gruppen den er ment for formålet med prøven Mål at resultatet speiler de ferdighetene vi vil måle er lite påvirket av andre ferdigheter, egenskaper og kunnskaper (eller mangel på andre ferdigheter, egenskaper og kunnskaper)
Spor 1-deltakernes spesielle utfordringer Begrensete lese- og skriveferdigheter Begrenset skolebakgrunn og -erfaring Begrenset erfaring med prøvesituasjonen
Spor 1-deltakernes spesielle utfordringer Allemano (2013): A major barrier to assessment of beginner readers seems to be the examination process itself.
Spor 1-deltakernes spesielle utfordringer Ostrosky-Solis et al. (1998): [The very low test scores] can also be due to the fact that these subjects are not used to being tested. [ ] testing itself represents a nonsense situation that illiterate subjects may find surprising and absurd.
Er norskprøven en god prøve for spor 1-deltakere? Prøvesystemet Oppgavene Konsekvensene
Er norskprøven en god prøve for spor 1-deltakere? Utvikling av norskprøven Ytre rammer/politiske bestemmelser for prøvesystemet Faglig frihet innenfor rammene: systemnivå og oppgavenivå Spor 1-lærere har vært tatt med på råd fra starten! Kartlegging i etterkant Analyser av resultater på prøvenivå Analyser av resultater på delprøvenivå Spørreundersøkelse blant spor 1-lærere
Prøvesystemet (ytre rammer) Norskprøven skal bygge på Rammeverket/Læreplanen Prøven skal være digital (lytt, les, skriftlig produksjon) Prøven gjennomføres lokalt (på vo.-sentre, ikke testsentre) Alle skal få et bevis på sine ferdigheter Avsluttende prøve også på A1-nivå Profilert tilbakemelding > de fire ferdighetene målt separat Kandidatene må ta hele prøven første gang Kan deretter ta opp igjen kun delprøver
Prøvesystemet (faglig avgjørelser) Prøver utarbeidet med spor 1-deltakerne i tankene Delvis adaptive prøver i lytte- og leseferdigheter Prøver som dekker to nivåer samtidig i muntlig og skriftlig produksjon (A1-A2, A2-B1, B1-B2) Forutsigbarhet (oppgaveformat går igjen fra prøve til prøve) Tilgjengelige eksempelprøver på nett Mål å unngå skriftlig i lytteprøve og muntlig prøve Mål å unngå hypotetiske/tenkte situasjoner på A1-A2-prøven
Oppgavene Bruk av bilder som utgangspunkt Bruk av bilder som svaralternativer Relevante og ikke-hypotetiske spørsmål
Kartlegging Analyser av prøvedata Begrensninger: Vi vet lite om spor 1-kandidatene fordi: Begrensninger i persondataskjemaet Ikke alle leverer persondataskjema Ikke alle skoler oppgir spor Foreløpig ikke mulig å bruke data fra NIR Analyser kun basert på de med sporinformasjon N=915 registrerte spor 1-kandidater (desember og mai 2015)
Gjennomsnittsresultater fordelt på sporene 4,00 Delprøveresultater fordelt på spor 3,50 3,00 2,50 2,00 1,50 1,00 0,50 Forskjellene er signifikante for alle ferdighetene: Sig. =,000 0,00 LYTTEFERDIGHETER LESEFERDIGHETER MUNTLIG PROD. SKRIFTLIG PROD. SPOR 1 SPOR 2 SPOR 3
Forskjeller mellom spor muntlig produk. 50 45 46,6 41,8 45,9 40 35 30 28,5 31,7 25 20 19,5 15 10 5 6,2 6,3 3,1 0 Spor 1 Spor 2 Spor 3 A1 A2 B1
Forskjeller mellom spor leseferdigheter 90 80 78,1 70 60 50 40 30 42,3 29,6 27,8 48,8 20 10 0 9,9 13,4 13,9 10,9 3,4 1,2 0,4 Spor 1 Spor 2 Spor 3 Under A1 A1 A2 B1
Forskjeller mellom spor lytteferdigheter 80 70 70,8 60 50 50,8 40 39,8 33,5 30 20 28,1 23,9 19,4 10 0 1,4 7,6 2,7 Spor 1 Spor 2 Spor 3 Under A1 A1 A2 B1
Forskjeller mellom spor skriftlig prod. 60 50 50,8 53,7 46,2 42,9 40 33,6 30 20 23,6 19,2 10 8,9 8,1 0 2,2 1,6 0,8 1 0,7 0,4 Spor 1 Spor 2 Spor 3 Ikke grunnlag Under A1 A1 A2 B1
Gamma og signifikans, ferdigheter x spor Gammaverdier Signifikans Muntlig produksjon,326,000 Leseferdigheter,419,000 Lytteferdigheter,410,000 Skriftlig produksjon,443,000
Spor 1-kandidater: Lytte 45 40 39,8 63,7 % fikk A2 eller bedre på lytteprøven 35 30 28,1 25 23,9 20 15 10 5 0 1,4 Under A1 A1 A2 B1
Spor 1-kandidater: Lese 45 42,3 40 35 30 29,6 25 20 15 13,4 10 9,9 5 0 Under A1 A1 A2 B1
Spor 1-kandidater: Lese 45 42,3 40 35 30 29,6 43 % fikk A2 eller bedre på leseprøven 25 20 15 13,4 10 9,9 5 0 Under A1 A1 A2 B1
Spor 1-kandidater: Skriftlig produksjon 60 50 40 50,8 33,6 35,2 % fikk A2 eller bedre på prøven i skriftlig produksjon 30 20 10 8,9 2,2 1,6 0 Ikke grunnlag Under A1 A1 A2 B1
Kartlegging Spørreundersøkelse blant spor 1-lærere Spor 1-læreres synspunkter på: hvordan det nye prøvesystemet fungerer for spor 1- deltakerne hvordan oppgavene i norskprøven fungerer for spor 1- deltakerne konsekvensene av norskprøven for spor 1-deltakerne
Bakgrunnsvariabler 53 spor 1-lærere 87% underviser på spor 1 45% har mer enn 5 års undervisningserfaring 47% har delfag, 28 % årsenhet i norsk som andrespråk 51% har erfaring med prøvegjennomføring for spor 1-kand.
Del 1: Prøvesystemet Bevis Separate Enkelprøver Hele prøven Pareksamen Egen lærer 0 20 40 60 80 100 Helt enig Ganske enig Middels enig Ganske uenig Helt uenig
Del 1: Prøvesystemet Digital Ordbok Adaptiv Nok eks.oppg. Nok inform. Bortkastet nettinfo. 0 20 40 60 80 100 Helt enig Ganske enig Middels enig Ganske uenig Helt uenig
Del 2: Oppgavene i norskprøven Bilder Klikk bilde Bilde skriftlig Bilde muntlig Samtale Lett å forstå 0 10 20 30 40 50 60 70 80 90 100 Helt enig Ganske enig Middels enig Ganske uenig Helt uenig
Del 3: Konsekvensene av norskprøven Motiverende m. prøve Motiverende m. resultat Skremmende Positiv washback Statusheving Prioritet på skolen 0 10 20 30 40 50 60 70 80 90 100 Helt enig Ganske enig Middels enig Ganske uenig Helt uenig
Oppsummering Spor 1-deltakerne gjør det forholdsvis bra på delprøven i lytteferdigheter og i muntlig produksjon Signifikante forskjeller mellom muntlige og skriftlige delprøver > muntlige delprøver forutsetter ikke skriftspråklige ferdigheter Resultater fra lærerundersøkelsen er positiv mht: Alle får bevis, separate delprøver, adaptivitet, bildebruk, informasjon mm. Over 70 % mener norskprøven i sin helhet fungerer godt for spor 1 Flertallet mener den er motiverende og virker positivt på undervisning