Er Norskprøven en god prøve for spor 1-deltakere? Cecilie Hamnes Carlsen Koordinator for det faglige arbeidet med norskprøven Vox, Bergen

Transkript

1 Er Norskprøven en god prøve for spor 1-deltakere? Cecilie Hamnes Carlsen Koordinator for det faglige arbeidet med norskprøven Vox, Bergen Nasjonal konferanse om alfabetisering, Sandefjord sept. 2015

2 Hva er en god prøve for spor 1-deltakere? Kvaliteter ved en prøve Validitet Reliabilitet Positive konsekvenser Praktisk gjennomførbarhet En prøves kvalitet kan ikke ses uavhengig av gruppen den er ment for formålet med prøven Mål at resultatet speiler de ferdighetene vi vil måle er lite påvirket av andre ferdigheter, egenskaper og kunnskaper (eller mangel på andre ferdigheter, egenskaper og kunnskaper)

3 Spor 1-deltakernes spesielle utfordringer Begrensete lese- og skriveferdigheter Begrenset skolebakgrunn og -erfaring Begrenset erfaring med prøvesituasjonen

4 Spor 1-deltakernes spesielle utfordringer Allemano (2013): A major barrier to assessment of beginner readers seems to be the examination process itself.

5 Spor 1-deltakernes spesielle utfordringer Ostrosky-Solis et al. (1998): [The very low test scores] can also be due to the fact that these subjects are not used to being tested. [ ] testing itself represents a nonsense situation that illiterate subjects may find surprising and absurd.

6 Er norskprøven en god prøve for spor 1-deltakere? Prøvesystemet Oppgavene Konsekvensene

7 Er norskprøven en god prøve for spor 1-deltakere? Utvikling av norskprøven Ytre rammer/politiske bestemmelser for prøvesystemet Faglig frihet innenfor rammene: systemnivå og oppgavenivå Spor 1-lærere har vært tatt med på råd fra starten! Kartlegging i etterkant Analyser av resultater på prøvenivå Analyser av resultater på delprøvenivå Spørreundersøkelse blant spor 1-lærere

8 Prøvesystemet (ytre rammer) Norskprøven skal bygge på Rammeverket/Læreplanen Prøven skal være digital (lytt, les, skriftlig produksjon) Prøven gjennomføres lokalt (på vo.-sentre, ikke testsentre) Alle skal få et bevis på sine ferdigheter Avsluttende prøve også på A1-nivå Profilert tilbakemelding > de fire ferdighetene målt separat Kandidatene må ta hele prøven første gang Kan deretter ta opp igjen kun delprøver

9 Prøvesystemet (faglig avgjørelser) Prøver utarbeidet med spor 1-deltakerne i tankene Delvis adaptive prøver i lytte- og leseferdigheter Prøver som dekker to nivåer samtidig i muntlig og skriftlig produksjon (A1-A2, A2-B1, B1-B2) Forutsigbarhet (oppgaveformat går igjen fra prøve til prøve) Tilgjengelige eksempelprøver på nett Mål å unngå skriftlig i lytteprøve og muntlig prøve Mål å unngå hypotetiske/tenkte situasjoner på A1-A2-prøven

10 Oppgavene Bruk av bilder som utgangspunkt Bruk av bilder som svaralternativer Relevante og ikke-hypotetiske spørsmål

11 Kartlegging Analyser av prøvedata Begrensninger: Vi vet lite om spor 1-kandidatene fordi: Begrensninger i persondataskjemaet Ikke alle leverer persondataskjema Ikke alle skoler oppgir spor Foreløpig ikke mulig å bruke data fra NIR Analyser kun basert på de med sporinformasjon N=915 registrerte spor 1-kandidater (desember og mai 2015)

12 Gjennomsnittsresultater fordelt på sporene 4,00 Delprøveresultater fordelt på spor 3,50 3,00 2,50 2,00 1,50 1,00 0,50 Forskjellene er signifikante for alle ferdighetene: Sig. =,000 0,00 LYTTEFERDIGHETER LESEFERDIGHETER MUNTLIG PROD. SKRIFTLIG PROD. SPOR 1 SPOR 2 SPOR 3

13 Forskjeller mellom spor muntlig produk ,6 41,8 45, ,5 31, , ,2 6,3 3,1 0 Spor 1 Spor 2 Spor 3 A1 A2 B1

14 Forskjeller mellom spor leseferdigheter , ,3 29,6 27,8 48, ,9 13,4 13,9 10,9 3,4 1,2 0,4 Spor 1 Spor 2 Spor 3 Under A1 A1 A2 B1

15 Forskjeller mellom spor lytteferdigheter , , ,8 33, ,1 23,9 19, ,4 7,6 2,7 Spor 1 Spor 2 Spor 3 Under A1 A1 A2 B1

16 Forskjeller mellom spor skriftlig prod ,8 53,7 46,2 42, , ,6 19,2 10 8,9 8,1 0 2,2 1,6 0,8 1 0,7 0,4 Spor 1 Spor 2 Spor 3 Ikke grunnlag Under A1 A1 A2 B1

17 Gamma og signifikans, ferdigheter x spor Gammaverdier Signifikans Muntlig produksjon,326,000 Leseferdigheter,419,000 Lytteferdigheter,410,000 Skriftlig produksjon,443,000

18 Spor 1-kandidater: Lytte ,8 63,7 % fikk A2 eller bedre på lytteprøven , , ,4 Under A1 A1 A2 B1

19 Spor 1-kandidater: Lese 45 42, , ,4 10 9,9 5 0 Under A1 A1 A2 B1

20 Spor 1-kandidater: Lese 45 42, ,6 43 % fikk A2 eller bedre på leseprøven ,4 10 9,9 5 0 Under A1 A1 A2 B1

21 Spor 1-kandidater: Skriftlig produksjon ,8 33,6 35,2 % fikk A2 eller bedre på prøven i skriftlig produksjon ,9 2,2 1,6 0 Ikke grunnlag Under A1 A1 A2 B1

22 Kartlegging Spørreundersøkelse blant spor 1-lærere Spor 1-læreres synspunkter på: hvordan det nye prøvesystemet fungerer for spor 1- deltakerne hvordan oppgavene i norskprøven fungerer for spor 1- deltakerne konsekvensene av norskprøven for spor 1-deltakerne

23 Bakgrunnsvariabler 53 spor 1-lærere 87% underviser på spor 1 45% har mer enn 5 års undervisningserfaring 47% har delfag, 28 % årsenhet i norsk som andrespråk 51% har erfaring med prøvegjennomføring for spor 1-kand.

24 Del 1: Prøvesystemet Bevis Separate Enkelprøver Hele prøven Pareksamen Egen lærer Helt enig Ganske enig Middels enig Ganske uenig Helt uenig

25 Del 1: Prøvesystemet Digital Ordbok Adaptiv Nok eks.oppg. Nok inform. Bortkastet nettinfo Helt enig Ganske enig Middels enig Ganske uenig Helt uenig

26 Del 2: Oppgavene i norskprøven Bilder Klikk bilde Bilde skriftlig Bilde muntlig Samtale Lett å forstå Helt enig Ganske enig Middels enig Ganske uenig Helt uenig

27 Del 3: Konsekvensene av norskprøven Motiverende m. prøve Motiverende m. resultat Skremmende Positiv washback Statusheving Prioritet på skolen Helt enig Ganske enig Middels enig Ganske uenig Helt uenig

28 Oppsummering Spor 1-deltakerne gjør det forholdsvis bra på delprøven i lytteferdigheter og i muntlig produksjon Signifikante forskjeller mellom muntlige og skriftlige delprøver > muntlige delprøver forutsetter ikke skriftspråklige ferdigheter Resultater fra lærerundersøkelsen er positiv mht: Alle får bevis, separate delprøver, adaptivitet, bildebruk, informasjon mm. Over 70 % mener norskprøven i sin helhet fungerer godt for spor 1 Flertallet mener den er motiverende og virker positivt på undervisning