Er norskprøven en god prøve? Nasjonal konferanse for ledere i kommunal voksenopplæring, Scandic Fornebu, 9.-10. februar 2015 Dr. Cecilie Hamnes Carlsen, Seniorrådgiver, Vox, Bergen
Corrigan 2013 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 2
Hva er en god prøve? En god prøve måler det den skal (validitet) gir stabile og pålitelige resultater (reliabilitet) virker positivt tilbake på undervisning og læring (washback) gir alle kandidater samme muligheter til å vise sine ferdigheter (rettferdighet/«fairness») har positive konsekvenser for enkeltindivider har positive konsekvenser for samfunnet er praktisk å gjennomføre Messick 1989, 1995 Bachman & Palmer 1990, Alderson & Banerjee 2001 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 3
Hva er en god prøve? [a] language test is only as good as the theory of language on which it is based McNamara 2000 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 4
Hva er en god prøve? En god prøve har et solid teoretisk og empirisk fundament teorier/forskning på hva språkferdigheter er teorier/forskning på hvordan voksne lærer et nytt språk teorier/forskning på hva en god prøve er Rammeverkets beskrivelser av ferdighetsnivåer Læreplanens målbeskrivelser Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 5
Hvordan utvikle en god prøve? Testutviklere med faglig kompetanse og lang erfaring «Lytt til erfarne fjellfolk» - innspill fra lærere Pilotering av lytte- og leseoppgaver Analyser av piloteringsdata og data fra reelle avviklinger Sensoropplæring muntlig: Lokal vurdering, dvd er, kriterier og forklaring til kriteriene, ressurspersonordningen Sensoropplæring skriftlig: Sentral vurdering, erfarent sensorkorps, jevnlige samlinger, tilbakemeldinger Internasjonalt samarbeid (ALTE, EALTA, ILTA) ALTEs minsteskrav for testutvikling Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 6
Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 7
Eksempler på ALTES minstekrav for testutvikling 4. Prøvene er sammenlignbare fra den ene avviklingen til den andre når det gjelder innhold, stabilitet, likhet og bruk av karakterskalaen. 8. Prøveadministrasjonen har hensiktsmessige støttesystemer tilgjengelig ved testavviklingen (for eksempel direktelinje på telefon, nettjenester, osv). 14. Det samles inn data på itemnivå fra et passende utvalg kandidater, og data analyseres med tanke på å beregne vanskegrad, diskrimineringsfaktor, reliabilitet og standard målefeil. 17. De prøveansvarlige gir brukerne nødvendig informasjon slik at de kan forstå resultatene og bruke dem på en hensiktsmessig måte. Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 8
Hvordan kvalitetssikre (validere) en prøve? A priori & a posteriori validering A priori Før prøveavvikling Teoretisk Empirisk (piloteringsdata) A posteriori Etter prøveavviklingen Empirisk (relle data) (Weir 1988, 2005) Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 9
Hvordan kvalitetssikre en prøve? En prøve vil aldri bli helt feilfri! Avhengig av gode systemer for å oppdage og håndtere feil Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 10
Hvordan kvalitetssikre en prøve? En prøve vil aldri bli helt feilfri! En god prøve har gode systemer for å oppdage og håndtere feil Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 11
Oppdage feil Kontroll av mulige lagringsfeil i delprøver (lytt, les, skriftlig framstilling) Skriftlig sensur > oppmann ved uenighet Kontroll av skriftlig sensur (ikke grunnlag, Under A1, mulig fusk, 3 ulike vurderinger) Oppmelding til rett nivå, skriftlig og muntlig prøve Totalt 190 lagringsfeil av 17 008 gjennomførte delprøver (les:98, lytt:15, skriv: 77) > feilprosent på 1,1 % Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 12
Håndtere feil Mulighet for klage på gjennomføring (alle delprøver) Mulighet for klage på resultat på skriftlig framstilling Tilbud om ny gratis prøve Utstede nye prøvebevis Åpenhet rundt antall og typer feil (informasjon ut) Finne feilkilder Eliminere feilkilder om mulig («systematic error») Alltid noen restfeil («unsystematic error») Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 13
Hva er norskprøvens styrker? Digital løsning Adaptivitet kandidatene får en prøve tilpasset deres nivå Automatisk innlegging av resultater for les og lytt Automatisk retting av delprøvene les og lytt Bedre mulighet for å avsløre feil og juks Data som hjelpemiddel Alle skal få et prøvebevis Måler ulike delferdigheter isolert Mulighet til å ta opp igjen delferdigheter Mulighet for de med dårlige lese-/skriveferdigheter å skåre bra på lytteprøve og muntlig produksjon Erfarent sensorkorps for skriftlig Rammeverket & læreplan & prøver går hånd i hånd Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 14
Hva er norskprøvens utfordringer? Tekniske løsninger PAD Privatistportalen Sensorsidene Stabilitet i lagring Oppmelding til riktig prøve i skriftlig og muntlig Pålitelighet og stabilitet i muntlig prøve sensurert lokalt Analyse og tilbakemelding på skriftlig sensur Resultatbehandling og resultatformidling Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 15
Hvordan tolke resultatene? Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 16
Noen innledende betraktninger Resultater på norskprøven vs. Norskprøve 2 og 3 Kan ikke sammenlikne prosentene (høyere beståttprosenter på NP enn på norskprøven) Ulik kandidatpopulasjon (Spor 1, flere påmeldte til norskprøven) Resultater i ulike delferdighetene Bedre resultater på lytt og les, enn på skriftlig framstilling og muntlig produksjon Bedre resultater i muntlige ferdigheter (lytte og snakke) enn skriftlige ferdigheter Vanlig profil Resultater vs. eksempelprøver og pilotering Eksempelprøven på nett er ikke en pekepinn på nivå (ikke pilotert, kjent) Piloteringsoppgavene har ikke kjent vanskegrad når de piloteres Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 17
Og noen innledende forbehold Utilstrekkelig datagrunnlag foreløpig Har ikke tilstrekkelig persondata koblet med resultater Har ikke spor-informasjon for alle Har ikke resultater i forhold til prøvepåmelding på skolenivå Nye NIR skal være klar i mars 2015 Mye av forklaringen på resultatene kan ligge i oppmeldte kandidater Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 18
Resultater på landsbasis: 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % LYTTE 56 % 36 % 8 % 0 % 0 % LESE 62 % 24 % 12 % 2 % 0 % SKRIVE 20 % 55 % 23 % 1 % 1 %
Resultater på landsbasis: & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % 40,2 % 52,5 % 6,9% 0 % 0,2 % LYTTE 56 % 36 % 8 % 0 % 0 % 63,6 % 28,9 % 7,1 % 0,4 % LESE 62 % 24 % 12 % 2 % 0 % 63,6 % 23,2 % 10,8 % 2,4 % SKRIVE 20 % 55 % 23 % 1 % 1 % 24,9 % 56,5 % 16,1 % 1,2 % 1,4 %
Resultater på landsbasis: & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % 40,2 % 52,5 % 6,9% 0 % 0,2 % LYTTE 56 % 36 % 8 % 0 % 0 % 63,6 % 28,9 % 7,1 % 0,4 % LESE 62 % 24 % 12 % 2 % 0 % 63,6 % 23,2 % 10,8 % 2,4 % SKRIVE 20 % 55 % 23 % 1 % 1 % 24,9 % 56,5 % 16,1 % 1,2 % 1,4 %
Resultater på landsbasis: & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % 40,2 % 52,5 % 6,9% 0 % 0,2 % LYTTE 56 % 36 % 8 % 0 % 0 % 63,6 % 28,9 % 7,1 % 0,4 % LESE 62 % 24 % 12 % 2 % 0 % 63,6 % 23,2 % 10,8 % 2,4 % SKRIVE 20 % 55 % 23 % 1 % 1 % 24,9 % 56,5 % 16,1 % 1,2 % 1,4 %
Resultater på landsbasis: & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % 40,2 % 52,5 % 6,9% 0 % 0,2 % LYTTE 56 % 36 % 8 % 0 % 0 % 63,6 % 28,9 % 7,1 % 0,4 % LESE 62 % 24 % 12 % 2 % 0 % 63,6 % 23,2 % 10,8 % 2,4 % SKRIVE 20 % 55 % 23 % 1 % 1 % 24,9 % 56,5 % 16,1 % 1,2 % 1,4 %
Resultater på landsbasis: & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % 40,2 % 52,5 % 6,9% 0 % 0,2 % LYTTE 56 % 36 % 8 % 0 % 0 % 63,6 % 28,9 % 7,1 % 0,4 % LESE 62 % 24 % 12 % 2 % 0 % 63,6 % 23,2 % 10,8 % 2,4 % SKRIVE 20 % 55 % 23 % 1 % 1 % 24,9 % 56,5 % 16,1 % 1,2 % 1,4 %
Oppsummerte forskjeller fra vår til vinter Forholdsvis like resultater vår og vinter Kan bety: at populasjonen ikke har forandret seg at prøvene er like vanskelige fra gang til gang at sensorene vurderer stabilt fra gang til gang Bedre resultater i vinter enn vår Flere kandidater får B1 (gjelder alle delferdigheter) Færre kandidater får A1 (gleder alle delferdigheter) Leseprøven varierer minst fra vår til vinter Lytt varierer mest (etterfulgt av skriftlig og muntlig) Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 25
Resultater fordelt på Spor, desember 14 Merk: Spor registrert på 2081 kandidater, tilsvarende 33,6 % Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 26
Resultater fordelt på spor LYTTEFERDIGHETER 80 70 60 50 40 30 SPOR 1 SPOR 2 SPOR 3 20 10 0 Under A1 A1 A2 B1 Beste resultat, des.14 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 27
Resultater fordelt på spor LESEFERDIGHETER 90 80 70 60 50 40 SPOR 1 SPOR 2 SPOR 3 30 20 10 0 Beste resultat, des.14 Under A1 A1 A2 B1 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 28
Resultater fordelt på spor SKRIFTLIG FRAMSTILLING 70 60 50 40 30 20 SPOR 1 SPOR 2 SPOR 3 10 0 IG Under A1 A1 A2 B1 Beste resultat, des.14 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 29
Resultater fordelt på spor 70 MUNTLIG SPRÅKBRUK 60 50 40 30 SPOR 1 SPOR 2 SPOR 3 20 10 0 Beste resultat, des.14 Under A1 A1 A2 B1 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 30
Resultater fordelt på spor 70 MUNTLIG SPRÅKBRUK Denne prosenten bør kunne bli høyere! 60 50 40 30 SPOR 1 SPOR 2 SPOR 3 20 10 0 Beste resultat, des.14 Under A1 A1 A2 B1 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 31
Er norskprøven en god prøve? Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 32
Er norskprøven en god prøve? Ekstern kvalitetskontroll ALTEs audit-system Planlagt i 2016 Kvalitetsstempel Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 33
Planer fram mot B2-nivået Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 34
Hva er gjort så langt? Møte med referansegruppe for B2 Vurderingskriterier muntlig og skriftlig Muntlig prøveformat Innspilling av muntlig prøve B1-B2 er ferdig Eksempel-DVD kursdeltakere kan se Eksempel-DVD til intern bruk på skolene før muntlig prøve Eksempel-DVD til ressurspersoner til bruk i opplæring Forelesning om B2-nivået til nettkurset Formater til lytt og les Eksempelprøve bokmål Piloteringsversjoner B1-B2 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 35
Hva gjenstår? Format for skriftlig prøve Utprøving/ innsamling av eksempeltekster skriftlig Analyse av piloteringsdata Sette sammen prøvesett lytt og les Egenvurderingsmateriell for oppmelding til rett prøve Eksempelprøver nynorsk Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 36
Opplæring mot B2 Opplæringskonferanse om muntlig 2.-4. mars ALTE-konferansedag 8. mai fokus på B2 og C1-nivåene Sensoropplæring skriftlig sensorer, november B2 slippfest 1. september! Nettkursforelesning og B1-B2-eksempler Intern-DVD for lærerne Eksempel-DVD for kursdeltakerne Vurderingskriterier muntlig og skriftlig på nett Egenvurderingsmateriell mot B1-B2-prøven Eksempelprøve nynorsk Informasjon på vox.no Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 37
B2-prøvens status og funksjon Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 38
Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 39
Takk for meg! Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen 11.02.2015 Side 40