Er norskprøven en god prøve?

Transkript

1 Er norskprøven en god prøve? Nasjonal konferanse for ledere i kommunal voksenopplæring, Scandic Fornebu, februar 2015 Dr. Cecilie Hamnes Carlsen, Seniorrådgiver, Vox, Bergen

2 Corrigan 2013 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 2

3 Hva er en god prøve? En god prøve måler det den skal (validitet) gir stabile og pålitelige resultater (reliabilitet) virker positivt tilbake på undervisning og læring (washback) gir alle kandidater samme muligheter til å vise sine ferdigheter (rettferdighet/«fairness») har positive konsekvenser for enkeltindivider har positive konsekvenser for samfunnet er praktisk å gjennomføre Messick 1989, 1995 Bachman & Palmer 1990, Alderson & Banerjee 2001 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 3

4 Hva er en god prøve? [a] language test is only as good as the theory of language on which it is based McNamara 2000 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 4

5 Hva er en god prøve? En god prøve har et solid teoretisk og empirisk fundament teorier/forskning på hva språkferdigheter er teorier/forskning på hvordan voksne lærer et nytt språk teorier/forskning på hva en god prøve er Rammeverkets beskrivelser av ferdighetsnivåer Læreplanens målbeskrivelser Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 5

6 Hvordan utvikle en god prøve? Testutviklere med faglig kompetanse og lang erfaring «Lytt til erfarne fjellfolk» - innspill fra lærere Pilotering av lytte- og leseoppgaver Analyser av piloteringsdata og data fra reelle avviklinger Sensoropplæring muntlig: Lokal vurdering, dvd er, kriterier og forklaring til kriteriene, ressurspersonordningen Sensoropplæring skriftlig: Sentral vurdering, erfarent sensorkorps, jevnlige samlinger, tilbakemeldinger Internasjonalt samarbeid (ALTE, EALTA, ILTA) ALTEs minsteskrav for testutvikling Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 6

7 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 7

8 Eksempler på ALTES minstekrav for testutvikling 4. Prøvene er sammenlignbare fra den ene avviklingen til den andre når det gjelder innhold, stabilitet, likhet og bruk av karakterskalaen. 8. Prøveadministrasjonen har hensiktsmessige støttesystemer tilgjengelig ved testavviklingen (for eksempel direktelinje på telefon, nettjenester, osv). 14. Det samles inn data på itemnivå fra et passende utvalg kandidater, og data analyseres med tanke på å beregne vanskegrad, diskrimineringsfaktor, reliabilitet og standard målefeil. 17. De prøveansvarlige gir brukerne nødvendig informasjon slik at de kan forstå resultatene og bruke dem på en hensiktsmessig måte. Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 8

9 Hvordan kvalitetssikre (validere) en prøve? A priori & a posteriori validering A priori Før prøveavvikling Teoretisk Empirisk (piloteringsdata) A posteriori Etter prøveavviklingen Empirisk (relle data) (Weir 1988, 2005) Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 9

10 Hvordan kvalitetssikre en prøve? En prøve vil aldri bli helt feilfri! Avhengig av gode systemer for å oppdage og håndtere feil Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 10

11 Hvordan kvalitetssikre en prøve? En prøve vil aldri bli helt feilfri! En god prøve har gode systemer for å oppdage og håndtere feil Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 11

12 Oppdage feil Kontroll av mulige lagringsfeil i delprøver (lytt, les, skriftlig framstilling) Skriftlig sensur > oppmann ved uenighet Kontroll av skriftlig sensur (ikke grunnlag, Under A1, mulig fusk, 3 ulike vurderinger) Oppmelding til rett nivå, skriftlig og muntlig prøve Totalt 190 lagringsfeil av gjennomførte delprøver (les:98, lytt:15, skriv: 77) > feilprosent på 1,1 % Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 12

13 Håndtere feil Mulighet for klage på gjennomføring (alle delprøver) Mulighet for klage på resultat på skriftlig framstilling Tilbud om ny gratis prøve Utstede nye prøvebevis Åpenhet rundt antall og typer feil (informasjon ut) Finne feilkilder Eliminere feilkilder om mulig («systematic error») Alltid noen restfeil («unsystematic error») Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 13

14 Hva er norskprøvens styrker? Digital løsning Adaptivitet kandidatene får en prøve tilpasset deres nivå Automatisk innlegging av resultater for les og lytt Automatisk retting av delprøvene les og lytt Bedre mulighet for å avsløre feil og juks Data som hjelpemiddel Alle skal få et prøvebevis Måler ulike delferdigheter isolert Mulighet til å ta opp igjen delferdigheter Mulighet for de med dårlige lese-/skriveferdigheter å skåre bra på lytteprøve og muntlig produksjon Erfarent sensorkorps for skriftlig Rammeverket & læreplan & prøver går hånd i hånd Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 14

15 Hva er norskprøvens utfordringer? Tekniske løsninger PAD Privatistportalen Sensorsidene Stabilitet i lagring Oppmelding til riktig prøve i skriftlig og muntlig Pålitelighet og stabilitet i muntlig prøve sensurert lokalt Analyse og tilbakemelding på skriftlig sensur Resultatbehandling og resultatformidling Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 15

16 Hvordan tolke resultatene? Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 16

17 Noen innledende betraktninger Resultater på norskprøven vs. Norskprøve 2 og 3 Kan ikke sammenlikne prosentene (høyere beståttprosenter på NP enn på norskprøven) Ulik kandidatpopulasjon (Spor 1, flere påmeldte til norskprøven) Resultater i ulike delferdighetene Bedre resultater på lytt og les, enn på skriftlig framstilling og muntlig produksjon Bedre resultater i muntlige ferdigheter (lytte og snakke) enn skriftlige ferdigheter Vanlig profil Resultater vs. eksempelprøver og pilotering Eksempelprøven på nett er ikke en pekepinn på nivå (ikke pilotert, kjent) Piloteringsoppgavene har ikke kjent vanskegrad når de piloteres Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 17

18 Og noen innledende forbehold Utilstrekkelig datagrunnlag foreløpig Har ikke tilstrekkelig persondata koblet med resultater Har ikke spor-informasjon for alle Har ikke resultater i forhold til prøvepåmelding på skolenivå Nye NIR skal være klar i mars 2015 Mye av forklaringen på resultatene kan ligge i oppmeldte kandidater Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 18

19 Resultater på landsbasis: 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % LYTTE 56 % 36 % 8 % 0 % 0 % LESE 62 % 24 % 12 % 2 % 0 % SKRIVE 20 % 55 % 23 % 1 % 1 %

20 Resultater på landsbasis: & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % 40,2 % 52,5 % 6,9% 0 % 0,2 % LYTTE 56 % 36 % 8 % 0 % 0 % 63,6 % 28,9 % 7,1 % 0,4 % LESE 62 % 24 % 12 % 2 % 0 % 63,6 % 23,2 % 10,8 % 2,4 % SKRIVE 20 % 55 % 23 % 1 % 1 % 24,9 % 56,5 % 16,1 % 1,2 % 1,4 %

21 Resultater på landsbasis: & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % 40,2 % 52,5 % 6,9% 0 % 0,2 % LYTTE 56 % 36 % 8 % 0 % 0 % 63,6 % 28,9 % 7,1 % 0,4 % LESE 62 % 24 % 12 % 2 % 0 % 63,6 % 23,2 % 10,8 % 2,4 % SKRIVE 20 % 55 % 23 % 1 % 1 % 24,9 % 56,5 % 16,1 % 1,2 % 1,4 %

22 Resultater på landsbasis: & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % 40,2 % 52,5 % 6,9% 0 % 0,2 % LYTTE 56 % 36 % 8 % 0 % 0 % 63,6 % 28,9 % 7,1 % 0,4 % LESE 62 % 24 % 12 % 2 % 0 % 63,6 % 23,2 % 10,8 % 2,4 % SKRIVE 20 % 55 % 23 % 1 % 1 % 24,9 % 56,5 % 16,1 % 1,2 % 1,4 %

23 Resultater på landsbasis: & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % 40,2 % 52,5 % 6,9% 0 % 0,2 % LYTTE 56 % 36 % 8 % 0 % 0 % 63,6 % 28,9 % 7,1 % 0,4 % LESE 62 % 24 % 12 % 2 % 0 % 63,6 % 23,2 % 10,8 % 2,4 % SKRIVE 20 % 55 % 23 % 1 % 1 % 24,9 % 56,5 % 16,1 % 1,2 % 1,4 %

24 Resultater på landsbasis: & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert SNAKKE 35 % 52 % 9 % 0 % 3 % 40,2 % 52,5 % 6,9% 0 % 0,2 % LYTTE 56 % 36 % 8 % 0 % 0 % 63,6 % 28,9 % 7,1 % 0,4 % LESE 62 % 24 % 12 % 2 % 0 % 63,6 % 23,2 % 10,8 % 2,4 % SKRIVE 20 % 55 % 23 % 1 % 1 % 24,9 % 56,5 % 16,1 % 1,2 % 1,4 %

25 Oppsummerte forskjeller fra vår til vinter Forholdsvis like resultater vår og vinter Kan bety: at populasjonen ikke har forandret seg at prøvene er like vanskelige fra gang til gang at sensorene vurderer stabilt fra gang til gang Bedre resultater i vinter enn vår Flere kandidater får B1 (gjelder alle delferdigheter) Færre kandidater får A1 (gleder alle delferdigheter) Leseprøven varierer minst fra vår til vinter Lytt varierer mest (etterfulgt av skriftlig og muntlig) Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 25

26 Resultater fordelt på Spor, desember 14 Merk: Spor registrert på 2081 kandidater, tilsvarende 33,6 % Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 26

27 Resultater fordelt på spor LYTTEFERDIGHETER SPOR 1 SPOR 2 SPOR Under A1 A1 A2 B1 Beste resultat, des.14 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 27

28 Resultater fordelt på spor LESEFERDIGHETER SPOR 1 SPOR 2 SPOR Beste resultat, des.14 Under A1 A1 A2 B1 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 28

29 Resultater fordelt på spor SKRIFTLIG FRAMSTILLING SPOR 1 SPOR 2 SPOR IG Under A1 A1 A2 B1 Beste resultat, des.14 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 29

30 Resultater fordelt på spor 70 MUNTLIG SPRÅKBRUK SPOR 1 SPOR 2 SPOR Beste resultat, des.14 Under A1 A1 A2 B1 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 30

31 Resultater fordelt på spor 70 MUNTLIG SPRÅKBRUK Denne prosenten bør kunne bli høyere! SPOR 1 SPOR 2 SPOR Beste resultat, des.14 Under A1 A1 A2 B1 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 31

32 Er norskprøven en god prøve? Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 32

33 Er norskprøven en god prøve? Ekstern kvalitetskontroll ALTEs audit-system Planlagt i 2016 Kvalitetsstempel Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 33

34 Planer fram mot B2-nivået Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 34

35 Hva er gjort så langt? Møte med referansegruppe for B2 Vurderingskriterier muntlig og skriftlig Muntlig prøveformat Innspilling av muntlig prøve B1-B2 er ferdig Eksempel-DVD kursdeltakere kan se Eksempel-DVD til intern bruk på skolene før muntlig prøve Eksempel-DVD til ressurspersoner til bruk i opplæring Forelesning om B2-nivået til nettkurset Formater til lytt og les Eksempelprøve bokmål Piloteringsversjoner B1-B2 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 35

36 Hva gjenstår? Format for skriftlig prøve Utprøving/ innsamling av eksempeltekster skriftlig Analyse av piloteringsdata Sette sammen prøvesett lytt og les Egenvurderingsmateriell for oppmelding til rett prøve Eksempelprøver nynorsk Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 36

37 Opplæring mot B2 Opplæringskonferanse om muntlig mars ALTE-konferansedag 8. mai fokus på B2 og C1-nivåene Sensoropplæring skriftlig sensorer, november B2 slippfest 1. september! Nettkursforelesning og B1-B2-eksempler Intern-DVD for lærerne Eksempel-DVD for kursdeltakerne Vurderingskriterier muntlig og skriftlig på nett Egenvurderingsmateriell mot B1-B2-prøven Eksempelprøve nynorsk Informasjon på vox.no Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 37

38 B2-prøvens status og funksjon Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 38

39 Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 39

40 Takk for meg! Er norskprøven en god prøve? Dr. Cecilie Hamnes Carlsen Side 40