Nytt om prøvene. Ingun Westlund & Cecilie Hamnes Carlsen. Nasjonal lederkonferanse 2017 Oslo februar

Transkript

1 Nytt om prøvene Ingun Westlund & Cecilie Hamnes Carlsen Nasjonal lederkonferanse 2017 Oslo februar

2 Nytt om prøvene Ingun Westlund & Cecilie Hamnes Carlsen Nasjonal lederkonferanse 2017 Oslo februar

3 En prøve finnes ikke i et vakum En prøve påvirkes av utdanningspolitikken av integreringspolitikken En prøve påvirker Enkeltmenneskers fremtid Deres utdanningsmuligheter Deres muligheter på arbeidsmarkedet Deres muligheter for demokratisk deltakelse Deres muligheter for en trygg fremtid Samfunnet

4 Økte krav om prøve > økte krav til kvalitet Fire avviklinger i året Ekstraordinær avvikling av delprøve i muntlig kommunikasjon Utredning av prøvestedsordningen Sertifisering av sensorer til muntlig prøve Audit internasjonal kvalitetsvurdering av norskprøven i 2017 Korrelasjons- og ekvivalensundersøkelsen 2017 Spor 1 mer findelt registrering i PAD Behov for å innhent av persondata

5 Flere avviklinger i året I dag; to avviklinger i året Lenge å vente på neste prøve for de som trenger prøvebevis Statsbudsjettet for 2017: Økning i budsjettet på prøvefeltet For å møte endringene i statsborgerloven og utlendingsloven i forbindelse med krav til permanent oppholdstillatelse Starte arbeidet med økt antall prøveavviklinger i året (Tidligst fra 2018)

6 Ekstraordinær avvikling av muntlig prøve På grunn av nye krav ved søknad om permanent oppholdstillatelse (A1) mars 2017 En dag per prøvested Dersom pågangen er for stor til å avvikle prøven på én dag ta kontakt med Kompetanse Norge Primært for kandidater som skal søke permanent opphold, som ikke har A1 eller bedre på delprøven i muntlig kommunikasjon, og som ikke kan vente til sommerprøven Kandidater kan også få resultat over A1 og A2

7 Utredning av prøvestedsordningen Oppdrag fra Justisdepartementet Utrede om dagens ordning med avvikling av prøvene er den mest hensiktsmessige Vurdere ulike alternativer for å øke kvalitet og kapasitet Vurdere juridiske, økonomiske og administrative konsekvenser av de ulike alternativene

8 Sertifisering av sensorer til muntlig prøve Bakgrunn: Delprøven i muntlig kommunikasjon har blitt «high-stake» Initiativ fra prøveutviklerne Krav for permanent opphold (A1) Krav for statsborgerskap (A2) Krav for opptak til høyere utdanning (B2) sammen med øvrige delprøver Krav for inntak til arbeidsmarkedet (ofte B1 eller B2)

9 Sertifisering av sensorer til muntlig prøve Delprøven i muntlig kommunikasjon er den mest usikre delen av prøven Delprøven vurderes gjennomføres og vurderes lokalt på skolene Delprøven spilles ikke inn Kandidatene kan ikke klage på prøveresultatet Oppgavene kan ikke piloteres i stor skala Mange hundre sensorer er med å vurdere Vi har ikke data på individnivå (hver enkelt sensors vurderinger) Vi har liten kjennskap til kvaliteten på sensur av muntlig

10 Sertifisering av sensorer til muntlig prøve Hvordan vi har jobbet for å sikre kvaliteten på vurdering av muntlig Dvd er med vurderinger til bruk i opplæring internt på skolene Ressursperson («fyrtårn»)-ordningen opplæringsopplegg til eksterne kurs Fra : ca. 80 ressurspersoner fra hele landet Fra 2014: utvidelse til ca. 350 ressurspersoner Fra 2016: Det har ikke blitt gitt opplæring, men skolene kan bruke ressurspersonene (Vurderer å gjenoppta ordningen hvis vi får færre prøvesteder) Nettkurs i vurdering av muntlig prøve

11

12 Sertifisering av sensorer til muntlig prøve To formål: 1) Å sikre at alle sensorene (eksaminatorer + sensorer) holder høy kvalitet 2) Å samle inn vurderingsdata på individnivå for å analysere sensorstrenghet og sensorpålitelighet

13 Sertifisering av sensorer til muntlig prøve Online sertifisering Sensorene logger på med sin id (sensornummer) Sertifiseringen består av to deler: En kunnskapsprøver om Rammeverket, muntlig prøve, vurdering (basert på nettkurset) 8-10 kandidatklipp som skal vurderes Skoleleder oppfordres til å bruke sertifiserte sensorer Kompetanse Norge får innhentet data for å gjøre sensoranalyser på muntlig Skal være klart til august 2017

14 Audit internasjonal kvalitetsvurdering

15 ALTE Association of Language Testers in Europe

16 ALTEs praksiskodeks (Code of Practice) Retningslinjer ALTE-medlemmene arbeider i henhold til ALTE-medlemmene forplikter seg til å sikre kandidatenes rettigheter ved å etterstrebe kvalitetskravene i Praksiskodeksen på fire områder: Utvikle prøver Tolke prøveresultat Arbeide for rettferdighet Informere kandidater

17 Audit bygger på praksiskodeksen Kvalitetskontroll av medleminstitusjonenes prøver ALTE Q-mark kvalitetsstempel Fem års varighet Et krav for å få være fullverdig medlem i ALTE

18 Å sikre kvalitet gjennom auditsystemet ALTE-medlemmene argumenterer for at prøvene holder tilstrekkelig kvalitet i forhold til prøvens bruk og funksjon Audit har to funksjoner Kvalitetskontroll blir minimumskravene møtt? Kvalitetsforbedring anbefalinger fra spesialister om hva som kan forbedres

19 Minstekrav til kvalitet for ALTE-prøver Testutvikling Informasjon til brukerne Administrasjon & Logistikk Testanalyse Retting & Vurdering

20 Resultat

21 Korrelasjons- og ekvivalensundersøkelsen 2017

22 Bakgrunn Norskprøven gir grunnlag for opptak til høyere utdanning Krav: B2 i alle de fire delferdighetene (lytte, lese, skrive og snakke) Norskprøven på nivå B2 har samme funksjon som Test i norsk høyere nivå (Bestått, skriftlig del, men ikke muntlig) Trinn 3-eksamen (karakteren E)

23 Korrelasjonsundersøkelsen 2006 T3-exam Bergenstest = F E All < % % % % % % All % % %

24 Korrelasjonsundersøkelsen 2006 T3-exam Bergenstest = F E All < % % % % % % All % % %

25 Korrelasjonsundersøkelsen 2006 T3-exam Bergenstest = F E All < % % % % % % All % % %

26 Korrelasjonsundersøkelsen 2006 T3-exam Bergenstest = F E All < % % % % % % All % % %

27 Formål Overordnet mål: Å bidra til at opptakskrav til høyere utdanning og omregning til norsk karakterskapa er rettferdig Undersøke samsvar mellom opptakskravene (Norskprøven (B2), HNtesten, Trinn 3-eksamen) Er det like vanskelig/lett å klare opptakskravet på de ulike prøvene? Omregnes resultatene fra HN-testen, Norskprøven og Trinn 3 likt til den norske karakterskalaen?

28 Metode Trinn 3-studenter fra UiB, UiO og NTNU gikk samtidig opp til Norskprøven (n= 53) Trinn 3-studenter fra UiB, UiO og NTNU gikk samtidig opp til Test i norsk høyere nivå (n=58) Kandidater fra voksenopplæringen gikk samtidig opp til Test i norsk høyere nivå (n=25) Alle prøvene teller Prøvene vurderes som vanlig

29 Analyser og resultater Utføres av Samfunnsøkonomisk Analyse Rapport foreligger i løpet av våren

30 Spor 1 mer findelt registrering i PAD Læreplanen: Sporinndelingen varierer fra kommune til kommune Deltakere med liten eller ingen skolegang Deltakere som ikke kan lese og skrive Deltakere som kan et annet alfabet enn det latinske Dette gjør det vanskelig å analysere på «ekte» Spor 1-kandidater Vi jobber med en finere inndeling av gruppen ved registrering i PAD Mer informasjon kommer!

31 Viktigheten av persondata Persondataskjema Frivillig Viktig at skolene oppfordrer kandidatene Spor 1-deltakere trenger hjelp til å fylle ut skjemaet! Kan tas så snart kandidatene er registrert og har fått kandidatnummer rett før prøven rett etter prøven

32 Viktigheten av persondata Favoriseres/diskrimineres noen kandidatgrupper? Fungerer oppgavene sånn som vi ønsker/tror? Måler prøven det vi ønsker at den skal måle? Hvordan går det med de med liten skolebakgrunn? Hvor mange av XX gruppe klarer kravene for permanent opphold, statsborgerskap, opptak til høyere utdanning, krav for arbeidsmarkedet osv. Hvilke faktorer påvirker språkinnlæring/resultat på prøven

33

34 Spørsmål?