Standardsetting Læringsstøttande prøvar i engelsk for VG1 Rapportering på skalaen til Det felles europeiske rammeverket for språk Eli Moe, Craig Grocott, Hildegunn Lahlum Helness, Norman Verhelst
Læringsstøttande prøvar i engelsk Tre frivillige prøvar for VG1 Lytting Lesing Use of English
Tilbakemelding Tal på rette svar Meistringsnivå (5) Nivå på det europeiske rammeverket
Det europeiske rammeverket Nivå C2 C1 B2 B1 A2 A1 Avansert brukar Sjølvstendig brukar Basisbrukar
Døme på skala i rammeverket
Mest aktuelle for VG1 Rammeverks -nivå C2 C1 B2 B1 A2 A1 Mest aktuelle nivå for VG1, dvs. dei fleste elevane vil truleg havne på eitt av desse nivåa
Læreplan, kompetansemål Resultat på prøve Nivå B2 høg og over B2 låg B1 høg B1 låg A2 og under
Validering Kvalitetssikring Kva betyr prøveresultatet? Kva argument (bevis, dokumentasjon) har vi for at prøveresultatet betyr det vi seier/trur (Kane, 2011, 2013, 2017)? Eitt argument: vellukka standardsetting
Korleis relatere prøveresultat til beskrivne nivå på ein skala? Standardsetting
Standardsetting Tar utgangspunkt i ein reliabel prøve og empiriske mål for prøven (vanskegrad, diskriminering osv.) menneskeleg vurdering av samanhengen mellom beskrivne kompetansenivå og oppgåver i ein prøve
Kva konsekvensar har kuttskårane for fordeling av elevar på rammeverksnivåa?
Deltakarar i standardsetting for VG1 Personar (16) som kjenner Det felles europeiske rammeverket godt: prøveutviklarar lærarar forskarar «andre»
Vippekandidat Ein vippekandidat er ein person som ligg på grensa til å bestå ein prøve / nå eit nivå. Dersom ein slik kandidat, hypotetisk sett, kunne gå opp til same prøve 100 gonger, ville han klare seg i halvparten av tilfella (borderline person eller minimally competent user).
Standardsettingsprosedyrar Conversation 1 2 3 4 Move keywords 1 2 3 Interview 1 2 3 Announcements 1 2 Short talks 1 2 3 4 News items 1 2 3 4 Pros and cons 1 2 3 Pairing 1 2 3 0 10 20 30
LSP i engelsk for VG1- lytting Poeng Meistringsnivå Rammeverksnivå 29 34 5 B2 høg og over 23 28 4 B2 låg 18 22 3 B1 høg 12-17 2 B1 låg 0-11 1 A2 og under
Kva konsekvensar har kuttskårane for fordeling av elevar på rammeverksnivåa?
Prediksjonar basert på utprøvingsdata Lytting Rammeverksnivå Prosent elevar B2 og over 31,2 B1 51,9 A2 og under 16,9
Referansar Eli Moe, Hildegunn Lahlum Helness, Craig Grocott, Norman Verhelst. I Acta Didactica 2018: Standardsetting av læringsstøttende prøver i engelsk for Vg1. Lisbeth M. Brevik, Hildegunn Lahlum Helness. I Bedre skole 2018: Følg elevens utvikling på VG1 med nye læringsstøttende prøver i engelsk. Kane, M. (2017). Using Empirical Results to Validate Performance Standards. I Blömeke, S. & J. E. Gustafsson Standard Setting in Education. The Nordic Countries in an International Perspective. Cham, Switzerland: Springer. Kane, M. (2013). Validating the Interpretations and Uses of Test Scores. I Journal of Educational Measurement, Volume 30, No. 1. Kane, M. (2011). Validating score interpretations and uses: Messick Lecture, Language Testing Research Colloquium,, Cambridge, April 2010. I Language Testing 29 (1). Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741 749. Messick, S. (1989) Validity. I R.L. Linn (red.), Educational Measurement (s. 13 104). New York: Mcmillan.
Takk! E-postadresser: Hildegunn.Helness@uib.no Eli.Moe@uib.no Craig.Grocott@uib.no