Standardsetting. Læringsstøttande prøvar i engelsk for VG1. Rapportering på skalaen til Det felles europeiske rammeverket for språk

Transkript

1 Standardsetting Læringsstøttande prøvar i engelsk for VG1 Rapportering på skalaen til Det felles europeiske rammeverket for språk Eli Moe, Craig Grocott, Hildegunn Lahlum Helness, Norman Verhelst

2 Læringsstøttande prøvar i engelsk Tre frivillige prøvar for VG1 Lytting Lesing Use of English

3 Tilbakemelding Tal på rette svar Meistringsnivå (5) Nivå på det europeiske rammeverket

4 Det europeiske rammeverket Nivå C2 C1 B2 B1 A2 A1 Avansert brukar Sjølvstendig brukar Basisbrukar

5 Døme på skala i rammeverket

6 Mest aktuelle for VG1 Rammeverks -nivå C2 C1 B2 B1 A2 A1 Mest aktuelle nivå for VG1, dvs. dei fleste elevane vil truleg havne på eitt av desse nivåa

7 Læreplan, kompetansemål Resultat på prøve Nivå B2 høg og over B2 låg B1 høg B1 låg A2 og under

8 Validering Kvalitetssikring Kva betyr prøveresultatet? Kva argument (bevis, dokumentasjon) har vi for at prøveresultatet betyr det vi seier/trur (Kane, 2011, 2013, 2017)? Eitt argument: vellukka standardsetting

9 Korleis relatere prøveresultat til beskrivne nivå på ein skala? Standardsetting

10 Standardsetting Tar utgangspunkt i ein reliabel prøve og empiriske mål for prøven (vanskegrad, diskriminering osv.) menneskeleg vurdering av samanhengen mellom beskrivne kompetansenivå og oppgåver i ein prøve

11 Kva konsekvensar har kuttskårane for fordeling av elevar på rammeverksnivåa?

12 Deltakarar i standardsetting for VG1 Personar (16) som kjenner Det felles europeiske rammeverket godt: prøveutviklarar lærarar forskarar «andre»

13 Vippekandidat Ein vippekandidat er ein person som ligg på grensa til å bestå ein prøve / nå eit nivå. Dersom ein slik kandidat, hypotetisk sett, kunne gå opp til same prøve 100 gonger, ville han klare seg i halvparten av tilfella (borderline person eller minimally competent user).

14 Standardsettingsprosedyrar Conversation Move keywords Interview Announcements 1 2 Short talks News items Pros and cons Pairing

15

16 LSP i engelsk for VG1- lytting Poeng Meistringsnivå Rammeverksnivå B2 høg og over B2 låg B1 høg B1 låg A2 og under

17 Kva konsekvensar har kuttskårane for fordeling av elevar på rammeverksnivåa?

18 Prediksjonar basert på utprøvingsdata Lytting Rammeverksnivå Prosent elevar B2 og over 31,2 B1 51,9 A2 og under 16,9

19 Referansar Eli Moe, Hildegunn Lahlum Helness, Craig Grocott, Norman Verhelst. I Acta Didactica 2018: Standardsetting av læringsstøttende prøver i engelsk for Vg1. Lisbeth M. Brevik, Hildegunn Lahlum Helness. I Bedre skole 2018: Følg elevens utvikling på VG1 med nye læringsstøttende prøver i engelsk. Kane, M. (2017). Using Empirical Results to Validate Performance Standards. I Blömeke, S. & J. E. Gustafsson Standard Setting in Education. The Nordic Countries in an International Perspective. Cham, Switzerland: Springer. Kane, M. (2013). Validating the Interpretations and Uses of Test Scores. I Journal of Educational Measurement, Volume 30, No. 1. Kane, M. (2011). Validating score interpretations and uses: Messick Lecture, Language Testing Research Colloquium,, Cambridge, April I Language Testing 29 (1). Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), Messick, S. (1989) Validity. I R.L. Linn (red.), Educational Measurement (s ). New York: Mcmillan.

20 Takk! E-postadresser: