Nasjonale prøvar i engelsk 2013 rapport og analyse

Nasjonale prøvar i engelsk 2013 rapport og analyse v/eli Moe, UiB, februar 2014 I denne rapporten går vi gjennom resultat for dei nasjonale prøvane i engelsk på 5. og 8. trinn 2013, både overordna resultat og mål som gjeld einskilditem. Analysane er basert på data frå alle elevane som tok hovudprøvane og ankerprøvane for 5. og 8. trinn hausten 2013. Hovudprøve og ankerprøve/ankerprøvar Det vart utvikla ein nasjonal prøve i engelsk for 5. og 8. trinn 2013. I tillegg vart det sett saman ein ankerprøve for kvart trinn. Utdanningsdirektoratet bad oss setje saman tre versjonar av hovudprøvane på 5. og 8. trinn. Versjonane på kvart av trinna inneheld dei same itema, men rekkefølgja dei blir prestentert i varierer frå versjon til versjon. Dette vart gjort for å redusere sjansen for at elevar kunne sjå kva svar naboelevar gav. Når ein elev logga seg på for å ta ein nasjonal prøve i engelsk, fekk han tildelt ein av versjonane tilfeldig. Ca halvparten av itema i ankerprøvane inneheldt ankeritem som var med i ankerprøvar i 2012, mens resten av itema var frå hovudprøvane i 2013. Ankeritema var ikkje pilotert samtidig med itema til hovudprøvane i 2013. Tanken er at desse ankeritema skal gå igjen i fleire nasjonale prøvar i åra som kjem. Itemformat 2013-prøvane har i all hovudsak dei same itemformata som tidlegare år. Eitt itemformat er tatt bort frå prøvane på 5. trinn, colour-formatet, der elevane skulle fargelegge ting i eit bilete. I prøven på 8. trinn er det ingen endringar når det gjeld format frå tidlegare år Alle item i engelskprøvane kan skårast automatisk. Nokre av itemformata kan likevel tolkast som opne i og med at svaralternativ ikkje er oppgitt. Opne format er: Click item (eleven klikkar på ein ting i eit bilde) kun 5. trinn Click & drag (eleven plasserer ein ting i eit bilde) Who could say (eleven klikkar på eit namn i teksten) Click on a word (eleven klikkar på eit ord i teksten) kun 8. trinn Write word (eleven fullfører ein setning ved å skrive inn eitt eller fleire ord) kun 8. trinn Lukka format er item der eleven vel mellom ulike svaralternativ. Lukka format er: Click picture (eleven klikkar på eitt av fleire bilde) Click text (eleven klikkar på ein av fleire tekstar) Gap filling (eleven klikkar på eitt av fire svaralternativ i løpande tekst - lukeprøve) MC multiple choice - fleirval (eleven klikkar på eitt av fleire oppgitte svaralternativ) Move paragraph (eleven svarar ved å flytte avsnitta i ein tekst slik at rekkefølgja blir korrekt kun 8. trinn Tabell 1 viser kor mange item av kvart format som finst i prøven på 5. trinn. 1

Tabell 1: 5. trinn - fordeling av itemformat i nasjonal prøve i engelsk 5. trinn Itemformat Prøve 5. trinn Click item Click picture Click & drag What time is it Click text Gap filling Multiple choice short Multiple choice story Who could say I alat 5 item 5 item 6 item 4 item 5 item 9 item 5 item 5 item 6 item 50 item Tabell 2 viser kor mange item av kvart format som finst i prøven på 8. trinn. Tabell 2: 8. trinn - fordeling av itemformat i nasjonal prøve i engelsk 8. trinn Itemformat Click picture Click & drag Click text Gap filling Multiple choice short Multiple choice story Who could say Click word Write words Move paragraph I alt Prøve 8. trinn 3 item 3 item 3 item 4 item 6 item 5 item 6 item 9 item 11 item 4 item 54 item 2

Oppsummerande statistikk - hovudprøvar 5. trinn Tabell 3 viser oppsummerande statistikk for nasjonale prøvar i engelsk 5. trinn. Tabellen viser data både for kvar av dei tre versjonane og for alle elevane på trinne (data for dei tre versjonane er slått saman). Tabell 3: Oppsummerande statistikk Nasjonal prøve i engelsk 5. trinn 2013 tre versjonar og samla resultat Tal på item Andel fleirval Gj.sn p-verdi Gj.sn poeng Tal på elevar NP5-1 50 29/50 0.921 0.55 27,55 10,611 0.416 17668 NP5-2 50 29/50 0.920 0.55 27,63 10,500 0,413 17506 NP5-3 50 29/50 0.919 0.55 27,39 10,515 0,412 17587 NP5 alle 50 29/50 0.92 0.55 27.52 10.543 0.413 52762 NP5-1 = nasjonal prøve i engelsk for 5. trinn, versjon 1 NP5-2 = nasjonal prøve i engelsk for 5. trinn, versjon 2 NP5-3 = nasjonal prøve i engelsk for 5. trinn, versjon 3 På 5. trinn har prøvane gode mål for reliabilitet og diskriminering. Prøven har ein gjennomsnittleg p-verdi på 0.55, som er omtrent det vi siktar mot. 8. trinn Tabell 4 viser oppsummerande statistikk for nasjonale prøvar i engelsk 5. trinn. Tabellen viser data både for kvar av dei tre versjonane og for alle elevane på trinne (data for dei tre versjonane er slått saman). Tabell 4: Oppsummerande statistikk Nasjonal prøve i engelsk 8. trinn 2013 tre versjonar og samla resultat Tal på item Andel fleirval Gj.sn p-verdi Gj.sn poeng Hovudprøve Reliabilitet Stdavvik Diskriminering Hovudprøve Reliabilitet Stdavvik Diskriminering Tal på elevar NP8-1 54 29/56 0.951 0.56 30.03 12.890 0.501 18425 NP8-2 54 29/56 0.952 0.56 30.34 12.954 0.505 18717 NP8-3 54 29/56 0.951 0.56 30.06 12.879 0,500 18708 NP8-alle 54 29/56 0.951 0.56 30.14 12.908 0.501 55850 NP8-1 = nasjonal prøve i engelsk for 5. trinn, versjon 1 NP8-2 = nasjonal prøve i engelsk for 5. trinn, versjon 2 NP8-3 = nasjonal prøve i engelsk for 5. trinn, versjon 3 Også på 8. trinn har prøvane gode mål for reliabilitet og diskriminering. Prøven har ein gjennomsnittleg p-verdi på 0.56, som er omtrent det vi siktar mot. 3

Oppsummerande statistikk ankerprøvar Itema i hovudprøvane og ankerprøvane er ikkje piloterte samtidig. Itema i ankerprøven vart pilotert i 2010 til bruk i nasjonale prøvar i 2011. Dei vart seinare brukt i ankerprøvar i 2012, og i ankerprøvar i 2013 utan ny pilotering. Itema i hovudprøvane i 2013 vart pilotert året før, hausten 2012. Sjølv om prøvane ikkje er parallelle, ser vi at dei oppfører seg svært likt både på 5. og 8. trinn. Måla for vanskegrad, diskriminering og reliabilitet er svært like i hovudprøvar og ankerprøvar. Sjå tabell 5 og 6. Tabell 5: Oppsummerande statistikk Nasjonale prøvar i engelsk på 5. trinn og ankerprøve for 5. trinn Prøve Diskriminering NP-5- alle Tal på item Andel fleirval Gj.sn p-verdi Gj.sn poeng Reliabilitet Stdavvik Tal på elevar 50 29/50 0.92 0.55 27.52 10.543 0.413 52762 A-5 50 29/50 0.92 0.55 27.51 10.809 0.424 3390 AP5 = Ankerprøve for 5. trinn Tabell 6: Oppsummerande statistikk Nasjonale prøvar i engelsk på 5. trinn og ankerprøve for 8. trinn Prøve Diskriminering NP-8- Alle Tal på item Andel fleirval Gj.sn p-verdi Gj.sn poeng Reliabilitet Stdavvik Tal på elevar 54 29/50 0.92 0.55 27.51 10.809 0.424 55850 A-8 54 29/56 0.945 0.56 30.09 12.368 0.479 3609 AP5 = Ankerprøve for 5. trinn I resten av rapporten fokuserer vi på hovudprøvane i engelsk, ikkje ankerprøvane. 4

Fordeling av resultat på poengskala 5. trinn Figur 1 viser korleis elevresultata på den nasjonale prøven i engelsk på 5. trinn fordeler seg på poengskalaen. Figur 1: Totalpoengsum Nasjonale prøvar i engelsk 5. tinn 2013 fordelt på poengskala Figur 1 viser at resultata på 5. trinn er tilnærma normalfordelte. 228 elevar fekk max skåre, 50 poeng. Dette tilsvarar 0.4 prosent av elevane som tok prøven. 8. trinn Figur 2 viser korleis resultata på den nasjonale prøven i engelsk på 8. trinn fordeler seg på poengskalaen. Figur 2: Totalpoengsum Nasjonale prøvar i engelsk 8. trinn 2013 fordelt på poengskala Fordelinga av elevresultat på poengskalaen for 8. trinn er ikkje heilt normalfordelt. På 8. trinn er det 150 elevar som får maksimal skåre, 0.3 prosent. 5

Vanskegrad på itemnivå 5. trinn Figurane 3 og 4 viser vanskegraden på itema i prøven på 5. trinn, først fordelt etter rekkefølgja itema opptrer i prøven (figur 3) og deretter sortert frå det lettaste til det vanskelegaste (figur 4). Figur 3: Vanskegrad på item 5. trinn rekkefølge som i prøven Figur 4: Item sortert etter vanskegrad 5. trinn Figur 3 viser at i prøven er det ei veksling mellom lette og vanskelege item i prøven. Det er ein tendens til at dei fleste vanskelege item kjem mot slutten av prøven. I figur 4 er itema sortert etter vanskegrad. Det vanskelegaste itemet har ein p-verdi på 0.25, medan det lettaste itemet har ein p-verdi på 0.92. 8. trinn Figurane 5 og 6 viser vanskegraden på itema i prøven på 8. trinn, først fordelt etter rekkefølgja itema opptrer i prøven (figur 5) og deretter sortert frå det lettaste til det vanskelegaste (figur 6). Figur 5: Vanskegrad på item 8. trinn rekkefølge som i prøven Figur 6: Item sortert etter vanskegrad 8. trinn Sjølv om det er ein tendens til at dei vanskelegaste itema kjem mot slutten av prøven, så viser figur 5 at det også finst vanskelegare item tidleg i prøven så vel som relativt lette item mot slutten. Det vanskelegaste itemet har ein p-verdi 0.11, medan det lettaste itemet har ein p- verdi på 0.95. 6

Meir detaljerte opplysningar om format, kjønnsskilnader og vanskegrad på itemnivå finst i vedlegg 2B og C. Vanskegrad - reelle prøvar vs pilotering 5. trinn Figur 7 viser vanskegraden på itema i piloteringa hausten 2012 og i dei reelle prøvane i 2013. X-aksen (den horisontale aksen) viser til itema i prøvane i den rekkefølgja dei vart presenterte for elevane. Y-aksen (den vertikale aksen) viser til p-verdien for kvart item. Den gule lina i figuren viser til vanskegrad (p-verdi) i følgje piloteringsdata, medan den mørkaste lina viser til vanskegrad i dei nasjonale prøvane 2012. Jo nærare 0 p-verdien er, jo vanskelegare er itemet, og jo nærare 1 p-verdien er, jo lettare er itemet. Vi ser at itema i den reelle prøven jamt over er «lettare» enn i piloteringa. Figur 7: Vanskegrad på item nasjonale prøvar 2013 og pilotering 2012, 5. trinn Vi ser at fleire elevar svarar rett på itema i den reelle prøven enn i piloteringa. Dei samme itema er altså lettare på den reelle prøven enn dei var eit år tidlegare i piloteringa. Dette er ein tendens vi ser kvart år. Data som ligg til grunn for figur 7 viser - Tre item (nr 1, 2 og 35) er vanskelegare i prøven 2013 enn det var då itema vart pilotert i 2012. To av desse itema er av typen Click picture og det tredje er eit fleirvalsitem av typen MC short. - 47 item er lettare i prøven enn ved pilotering. 7

8. trinn Figur 8 viser at itema i prøven på 8. trinn var jamt over er lettare i den reelle prøven enn dei var i piloteringa. Den gule lina viser til vanskegrad (p-verdi) på enkeltitem i piloteringa, medan den grønne lina viser verdien i reell prøve. Figur 8: Vanskegrad på item nasjonale prøvar 2013 og pilotering 2012, 8. trinn Data som ligg til grunn for figur 8 viser: - eitt item (av typen Who could say) er vel eit prosentpoeng vanskelegare i den reelle prøven enn i piloteringa - tre item har same vanskegrad i piloteringa og i den reelle prøven - to item er litt lettare i reell prøve enn i pilotering - 49 item er lettare i prøven enn i piloteringa Det er to itemformat som skil seg ut når det gjeld skilnad i vanskegrad mellom pilotering og reell prøve. Dette er formata «Who could say» og «Move paragraph». Desse to formata presenterer elevane med litt lengre tekstar, og for å svare rett på oppgåvene, må elevane lese tekstane nøye og fokusere på tekst og oppgåve over litt tid. 8

Kjønnskilnader I statistisk samanheng betyr ordet signifikant «ikkje tilfeldig». Ein t-test vil avsløre om skilnadene mellom gutar og jenter er signifikante. At ein skilnad er signifikant, vil seie at det er liten sjanse for at resultatet er tilfeldig. Dette blir uttrykt som ein p-verdi som kan tolkast som kor sannsynleg det er at resultatet kan oppstå ved eit reint tilfelle. Ein liten verdi er difor eit uttrykk for at skilnadene er store (t.d >0.01), dette kan også tolkast som ein prosent der ein multipliserer p-verdien med 100. Tradisjonelt brukar ein grenser på 5% (0.05) og 1% (0.01) som viktige markeringar. Når vi har analysert data frå nasjonale prøvar i engelsk tidlegare år, har det i det store og heile ikkje vore særlege skilnader mellom gutane og jentene sine resultat. Jamnt over har jentene gjort det litt betre enn gutane utan at desse skilnadene har vore signifikante. Dersom ein baserer analysane sine på store utval (til dømes fleire tusen elevar), er det lett at trivielle skilnader blir signifikante. Desse analysane baserer seg på data frå over 50000 elevar for kvar av prøvane på 5. og 8. trinn. Her vil vi meir eller mindre forvente at trivielle skilnader blir signifikante om vi samanliknar korleis gutar og jenter presterer. 5. trinn Den gjennomsnittlege poengsummen og standardavviket viser at skilnaden mellom gutar og jenter på 5. trinn er svært små. Jentene skårar gjennomsnittleg litt høgre enn gutane. Tabell 7: Skilnader mellom jenter og gutar på 5. trinn t-test Prøve Kjønn Gjennomsnittleg poengsum n Standardavvik t Sig NP-5 Gutar 27.46 26486 10.89 1.368 0.171 Jenter 27.59 26275 10.18 ** skilnaden er ikkje signifikant Ein skilnad i gjennomsnittleg poengsum på 0,13 poeng er liten. Ein t-test viser at denne skilnaden ikkje er signifikant. Det vil altså seie at den vesle skilnaden mellom gutar og jenter kan vere tilfeldig. Tabell 8 viser kor mange % av elevane på mestringsnivå 1, 2 og 3 som er gutar og jenter. Dersom vi deler jentene og gutane i grupper basert på mestringsnivå, kan vi samanlikne om jente- og gutegruppene oppfører seg likt. Mestringsnivå 1 visert il gjennomsnittleg poengsum for dei 25% svakaste i gruppa, medan mestringsnivå 3 viser til resultatet for dei 25% av elevane med høgast totalpoengsum. Tabell 8: Np 5 engelsk prosentvis del av jenter/gutar på ølike mestringsnivå Mestringsnivå Jener (n) Jenter (%) NP engelsk 5. trinn Gutar (n) Gutar % 1 6374 46.8 7237 53.1 2 13580 53.3 12301 47.7 3 6321 47.8 6893 52.2 Tabell 8 viser at det er fleire gutar enn jenter med resultat som plasserer dei på mestringsnivå 1 og 3. Samtidig der det fleire jenter enn gutar på mestingsnivå 2. Dette er ein tendens vi har 9

sett i datamaterialet for5. trinn fleire år på råd. Likevel er det først og fremst viktig å understreke at kjønnsskilnadene er små når det gjeld engelsk på 5. trinn. Figur 9 viser p-verdiane på 5. trinn fordelt på kjønn. Figur 9: P-verdiar gutar og jenter 5. trinn Den raude lina viser p-verdar for jenter og den blå for gutar.vi ser at skilnadene er små, men at der kan sjå ut som om jentene gjer det litt betre enn gutane på ein god del item. I figur 10 blir kjønnskilnadene på 5. trinn framstilt på ein annan måte enn i figur 9. Figuren viser differansen i p-verdi mellom gutar og jenter på itemnivå. Kolonnene som peikar oppover med positive verdiar viser til item der jentene gjer det best. Kolonnene som peikar nedover, med negative verdiar, viser til item der gutane gjer det best. Di høgre kolonnene er, di større er skilnaden mellom jenter og gutar. Vi ser at det er fleire «jentekolonner» enn «gutekolonner». Figur 10: Skilnader mellom gutar og jenter på itemnivå 5. trinn 10

På 27 av itema er det prosentvis fleire jenter enn gutar som svarar rett. På 14 av itema er det flest gutar som svarar rett. For 9 item er det ingen skilnad mellom jenter og gutar. Det er ikkje så lett å sjå noko bestemt mønster når det gjeld kjønnskkilnader på 5. trinn. Det kan kanskje sjå ut som om jentene generelt sett gjer det litt betre i formatet «Who could say». Men også her er skilnadene små. 8. trinn Skilnaden mellom jenter og gutar i gjennomsnittleg poengsum på 8. trinn er svært liten. Jentene (30.41 poeng) skårar i gjennomnitt litt høgre enn gutane (29.88 poeng). Tabell 9: Skilnader mellom jenter og gutar på 8. trinn t-test Prøve Kjønn Gjennomsnittleg poengsum n Standardavvik t Sig NP-8 Gutar 29.88 28362 13.191 4,796 0.000 Jenter 30.41 27488 12.605 Data viser at skilnaden mellom jenter og gutar er signifikant på 0.01 nivå. Det betyr altså at skilnaden ikkje er tilfeldig. Som nemnt tidlegare vil ein meir eller mindre forvente signifikante skilnader når ein baserer seg på eit så stort datamateriale som vi gjer i samband med dei nasjonale prøvane. Tabell 10: Np 5 engelsk prosentvis del av jenter/gutar på ølike mestringsnivå Mestringsnivå Jenter (n) Jenter (%) NP engelsk 5. trinn Gutar (n) Gutar % 5 2939 48.5 3126 51.5 4 4983 49.5 5083 50.5 3 11556 60.9 11163 49.1 2 5618 51.0 5851 49.0 1 2392 56.8 3139 43.2 Tabell 10 viser at det er fleire gutar enn jenter i botn og på toppen av poengskalaen, dvs. med resultat som plasserer dei på mestringsnivå 1,2, 4 og 5. Samtidig der det fleire jenter enn gutar på mestingsnivå 3. Kjønnskilnaden er størst på mestringsnivå 1, der ein god del fleire gutar enn jenter blir plassert. Dette er ein tendens vi har sett i datamaterialet for 8. trinn fleire år på råd. Vi ser same tendensen på 8. trinn som på 5. trinn. Det er relativt fleire svake gutar enn jenter, og samtidig er det litt fleire sterke gutar enn jenter. Likevel er det først og fremst viktig å understreke at kjønnsskilnadene er små når det gjeld engelsk på 8. trinn. 11

Figur 11 viser p-verdi knytt til kjønn. Figur 11: P-verdi gutar og jenter 8. trinn Den raude lina viser p-verdar for jenter og den blå for gutar.vi ser at skilnadene er små, men at der kan sjå ut som om jentene gjer det litt betre enn gutane på ein god del item. I figur 12 blir kjønnskilnadene på 8. trinn framstilt på ein annan måte enn i figur 11. Figuren viser differansen i p-verdi mellom gutar og jenter på itemnivå. Kolonnene som peikar oppover med positive verdiar viser til item der jentene gjer det best. Kolonnene som peikar nedover, med negative verdiar, viser til item der gutane gjer det best. Di høgre kolonnene er, di større er skilnaden mellom jenter og gutar. Vi ser at det er fleire «jentekolonner» enn «gutekolonner». Figur 12: Skilnader mellom gutar og jenter på itemnivå 5. trinn 12

Sjølv om det er svært små skilnader mellom gutar og jenters poengsum på prøven, viser figur 12 at om vi ser på einskilditem, kan skilnaden nokre gonger vere relativt stor. På same måte som på 5. trinn, kan det sjå ut som om nokre item appellerer meir til jenter og andre til gutar. I tre av formata gjer jentene det klart best: Mc story, Write word og Move paragraph. Dette er noko vi også har sett tidlegare år. I formata Mc story og Move paragraph blir elevane presenterte for lengre tekstar, og dei treng å lese tekstane nøye for å kunne svare rett. Formatet Write Word krev kunnskap i grammatikk og ei kjensle for engelsk språkbruk. Her må elevane fullføre ein setning ved å skrive inn eitt eller fleire ord. Jentene gjer det også best i formata Click picture, Click and drag og Click text, men i og med at det er kun 3 item i prøven av kvart av desse formata, vil det vere feil å leggje for stor vekt på dette. Gutane gjer det best i formatet Click word. Dette er ein tendens vi også har sett tidlegare år. Gjennomsnittleg p-verdi viser at gutane taklar 8 av 9 item betre enn jentene i dette formatet. Jentene har tidlegare gjort det best i formatet Who could say. Dette året er det fleire gutar enn jenter som svarar rett på 5 av 6 item. I formata, Gap, Mc-short vekslar jentene og gutane på å gjera det best på einskilditema. Vi gjentar til slutt at skilnadene mellom resultatet gutar og jenter oppnår på dei nasjonale prøvane i engelsk er små, trass i at kjønnsskilnadene på prøven på 8. trinn er signifikant. Sjå elles vedlegg 2B og 2C for detaljerte skilnader på itemnivå. Til slutt Den nasjonale prøven i engelsk på 5. og 8. trinn fungerer i all hovudsak som forventa. Prøvane er reliable, har omlag den vanskegraden vi siktar mot, inneheld item med varierande vanskegrad, og diskriminerer på ein fornuftig måte mellom elevane. Prøvane tar mål av seg å måle det nokre av kompetansemåla i læreplanen, dette gjeld kompetansemål som omhandlar lesing på engelsk, vokabular og grammatikk. Vi prøver å inkludere eit variert sett med lesetekstar. Tekstane representerer ulike sjangrar, omhandlar ulike tema og har ulik vanskegrad. Vi prøver også å finne tekstar som kan vere interessante for jenter og gutar på 5. og 8. trinn. Sidan prøvane er digitale og blir skåra automatisk, kan vi ikkje måle produktive ferdigheiter (munnlege og skriftlege ferdigheiter), i alle fall ikkje ennå. Prøven måler heller ikkje lytting på engelsk. Lytting er ein ferdigheit det kunne vere viktig å inkludere i nasjonale prøvar i engelsk dersom og når det kan forsvarast teknisk. Lytteoppgåver kan også, på same måte som leseoppgåver, skårast automatisk. 13

Vedlegg 1 Hovudprøve og ankerprøve 5. trinn NP = item i hovudprøve, A = ankeritem Format Hovudprøve Ankerprøve Format Hovudprøve Ankerprøve Click item Click picture Click and drag What time is it? Click text Gap filling NP5-1 NP5-1 NP5-35 NP5-35 NP5-2 NP5-2 NP5-36 A5-12 NP5-3 A5-1 Mc short NP5-37 NP5-37 NP5-4 A5-2 NP5-38 NP5-38 NP5-5 NP5-5 NP5-39 A5-13 NP5-6 A5-3 NP5-40 A5-14 NP5-7 NP5-7 NP5-41 A5-15 NP5-8 NP5-8 MC-story NP5-42 A5-16 NP5-9 NP5-9 NP5-43 A5-17 NP5-10 A5-4 NP5-44 A5-18 NP5-11 A5-5 NP5-45 NP5-45 NP5-12 NP5-12 NP5-46 NP5-46 NP5-13 A5-6 NP5-47 NP5-47 Who could say NP5-14 NP5-16 NP5-48 NP5-48 NP5-15 NP5-13 NP5-49 NP5-49 NP5-16 NP5-14 NP5-50 NP5-50 NP5-17 NP5-17 NP5-18 A5-7 NP5-19 NP5-18 NP5-20 A5-8 NP5-21 A5-9 NP5-22 NP5-22 NP5-23 A5-10 NP5-24 NP5-25 NP5-26 NP5-27 NP5-28 NP5-29 NP5-30 NP5-31 NP5-32 NP5-24 NP5-25 NP5-26 NP5-27 NP5-28 NP5-29 NP5-30 NP5-31 NP5-32 NP5-33 A5-11 NP5-34 A5-12 14

Vedlegg 1 Hovudprøve og ankerprøve 8. trinn - oversikt H = item i hovudprøve, A = ankeritem Format Hovudprøve Ankerprøve Format Hovudprøve Ankerprøve Click picture Click and drag Click text Gap MC-short MC-story Who could say Click word NP8-1 A8-1 NP8-40 A8-18 NP8-2 A8-2 NP8-41 NP8-40 NP8-3 NP8-3 NP8-42 NP8-42 NP8-4 A8-3 NP8-43 NP8-43 NP8-5 NP8-6 NP8-44 NP8-44 NP8-6 A8-4 Write words NP8-45 NP8-45 NP8-7 A8-5 NP8-46 A8-19 NP8-8 A8-6 NP8-47 NP8-46 NP8-9 NP8-7 NP8-48 NP8-47 NP8-10 A8-7 NP8-49 NP8-48 NP8-11 A8-8 NP8-50 NP8-49 NP8-12 NP8-12 NP5-51 A8-20 NP8-13 NP8-13 Move NP5-52 A8-21 NP8-14 A8-9 paragraph NP5-53 A8-22 NP8-15 NP8-14 NP5-54 A8-23 NP8-16 NP8-17 NP8-17 NP8-18 NP8-18 A8-10 NP8-19 NP8-15 NP8-20 A8-11 NP8-21 A8-12 NP8-22 A8-13 NP8-23 A8-14 NP8-24 A8-15 NP8-25 NP8-26 NP8-27 NP8-28 NP8-29 NP8-30 NP8-31 NP8-25 NP8-26 NP8-27 NP8-28 NP8-29 NP8-30 NP8-31 NP8-32 A8-16 NP8-33 NP8-34 NP8-35 NP8-36 NP8-33 NP8-34 NP8-35 NP8-36 NP8-37 A8-17 NP8-38 NP8-39 NP8-38 NP8-39 15

Vedlegg 2 Opplysningar på itemnivå I tabell 15 og 16 presenterer vi opplysningar om einskilditem i prøvane for 5. og 8. trinn. For å vise korleis tabell 15 og 16 skal lesast, har vi tatt med tabell 14, som inneheld to item, som eit eksempel. Item 5 og 6 i denne tabellen er henta frå tabell 15 som viser til prøven på 5. trinn. Tabell 14: Eksempel på resultattabell Felt 1 2 3 4 Fleirval A B C D Blank A B C D Blank D p-verdi Flagg/ Komm Rett/galt 1 0 1 0 Kjønnsskilnader Tal på elevar Gjennomsnittleg skåre i svargrupper alle jenter gutar skilnad 5 Click item 23671 28876 214 33,40 22,80 15,97,47,45,44,46-0,02 6 Click pict 2711 47264 1275 1378 133 16,74 28,70 15,50 21,02 11,42,30,90,91,88 0,02 Felt 1 Eit item er enten eit fleirvalsitem der eleven svarar ved å velja mellom ulike svaralternativ (A,B C osv.) eller eit item som blir skåra rett eller galt (t.d. click & drag, click word osv.). Felt 1 viser korleis elevane i utvalet har svart på itemet. Vi ser at item 5 er eit rett/galt item, og at 23671 elevar i utvalet har svart rett, medan 28876 har svart feil. 214 elevar har ikkje svart på itemet. Item 6 er eit fleirvalsitem, og tabellen viser kor mange elevar som har valt dei ulike svaralternativa. 2711 elevar har valt alternativ A, 47264 har valt alternativ B osv. 133 elevar har ikkje svart på item 6. Felt 2 Dette feltet viser gjennomsnittspoengsum for ulike elevgrupper. Vi vil forvente at gjennomsnittspoengsummen er høgre for elevgruppa som har svart rett på eit item, enn gruppa som har svart feil på same item. Om vi ser på item 5, så ser vi at elevane som har svart feil på dette itemet, har ein gjennomsnittspoengsum på 22,80 poeng, mens elevane som svarar rett på itemet har ein gjennomsnittspoengsum på 33.40. Det er 214 elevar som ikkje har svart på dette itemet, og gjennomsnittleg poengsum i denne gruppa er 15,97. Når det gjeld item 6, så er gjennomsnitts-poengsummen 16,74 for dei elevane som har svart alternativ A, for gruppa som har svart alternativ B er gjennomsnittet 28.70 (rett svar) osv. 16

Vedlegg 2 Felt 3 D står for diskriminering, og dette er eit mål på kor godt itema diskriminerer mellom elevane. Vi forventar at fleire sterke enn svake elevar svarar rett på eit item. Diskrimineringsindeksen varierer mellom 0 og 1. Di nærare 1 verdien er, di betre diskriminerer itemet mellom svake og sterke elevar. Normalt vil ein seie at eit item bør ha ein diskrimineringsindeks over 0,25 (maxverdi =1). Felt 4 Felt 4 presenterer vanskegrad i form av p-verdi for 1) alle elevane som har tatt prøven, 2) jentene og 3) gutane. I tillegg er det ei kolonne som viser skilnaden i p-verdi mellom jenter og gutar. P er eit mål på vanskegrad, og p varierer mellom 0 og 1. Di nærare 0 p-verdien er, di vanskelegare er itemet. Lette item har verdiar som nærmar seg 1. Item 5 har ein p-verdi på 0,45. Det betyr at 45 % av elevane har svart rett på dette itemet. Og vi ser at dette itemet har vore litt lettare for gutane enn for jentene. Vi ser at item 6 er mykje lettare. 90 % av elevane har svart rett på itemet, 91 % av jentene og 88 % av gutane. Dette betyr at det er relativt noko fleire jenter enn gutar som har svart rett. Den siste kolonna viser skilnad i vanskegrad mellom jentegruppa og gutegruppa. Positive verdiar viser til item der jentene gjer det best, medan negative verdiar viser til item der gutane gjer det best. Det er vanskeleg å angi ideelle p-verdiar fordi prøvar har ulike formål. Dersom målet er å skilja mellom dei fleste og dei svakaste elevane, vil ein velje item med relativt høg p-verdi, det vil seia item dei fleste svarar rett på og dei svakaste ikkje klarar. Dersom målet er å skilja mellom personar i heile populasjonen (slik som dei nasjonale prøvane), både mellom dei flinkaste og dei svakaste, vil ein velje både lette og vanskelege item. Mange vil då ha som mål at gjennomsnitts p-verdi for heile prøven er rundt 0,5. Vi reknar med at denne forklaringa gjer det lettare å lese dei tre neste tabellane. 17

Vedlegg 2 Nasjonal prøve i engelsk 5. trinn n = 52762 gutar = 26486, jenter = 26275 Tabell 15: Informasjon om einskilditem Nasjonal prøve i engelsk 2013 Felt 1 2 3 4 Fleirval A B C D Blank A B C D Blank D p-verdi Rett/galt 1 0 1 0 Kjønnsskilnader Tal på elevar Gjennomsnittleg skåre i svargrupper alle jenter gutar Skilnad 1 Click item 37414 15275 72 31,02 18,04 10,75,49,71,71,71 0,00 2 Click item 32725 19926 110 31,38 21,44 12,05,42,62,64,60 0,04 3 Click item 32347 20352 62 32,31 19,97 10,84,54,61,62,61 0,01 4 Click item 29074 23563 124 33,21 20,58 13,30,57,55,56,55 0,01 5 Click item 23671 28876 214 33,40 22,80 15,97,47,45,44,46-0,02 6 Click pict. 2711 47264 1275 1378 133 16,74 28,70 15,50 21,02 11,42,30,90,91,88 0,02 7 Click pict. 491 971 2595 48623 81 12,20 16,28 17,85 28,45 10,74,28,92,94,91 0,03 8 Click pict. 10904 503 866 40430 58 21,59 13,89 12,75 29,64 7,07,33,77,75,79-0,04 9 Click pict. 1802 5608 42815 2422 114 22,46 20,37 29,11 20,54 12,49,28,81,82,80 0,02 10 Click pict. 2408 5821 5450 38907 175 21,82 20,22 18,48 30,30 13,11,41,74,75,73 0,02 11 Click & dr. 36797 15913 51 30,50 20,70 7,65,39,70,70,70 0,00 12 Click & dr. 36527 16154 80 30,55 20,77 11,64,39,69,69,69 0,00 13 Click & dr. 30929 21698 134 31,73 21,60 16,10,44,59,57,61-0,04 14 Click & dr. 18230 34430 101 35,81 23,18 13,46,54,35,36,33 0,03 15 Click & dr. 26661 25875 225 33,08 21,90 15,99,50,51,51,50 0,00 16 Click & dr 19046 33533 182 35,56 23,03 14,49,54,36,36,36 0,00 17 What time 33344 19284 133 31,04 21,54 13,21,40,63,64,63 0,01 18 What time 33251 19314 196 31,12 21,47 14,04,41,63,63,63 0,01 19 What time 27309 25217 235 32,47 22,28 15,18,45,52,51,52-0,01 Flagg/ Komm 18

Vedlegg 2 20 What time 22906 29610 245 33,12 23,31 14,02,43,43,42,45-0,03 21 Click text 1780 3303 4352 43187 139 17,58 16,07 17,91 29,83 10,27,44,82,85,79 0,06 22 Click text 35809 12390 2099 2256 207 30,05 24,03 16,87 17,95 11,57,31,68,70,66 0,04 23 Click text 45838 1933 3100 1707 183 29,23 15,77 16,15 17,37 11,15,39,87,89,85 0,03 24 Click text 2939 19915 3421 26239 247 17,81 26,17 20,59 31,44 12,50,33,50,48,51-0,03 25 Click text 25074 8594 8641 9760 692 32,08 22,35 22,27 25,76 17,29,37,48,47,48 0,00 26 Gap 15602 22149 11906 2865 239 23,73 34,35 22,37 19,23 10,24,52,42,43,40 0,03 27 Gap 9463 6097 30028 6807 366 22,21 20,22 31,66 23,89 14,35,41,57,55,59-0,03 28 Gap 40837 4045 3446 4045 388 28,83 19,55 19,28 30,59 14,25,19,77,77,78-0,01 29 Gap 16973 5591 9538 20213 446 25,10 20,30 23,62 33,69 14,08,42,38,41,36 0,05 30 Gap 7546 10383 32460 1446 926 20,30 21,54 31,75 19,50 17,84,47,62,62,61 0,00 31 Gap 17825 4044 28975 1343 574 22,36 20,02 32,11 24,85 15,10,44,55,57,53 0,04 32 Gap 40674 6358 1619 3473 637 29,61 23,39 20,27 31,63 13,99,33,77,78,76 0,02 33 Gap 14822 8283 2246 26958 452 23,87 23,39 20,27 31,63 13,99,36,51,51,52-0,01 34 Gap 32816 10040 6025 3239 641 30,35 23,95 21,61 23,10 16,51,30,62,60,65-0,05 35 Mc short 11999 8589 7660 24180 333 23,37 20,56 25,27 32,97 12,77,44,46,43,49-0,05 36 Mc short 17674 5035 25728 3913 411 22,49 22,87 33,04 21,44 13,75,47,49,45,52-0,07 37 Mc short 27264 7603 5816 11499 579 32,17 23,43 20,64 23,31 15,32,42,52,47,57-0,10 38 Mc short 25029 5085 8144 13990 513 31,72 20,97 23,76 25,38 14,63,34,47,49,46 0,03 39 Mc short 13900 9934 6486 21734 707 23,84 24,05 23,65 32,99 16,27,39,41,41,41 0,00 40 Mc story 8324 15999 24385 3294 759 24,46 22,08 33,23 22,14 16,01,47,46,49,44 0,05 41 Mc story 5660 8339 16931 20893 938 22,60 21,84 25,07 33,58 17,15,43,40,39,40-0,01 42 Mc story 15393 17875 9099 9381 1013 33,71 24,83 22,35 23,76 17,51,34,29,30,28 0,02 43 Mc story 15318 15932 10932 9491 1088 33,31 28,36 21,49 24,83 17,97,31,29,29,30-0,01 44 Mc story 19935 7072 17632 6938 1184 25,95 22,67 33,61 23,13 18,07,37,33,32,35-0,04 45 Who 31958 19068 1735 32,08 20,74 18,21,50,61,65,56 0,09 46 Who 25185 25527 2049 32,94 22,87 18,91,45,48,48,47 0,01 19

Vedlegg 2 47 Who 12957 37568 2236 37,73 24,50 19,21,52,25,25,24 0,00 48 Who 21800 28687 2274 34,32 23,01 19,29,51,41,42,41 0,01 49 Who 18270 32021 2470 33,75 24,56 19,83,39,35,34,35-0,01 50 Who 14921 35368 2472 36,37 24,33 19,79,50,28,29,28 0,01 20

Nasjonal prøve i engelsk 8. trinn (n = 55850 gutar = 28362, jenter = 27488) Vedlegg 2 Tabell 16: Informasjon om einskilditem Nasjonal prøve i engelsk 2013 Felt 1 2 3 4 Fleirval A B C D Blank A B C D Blank D p-verdi Rett/galt 1 0 1 0 Kjønnsskilnader Flagg/ Komm Tal på elevar Gjennomsnittleg skåre i svargrupper alle jenter gutart Skilnad 1 Click 1828 322 5459 48134 14,66 10,55 17,61 32,33 10,97,40,86,88,84 107 pict. 0,04 2 Click 53161 1342 898 309 31,06 13,89 9,86 10,19 12,05,30,95,95,95 140 pict. 0,00 3 Click 2336 47355 3366 2570 24,86 32,04 15,06 20,98 16,31,42,79,81,77 223 pict. 0,04 4 Click & 33660 22089 34,09 24,22 9,56,34,60,62,58 101 dr. 0,04 5 Click & 41836 13817 34,07 18,52 11,80,50,75,78,72 197 dr. 0,06 6 Click & 34581 21157 34,97 22,35 11,50,45,62,63,61 112 dr. 0,02 7 Click 2330 48288 3373 1548 19,69 32,11 15,91 19,15 12,10,36,86,87,86 311 text 0,01 8 Click 44340 2504 3163 5489 33,51 15,33 15,59 19,22 11,88,49,79,79,80 354 text 0,00 9 Click 4103 40372 2202 9009 16,89 33,39 20,97 24,22 9,21,38,72,76,69 164 text 0,07 10 Gap 15883 8242 29172 2411 142 21,85 21,78 37,94 20,15 11,81,61,52,47,57-0,11 11 Gap 14617 6308 33043 1737 145 24,37 22,49 34,98 16,17 9,85,42,59,61,58 0,03 12 Gap 14952 8868 14776 17143 111 21,70 25,20 31,00 39,48 6,58,45,31,33,29 0,04 13 Gap 9955 5688 13038 26916 253 23,79 21,44 25,00 36,98 13,14,48,48,45,51-0,06 14 Mc short 7033 42039 4877 1783 118 14,29 34,69 18,68 18,37 6,72,59,75,79,72 0,08 15 Mc short 3706 6061 3331 42586 166 15,15 20,27 18,84 33,82 7,36,49,76,78,74 0,04 16 Mc short 9360 6406 37997 1847 240 18,76 17,84 35,30 27,00 9,45,56,68,65,71-0,07 17 Mc short 7736 14403 8901 24669 141 26,02 25,03 23,60 36,92 5,53,44,44,45,44 0,01 18 Mc short 1153 9833 15299 29395 170 12,86 20,80 26,67 35,89 5,72,44,53,49,56-0,07 21

19 Mc short 5835 33488 7574 8610 343 20,67 36,24 20,44 22,20 9,80,55,60,59,61-0,02 20 Mc story 16438 4114 2813 32222 263 22,05 19,13 21,26 36,63 8,16,56,58,64,52 0,12 21 Mc story 2850 3433 3437 45755 375 14,97 16,22 14,98 33,44 9,44,52,82,86,78 0,08 22 Mc story 6376 40187 7177 1763 347 24,24 34,06 17,33 18,54 8,99,46,72,77,67 0,11 23 Mc story 10109 3098 38308 3941 394 22,05 16,16 35,04 16,47 8,69,53,69,76,61 0,15 24 Mc story 35460 5538 9451 4874 527 35,23 20,86 23,80 18,10 10,28,49,63,66,61 0,05 25 Who 43495 11344 1011 34,12 16,55 11,72,56,78,77,79-0,02 26 Who 44861 9868 1121 33,84 15,51 11,07,56,80,81,80 0,01 27 Who 44929 9706 1215 33,95 14,91 11,13,58,80,80,81-0,01 28 Who 40128 14390 1332 34,59 19,43 11,98,52,72,71,73-0,02 29 Who 21408 33079 1363 38,02 25,79 12,05,45,38,36,41-0,05 30 Who 30831 23483 1536 37,32 21,81 13,36,59,55,51,59-0,08 31 Click 46402 8450 33,63 13,35 10,08,58,83,84,82 998 word 0,02 32 Click 33532 19914 36,87 20,48 16,29,62,60,56,64 2404 word -0,07 33 Click 31143 22631 37,69 21,23 14,09,63,56,55,57 2076 word -0,02 34 Click 33321 19614 36,08 21,97 17,24,53,60,53,66 2915 word -0,13 35 Click 10998 42309 40,96 28,08 17,70,39,20,17,22 2543 word -0,05 36 Click 33198 20910 36,27 21,88 12,49,55,59,56,63 1742 word -0,07 37 Click 22188 29923 39,39 24,71 18,75,56,40,34,45 3739 word -0,11 38 Click 10712 41397 38,15 28,84 21,58,27,19,18,21 3741 word -0,03 39 Click 8282 42306 42,68 28,66 22,29,38,15,11,19 5262 word -0,08 40 Write w 37566 17221 1063 35,97 18,56 11,94,62,67,69,66 0,03 41 Write w 27404 27071 1375 38,12 22,97 12,22,58,49,52,46 0,06 42 Write w 21819 32784 1247 39,78 24,40 12,57,57,39,40,38 0,02 43 Write w 18713 32531 4606 41,65 25,29 17,68,61,34,33,34 0,00 44 Write w 27720 24079 4051 39,07 21,97 17,64,67,50,51,48 0,03 45 Write w 17950 34789 3111 40,50 26,20 14,50,53,32,32,32 0,00 Vedlegg 2 22

46 Write w 27645 25133 3072 37,24 24,24 14,57,52,49,51,48 0,02 47 Write w 15531 33059 7260 42,65 26,38 20,50,58,28,28,27 0,01 48 Write w 6339 41329 8182 45,82 29,25 22,49,41,11,11,12-0,01 49 Write w 14214 35487 6149 40,95 27,92 18,00,46,25,30,21 0,08 50 Write w 11358 38303 6189 41,57 28,48 19,49,42,20,21,20 0,01 51 Move p 26161 25273 4416 38,60 23,35 18,90,59,47,52,42 0,10 52 Move p 26804 24630 4416 36,97 24,73 18,90,48,48,51,46 0,05 53 Move p 27189 24245 4416 37,40 24,05 18,90,52,49,52,45 0,07 54 Move p 24574 26860 4416 37,98 24,82 18,90,51,44,47,41 0,06 Vedlegg 2 23