Nasjonale prøvar i engelsk 2013 rapport og analyse

Transkript

1 Nasjonale prøvar i engelsk 2013 rapport og analyse v/eli Moe, UiB, februar 2014 I denne rapporten går vi gjennom resultat for dei nasjonale prøvane i engelsk på 5. og 8. trinn 2013, både overordna resultat og mål som gjeld einskilditem. Analysane er basert på data frå alle elevane som tok hovudprøvane og ankerprøvane for 5. og 8. trinn hausten Hovudprøve og ankerprøve/ankerprøvar Det vart utvikla ein nasjonal prøve i engelsk for 5. og 8. trinn I tillegg vart det sett saman ein ankerprøve for kvart trinn. Utdanningsdirektoratet bad oss setje saman tre versjonar av hovudprøvane på 5. og 8. trinn. Versjonane på kvart av trinna inneheld dei same itema, men rekkefølgja dei blir prestentert i varierer frå versjon til versjon. Dette vart gjort for å redusere sjansen for at elevar kunne sjå kva svar naboelevar gav. Når ein elev logga seg på for å ta ein nasjonal prøve i engelsk, fekk han tildelt ein av versjonane tilfeldig. Ca halvparten av itema i ankerprøvane inneheldt ankeritem som var med i ankerprøvar i 2012, mens resten av itema var frå hovudprøvane i Ankeritema var ikkje pilotert samtidig med itema til hovudprøvane i Tanken er at desse ankeritema skal gå igjen i fleire nasjonale prøvar i åra som kjem. Itemformat 2013-prøvane har i all hovudsak dei same itemformata som tidlegare år. Eitt itemformat er tatt bort frå prøvane på 5. trinn, colour-formatet, der elevane skulle fargelegge ting i eit bilete. I prøven på 8. trinn er det ingen endringar når det gjeld format frå tidlegare år Alle item i engelskprøvane kan skårast automatisk. Nokre av itemformata kan likevel tolkast som opne i og med at svaralternativ ikkje er oppgitt. Opne format er: Click item (eleven klikkar på ein ting i eit bilde) kun 5. trinn Click & drag (eleven plasserer ein ting i eit bilde) Who could say (eleven klikkar på eit namn i teksten) Click on a word (eleven klikkar på eit ord i teksten) kun 8. trinn Write word (eleven fullfører ein setning ved å skrive inn eitt eller fleire ord) kun 8. trinn Lukka format er item der eleven vel mellom ulike svaralternativ. Lukka format er: Click picture (eleven klikkar på eitt av fleire bilde) Click text (eleven klikkar på ein av fleire tekstar) Gap filling (eleven klikkar på eitt av fire svaralternativ i løpande tekst - lukeprøve) MC multiple choice - fleirval (eleven klikkar på eitt av fleire oppgitte svaralternativ) Move paragraph (eleven svarar ved å flytte avsnitta i ein tekst slik at rekkefølgja blir korrekt kun 8. trinn Tabell 1 viser kor mange item av kvart format som finst i prøven på 5. trinn. 1

2 Tabell 1: 5. trinn - fordeling av itemformat i nasjonal prøve i engelsk 5. trinn Itemformat Prøve 5. trinn Click item Click picture Click & drag What time is it Click text Gap filling Multiple choice short Multiple choice story Who could say I alat 5 item 5 item 6 item 4 item 5 item 9 item 5 item 5 item 6 item 50 item Tabell 2 viser kor mange item av kvart format som finst i prøven på 8. trinn. Tabell 2: 8. trinn - fordeling av itemformat i nasjonal prøve i engelsk 8. trinn Itemformat Click picture Click & drag Click text Gap filling Multiple choice short Multiple choice story Who could say Click word Write words Move paragraph I alt Prøve 8. trinn 3 item 3 item 3 item 4 item 6 item 5 item 6 item 9 item 11 item 4 item 54 item 2

3 Oppsummerande statistikk - hovudprøvar 5. trinn Tabell 3 viser oppsummerande statistikk for nasjonale prøvar i engelsk 5. trinn. Tabellen viser data både for kvar av dei tre versjonane og for alle elevane på trinne (data for dei tre versjonane er slått saman). Tabell 3: Oppsummerande statistikk Nasjonal prøve i engelsk 5. trinn 2013 tre versjonar og samla resultat Tal på item Andel fleirval Gj.sn p-verdi Gj.sn poeng Tal på elevar NP / ,55 10, NP / ,63 10,500 0, NP / ,39 10,515 0, NP5 alle 50 29/ NP5-1 = nasjonal prøve i engelsk for 5. trinn, versjon 1 NP5-2 = nasjonal prøve i engelsk for 5. trinn, versjon 2 NP5-3 = nasjonal prøve i engelsk for 5. trinn, versjon 3 På 5. trinn har prøvane gode mål for reliabilitet og diskriminering. Prøven har ein gjennomsnittleg p-verdi på 0.55, som er omtrent det vi siktar mot. 8. trinn Tabell 4 viser oppsummerande statistikk for nasjonale prøvar i engelsk 5. trinn. Tabellen viser data både for kvar av dei tre versjonane og for alle elevane på trinne (data for dei tre versjonane er slått saman). Tabell 4: Oppsummerande statistikk Nasjonal prøve i engelsk 8. trinn 2013 tre versjonar og samla resultat Tal på item Andel fleirval Gj.sn p-verdi Gj.sn poeng Hovudprøve Reliabilitet Stdavvik Diskriminering Hovudprøve Reliabilitet Stdavvik Diskriminering Tal på elevar NP / NP / NP / , NP8-alle 54 29/ NP8-1 = nasjonal prøve i engelsk for 5. trinn, versjon 1 NP8-2 = nasjonal prøve i engelsk for 5. trinn, versjon 2 NP8-3 = nasjonal prøve i engelsk for 5. trinn, versjon 3 Også på 8. trinn har prøvane gode mål for reliabilitet og diskriminering. Prøven har ein gjennomsnittleg p-verdi på 0.56, som er omtrent det vi siktar mot. 3

4 Oppsummerande statistikk ankerprøvar Itema i hovudprøvane og ankerprøvane er ikkje piloterte samtidig. Itema i ankerprøven vart pilotert i 2010 til bruk i nasjonale prøvar i Dei vart seinare brukt i ankerprøvar i 2012, og i ankerprøvar i 2013 utan ny pilotering. Itema i hovudprøvane i 2013 vart pilotert året før, hausten Sjølv om prøvane ikkje er parallelle, ser vi at dei oppfører seg svært likt både på 5. og 8. trinn. Måla for vanskegrad, diskriminering og reliabilitet er svært like i hovudprøvar og ankerprøvar. Sjå tabell 5 og 6. Tabell 5: Oppsummerande statistikk Nasjonale prøvar i engelsk på 5. trinn og ankerprøve for 5. trinn Prøve Diskriminering NP-5- alle Tal på item Andel fleirval Gj.sn p-verdi Gj.sn poeng Reliabilitet Stdavvik Tal på elevar 50 29/ A / AP5 = Ankerprøve for 5. trinn Tabell 6: Oppsummerande statistikk Nasjonale prøvar i engelsk på 5. trinn og ankerprøve for 8. trinn Prøve Diskriminering NP-8- Alle Tal på item Andel fleirval Gj.sn p-verdi Gj.sn poeng Reliabilitet Stdavvik Tal på elevar 54 29/ A / AP5 = Ankerprøve for 5. trinn I resten av rapporten fokuserer vi på hovudprøvane i engelsk, ikkje ankerprøvane. 4

5 Fordeling av resultat på poengskala 5. trinn Figur 1 viser korleis elevresultata på den nasjonale prøven i engelsk på 5. trinn fordeler seg på poengskalaen. Figur 1: Totalpoengsum Nasjonale prøvar i engelsk 5. tinn 2013 fordelt på poengskala Figur 1 viser at resultata på 5. trinn er tilnærma normalfordelte. 228 elevar fekk max skåre, 50 poeng. Dette tilsvarar 0.4 prosent av elevane som tok prøven. 8. trinn Figur 2 viser korleis resultata på den nasjonale prøven i engelsk på 8. trinn fordeler seg på poengskalaen. Figur 2: Totalpoengsum Nasjonale prøvar i engelsk 8. trinn 2013 fordelt på poengskala Fordelinga av elevresultat på poengskalaen for 8. trinn er ikkje heilt normalfordelt. På 8. trinn er det 150 elevar som får maksimal skåre, 0.3 prosent. 5

6 Vanskegrad på itemnivå 5. trinn Figurane 3 og 4 viser vanskegraden på itema i prøven på 5. trinn, først fordelt etter rekkefølgja itema opptrer i prøven (figur 3) og deretter sortert frå det lettaste til det vanskelegaste (figur 4). Figur 3: Vanskegrad på item 5. trinn rekkefølge som i prøven Figur 4: Item sortert etter vanskegrad 5. trinn Figur 3 viser at i prøven er det ei veksling mellom lette og vanskelege item i prøven. Det er ein tendens til at dei fleste vanskelege item kjem mot slutten av prøven. I figur 4 er itema sortert etter vanskegrad. Det vanskelegaste itemet har ein p-verdi på 0.25, medan det lettaste itemet har ein p-verdi på trinn Figurane 5 og 6 viser vanskegraden på itema i prøven på 8. trinn, først fordelt etter rekkefølgja itema opptrer i prøven (figur 5) og deretter sortert frå det lettaste til det vanskelegaste (figur 6). Figur 5: Vanskegrad på item 8. trinn rekkefølge som i prøven Figur 6: Item sortert etter vanskegrad 8. trinn Sjølv om det er ein tendens til at dei vanskelegaste itema kjem mot slutten av prøven, så viser figur 5 at det også finst vanskelegare item tidleg i prøven så vel som relativt lette item mot slutten. Det vanskelegaste itemet har ein p-verdi 0.11, medan det lettaste itemet har ein p- verdi på

7 Meir detaljerte opplysningar om format, kjønnsskilnader og vanskegrad på itemnivå finst i vedlegg 2B og C. Vanskegrad - reelle prøvar vs pilotering 5. trinn Figur 7 viser vanskegraden på itema i piloteringa hausten 2012 og i dei reelle prøvane i X-aksen (den horisontale aksen) viser til itema i prøvane i den rekkefølgja dei vart presenterte for elevane. Y-aksen (den vertikale aksen) viser til p-verdien for kvart item. Den gule lina i figuren viser til vanskegrad (p-verdi) i følgje piloteringsdata, medan den mørkaste lina viser til vanskegrad i dei nasjonale prøvane Jo nærare 0 p-verdien er, jo vanskelegare er itemet, og jo nærare 1 p-verdien er, jo lettare er itemet. Vi ser at itema i den reelle prøven jamt over er «lettare» enn i piloteringa. Figur 7: Vanskegrad på item nasjonale prøvar 2013 og pilotering 2012, 5. trinn Vi ser at fleire elevar svarar rett på itema i den reelle prøven enn i piloteringa. Dei samme itema er altså lettare på den reelle prøven enn dei var eit år tidlegare i piloteringa. Dette er ein tendens vi ser kvart år. Data som ligg til grunn for figur 7 viser - Tre item (nr 1, 2 og 35) er vanskelegare i prøven 2013 enn det var då itema vart pilotert i To av desse itema er av typen Click picture og det tredje er eit fleirvalsitem av typen MC short item er lettare i prøven enn ved pilotering. 7

8 8. trinn Figur 8 viser at itema i prøven på 8. trinn var jamt over er lettare i den reelle prøven enn dei var i piloteringa. Den gule lina viser til vanskegrad (p-verdi) på enkeltitem i piloteringa, medan den grønne lina viser verdien i reell prøve. Figur 8: Vanskegrad på item nasjonale prøvar 2013 og pilotering 2012, 8. trinn Data som ligg til grunn for figur 8 viser: - eitt item (av typen Who could say) er vel eit prosentpoeng vanskelegare i den reelle prøven enn i piloteringa - tre item har same vanskegrad i piloteringa og i den reelle prøven - to item er litt lettare i reell prøve enn i pilotering - 49 item er lettare i prøven enn i piloteringa Det er to itemformat som skil seg ut når det gjeld skilnad i vanskegrad mellom pilotering og reell prøve. Dette er formata «Who could say» og «Move paragraph». Desse to formata presenterer elevane med litt lengre tekstar, og for å svare rett på oppgåvene, må elevane lese tekstane nøye og fokusere på tekst og oppgåve over litt tid. 8

9 Kjønnskilnader I statistisk samanheng betyr ordet signifikant «ikkje tilfeldig». Ein t-test vil avsløre om skilnadene mellom gutar og jenter er signifikante. At ein skilnad er signifikant, vil seie at det er liten sjanse for at resultatet er tilfeldig. Dette blir uttrykt som ein p-verdi som kan tolkast som kor sannsynleg det er at resultatet kan oppstå ved eit reint tilfelle. Ein liten verdi er difor eit uttrykk for at skilnadene er store (t.d >0.01), dette kan også tolkast som ein prosent der ein multipliserer p-verdien med 100. Tradisjonelt brukar ein grenser på 5% (0.05) og 1% (0.01) som viktige markeringar. Når vi har analysert data frå nasjonale prøvar i engelsk tidlegare år, har det i det store og heile ikkje vore særlege skilnader mellom gutane og jentene sine resultat. Jamnt over har jentene gjort det litt betre enn gutane utan at desse skilnadene har vore signifikante. Dersom ein baserer analysane sine på store utval (til dømes fleire tusen elevar), er det lett at trivielle skilnader blir signifikante. Desse analysane baserer seg på data frå over elevar for kvar av prøvane på 5. og 8. trinn. Her vil vi meir eller mindre forvente at trivielle skilnader blir signifikante om vi samanliknar korleis gutar og jenter presterer. 5. trinn Den gjennomsnittlege poengsummen og standardavviket viser at skilnaden mellom gutar og jenter på 5. trinn er svært små. Jentene skårar gjennomsnittleg litt høgre enn gutane. Tabell 7: Skilnader mellom jenter og gutar på 5. trinn t-test Prøve Kjønn Gjennomsnittleg poengsum n Standardavvik t Sig NP-5 Gutar Jenter ** skilnaden er ikkje signifikant Ein skilnad i gjennomsnittleg poengsum på 0,13 poeng er liten. Ein t-test viser at denne skilnaden ikkje er signifikant. Det vil altså seie at den vesle skilnaden mellom gutar og jenter kan vere tilfeldig. Tabell 8 viser kor mange % av elevane på mestringsnivå 1, 2 og 3 som er gutar og jenter. Dersom vi deler jentene og gutane i grupper basert på mestringsnivå, kan vi samanlikne om jente- og gutegruppene oppfører seg likt. Mestringsnivå 1 visert il gjennomsnittleg poengsum for dei 25% svakaste i gruppa, medan mestringsnivå 3 viser til resultatet for dei 25% av elevane med høgast totalpoengsum. Tabell 8: Np 5 engelsk prosentvis del av jenter/gutar på ølike mestringsnivå Mestringsnivå Jener (n) Jenter (%) NP engelsk 5. trinn Gutar (n) Gutar % Tabell 8 viser at det er fleire gutar enn jenter med resultat som plasserer dei på mestringsnivå 1 og 3. Samtidig der det fleire jenter enn gutar på mestingsnivå 2. Dette er ein tendens vi har 9

10 sett i datamaterialet for5. trinn fleire år på råd. Likevel er det først og fremst viktig å understreke at kjønnsskilnadene er små når det gjeld engelsk på 5. trinn. Figur 9 viser p-verdiane på 5. trinn fordelt på kjønn. Figur 9: P-verdiar gutar og jenter 5. trinn Den raude lina viser p-verdar for jenter og den blå for gutar.vi ser at skilnadene er små, men at der kan sjå ut som om jentene gjer det litt betre enn gutane på ein god del item. I figur 10 blir kjønnskilnadene på 5. trinn framstilt på ein annan måte enn i figur 9. Figuren viser differansen i p-verdi mellom gutar og jenter på itemnivå. Kolonnene som peikar oppover med positive verdiar viser til item der jentene gjer det best. Kolonnene som peikar nedover, med negative verdiar, viser til item der gutane gjer det best. Di høgre kolonnene er, di større er skilnaden mellom jenter og gutar. Vi ser at det er fleire «jentekolonner» enn «gutekolonner». Figur 10: Skilnader mellom gutar og jenter på itemnivå 5. trinn 10

11 På 27 av itema er det prosentvis fleire jenter enn gutar som svarar rett. På 14 av itema er det flest gutar som svarar rett. For 9 item er det ingen skilnad mellom jenter og gutar. Det er ikkje så lett å sjå noko bestemt mønster når det gjeld kjønnskkilnader på 5. trinn. Det kan kanskje sjå ut som om jentene generelt sett gjer det litt betre i formatet «Who could say». Men også her er skilnadene små. 8. trinn Skilnaden mellom jenter og gutar i gjennomsnittleg poengsum på 8. trinn er svært liten. Jentene (30.41 poeng) skårar i gjennomnitt litt høgre enn gutane (29.88 poeng). Tabell 9: Skilnader mellom jenter og gutar på 8. trinn t-test Prøve Kjønn Gjennomsnittleg poengsum n Standardavvik t Sig NP-8 Gutar , Jenter Data viser at skilnaden mellom jenter og gutar er signifikant på 0.01 nivå. Det betyr altså at skilnaden ikkje er tilfeldig. Som nemnt tidlegare vil ein meir eller mindre forvente signifikante skilnader når ein baserer seg på eit så stort datamateriale som vi gjer i samband med dei nasjonale prøvane. Tabell 10: Np 5 engelsk prosentvis del av jenter/gutar på ølike mestringsnivå Mestringsnivå Jenter (n) Jenter (%) NP engelsk 5. trinn Gutar (n) Gutar % Tabell 10 viser at det er fleire gutar enn jenter i botn og på toppen av poengskalaen, dvs. med resultat som plasserer dei på mestringsnivå 1,2, 4 og 5. Samtidig der det fleire jenter enn gutar på mestingsnivå 3. Kjønnskilnaden er størst på mestringsnivå 1, der ein god del fleire gutar enn jenter blir plassert. Dette er ein tendens vi har sett i datamaterialet for 8. trinn fleire år på råd. Vi ser same tendensen på 8. trinn som på 5. trinn. Det er relativt fleire svake gutar enn jenter, og samtidig er det litt fleire sterke gutar enn jenter. Likevel er det først og fremst viktig å understreke at kjønnsskilnadene er små når det gjeld engelsk på 8. trinn. 11

12 Figur 11 viser p-verdi knytt til kjønn. Figur 11: P-verdi gutar og jenter 8. trinn Den raude lina viser p-verdar for jenter og den blå for gutar.vi ser at skilnadene er små, men at der kan sjå ut som om jentene gjer det litt betre enn gutane på ein god del item. I figur 12 blir kjønnskilnadene på 8. trinn framstilt på ein annan måte enn i figur 11. Figuren viser differansen i p-verdi mellom gutar og jenter på itemnivå. Kolonnene som peikar oppover med positive verdiar viser til item der jentene gjer det best. Kolonnene som peikar nedover, med negative verdiar, viser til item der gutane gjer det best. Di høgre kolonnene er, di større er skilnaden mellom jenter og gutar. Vi ser at det er fleire «jentekolonner» enn «gutekolonner». Figur 12: Skilnader mellom gutar og jenter på itemnivå 5. trinn 12

13 Sjølv om det er svært små skilnader mellom gutar og jenters poengsum på prøven, viser figur 12 at om vi ser på einskilditem, kan skilnaden nokre gonger vere relativt stor. På same måte som på 5. trinn, kan det sjå ut som om nokre item appellerer meir til jenter og andre til gutar. I tre av formata gjer jentene det klart best: Mc story, Write word og Move paragraph. Dette er noko vi også har sett tidlegare år. I formata Mc story og Move paragraph blir elevane presenterte for lengre tekstar, og dei treng å lese tekstane nøye for å kunne svare rett. Formatet Write Word krev kunnskap i grammatikk og ei kjensle for engelsk språkbruk. Her må elevane fullføre ein setning ved å skrive inn eitt eller fleire ord. Jentene gjer det også best i formata Click picture, Click and drag og Click text, men i og med at det er kun 3 item i prøven av kvart av desse formata, vil det vere feil å leggje for stor vekt på dette. Gutane gjer det best i formatet Click word. Dette er ein tendens vi også har sett tidlegare år. Gjennomsnittleg p-verdi viser at gutane taklar 8 av 9 item betre enn jentene i dette formatet. Jentene har tidlegare gjort det best i formatet Who could say. Dette året er det fleire gutar enn jenter som svarar rett på 5 av 6 item. I formata, Gap, Mc-short vekslar jentene og gutane på å gjera det best på einskilditema. Vi gjentar til slutt at skilnadene mellom resultatet gutar og jenter oppnår på dei nasjonale prøvane i engelsk er små, trass i at kjønnsskilnadene på prøven på 8. trinn er signifikant. Sjå elles vedlegg 2B og 2C for detaljerte skilnader på itemnivå. Til slutt Den nasjonale prøven i engelsk på 5. og 8. trinn fungerer i all hovudsak som forventa. Prøvane er reliable, har omlag den vanskegraden vi siktar mot, inneheld item med varierande vanskegrad, og diskriminerer på ein fornuftig måte mellom elevane. Prøvane tar mål av seg å måle det nokre av kompetansemåla i læreplanen, dette gjeld kompetansemål som omhandlar lesing på engelsk, vokabular og grammatikk. Vi prøver å inkludere eit variert sett med lesetekstar. Tekstane representerer ulike sjangrar, omhandlar ulike tema og har ulik vanskegrad. Vi prøver også å finne tekstar som kan vere interessante for jenter og gutar på 5. og 8. trinn. Sidan prøvane er digitale og blir skåra automatisk, kan vi ikkje måle produktive ferdigheiter (munnlege og skriftlege ferdigheiter), i alle fall ikkje ennå. Prøven måler heller ikkje lytting på engelsk. Lytting er ein ferdigheit det kunne vere viktig å inkludere i nasjonale prøvar i engelsk dersom og når det kan forsvarast teknisk. Lytteoppgåver kan også, på same måte som leseoppgåver, skårast automatisk. 13

14 Vedlegg 1 Hovudprøve og ankerprøve 5. trinn NP = item i hovudprøve, A = ankeritem Format Hovudprøve Ankerprøve Format Hovudprøve Ankerprøve Click item Click picture Click and drag What time is it? Click text Gap filling NP5-1 NP5-1 NP5-35 NP5-35 NP5-2 NP5-2 NP5-36 A5-12 NP5-3 A5-1 Mc short NP5-37 NP5-37 NP5-4 A5-2 NP5-38 NP5-38 NP5-5 NP5-5 NP5-39 A5-13 NP5-6 A5-3 NP5-40 A5-14 NP5-7 NP5-7 NP5-41 A5-15 NP5-8 NP5-8 MC-story NP5-42 A5-16 NP5-9 NP5-9 NP5-43 A5-17 NP5-10 A5-4 NP5-44 A5-18 NP5-11 A5-5 NP5-45 NP5-45 NP5-12 NP5-12 NP5-46 NP5-46 NP5-13 A5-6 NP5-47 NP5-47 Who could say NP5-14 NP5-16 NP5-48 NP5-48 NP5-15 NP5-13 NP5-49 NP5-49 NP5-16 NP5-14 NP5-50 NP5-50 NP5-17 NP5-17 NP5-18 A5-7 NP5-19 NP5-18 NP5-20 A5-8 NP5-21 A5-9 NP5-22 NP5-22 NP5-23 A5-10 NP5-24 NP5-25 NP5-26 NP5-27 NP5-28 NP5-29 NP5-30 NP5-31 NP5-32 NP5-24 NP5-25 NP5-26 NP5-27 NP5-28 NP5-29 NP5-30 NP5-31 NP5-32 NP5-33 A5-11 NP5-34 A

15 Vedlegg 1 Hovudprøve og ankerprøve 8. trinn - oversikt H = item i hovudprøve, A = ankeritem Format Hovudprøve Ankerprøve Format Hovudprøve Ankerprøve Click picture Click and drag Click text Gap MC-short MC-story Who could say Click word NP8-1 A8-1 NP8-40 A8-18 NP8-2 A8-2 NP8-41 NP8-40 NP8-3 NP8-3 NP8-42 NP8-42 NP8-4 A8-3 NP8-43 NP8-43 NP8-5 NP8-6 NP8-44 NP8-44 NP8-6 A8-4 Write words NP8-45 NP8-45 NP8-7 A8-5 NP8-46 A8-19 NP8-8 A8-6 NP8-47 NP8-46 NP8-9 NP8-7 NP8-48 NP8-47 NP8-10 A8-7 NP8-49 NP8-48 NP8-11 A8-8 NP8-50 NP8-49 NP8-12 NP8-12 NP5-51 A8-20 NP8-13 NP8-13 Move NP5-52 A8-21 NP8-14 A8-9 paragraph NP5-53 A8-22 NP8-15 NP8-14 NP5-54 A8-23 NP8-16 NP8-17 NP8-17 NP8-18 NP8-18 A8-10 NP8-19 NP8-15 NP8-20 A8-11 NP8-21 A8-12 NP8-22 A8-13 NP8-23 A8-14 NP8-24 A8-15 NP8-25 NP8-26 NP8-27 NP8-28 NP8-29 NP8-30 NP8-31 NP8-25 NP8-26 NP8-27 NP8-28 NP8-29 NP8-30 NP8-31 NP8-32 A8-16 NP8-33 NP8-34 NP8-35 NP8-36 NP8-33 NP8-34 NP8-35 NP8-36 NP8-37 A8-17 NP8-38 NP8-39 NP8-38 NP

16 Vedlegg 2 Opplysningar på itemnivå I tabell 15 og 16 presenterer vi opplysningar om einskilditem i prøvane for 5. og 8. trinn. For å vise korleis tabell 15 og 16 skal lesast, har vi tatt med tabell 14, som inneheld to item, som eit eksempel. Item 5 og 6 i denne tabellen er henta frå tabell 15 som viser til prøven på 5. trinn. Tabell 14: Eksempel på resultattabell Felt Fleirval A B C D Blank A B C D Blank D p-verdi Flagg/ Komm Rett/galt Kjønnsskilnader Tal på elevar Gjennomsnittleg skåre i svargrupper alle jenter gutar skilnad 5 Click item ,40 22,80 15,97,47,45,44,46-0,02 6 Click pict ,74 28,70 15,50 21,02 11,42,30,90,91,88 0,02 Felt 1 Eit item er enten eit fleirvalsitem der eleven svarar ved å velja mellom ulike svaralternativ (A,B C osv.) eller eit item som blir skåra rett eller galt (t.d. click & drag, click word osv.). Felt 1 viser korleis elevane i utvalet har svart på itemet. Vi ser at item 5 er eit rett/galt item, og at elevar i utvalet har svart rett, medan har svart feil. 214 elevar har ikkje svart på itemet. Item 6 er eit fleirvalsitem, og tabellen viser kor mange elevar som har valt dei ulike svaralternativa elevar har valt alternativ A, har valt alternativ B osv. 133 elevar har ikkje svart på item 6. Felt 2 Dette feltet viser gjennomsnittspoengsum for ulike elevgrupper. Vi vil forvente at gjennomsnittspoengsummen er høgre for elevgruppa som har svart rett på eit item, enn gruppa som har svart feil på same item. Om vi ser på item 5, så ser vi at elevane som har svart feil på dette itemet, har ein gjennomsnittspoengsum på 22,80 poeng, mens elevane som svarar rett på itemet har ein gjennomsnittspoengsum på Det er 214 elevar som ikkje har svart på dette itemet, og gjennomsnittleg poengsum i denne gruppa er 15,97. Når det gjeld item 6, så er gjennomsnitts-poengsummen 16,74 for dei elevane som har svart alternativ A, for gruppa som har svart alternativ B er gjennomsnittet (rett svar) osv. 16

17 Vedlegg 2 Felt 3 D står for diskriminering, og dette er eit mål på kor godt itema diskriminerer mellom elevane. Vi forventar at fleire sterke enn svake elevar svarar rett på eit item. Diskrimineringsindeksen varierer mellom 0 og 1. Di nærare 1 verdien er, di betre diskriminerer itemet mellom svake og sterke elevar. Normalt vil ein seie at eit item bør ha ein diskrimineringsindeks over 0,25 (maxverdi =1). Felt 4 Felt 4 presenterer vanskegrad i form av p-verdi for 1) alle elevane som har tatt prøven, 2) jentene og 3) gutane. I tillegg er det ei kolonne som viser skilnaden i p-verdi mellom jenter og gutar. P er eit mål på vanskegrad, og p varierer mellom 0 og 1. Di nærare 0 p-verdien er, di vanskelegare er itemet. Lette item har verdiar som nærmar seg 1. Item 5 har ein p-verdi på 0,45. Det betyr at 45 % av elevane har svart rett på dette itemet. Og vi ser at dette itemet har vore litt lettare for gutane enn for jentene. Vi ser at item 6 er mykje lettare. 90 % av elevane har svart rett på itemet, 91 % av jentene og 88 % av gutane. Dette betyr at det er relativt noko fleire jenter enn gutar som har svart rett. Den siste kolonna viser skilnad i vanskegrad mellom jentegruppa og gutegruppa. Positive verdiar viser til item der jentene gjer det best, medan negative verdiar viser til item der gutane gjer det best. Det er vanskeleg å angi ideelle p-verdiar fordi prøvar har ulike formål. Dersom målet er å skilja mellom dei fleste og dei svakaste elevane, vil ein velje item med relativt høg p-verdi, det vil seia item dei fleste svarar rett på og dei svakaste ikkje klarar. Dersom målet er å skilja mellom personar i heile populasjonen (slik som dei nasjonale prøvane), både mellom dei flinkaste og dei svakaste, vil ein velje både lette og vanskelege item. Mange vil då ha som mål at gjennomsnitts p-verdi for heile prøven er rundt 0,5. Vi reknar med at denne forklaringa gjer det lettare å lese dei tre neste tabellane. 17

18 Vedlegg 2 Nasjonal prøve i engelsk 5. trinn n = gutar = 26486, jenter = Tabell 15: Informasjon om einskilditem Nasjonal prøve i engelsk 2013 Felt Fleirval A B C D Blank A B C D Blank D p-verdi Rett/galt Kjønnsskilnader Tal på elevar Gjennomsnittleg skåre i svargrupper alle jenter gutar Skilnad 1 Click item ,02 18,04 10,75,49,71,71,71 0,00 2 Click item ,38 21,44 12,05,42,62,64,60 0,04 3 Click item ,31 19,97 10,84,54,61,62,61 0,01 4 Click item ,21 20,58 13,30,57,55,56,55 0,01 5 Click item ,40 22,80 15,97,47,45,44,46-0,02 6 Click pict ,74 28,70 15,50 21,02 11,42,30,90,91,88 0,02 7 Click pict ,20 16,28 17,85 28,45 10,74,28,92,94,91 0,03 8 Click pict ,59 13,89 12,75 29,64 7,07,33,77,75,79-0,04 9 Click pict ,46 20,37 29,11 20,54 12,49,28,81,82,80 0,02 10 Click pict ,82 20,22 18,48 30,30 13,11,41,74,75,73 0,02 11 Click & dr ,50 20,70 7,65,39,70,70,70 0,00 12 Click & dr ,55 20,77 11,64,39,69,69,69 0,00 13 Click & dr ,73 21,60 16,10,44,59,57,61-0,04 14 Click & dr ,81 23,18 13,46,54,35,36,33 0,03 15 Click & dr ,08 21,90 15,99,50,51,51,50 0,00 16 Click & dr ,56 23,03 14,49,54,36,36,36 0,00 17 What time ,04 21,54 13,21,40,63,64,63 0,01 18 What time ,12 21,47 14,04,41,63,63,63 0,01 19 What time ,47 22,28 15,18,45,52,51,52-0,01 Flagg/ Komm 18

19 Vedlegg 2 20 What time ,12 23,31 14,02,43,43,42,45-0,03 21 Click text ,58 16,07 17,91 29,83 10,27,44,82,85,79 0,06 22 Click text ,05 24,03 16,87 17,95 11,57,31,68,70,66 0,04 23 Click text ,23 15,77 16,15 17,37 11,15,39,87,89,85 0,03 24 Click text ,81 26,17 20,59 31,44 12,50,33,50,48,51-0,03 25 Click text ,08 22,35 22,27 25,76 17,29,37,48,47,48 0,00 26 Gap ,73 34,35 22,37 19,23 10,24,52,42,43,40 0,03 27 Gap ,21 20,22 31,66 23,89 14,35,41,57,55,59-0,03 28 Gap ,83 19,55 19,28 30,59 14,25,19,77,77,78-0,01 29 Gap ,10 20,30 23,62 33,69 14,08,42,38,41,36 0,05 30 Gap ,30 21,54 31,75 19,50 17,84,47,62,62,61 0,00 31 Gap ,36 20,02 32,11 24,85 15,10,44,55,57,53 0,04 32 Gap ,61 23,39 20,27 31,63 13,99,33,77,78,76 0,02 33 Gap ,87 23,39 20,27 31,63 13,99,36,51,51,52-0,01 34 Gap ,35 23,95 21,61 23,10 16,51,30,62,60,65-0,05 35 Mc short ,37 20,56 25,27 32,97 12,77,44,46,43,49-0,05 36 Mc short ,49 22,87 33,04 21,44 13,75,47,49,45,52-0,07 37 Mc short ,17 23,43 20,64 23,31 15,32,42,52,47,57-0,10 38 Mc short ,72 20,97 23,76 25,38 14,63,34,47,49,46 0,03 39 Mc short ,84 24,05 23,65 32,99 16,27,39,41,41,41 0,00 40 Mc story ,46 22,08 33,23 22,14 16,01,47,46,49,44 0,05 41 Mc story ,60 21,84 25,07 33,58 17,15,43,40,39,40-0,01 42 Mc story ,71 24,83 22,35 23,76 17,51,34,29,30,28 0,02 43 Mc story ,31 28,36 21,49 24,83 17,97,31,29,29,30-0,01 44 Mc story ,95 22,67 33,61 23,13 18,07,37,33,32,35-0,04 45 Who ,08 20,74 18,21,50,61,65,56 0,09 46 Who ,94 22,87 18,91,45,48,48,47 0,01 19

20 Vedlegg 2 47 Who ,73 24,50 19,21,52,25,25,24 0,00 48 Who ,32 23,01 19,29,51,41,42,41 0,01 49 Who ,75 24,56 19,83,39,35,34,35-0,01 50 Who ,37 24,33 19,79,50,28,29,28 0,01 20

21 Nasjonal prøve i engelsk 8. trinn (n = gutar = 28362, jenter = 27488) Vedlegg 2 Tabell 16: Informasjon om einskilditem Nasjonal prøve i engelsk 2013 Felt Fleirval A B C D Blank A B C D Blank D p-verdi Rett/galt Kjønnsskilnader Flagg/ Komm Tal på elevar Gjennomsnittleg skåre i svargrupper alle jenter gutart Skilnad 1 Click ,66 10,55 17,61 32,33 10,97,40,86,88, pict. 0,04 2 Click ,06 13,89 9,86 10,19 12,05,30,95,95, pict. 0,00 3 Click ,86 32,04 15,06 20,98 16,31,42,79,81, pict. 0,04 4 Click & ,09 24,22 9,56,34,60,62, dr. 0,04 5 Click & ,07 18,52 11,80,50,75,78, dr. 0,06 6 Click & ,97 22,35 11,50,45,62,63, dr. 0,02 7 Click ,69 32,11 15,91 19,15 12,10,36,86,87, text 0,01 8 Click ,51 15,33 15,59 19,22 11,88,49,79,79, text 0,00 9 Click ,89 33,39 20,97 24,22 9,21,38,72,76, text 0,07 10 Gap ,85 21,78 37,94 20,15 11,81,61,52,47,57-0,11 11 Gap ,37 22,49 34,98 16,17 9,85,42,59,61,58 0,03 12 Gap ,70 25,20 31,00 39,48 6,58,45,31,33,29 0,04 13 Gap ,79 21,44 25,00 36,98 13,14,48,48,45,51-0,06 14 Mc short ,29 34,69 18,68 18,37 6,72,59,75,79,72 0,08 15 Mc short ,15 20,27 18,84 33,82 7,36,49,76,78,74 0,04 16 Mc short ,76 17,84 35,30 27,00 9,45,56,68,65,71-0,07 17 Mc short ,02 25,03 23,60 36,92 5,53,44,44,45,44 0,01 18 Mc short ,86 20,80 26,67 35,89 5,72,44,53,49,56-0,07 21

22 19 Mc short ,67 36,24 20,44 22,20 9,80,55,60,59,61-0,02 20 Mc story ,05 19,13 21,26 36,63 8,16,56,58,64,52 0,12 21 Mc story ,97 16,22 14,98 33,44 9,44,52,82,86,78 0,08 22 Mc story ,24 34,06 17,33 18,54 8,99,46,72,77,67 0,11 23 Mc story ,05 16,16 35,04 16,47 8,69,53,69,76,61 0,15 24 Mc story ,23 20,86 23,80 18,10 10,28,49,63,66,61 0,05 25 Who ,12 16,55 11,72,56,78,77,79-0,02 26 Who ,84 15,51 11,07,56,80,81,80 0,01 27 Who ,95 14,91 11,13,58,80,80,81-0,01 28 Who ,59 19,43 11,98,52,72,71,73-0,02 29 Who ,02 25,79 12,05,45,38,36,41-0,05 30 Who ,32 21,81 13,36,59,55,51,59-0,08 31 Click ,63 13,35 10,08,58,83,84, word 0,02 32 Click ,87 20,48 16,29,62,60,56, word -0,07 33 Click ,69 21,23 14,09,63,56,55, word -0,02 34 Click ,08 21,97 17,24,53,60,53, word -0,13 35 Click ,96 28,08 17,70,39,20,17, word -0,05 36 Click ,27 21,88 12,49,55,59,56, word -0,07 37 Click ,39 24,71 18,75,56,40,34, word -0,11 38 Click ,15 28,84 21,58,27,19,18, word -0,03 39 Click ,68 28,66 22,29,38,15,11, word -0,08 40 Write w ,97 18,56 11,94,62,67,69,66 0,03 41 Write w ,12 22,97 12,22,58,49,52,46 0,06 42 Write w ,78 24,40 12,57,57,39,40,38 0,02 43 Write w ,65 25,29 17,68,61,34,33,34 0,00 44 Write w ,07 21,97 17,64,67,50,51,48 0,03 45 Write w ,50 26,20 14,50,53,32,32,32 0,00 Vedlegg 2 22

23 46 Write w ,24 24,24 14,57,52,49,51,48 0,02 47 Write w ,65 26,38 20,50,58,28,28,27 0,01 48 Write w ,82 29,25 22,49,41,11,11,12-0,01 49 Write w ,95 27,92 18,00,46,25,30,21 0,08 50 Write w ,57 28,48 19,49,42,20,21,20 0,01 51 Move p ,60 23,35 18,90,59,47,52,42 0,10 52 Move p ,97 24,73 18,90,48,48,51,46 0,05 53 Move p ,40 24,05 18,90,52,49,52,45 0,07 54 Move p ,98 24,82 18,90,51,44,47,41 0,06 Vedlegg 2 23