Rapport om nasjonal prøve 21 Engelsk 5. og 8. trinn UiB 1
Nasjonale prøvar i engelsk 21 rapport og analyse v/eli Moe, UiB, februar 211 I rapporten har vi prøvd å gi opplysningar om dei nasjonale prøvane i engelsk 21, både for prøvane som eit heile, men også for einskilditem. Analysane er basert på data frå alle elevane som tok prøvane hausten 21. Oppgåveformat Alle item i engelskprøvane kan skårast automatisk. Nokre av itemformata kan likevel tolkast som opne i og med svaralternativ ikkje er oppgitt. Åpne format er: Click item (eleven klikkar på ein ting i eit bilde) kun 5. trinn Colour (eleven fargelegg ein ting i eit bilde) kun 5. trinn Click & drag (eleven plasserer ein ting i eit bilde) Who could say (eleven klikkar på eit namn i teksten) Click on a word (eleven klikkar på eit ord i teksten) - kun 8. trinn Grammar (eleven fullfører ein setning ved å skrive inn eitt eller fleire ord) kun 8. trinn Lukka format er item der eleven vel mellom ulike svaralternativ. Lukka format er: Click picture (eleven klikkar på eitt av fleire bilde) Click text (eleven klikkar på ein av fleire tekstar) Gap filling (eleven klikkar på eitt av fire svaralternativ i løpande tekst - lukeprøve) MC multiple choice - fleirval (eleven klikkar på eitt av fleire oppgitte svaralternativ) Move paragraph (eleven svarar ved å flytte avsnitta i ein tekst slik at rekkefølgja blir korrekt kun 8. trinn Tabell 1 viser kor mange item av kvart format som finst i prøvane på 5. trinn. Tabell 1: 5. trinn - fordeling av oppgåvetypar/itemformat i dei ulike prøveversjonane format Prøve 1 Prøve 2 Prøve 3 Click item 4 4 4 Colour 3 3 3 Click& drag 2 3 3 Click picture 7 7 6 Click text 7 5 7 Gap filling 6 6 7 Multiple choice 7 8 6 Who could say 6 6 6 Tabell 2 viser kor mange item av kvart format som finst i prøvane på 8. trinn. 2
Tabell 2: 8. trinn - fordeling av oppgåvetypar/itemformat i dei ulike prøveversjonane format Prøve 1 Prøve 2 Prøve 3 Click picture 4 4 4 Click text 5 5 5 Click& drag 3 3 3 Gap filling 3 8 5 Multiple choice 9 8 9 Who could say 6 5 6 Click word 5 5 5 Grammar 6 6 6 Move paragraph 4 4 4 Oppsummerande statistikk Det blir utvikla 3 parallelle nasjonale prøvar i engelsk. Prøvane kan samanliknast med omsyn til innhald (t.d. antall item, antall item per format, tema osb), vanskegrad og diskriminering. Tabell 3: Oppsummerande statistikk Nasjonale prøvar i engelsk 29 Prøve Ant. item Andel fleirval Gj.sn p-verdi Gj.sn poeng Stdavvik Reliabilitet Diskriminering Tal på elevar Eng 5-1 42 27/42.883.68 25.54 7.8.37 19113 Eng 5-2 42 26/42.874.617 25.93 8.9.35 1993 Eng 5-3 42 26/42.852.64 25,38 8.1.34 19226 Eng 8-1 45 25/45.931.621 27.94 9.1.46 19613 Eng 8-2 48 28/48.926.613 29.41 8.1.44 19613 Eng 8-3 47 27/47.925.63 28.34 9.2.44 19646 Alle prøvar for begge trinn har tilfredstillande reliabilitetsmål, frå,85 til,93. Reliabiliteten for 5. trinnsprøvane er litt lågare enn for prøvane på 8. trinn. Denne tendensen har vi også sett tidlegare år. Prøvane sett under eitt, og dei aller fleste einskilditem, diskriminerer mellom sterke og svake elevar på ein fornuftig måte. Det er nokre få item som ikkje fungerer som forventa, dvs. dei fungerer annleis enn då dei vart pilotert. Engelskprøvane i 21 har gjennomsnittlege p-verdiar mellom.6 og.62. Det betyr at prøvane er litt lettare enn det vi siktar mot. Ideelt sett bør desse prøvane ha ein vanskegrad mellom.5 og.6. 3
Fordeling av resultat på poengskala 5. trinn Figur 1 3 viser korleis elevresultata i i dei tre 5. trinnsprøvane fordeler seg på poengskalaen. Figur 1: Totalpoengsum og elevar Prøve 5-1 Figur 2: Totalpoengsum og elevar Prøve 5-2 Prøve 5-1 Prøve 5-2 1 Bars s 75 75 Tal på elevar Tal på elevar 5 5 25 25 1 2 3 4 Poeng totalt 1 2 3 4 Poeng totalt Figur 3: Totalpoengsum og elevar Prøve 5-3 Prøve 5-3 Bars show counts 1 75 Tal på elevar 5 25 1 2 3 4 Poeng totalt Dei tre prøvane oppfører seg svært likt i elevgruppene, og resultata er tilnærma normalfordelt. 4
Figur 4 6 viser korleis elevane i i dei tre 8. trinns prøvane fordeler seg på poengskalaen. Figur 4: Totalpoengsum og elevar prøve 8-1 Figur 5: Totalpoengsum og elevar prøve 8-2 Prøve 8-1 Prøve 8-2 75 Bars s 75 5 Tal på elevar Tal på elevar 5 25 25 1 2 3 4 1 2 3 4 5 Poeng totalt Poeng totalt Figur 6: Totalpoengsum og elevar prøve 8-3 Prøve 8-3 75 Bars show counts 5 Tal på elevar 25 1 2 3 4 Poengsum totalt Prøve 8-2 er tilnærma normalfordelt. Prøve 8-1 og 8-3 har ei overvekt av skårar i den høgare delen av skalaen. 5
Vanskegrad på item 5. trinn Figur 7-12 viser vanskegraden på itema i prøvane på 5. trinn, først fordelt etter rekkefølgja itema opptrer i prøven (figur 7, 9, 11) og deretter sortert frå det vanskelegaste til det lettaste (figur 8, 1, 12). Vanskegrad på item rekkefølge som i prøven sortert etter vanskegrad Figur 7 Versjon 5-1 Figur 8 Versjon 5-1 Vanskegrad item Versjon 5-1 sortert etter vanskegrad Versjon 5-1 1 1,9,9,8,8,7,7 Vanskegruad,6,5,4 Serie1 Vanskegrad,6,5,4 Serie1,3,3,2,2,1,1 1 4 7 1 13 16 19 22 25 28 31 34 37 4 1 4 7 1 13 16 19 22 25 28 31 34 37 4 Antall item Figur 9 Versjon 5-2 Figur 1 Versjon 5-2 Vanskegrad item Versjon 5-2 sortert etter vanskegrad 1 1,9,9 Vanskegrad,8,7,6,5,4,3,2,1 1 4 7 1 13 16 19 22 25 28 31 34 37 4 Serie1 Vanskegrad,8,7,6,5,4,3,2,1 1 4 7 1 13 16 19 22 25 28 31 34 37 4 Serie1 Figur 11 Versjon 5-3 Figur 12 Versjon 5-3 vanskegrad Versjon 5-3 sortert etter vanskegrad Versjon 5-3 1 1,9,9,8,8,7,7 Vanskegrad,6,5,4 Serie1 Vanskegrad,6,5,4 Serie1,3,3,2,2,1,1 1 4 7 1 13 16 19 22 25 28 31 34 37 4 1 4 7 1 13 16 19 22 25 28 31 34 37 4 I prøvane er det ei blanding av lette og vanskelege oppgåver. Figur 7, 9 og 11 viser også at i første del av prøven er det ei god veksling mellom lette og vanskelege oppgåver. Når eleven til dømes har svart på ei vanskeleg oppgåve, er det ei lettare oppgåve i kjømda og omvendt. Desse figurane viser også at i prøvane på 5. trinn er det ei rekkje utfordrande oppgåver til slutt 6
i prøvane. Det kan diskuterast om dette er rette måten å setje saman prøvane på. På den eine sida kan det vere greitt å vite at spesifikke format med vanskelege item kjem til slutt i prøven. Dette kan sjølvsagt også føre til at einskildelevar droppar å svare på desse itema fordi dei veit at herifrå og ut er oppgåvene vanskelege. På den andre sida kan det å flytte dei vanskelegaste oppgåvene lenger fram kanskje føre til at svake elevar avsluttar prøven tidlegare enn dei elles hadde gjort. Det finst ulike tilrådingar på dette punktet. Om ein fokuserer på dei svakaste elevane, vil ein tilrå at dei lettaste oppgåvene kjem først og at ein har ein klar progresjon når det gjeld vanskegrad. Har ein gjennomsnittseleven i tankane, vil mange seie at det er eit poeng å få eleven med så langt som mogeleg i prøven, og at ei veksling mellom lette og vanskelege oppgåver er å føretrekkje. Det vi i alle fall kan seie er at det kan vere uheldig å starte prøven med ei litt vanskeleg oppgåve (vanskegrad.5), slik som tilfellet er i prøve 5-1. Det kan vere lurt at dei aller første oppgåvene i prøven er relativt lette.. Vi vil fortsetje å diskutere dette spørsmålet og søkje råd på dette punktet. Når det gjeld figurane som viser itema i sortert rekkefølgje (figur 8, 1 og 12), ser vi at prøveversjonane oppfører seg nokolunde likt. Dei lettaste itema har ein vanskegrad på over.9. Dei vanskelegaste itema i versjon 1 og 2 har ein p-verdi på mellom.2 og.3. I versjon 3 finst eitt item med p-verdi under.2. Tabell 4 summerer opp minimum-, maksimum- og gjennomsnittlege p-verdiar for alle tre versjonane. Tabell 4: Minimum-, maksimum- og gjennomsnittlege p-verdiar 5. trinn Versjon 5-1 Versjon 5-2 Versjon 5-3 Minimum p-verdi.25.27.16 Maksimum p-verdi.92.94.95 Gjennomsnittleg p-verdi.68.617.64 Ideelt sett ynskjer vi å ha med nokre få item med p-verdi under.2 i kvar prøveversjon (desse bør diskriminere godt mellom dei flinkaste elevane). Men det viser seg altså at ein del einskilditem har høgare p-verdi i samband med reelle prøvar enn dei hadde i piloteringa. Desse itema viser seg altså å vere lettare enn piloteringa kunne tyde på. Meir detaljerte opplysningar om format, kjønnskilnader og vanskegrad på itemnivå finst i tabell 12-14 til slutt i rapporten 7
8. trinn Figur 13 og 18 viser vanskegraden på itema i prøvane på 8. trinn, først fordelt etter rekkefølgja itema opptrer i prøven (figur 13, 15, 17) og deretter sortert frå det vanskelegaste til det lettaste (figur 14, 16, 18). Vanskegrad på item rekkefølge som i prøven sortert etter vanskegrad Figur 13 Versjon 8-1 Figur 14 Versjon 8-1 Vanskegrad item Versjon 8-1 sortert etter vanskegrad Versjon 8-1 1, 1,9,9,8,8,7,7 Vanskegrad,6,5,4 Vanskegrad,6,5,4,3,3,2,2,1,1, 1 4 7 1 13 16 19 22 25 28 31 34 37 4 43 1 4 7 1 13 16 19 22 25 28 31 34 37 4 43 Figur 15 Versjon 8-2 Figur 16 Versjon 8-2 Vanskegrad item Versjon 8-1 sortert etter vanskegrad Versjon 8-2 1 1,9,9,8,8,7,7 Vanskegrad,6,5,4 Vanskegrad,6,5,4,3,3,2,2,1,1 1 4 7 1 13 16 19 22 25 28 31 34 37 4 43 46 1 4 7 1 13 16 19 22 25 28 31 34 37 4 43 46 Figur 17 Versjon 8-3 Figur 18 Versjon 8-3 Vanskegrad item Versjon 8-3 sortert etter vanskegrad Versjon 8-3 1, 1,9,9,8,8,7,7 Vanskegrad,6,5,4 Vanskegrad,6,5,4,3,3,2,2,1,1, 1 4 7 1 13 16 19 22 25 28 31 34 37 4 43 46 1 4 7 1 13 16 19 22 25 28 31 34 37 4 43 46 Vi finn mykje av det same på 8. trinn som vi fann på 5. trinn. Figur 13, 15 og 17 viser at i prøven er det ei veksling mellom lette og vanskelege oppgåver. Sjølv om det også på dette trinnet er ein tendens til at dei aller vanskelegaste oppgåvene kjem på slutten av prøven, er ikkje tendensen like klar som på 5. trinn. I figur 14, 16 og 18 er itema sortert etter vanskegrad. 8
Vi ser at prøvane oppfører seg nokolunde likt. Dei vanskelegaste oppgåvene har ein p-verdi under.2, medan dei lettaste oppgåvene har ein p-verdi på.9 eller over. Tabell 5 summerer opp minimum-, maksimum- og gjennomsnittlege p-verdiar for alle tre versjonane. Tabell 5: Minimum-, maksimum- og gjennomsnittlege p-verdiar 5. trinn Versjon 8-1 Versjon 8-2 Versjon 8-3 Minimum p-verdi.12.11.16 Maksimum p-verdi.99.9.96 Gjennomsnittleg p-verdi.621.613.63 Meir detaljerte opplysningar om format, kjønnskilnader og vanskegrad på itemnivå finst i tabell 15-17 til slutt i rapporten Kjønnskilnader Ein t-test vil avsløre om skilnadene mellom gutar og jenter er signifikante. At ein skilnad er signifikant, vil seie at det er svært liten sjanse for at resultatet er tilfeldig. Dette blir uttrykt som ein p-verdi som kan tolkast som kor sannsynleg det er at resultatet kan oppstå ved eit reint tilfelle. Ein liten verdi er difor eit uttrykk for at skilnadene er store (t.d >.1), dette kan også tolkast som ein prosent der ein multipliserer p-verdien med 1. Tradisjonelt brukar ein grenser på 5% (.5) og 1% (.1) som viktige markaringar. Når vi har analysert data frå nasjonale prøvar i engelsk tidlegare år, har det i det store og heile ikkje vore særlege skilnader mellom gutane og jentene sine resultat. Jamnt over har jentene gjort det litt betre enn gutane utan at desse skilnadene har vore signifikante. Dersom ein baserer analysane sine på store datautval (til dømes fleire tusen elevar), er det lett å få signifikante resultat. Sjølv små og trivielle skilnader kan i slike samanhengar bli signifikante. Desse analysane baserer seg på data frå omlag 19 elevar for kvar av dei seks prøvane. Her vil vi meir eller mindre forvente signifikante resultat om vi samanliknar korleis gutar og jenter presterer. 5. trinn Den gjennomsnittlege poengsummen viser at det er små skilnader mellom gutane og jentene. Jentene skårar gjennomsnittleg litt høgre enn gutane. Dette gjeld alle tre prøveversjonar. T- testar viser at kjønnsskilnadene er signifikante. Tabell 6: skilnader mellom jenter og gutar på 5. trinn t-test Prøve Kjønn Gjennomsnittleg poengsum n Standardavvik t p 1 Gutar 25.31 9588 7.96 4.98.** Jenter 25.78 9525 7.76 2 Gutar 25.68 965 7.532 Jenter 26.19 9443 7.241 3 Gutar 25.25 9749 7.118 Jenter 25.5 9477 6.72 ** skilnaden er signifikant på.1-nivå * skilnaden er signifikant på.5-nivå 4.839.** 2.544.11* 9
Dersom vi deler jentene og gutane inn ti grupper (skåringsgrupper) på grunnlag av oppnådd poengsum, kan vi samanlikne om dei to gruppene oppfører seg likt. Gruppe 1 viser til gjennomsnittleg poengsum for dei 1% svakaste i gruppa, medan gruppe 1 viser til resultatet for dei 1% av elevane med høgast totalpoengsum. Figur 19-21 viser gjennomsnittleg poengsum for kvar gruppe på dei tre prøvane på 5. trinn. Den gule lina representerer jentegruppene og den blå gutegruppene. Figur 19: Prøve 5-1 Gjennomsnittleg poengsum for ti skåringsgrupper Prøve 5-1 jenter (gul) og gutar (blå) 45 4 35 3 Poeng 25 2 15 1 5 1 2 3 4 5 6 7 8 9 1 Skåringsgrupper 1
Figur 2: Prøve 5-2 Gjennomsnittleg poengsum for ti skåringsgrupper Prøve 5-2 jenter (gul) og gutar (blå) 45 4 35 3 Poeng 25 2 15 1 5 1 2 3 4 5 6 7 8 9 1 Skåringsgrupper Figur 21: Prøve 5-3 Gjennomsnittleg poengsum for ti skåringsgrupper Prøve 5-3 jenter (gul) og gutar (blå) 4 35 3 25 Poeng 2 15 1 5 1 2 3 4 5 6 7 8 9 1 Skåringsgrupper Vi ser at resultata for alle tre prøvane viser at i dei lågaste skåringsgruppene skårar gutane litt lågare enn jentene, medan gjennomsnittspoengsum for gutar og jenter er tilnærma lik i dei høgste gruppene. Dette betyr altså at dei svakaste gutane skårar lågare enn dei svakaste jentene. Dei flinkaste jentene og gutane, derimot, skårar tilnærma likt. 11
Det er berre små skilnader mellom jentene og gutane sine resultat i alle skåringsgrupper. Dette gjeld alle tre prøvar. Tabell 7 oppsummerer informasjonen frå figurane 19 21. Tabell 7: 5. trinnsprøvar gjennomsnittleg poengsum i skåringsgrupper Skåringsgrupper Jenter (n=9425) Prøve 5-1 Prøve 5-2 Prøve 5-3 Gutar (n=9679) Jenter (n=9362) Gutar (n=9571) Jenter (n=9472) Gutar (n=9749) 1 12.64 12.11 13.59 12.65 13.87 12.7 2 17.36 16.75 18.59 17.41 18.28 17.42 3 2.8 19.31 21.31 2.12 2.72 2.14 4 22.37 21.73 23.28 22.54 22.73 22.39 5 24.56 23.98 25.19 24.72 24.58 24.45 6 26.72 26.16 27.16 26.8 26.4 26.45 7 28.99 28.52 29.17 28.84 28.28 28.4 8 31.68 31.25 31.42 31.17 3.34 3.48 9 34.63 34.5 34.34 34.18 32.84 32.96 1 38.72 38.78 38.45 38.34 37. 37.1 Figur 22 24 viser differansen i p-verdi mellom gutar og jenter på itemnivå. Dei blå kolonnene med positive verdiar viser til item der gutane gjer det best. Dei kvite kolonnene med negative verdiar viser til item der jentene gjer det best. Figur 22: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 5-1 Skilnad mellom gutar og jenter på itemnivå Versjon 5-1,25,2,15,1 Skilnad,5 -,5 -,1 -,15 -,2 1 5 9 13 17 21 25 29 33 37 41 12
Figur 23: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 5-2 Skilnad mellom gutar og jenter på itemnivå Versjon 5-2,25,2,15,1 Skilnad,5 -,5 -,1 -,15 -,2 1 5 9 13 17 21 25 29 33 37 41 Figur 24: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 5-3 Skilnad mellom gutar og jenter på itemnivå Versjon 5-3,25,2,15,1 Skilnad,5 -,5 -,1 -,15 -,2 1 5 9 13 17 21 25 29 33 37 41 Vi ser med eitt blikk at ein større del av jentene svarar rett på mange av itema. Eitt itemformat skil seg spesielt ut: Who could say. Who could say - formatet er plassert heilt til slutt i prøvane på 5. trinn. Vi ser desse itema heilt til høgre i figur 24 26. 13
I Who could say-item blir elevane presentert for ein tekst, som beskriv tre eller fire menneske I tillegg får dei spørsmål av typen: Who could say I have a pet? Jentene gjer det best på alle Who could say-itema i dei tre prøvane. Skilnadene mellom gjenter og gutar er ikkje store, men dei er gjennomførte. For å svare rett på desse må elevane bruke tid og lese teksten ganske nøye. Tabell 8: Skilnader i p-verdi mellom gutar og jenter Who could say 5-1 5-2 5-3 Gutar Jenter Gutar Jenter Gutar Jenter 1.48.52.25.3.33.37 2.24.27.34.36.43.44 3.28.3.28.29.31.34 4.26.29.4.42.36.37 5.3.32.35.37.16.17 6.33.38.27.29.37.39 8. trinn Den gjennomsnittlege poengsummen viser at det er små skilnader mellom gutane og jentene. Jentene skårar gjennomsnittleg litt høgre enn gutane. Dette gjeld alle tre prøveversjonar. T- testar viser at kjønnsskilnadene er signifikante. Den gjennomsnittlege poengsummen og standardavviket viser at det er relativt små skilnader mellom gutane og jentene på 8. trinn. Dette gjeld alle prøveversjonar. Sjølv om skilnadene er små, viser altså t-testar at dei er signifikante for alle tre prøvane. Tabell 9: skilnader mellom jenter og gutar på 8. trinn t-test Prøve Kjønn Gjennomsnittleg poengsum n Standardavvik t Sig 8-1 Gutar 27.43 1 1.55 7.523.** Jenter 28.48 9613 9.527 8-2 Gutar 29.1 9993 1.373 3.226.** Jenter 29.72 962 1.96 8-3 Gutar 28.8 996 9.96 Jenter 28.61 9686 9.614 ** skilnaden er signifikant på.1-nivå 3.89.** Dersom vi deler jentene og gutane i ti grupper på grunnlag av oppnådd poengsum, på samme måte som vi gjorde for prøvane på 5. trinn, ser vi korleis gjennomsnittleg poengsum stig med skåringsgruppe for begge kjønn. Figur 25-27 viser dette for dei tre prøvane for 8. trinn. 14
Figur 25: Prøve 8-1 Gjennomsnittleg poengsum for ti skåringsgrupper Versjon 8-1 jenter (gul) og gutar (blå) 45 4 35 3 Poeng 25 2 15 1 5 1 2 3 4 5 6 7 8 9 1 Skåringsgrupper Figur 26: Prøve 8-2 Gjennomsnittleg poengsum for ti skåringsgrupper Versjon 8-2 jenter (gul) og gutar (blå) Poeng 5 45 4 35 3 25 2 15 1 5 1 2 3 4 5 6 7 8 9 1 Skåringsgrupper 15
Figur 27: Prøve 8-3 Gjennomsnittleg poengsum for ti skåringsgrupper Versjon 8-3 jenter (gul) og gutar (blå) Poeng 5 45 4 35 3 25 2 15 1 5 1 2 3 4 5 6 7 8 9 1 Skåringsgrupper Skilnadene mellom gutar og jenter er små også på 8. trinn (sjå tabell 1). Vi registrerer det samme mønsteret her som på 5. trinn. Dei svakaste jentene skårar høgare enn dei svakaste gutane. Samtidig så skårar dei flinkaste jentene og gutane tilnærma likt. Vi understrekar nok ein gong at skilnadene mellom jenter og gutar er små. Tabell 1: 8. trinnsprøvar gjennomsnittleg poengsum i skåringsgrupper Skåringsgrupper Jenter (n=9613) Prøve 8-1 Prøve 8-2 Prøve 8-3 Gutar (n=1) Jenter (n=962) Gutar (n=9993) Jenter (n=9686) Gutar (n=996) 1 1.43 9.32 11.31 1.27 11.51 1.3 2 16.6 14.7 17.69 16.68. 17.11 15.98 3 21.61 19.44 22.35 21.18 21.26 2.29 4 25.6 23.78 26.11 25.19 24.79 24.28 5 28.87 27.52 29.37 28.67. 27.98 27.7 6 31.66 3.76 32.36 31.89 3.93 3.82 7 33.94 33.34 35.16 34.87 33.73 33.5 8 36.14 35.8 37.98 37.71 36.47 36.21 9 38.43 38.17 4.8 4.49 39.3 39.7 1 41.54 41.44 44.33 44.8. 43.1 42.63 Figur 28 3 viser differansen i p-verdi mellom gutar og jenter på itemnivå. Dei blå kolonnene med positive verdiar viser til item der gutane gjer det best. Dei kvite kolonnene med negative verdiar viser til item der jentene gjer det best. 16
Figur 28: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 8-1 Skilnad mellom gutar og jenter på itemnivå Prøve 8-1,15,1,5 Skilnad, -,5 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 -,1 -,15 Figur 29: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 8-2 Skilnad mellom gutar og jenter på itemnivå Prøve 8-2,15,1,5 Skilnad, -,5 1 5 9 13 17 21 25 29 33 37 41 45 -,1 -,15 17
Figur 3: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 8-3 Skilnad mellom gutar og jenter på itemnivå Prøve 8-3,15,1,5 Skilnad, -,5 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 -,1 -,15 Vi ser at også på 8. trinn taklar jentene dei fleste itema best (dei kvite kolonnene med negativ verdi). Dette gjeld i dei fleste itemformat. I tre av formata gjer jentene så å seie reint bord: Who could say, Grammar og Move paragraph. I Who could say-item blir elevane presentert for ein litt lengre tekst, som beskriv ein del menneske I tillegg får dei eit spørsmål av typen: Who could say I like to read books? For å svare rett på desse itema må elevane bruke tid og nærlese teksten ganske nøye. Det er til saman 17 Who could say-item i dei tre prøvane. På 15 av desse gjer jentene det best. I formatet Grammar må elevane følgje instruksjonar ved å skrive inn ord og fullføre ein setning. Til dømes: Complete the second sentence so that the meaning is similar to that of the first sentence. Use 2-4 words in each gap. - My mother would not let me go to the party in my shorts. - My mother stopped to the party in my shorts. (I nokre tilfelle er fleire korrekte svar lagt inn i fasiten. Elevane blir ikkje straffa for feil i teiknsetjing.) For å svare rett på spørsmåla i dette formatet må elevane ha kunnskapar i /god kjensle for engelsk språkbruk. Jentene gjer det best på 15 av 18 grammatikkoppgåver. Elevane må både nærlese og ha oversikt over heile teksten for å svare korrekt på itema i formatet Move paragraph. Oppgåva er å plassere avsnitta i ein tekst i korrekt rekkefølgje ved å klikke på piltastar. Jentene taklar alle itema i dette formatet betre enn gutane, 12 item til saman i dei tre prøvane. Det er ein tendens til at gutane svarar rett på fleire item enn jentene i formatet Click word. Av 15 item i dei tre prøvane, gjer gutane det best på 9 av desse. Jentene taklar 5 av itema best, 18
medan eitt item gjer dei det like godt på..p-verdien for eitt av itema er dene samme for jenter og gutar. I formata Who could say og Move paragraph må elevane forhalde seg til litt lengre tekstar. Her gjer altså jentene det best. I formatet Click word derimot er utgangspunktet ein kort tekst, og her gjer gutane ofte det best. 19
Opplysningar på itemnivå I tabellane som fylgjer, presenterer vi opplysningar om entkeltitem i dei tre prøvane for 5. og 8. trinn. Tabell 11: Eksempel på resultattabell Felt 1 2 3 4 Fleirval A B C D Blank A B C D Blank D p- p- verdi kjønns diff. Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper Flagg/ Komm 9 Click&drag 681 12282 3 21.11 28.3 12.17,38.64 G=,67, J=,61 1 Click pict. 17919 336 582 642 34 26.42 15.82 16.19 15.98 1.26,34.92 G=.91, J=.92 For å gjera tabellane meir leselege for lesarar som ikkje har særleg erfaring med statistikk, prøver vi å gi ei forklaring til tabellane. Vi håpar at dette gjer dei meir leselege. Døme frå tabell: Felt 1 Eit item er enten eit fleirvalsitem der eleven svarar ved å velja mellom ulike svaralternativ (A,B C osv.) eller eit item som blir skåra rett eller galt (t.d. click & drag, colour, click word osv.). Felt 1 viser korleis elevane i utvalet har svart på itemet. Vi ser at item 9 er eit rett/galt item, og at 681 elevar i utvalet har avgitt galt svar, medan 12282 har svart rett. 3 elevar har ikkje svart på itemet. 1 er eit fleirvalsitem, og tabellen viser kor mange elevar som har valt dei ulike svaralternativa. 17919 elevar har valt alternativ A, 336 har valt alternativ B osv. 34 elevar har ikkje svart på item 1. Felt 2 Dette feltet viser gjennomsnittspoengsum for ulike elevgrupper. Vi vil forvente at gjennomsnittspoengsummen er høgre for elevgruppa som har svart rett på eit item, enn gruppa som har svart feil på samme item. Om vi ser på item 9, så ser vi at elevane som har svart feil på dette itemet, har 2
ein gjennomsnittspoengsum på 21.11 poeng, mens elevane som svarar rett på itemet har ein gjennomsnittspoengsum på 28.3. Det er 3 elevar som ikkje har svart på dette itemet, og gjennomsnittleg poengsum i denne gruppa er 12.17. Når det gjeld item 1, så er gjennomsnittspoengsummen 26.42 for dei elevane som har svart alternativ A, for gruppa som har svart alternativ B er gjennomsnittet 15.82 osv. Felt 3 D står for diskriminering, og dette er eit mål på kor godt itema diskriminerer mellom elevane. Vi forventar at fleire sterke enn svake elevar svarar rett på eit item. Normalt vil ein seie at eit item bør ha ein verdi over,25 (maxverdi =1). Di høgare verdien er, di betre diskriminerer itemet mellom svake og sterke elevar. Felt 4 P er eit mål på vanskegrad, og p varierer mellom og 1. Di nærare p-verdien er, di vanskelegare er itemet. Lette item har verdiar som nærmar seg 1. 9 har ein p-verdi på,64. Det betyr at 64% av elevane har svart rett på dette itemet. Og vi ser at 67% av gutane svarte rett på itemet, medan 61% av jentene gjorde det samme.. Det er vanskeleg å angi ideelle p-verdiar fordi prøvar har ulike formål. Dersom målet er å skilja mellom dei fleste og dei svakaste elevane, vil ein velje item med relativt høg p-verdi, det vil seia item dei fleste svarar rett på og dei svakaste ikkje klarar. Dersom målet er å skilja mellom personar i heile populasjonen (slik som dei nasjonale prøvane), både mellom dei flinkaste og dei svakaste, vil ein velja både lette og vanskelege item. Mange vil då ha som mål at gjennomsnitts p-verdi for heile prøven er rundt,5. 21
Prøve 5-1 n= 19113 gutar = 9588, jenter = 9525 Tabell 12: Informasjon om einskilditem Prøve 5-1 Felt 1 2 3 4 Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click item 971 971 32 22.3 29.21 17.91,41,49 G=.48, J=.5 2 Click item 242 1749 31 17.31 26.55 14.6,33,89 G=.87, J=.91 3 Click item 1946 17126 41 18.3 26.39 17.5,28,9 G=.88, J=.91 4 Click item 3329 15733 51 17.87 27.3 16.6,42,82 G=.87, J=.77 5 Colour 634 14825 3654 19.27 27.7 17.88,47,78 G=.77, J=.79 6 Colour 4921 12218 1974 2.65 28.77 17.79,5,64 G=.63, J=.65 7 Colour 533 15556 324 17.28 27.1 18.98,37,81 G=.77, J=.85 8 Click&drag 816 187 83 22.79 27.69 14.88,26,57 G=.62, J=.52 9 Click&drag 681 12282 3 21.11 28.3 12.17,38,64 G=.67, J=.61 1 Click pict. 17519 336 582 642 34 26.42 15.86 16.19 15.98 1.26,34,92 G=.91, J=.92 11 Click pict. 14996 324 249 3511 33 27.29 14.94 16.73 19.81 11.64,38,78 G=.8, J=.79 12 Click pict. 733 15542 1888 91 49 17.79 27.14 19.83 16.94 12.31,39,81 G=.82, J=.81 13 Click pict. 5 658 1641 1477 68 16.98 16.38 26.79 19.26 12.71,35,86 G=.88, J=.83 14 Click pict. 521 692 11794 1373 53 22.24 17.72 28.24 19.32 13.45,39,62 G=.6, J=.64 15 Click pict. 453 14295 718 47 21.57 27.16 16.82 1.98,31,75 G=.73, J=.77 16 Click pict. 9885 4892 2576 1715 45 28.46 22.84 21.9 23.51 12.4,33,52 G=.55, J=.48 17 Click text 2351 2595 11587 2495 85 18,49 22.89 28.16 23.21 12.86,36,61 G=.59, J=.62 18 Click text 2749 8991 4576 2483 314 23.17 28.83 22.27 23.18 18.61,34,47 G=.48, J=.47 19 Click text 572 26 12858 5365 58 14.98 14.1 27.56 22.57 9.86,32,67 G=.68, J=.67 2 Click text 2231 15316 668 838 6 18.1 27.27 2.22 19.34 9.78,4,8 G=.8, J=.81 21 Click text 1891 142 1138 1792 92 2.3 27.25 18.78 22.54 12.9,32,74 G=.73, J=.76 22 Click text 62 11395 392 3921 13 17.4 28.14 21.82 22.52 12.27,35,6 G=.58, J=.61 23 Click text 2231 2419 12261 245 157 22.79 2.95 27.89 2.7 15.15,35,64 G=.66, J=.63 24a Gap 3316 12863 137 1468 96 2.86 27.63 22.4 21.96 12.71,33,67 G=.64, J=.7 Flagg/ Komm 22
24b Gap 12871 3227 98 1999 18 27.67 21.24 19.22 22.3 13.22,34,67 G=.66, J=.69 25a Gap 6326 1264 394 191 138 2.55 28.71 17.24 17.18 13.16,48,63 G=.63, J=.63 25b Gap 16451 85 729 927 21 26.65 18.3 18.24 2.32 14.46,31,86 G=.84, J=.88 25c Gap 15168 1117 625 216 187 26.91 2.2 17.92 21.55 14.98,3,79 G=.78, J=.8 26 Gap 5617 1349 87 19.47 28.18 12.5,47,7 G=.67, J=.74 Kun rett galt 27 Mc 1394 229 5254 1112 144 27.15 2.34 25.8 24.73 13.2,16,54 G=.53, J=.56 *Diskr. dårleg 28 Mc 9347 7792 1764 19 27.76 23.41 24.21 15.44,22,49 G=.49. J=.49 *Diskr. dårleg 29 Mc 6149 3615 5459 3591 299 29.6 21.48 25.28 23.75 17.43,3,32 G=.32 J=.32 3 Mc 729 7265 3636 969 214 22.73 3.36 22.83 22.23 15.37,43,38 G=.38, J=.38 31 Mc 4528 3381 8587 2344 273 22.14 23.79 29.62 2.76 16.49,42,45 G=.43 J=.47 X 32 Mc 281 7726 4965 3353 268 22.93 3.34 22.79 21.47 16.53,46,4 G=.41, J=.4 33 Mc 3236 2527 7226 5856 268 21.78 22.18 24.7 3.52 16.62,37,31 G=.3, J=.31 34 Who 956 9599 458 21.67 29.58 17.43,47,5 G=.48 J=.52 35 Who 13685 4852 575 23.14 33.21 18.12,53,25 G=.24 J=.27 36 Who 12967 5498 648 23.92 3.21 18.43,33,29 G=.28, J=.3 37 Who 13191 5261 661 24.36 29.37 18.61,25,28 G=.26, J=.29 38 Who 12391 5972 75 23.58 3.45 18.93,37,31 G=.3, J=.32 39 Who 11515 686 792 22.32 31.74 19.14,55,36 G=.33, J=.38 23
Prøve 5-2 n = 1993 gutar = 9749, jenter = 9472 Tabell 13: Informasjon om einskilditem Prøve 5-2 Felt 1 2 3 4 Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Flagg/ Komm Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click item 178 182 13 16.52 26.5 18.77,28,94 G=.94, J=.95 2 Click item 6737 1238 48 21.9 28.61 18.94,44,64 G=.65, J=.64 3 Click item 421 14865 18 2.17 27.58 17.11,37,78 G=.79, J=.76 4 Click item 119 17891 12 17.92 26.47 14.42,25,94 G=.93, J=.95 5 Colour 3 15666 3127 18.42 27.16 2.49,31,82 G=.84, J=.8 6 Colour 1867 14938 2288 18.62 28.3 18.21,5,78 G=.79, J=.77 7 Colour 137 12746 531 21.5 28.88 19.81,52,67 G=.65, J=.69 8 Click&drag 11647 7373 73 23.33 3.11 19.6,39,39 G=.45, J=.32 9 Click&drag 4985 1454 54 21.29 27.61 17.56,33,74 G=.75, J=.73 1 Click&drag 1682 8347 64 23.9 29.63 18.13,38,44 G=.44, J=.44 11 Click pict. 1791 167 4 1586 46 2.56 29.26 2.97 2.28 17.65,52,61 G=.65, J=.57 12 Click pict. 714 1789 289 25 31 21.15 26.45 15.78 15.7 14.39,23,93 G=.92, J=.95 Diskr. dårleg 13 Click pict. 984 1923 837 1535 44 18.66 18.97 18.1 27.74 12.8,45,8 G=.8, J=.8 14 Click pict. 19 14683 124 1277 29 21.1 27.53 18.96 21.86 1.83,34,77 G=.69, J=.85 15 Click pict. 3261 1678 2927 2166 61 24.89 27.81 21.13 25.2 15.92,22,56 G=.52, J=.59 16 Click pict. 17142 826 614 475 36 26.65 2.16 19.58 19.31 11.56,25,9 G=.89, J=.91 17 Click pict. 295 14835 2131 32 19.13 27.71 2.49 12. 12.,4,78 G=.79, J=.76 18 Click text 397 17359 729 57 38 16.4 26.71 18.54 19.45 11.66,3,91 G=.92, J=.9 19 Click text 523 1611 3229 5 24.15 28.13 21.79 12.96,27,56 G=.53, J=.58 2 Click text 2997 14222 1819 55 21.49 27.72 19.68 12.55,36,74 G=.74, J=.75 21 Click text 2146 11626 324 1924 157 21.99 28.92 21.8 21.21 16.29,45,61 G=.61, J=.6 22 Click text 198 14547 1857 1444 147 19.34 28.12 18.9 19.7 15.37,48,76 G=.76, J=.77 23a Gap 9592 289 663 89 27.77 23.7 24.39 12.83,28,5 G=.5, J=.51 23b Gap 1921 1531 15542 99 18.98 18.11 27.65 12.37,44,81 G=.8, J=.83 23c Gap 1214 3977 13766 136 19.39 21.66 27.85 15.27,36,72 G=.7, J=.74 24
23d Gap 4664 13327 78 394 22.55 27.58 19.9 21.5,28,7 G=.69, J=.7 23e Gap 1141 2215 15555 182 18.73 2.18 27.39 16.83,37,81 G=.79, J=.84 23f Gap 14647 1252 357 137 27.34 17.5 23.19 13.73,29,77 G=.75, J=.78 24 Mc 11857 1555 5625 56 24.15 21.62 31.2 12.61,39,29 G=.32, J=.27 25 Mc 4476 11427 168 236 89 23.74 27.71 19.98 24.39 14.28,23,6 G=.57, J=.65 Diskr. dårleg 26 Mc 954 14584 2664 84 87 2.54 26.69 24.84 23.63 13.1,13,76 G=.72, J=.82 Diskr. dårleg 27 Mc 437 7323 725 15 22.34 24.66 29.58 16.51,33,38 G=.39, J=.37 28 Mc 2485 2846 8162 5473 127 24.8 23.34 23.59 31.84 16.15,46,29 G=.27, J=.31 29 Mc 1445 3785 2249 2452 162 28.68 21.81 22.69 24.19 16.35,35,55 G=.55, J=.54 3 Mc 3478 5161 4537 5716 21 24.35 24.13 24.24 3.17 17.58,32,3 G=.3, J=.3 31 Mc 3854 7969 417 368 185 2.58 29.21 24.44 26.61 17.63,32,42 G=.4, J=.44 32 Who 13426 524 427 23.98 31.6 18.31,42,27 G=.25, J=.3 33 Who 1183 6727 536 23.75 3.33 19.,38,35 G=.34, J=.36 34 Who 1396 5494 53 23.89 31.46 18.72,43,29 G=.28, J=.29 35 Who 171 7834 549 23.76 29.39 19.1,33,41 G=.4, J=.42 36 Who 1159 6917 586 23.59 3.42 19.3,4,36 G=.35, J=.37 37 Who 1313 5333 63 24.32 3.62 19.94,34,28 G=.27, J=.29 25
Prøve 5-3 n = 19226 gutar: 9749, jenter = 9477 Tabell 14: Informasjon om einskilditem Prøve 5-3 Felt 1 2 3 4 Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Flagg/ Komm Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click item 1396 1786 24 18.48 25.93 16.4,28,93 G=.91, J=.94 2 Click item 4347 1485 29 21.46 26.55 12.45,44,77 G=.76, J=.78 3 Click item 122 18185 19 16.71 25.88 7.16,37,95 G=.94, J=.95 4 Click item 5395 13799 32 19.58 27.68 1.56,25,72 G=.71, J=.72 5 Colour 2639 985 6782 21.2 28.95 21.91,31,51 G=.54, J=.48 6 Colour 1942 1575 229 22.27 26.83 18.2,5,78 G=.79, J=.78 7 Colour 426 16859 1941 17.81 26.44 17.82,52,88 G=.86, J=.89 8 Click&drag 2785 1641 31 19.7 26.37 1.45,39,85 G=.88, J=.83 9 Click&drag 11624 7522 8 23.81 27.9 15.39,33,39 G=.38, J=.4 1 Click&drag 1971 825 5 22.63 29.11 14.6,38,43 G=.45, J=.41 11 Click pict. 23 1943 16592 447 41 15,63 19,68 26,42 17.21 9.85,52,86 G=.86, J=.86 12 Click pict. 17771 593 458 37 34 26.12 16.52 16.7 16.66 9.26,23,92 G=.91, J=.94 Diskr. dårleg 13 Click pict. 1875 585 167 567 129 22.72 16.41 26.38 17.16 15.26,45,84 G=.83, J=.85 14 Click pict. 353 297 316 18221 39 18.47 18.49 17.6 25.79 8.59,34,95 G=.94, J=.96 15 Click pict. 1438 452 395 1424 37 21.11 17.4 21.2 27.6 8.16,22,74 G=.73, J=.74 Diskr. dårleg 16 Click pict. 1121 152 313 4389 66 2.21 28.1 22.85 22.34 13.65,25,55 G=.58, J=.52 17 Click text 364 2572 1147 1551 92 21.7 2.82 28.31 2.66 12.82,4,59 G=.59, J=.6 18 Click text 43 639 14513 71 21.8 15.73 27.6 1.49,3,75 G=.72, J=.79 19 Click text 7694 9617 1826 89 23.51 27.56 22.45 11.47,27,5 G=.61, J=.38 2 Click text 14539 1667 1796 1127 97 27.11 2.17 19.9 2.54 11.55,36,76 G=.76, J=.75 21 Click text 3978 175 2412 1924 162 23.67 19.74 19.68 28.32 14.27,45,57 G=.54, J=.59 22 Click text 1228 1722 256 13577 193 2.4 19.47 19.78 27.77 14.15,48,71 G=.7, J=.72 23 Click text 268 6333 4315 6231 279 22.56 26.15 22.72 27.78 16.5,18,32 G=.31, J=.34 Diskr. dårleg 24a Gap 424 16982 984 743 93 16.74 26.8 2.69 22.31 9.85,44,88 G=.87, J=.9 24b Gap 13895 2874 655 1685 117 26.65 24.27 18.9 2.47 12.14,36,72 G=.71, J=.74 26
24c Gap 1579 1543 1578 517 122 19.76 26.74 2.1 21.25 12.3,28,8 G=.77, J=.83 25a Gap 7447 116 2873 7569 177 24.25 19.36 23.29 28.43 15.21,37,39 G=.4, J=.38 25b Gap 4439 151 523 8519 194 21.62 21.3 28.11 26.43 16.19,29,26 G=.27, J=.26 25c Gap 3119 11686 744 3429 248 2.34 27.47 19.34 24.71 17.33,39,61 G=.61, J=.61 25d Gap 13175 1614 177 2456 211 26.92 21.15 21.78 23.33 15.23,23,69 G=.67, J=.7 Diskr. dårleg 26 Mc 6336 2551 8817 1374 148 23.21 21.29 28.37 25.7 12.64,23,46 G=.45, J=.47 Diskr. dårleg 27 Mc 2812 9887 2879 3456 192 21.6 28.12 22.69 23.86 14.65,33,51 G=.52, J=.51 28 Mc 7235 59 6737 164 23.87 23.99 28.33 13.51,46,35 G=.36, J=.34 29 Mc 1299 2993 3579 2115 24 28.43 21.82 22.39 21.71 15.36,35,54 G=.54, J=.53 3 Mc 1317 9231 498 342 278 21.14 27.45 25.53 21.95 15.79,32,48 G=.45, J=.51 31 Mc 3563 333 4516 7773 341 25.31 22.32 23.1 28.29 16.9,32,4 G=.38, J=.43 32 Who 122 6642 582 23.67 29.14 17.6,42,35 G=.33, J=.37 33 Who 1214 8355 657 22.89 29. 17.86,38,43 G=.43, J=.44 34 Who 12373 622 651 23.88 29.14 17.84,43,32 G=.31, J=.34 35 Who 11484 713 729 23.61 28.99 18.34,33,36 G=.36, J=.37 36 Who 15368 3127 731 24.87 29.51 18.3,4,16 G=.16, J=.17 37 Who 1165 7317 844 23.43 29.8 18.74,34,38 G=.37, J=.39 27
Prøve 8-1 n = 19613 gutar: 1, jenter = 9613 Tabell 15: Informasjon om einskilditem Prøve 8-1 Felt 1 2 3 4 Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Flagg/ Komm Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click pict. 1731 685 15597 1549 51 24.41 22.95 29.36 2.17 19.41,24,8 G=.81, J=.78 Diskr. dårleg 2 Click pict. 1938 49 132 34 18 28.13 1.69 12.8 12.76 22.78,16,99 G=.98, J=.99 Diskr. dårleg 3 Click pict. 1582 239 674 166 32 3.11 18.9 16.6 21.22 1.25,42,81 G=.81, J=.8 4 Click pict. 871 769 17145 789 39 14.92 17. 29.7 15.8 9.3,44,87 G=.86, J=.88 5 Click text 1727 482 633 16678 63 19.25 13.33 13.72 29.9 9.83,45,85 G=.83, J=.87 6 Click text 23 4374 1828 1962 149 22.75 23.5 31.96 23.67 16.42,41,55 G=.55, J=.56 7 Click text 191 543 2577 1783 119 31.81 25.41 23.3 21.39 12.15,36,51 G=.54, J=.49 8 Click text 823 17114 945 637 94 16.3 29.8 15.34 14.49 1.18,47,87 G=.87, J=.88 9 Click text 165 15918 721 2758 51 12.9 29.81 14.1 22.15 8.41,36,81 G=.78, J=.85 1 Click&drag 1233 18254 126 16.57 28.78 17.55,29,93 G=.93, J=.93 11 Click&drag 4393 1516 114 18.87 3.69 14.38,48,77 G=.76, J=.79 12 Click&drag 398 15533 1 18.16 3.54 13.82,49,79 G=.79, J=.79 13a Gap 284 1196 3862 1634 73 2.37 3.52 27.25 21.26 8.4,28,61 G=.61, J=.61 13b Gap 739 1157 92 1828 119 24.64 15.45 33.48 22.25 11.82,49,47 G=.5, J=.44 13c Gap 2917 3932 4712 7872 18 23.24 22.84 26.8 33.2 15.62,4,4 G=.42, J=.28 14 Mc 889 3277 4773 2576 97 33.2 22.38 26.64 2.63 9.14,43,45 G=.48, J=.42 15 Mc 1696 842 269 14369 97 24.1 16.36 17.77 31.5 9.79,49,73 G=.7, J=.77 16 Mc 153 12847 4516 645 75 21.58 31.9 22.81 18.48 9.17,4,66 G=.66, J=.66 17 Mc 13515 2423 2821 774 8 31.73 18.22 21.39 18.15 8.2,54,69 G=.67, J=.71 18 Mc 1528 12868 3498 1575 144 2.34 3.61 25.64 2.22 11.9,33,66 G=.63, J=.68 19 Mc 1917 175 14712 1117 162 17.88 16.75 31.64 16.1 11.7,63,75 G=.73, J=.77 2 Mc 3341 3229 1629 11132 182 21.32 23.48 19.42 32.81 11.55,53,57 G=.57, J=.56 21 Mc 936 451 1128 5191 27 32.1 23.37 15.99 27.65 12.55,34,46 G=.46, J=.46 22 Mc 129 2724 263 12775 221 18.39 18.68 23.55 32.4 12.8,54,65 G=.64, J=.66 23 Who 4369 14976 278 31.33 17.38 11.24,59,76 G=.73, J=.8 28
24 Who 5787 13475 351 19.9 32.17 11.79,61,69 G=.66, J=.71 25 Who 496 15158 359 17.73 31.1 11.31,56,77 G=.75, J=.8 26 Who 288 16338 377 15.21 3.58 11.48,58,83 G=.8, J=.87 27 Who 5719 13496 398 19.85 31.84 12.14,56,69 G=.67, J=.71 28 Who 823 1127 383 21.92 33. 11.31,55,56 G=.,57 J=.56 29 Click word 1337 5589 717 25.36 35.36 18.8,44,28 G=.29, J=.28 3 Click word 8259 1694 66 21.53 33.58 16.93,6,55 G=.5, J=.6 31 Click word 156 41 453 16.53 31.5 13.25,63,77 G=.79, J=.74 32 Click word 5412 13696 55 17.62 32.55 13.61,69,7 G=.7, J=.69 33 Click word 13222 498 1411 26.5 34.74 21.69,37,26 G=.26, J=.26 34 Grammar 16569 2365 679 26.85 38.21 18.93,36,12 G=.12, J=.12 35 Grammar 15313 3649 651 26.26 37.23 15.64,42,19 G=.17, J=.2 36 Grammar 8366 1434 813 22.32 33.42 15.6,56,53 G=.52, J=.54 37 Grammar 12567 5923 1123 25.68 34.69 16.71,43,3 G=.29, J=.31 38 Grammar 1594 2985 688 27.9 35.23 16.1,28,15 G=.1, J=.2 39 Grammar 126 741 512 25.15 33.72 14.23,4,36 G=.32, J=.4 4a Move par. 4361 14392 86 18.4 31.44 17.79,56,73 G=.69, J=.78 4b Move par. 4936 13817 86 18.9 31.81 17.7,58,7 G=.67, J=.74 4c Move par. 5294 13459 86 19.9 31.76 17.79,54,69 G=.66, J=.72 4d Move par. 5853 129 86 19.85 32.29 27.79,58,66 G=.62, J=.7 29
Prøve 8-2 n = 19613 gutar: 9993, jenter = 962 Tabell 16: Informasjon om einskilditem Prøve 8-2 Felt 1 2 3 4 Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Flagg/ Komm Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click pict. 12512 2524 2745 1783 49 31.69 29.47 23.96 21.98 17.24,25,64 G=.6, J=.67 2 Click pict. 451 15539 1683 191 3 2.92 31.53 22.2 2.89 13.2,37,79 G=.83, J=.76 3 Click pict. 139 219 79 15454 32 22.7 22.13 17.89 31.59 7.59,38,79 G=.77, J=.81 4 Click pict. 1148 16763 443 1212 47 19. 31.29 17.34 18.43 7.91,42,85 G=.83, J=.88 5 Click text 18138 1341 147 987 1 31.98 18.86 15.64 18.1 11.55,51,82 G=.81, J=.83 6 Click text 93 835 134 16445 126 18.4 16.8 17.81 31.76 11.5,5,84 G=.84, J=.83 7 Click text 56 134 2977 1186 14 23.65 34.62 24.53 22.17 1.24,5,53 G=.54, J=.52 8 Click text 1197 15165 152 287 12 18.37 32.1 16.37 22.26 1.1,49,77 G=.78, J=.77 9 Click text 2264 1466 1911 755 77 24.45 31.84 21.15 2.27 8.22,37,74 G=.76, J=.73 1 Click&drag 1795 1773 115 2.87 3.37 14.38,26,9 G=.9, J=.91 11 Click&drag 3774 15713 126 19.3 31.95 14.58,47,8 G=.84, J=.76 12 Click&drag 5514 13978 121 2.31 33.13 13.77,54,71 G=.74, J=.68 13a Gap 1984 1636 8833 79 81 21.7 3.66 3.34 13.49 5.93,8,54 G=.55, J=.53 Diskr. dårleg 13b Gap 632 436 251 866 13 29.31 25.86 15.82 31.91 12.7,17,44 G=.41, J=.47 Diskr. dårleg 13c Gap 17439 132 294 451 19 31.1 16.17 12.7 18.87 8.39,45,89 G=.87, J=.91 13d Gap 433 5284 9635 247 117 22.97 25.24 35.8 2.9 8.3,51,49 G=.45, J=.54 13e Gap 735 166 687 174 121 18.69 18.32 16.59 31.23 8.84,43,87 G=.85, J=.89 13f Gap 595 12749 477 1153 139 23.8 33.3 17.62 21.45 9.39,44,65 G=.61, J=.69 13g Gap 15669 2468 517 833 126 31.8 23.41 19.83 24.85 8.83,29,8 G=.79, J=.81 13h Gap 1867 5937 472 1126 131 23.96 25.34 15.88 33.28 8.96,4,57 G=.54, J=.6 14 Mc 12696 875 4233 1685 124 32.75 16.76 24.88 23.67 9.21,4,65 G=.65, J=.64 15 Mc 188 4263 199 12288 83 21.43 25.15 28.4 32.34 7.25,33,63 G=.66, J=.59 16 Mc 22 13438 2791 128 12 23.33 32.94 22.8 17.83 8.73,47,69 G=.69, J=.68 17 Mc 1395 1483 232 1773 15 31.86 22.73 23.75 24.58 11.91,33,71 G=.7, J=.72 18 Mc 1834 13444 271 1421 213 2.59 33.41 21.54 2.23 13.4,55,69 G=.7, J=.67 3
19 Mc 3228 1118 3328 171 229 24.17 34.1 23.96 22.27 12.86,48,57 G=.59, J=.54 2 Mc 1215 291 1639 541 258 2.48 24.22 34.16 24.87 12.72,47,54 G=.59, J=.49 21 Mc 1424 241 3322 324 253 34.2 25.77 26.71 21.15 13.96,44,53 G=.52, J=.54 22 Who 72 12194 417 22.88 33.72 13.15,51,62 G=.58, J=.66 23 Who 5451 1378 454 2.69 33.39 13.64,56,7 G=.67, J=.73 24 Who 611 1311 51 21.62 33.66 13.87,55,66 G=.64, J=.69 25 Who 11447 7616 55 27.34 33.62 14.12,28,39 G=.39, J=.38 26 Who 4141 14926 546 19.3 32.76 14.36,56,76 G=.73, J=.79 27 Click word 12229 6317 167 26.14 37.32 19.94,5,32 G=.34, J=.3 28 Click word 6865 12154 594 22.2 34.17 15.31,56,62 G=.63, J=.61 29 Click word 4377 14533 73 17.93 33.53 15.58,66,74 G=.72, J=.76 3 Click word 4815 1432 496 2.5 32.93 14.3,53,73 G=.72, J=.74 31 Click word 949 911 113 25.1 35.1 18.55,48,46 G=.44, J=.49 32 Grammar 16712 283 818 28.61 4.71 16.85,35,11 G=.1, J=.11 33 Grammar 15518 3213 882 27.98 39.93 16.2,43,16 G=.15, J=.18 34 Grammar 11685 6857 171 26.78 35.8 17.7,42,35 G=.34, J=.36 35 Grammar 9417 9535 661 24.11 35.65 14.8,56,49 G=.47, J=.5 36 Grammar 1188 7642 883 25.13 37.7 16.76,57,39 G=.38, J=.4 37 Grammar 1926 7923 764 26.1 35.27 15.99,43,4 G=.37, J=.44 38a Move par. 5576 13137 9 21.82 33.3 19.55,51,67 G=.64, J=.7 38b Move par. 999 8723 9 25.21 35.23 19.55,47,44 G=.43, J=.46 38c Move par. 879 9923 9 24.53 34.82 19.55,48,51 G=.49, J=.52 38d Move par. 1113 86 9 25.94 34.52 19.55,4,44 G=.43, J=.45 31
Prøve 8-3 n = 19646 gutar: 996, jenter = 9686 Tabell 17: Informasjon om einskilditem Prøve 8-3 Felt 1 2 3 4 Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Flagg/ Komm Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click pict. 483 153 1822 956 33 16.3 15.53 29.45 16.23 13.64,35,92 G=.9, J=.94 2 Click pict. 322 589 618 1887 3 14.58 15.69 15.14 29.47 16.,37,92 G=.91, J=.93 3 Click pict. 423 18951 92 14 4 17.65 28.79 13.57 14.94 9.1,22,96 G=.95, J=.98 Diskr. dårleg 4 Click pict. 3284 12942 247 894 56 25.1 3.43 24.23 22.77 11.61,25,66 G=.62, J=.7 5 Click text 12439 141 132 443 47 32.3 19.21 18.94 23.91 8.38,46,63 G=.69, J=.57 6 Click text 1849 181 15244 1387 85 19.9 16.31 31.16 2.13 1.29,51,78 G=.77, J=.78 7 Click text 17368 692 87 61 16 3.22 14.1 14.24 14.9 11.59,51,88 G=.88, J=.88 8 Click text 1736 1195 61 723 91 29.81 21.45 14.81 18.48 1.95,35,87 G=.84, J=.89 9 Click text 2659 2526 343 17 331 25.38 21.81 22.1 32.99 18.94,48,54 G=.57, J=.51 1 Click&drag 2675 1686 111 17.43 3.16 15.4,43,86 G=.84, J=.87 11 Click&drag 417 1554 125 18.93 3.89 14.54,47,79 G=.8, J=.78 12 Click&drag 413 15517 116 19.97 3.8 15.2,41,79 G=.81, J=.77 13a Gap 1142 1184 882 6465 83 23.63 3.43 18.73 27.1 8.63,19,56 G=.57, J=.56 Diskr. dårleg 13b Gap 1863 1546 761 855 77 22.19 23.9 27.6 31.46 1.,23,44 G=.43, J=.44 Diskr. dårleg 13c Gap 1128 99 16818 62 18 14.74 2.59 3.18 18.2 12.1,43,86 G=.86, J=.85 13d Gap 13892 382 1491 357 14 3.22 26.73 18.3 19.8 11.88,26,71 G=.71, J=.71 13e Gap 9891 4749 2691 2222 93 32.44 28.15 19.17 22.4 9.41,38,5 G=.51, J=.49 14 Mc 12833 4492 1432 823 66 31.92 21.23 2.31 26.8 9.2,46,65 G=.63, J=.68 15 Mc 751 1355 468 86 59 24.46 3.25 24.5 22.11 8.46,25,69 G=.68, J=.7 16 Mc 1646 169 1634 15214 83 17.6 16.47 21.1 31.28 9.48,53,77 G=.75, J=.8 17 Mc 2244 1641 14189 1483 89 18.81 2.2 31.59 21.78 9.55,5,72 G=.72, J=.72 18 Mc 514 8683 3261 2571 117 25.4 34.13 22.26 23.1 11.2,49,44 G=.44, J=.44 19 Mc 873 452 2294 12258 171 2.33 22.34 2.65 32.55 13.1,52,62 G=.65, J=.6 2 Mc 313 1512 11193 3775 153 19.35 23.29 31.45 28.97 12.58,32,57 G=.59, J=.55 21 Mc 2875 12492 941 3171 167 21.71 32.27 16.5 23.28 11.78,49,64 G=.63, J=.64 32
22 Mc 1247 4158 13794 38 142 17.91 21.95 31.65 16.42 11.58,48,7 G=.72, J=.69 23 Who 11461 7697 488 25.83 32.9 15.37,33,39 G=.39, J=.41 24 Who 11495 7571 58 25.23 34.5 15.49,42,39 G=.36, J=.41 25 Who 8726 1273 647 23.33 33.38 15.89,5,52 G=.49, J=.55 26 Who 126 8741 645 24.15 34.19 15.68,5,44 G=.39, J=.5 27 Who 699 11919 737 21.49 33.12 15.99,57,61 G=.57, J=.64 28 Who 913 987 846 24.39 33.3 17.37,43,49 G=.47, J=.51 29 Click word 6778 12454 414 2.65 33.1 13.89,6,63 G=.66, J=.61 3 Click word 6831 12131 684 2.27 33.59 15.92,65,62 G=.58, J=.65 31 Click word 347 1574 472 16.68 31.36 13.76,59,8 G=.82, J=.77 32 Click word 11993 6228 1125 24.74 36.25 2.79,54,33 G=.33, J=.34 33 Click word 1437 4699 91 25.84 37.52 19.48,49,24 G=.27, J=.21 34 Grammar 13967 5322 357 26.36 34.45 14.62,34,27 G=.26, J=.28 35 Grammar 1967 8257 422 23.73 35.5 16.93,55,42 G=.4, J=.44 36 Grammar 1523 3262 1361 27.13 38.44 17.15,43,17 G=.16, J=.18 37 Grammar 1523 3719 94 26.73 37.77 16.4,43,19 G=.17, J=.2 38 Grammar 13765 4627 1254 26.41 36.52 19.37,43,24 G=.25, J=.22 39 Grammar 15592 36 994 27.88 34.44 16.81,43,16 G=.13, J=.18 4a Move par. 4172 1479 765 18.26 31.73 18.25,57,75 G=.73, J=.77 4b Move par. 446 14421 765 18.44 31.94 18.25,58,73 G=.73, J=.74 4c Move par. 435 14578 765 18.62 31.74 18.25,56,74 G=.74, J=.75 4d Move par. 4561 1432 765 18.45 32.3 18.25,59,73 G=.72, J=.74 33