Rapport om nasjonal prøve Engelsk 5. og 8. trinn. UiB

Transkript

1 Rapport om nasjonal prøve 21 Engelsk 5. og 8. trinn UiB 1

2 Nasjonale prøvar i engelsk 21 rapport og analyse v/eli Moe, UiB, februar 211 I rapporten har vi prøvd å gi opplysningar om dei nasjonale prøvane i engelsk 21, både for prøvane som eit heile, men også for einskilditem. Analysane er basert på data frå alle elevane som tok prøvane hausten 21. Oppgåveformat Alle item i engelskprøvane kan skårast automatisk. Nokre av itemformata kan likevel tolkast som opne i og med svaralternativ ikkje er oppgitt. Åpne format er: Click item (eleven klikkar på ein ting i eit bilde) kun 5. trinn Colour (eleven fargelegg ein ting i eit bilde) kun 5. trinn Click & drag (eleven plasserer ein ting i eit bilde) Who could say (eleven klikkar på eit namn i teksten) Click on a word (eleven klikkar på eit ord i teksten) - kun 8. trinn Grammar (eleven fullfører ein setning ved å skrive inn eitt eller fleire ord) kun 8. trinn Lukka format er item der eleven vel mellom ulike svaralternativ. Lukka format er: Click picture (eleven klikkar på eitt av fleire bilde) Click text (eleven klikkar på ein av fleire tekstar) Gap filling (eleven klikkar på eitt av fire svaralternativ i løpande tekst - lukeprøve) MC multiple choice - fleirval (eleven klikkar på eitt av fleire oppgitte svaralternativ) Move paragraph (eleven svarar ved å flytte avsnitta i ein tekst slik at rekkefølgja blir korrekt kun 8. trinn Tabell 1 viser kor mange item av kvart format som finst i prøvane på 5. trinn. Tabell 1: 5. trinn - fordeling av oppgåvetypar/itemformat i dei ulike prøveversjonane format Prøve 1 Prøve 2 Prøve 3 Click item Colour Click& drag Click picture Click text Gap filling Multiple choice Who could say Tabell 2 viser kor mange item av kvart format som finst i prøvane på 8. trinn. 2

3 Tabell 2: 8. trinn - fordeling av oppgåvetypar/itemformat i dei ulike prøveversjonane format Prøve 1 Prøve 2 Prøve 3 Click picture Click text Click& drag Gap filling Multiple choice Who could say Click word Grammar Move paragraph Oppsummerande statistikk Det blir utvikla 3 parallelle nasjonale prøvar i engelsk. Prøvane kan samanliknast med omsyn til innhald (t.d. antall item, antall item per format, tema osb), vanskegrad og diskriminering. Tabell 3: Oppsummerande statistikk Nasjonale prøvar i engelsk 29 Prøve Ant. item Andel fleirval Gj.sn p-verdi Gj.sn poeng Stdavvik Reliabilitet Diskriminering Tal på elevar Eng / Eng / Eng / , Eng / Eng / Eng / Alle prøvar for begge trinn har tilfredstillande reliabilitetsmål, frå,85 til,93. Reliabiliteten for 5. trinnsprøvane er litt lågare enn for prøvane på 8. trinn. Denne tendensen har vi også sett tidlegare år. Prøvane sett under eitt, og dei aller fleste einskilditem, diskriminerer mellom sterke og svake elevar på ein fornuftig måte. Det er nokre få item som ikkje fungerer som forventa, dvs. dei fungerer annleis enn då dei vart pilotert. Engelskprøvane i 21 har gjennomsnittlege p-verdiar mellom.6 og.62. Det betyr at prøvane er litt lettare enn det vi siktar mot. Ideelt sett bør desse prøvane ha ein vanskegrad mellom.5 og.6. 3

4 Fordeling av resultat på poengskala 5. trinn Figur 1 3 viser korleis elevresultata i i dei tre 5. trinnsprøvane fordeler seg på poengskalaen. Figur 1: Totalpoengsum og elevar Prøve 5-1 Figur 2: Totalpoengsum og elevar Prøve 5-2 Prøve 5-1 Prøve Bars s Tal på elevar Tal på elevar Poeng totalt Poeng totalt Figur 3: Totalpoengsum og elevar Prøve 5-3 Prøve 5-3 Bars show counts 1 75 Tal på elevar Poeng totalt Dei tre prøvane oppfører seg svært likt i elevgruppene, og resultata er tilnærma normalfordelt. 4

5 Figur 4 6 viser korleis elevane i i dei tre 8. trinns prøvane fordeler seg på poengskalaen. Figur 4: Totalpoengsum og elevar prøve 8-1 Figur 5: Totalpoengsum og elevar prøve 8-2 Prøve 8-1 Prøve Bars s 75 5 Tal på elevar Tal på elevar Poeng totalt Poeng totalt Figur 6: Totalpoengsum og elevar prøve 8-3 Prøve Bars show counts 5 Tal på elevar Poengsum totalt Prøve 8-2 er tilnærma normalfordelt. Prøve 8-1 og 8-3 har ei overvekt av skårar i den høgare delen av skalaen. 5

6 Vanskegrad på item 5. trinn Figur 7-12 viser vanskegraden på itema i prøvane på 5. trinn, først fordelt etter rekkefølgja itema opptrer i prøven (figur 7, 9, 11) og deretter sortert frå det vanskelegaste til det lettaste (figur 8, 1, 12). Vanskegrad på item rekkefølge som i prøven sortert etter vanskegrad Figur 7 Versjon 5-1 Figur 8 Versjon 5-1 Vanskegrad item Versjon 5-1 sortert etter vanskegrad Versjon ,9,9,8,8,7,7 Vanskegruad,6,5,4 Serie1 Vanskegrad,6,5,4 Serie1,3,3,2,2,1, Antall item Figur 9 Versjon 5-2 Figur 1 Versjon 5-2 Vanskegrad item Versjon 5-2 sortert etter vanskegrad 1 1,9,9 Vanskegrad,8,7,6,5,4,3,2, Serie1 Vanskegrad,8,7,6,5,4,3,2, Serie1 Figur 11 Versjon 5-3 Figur 12 Versjon 5-3 vanskegrad Versjon 5-3 sortert etter vanskegrad Versjon ,9,9,8,8,7,7 Vanskegrad,6,5,4 Serie1 Vanskegrad,6,5,4 Serie1,3,3,2,2,1, I prøvane er det ei blanding av lette og vanskelege oppgåver. Figur 7, 9 og 11 viser også at i første del av prøven er det ei god veksling mellom lette og vanskelege oppgåver. Når eleven til dømes har svart på ei vanskeleg oppgåve, er det ei lettare oppgåve i kjømda og omvendt. Desse figurane viser også at i prøvane på 5. trinn er det ei rekkje utfordrande oppgåver til slutt 6

7 i prøvane. Det kan diskuterast om dette er rette måten å setje saman prøvane på. På den eine sida kan det vere greitt å vite at spesifikke format med vanskelege item kjem til slutt i prøven. Dette kan sjølvsagt også føre til at einskildelevar droppar å svare på desse itema fordi dei veit at herifrå og ut er oppgåvene vanskelege. På den andre sida kan det å flytte dei vanskelegaste oppgåvene lenger fram kanskje føre til at svake elevar avsluttar prøven tidlegare enn dei elles hadde gjort. Det finst ulike tilrådingar på dette punktet. Om ein fokuserer på dei svakaste elevane, vil ein tilrå at dei lettaste oppgåvene kjem først og at ein har ein klar progresjon når det gjeld vanskegrad. Har ein gjennomsnittseleven i tankane, vil mange seie at det er eit poeng å få eleven med så langt som mogeleg i prøven, og at ei veksling mellom lette og vanskelege oppgåver er å føretrekkje. Det vi i alle fall kan seie er at det kan vere uheldig å starte prøven med ei litt vanskeleg oppgåve (vanskegrad.5), slik som tilfellet er i prøve 5-1. Det kan vere lurt at dei aller første oppgåvene i prøven er relativt lette.. Vi vil fortsetje å diskutere dette spørsmålet og søkje råd på dette punktet. Når det gjeld figurane som viser itema i sortert rekkefølgje (figur 8, 1 og 12), ser vi at prøveversjonane oppfører seg nokolunde likt. Dei lettaste itema har ein vanskegrad på over.9. Dei vanskelegaste itema i versjon 1 og 2 har ein p-verdi på mellom.2 og.3. I versjon 3 finst eitt item med p-verdi under.2. Tabell 4 summerer opp minimum-, maksimum- og gjennomsnittlege p-verdiar for alle tre versjonane. Tabell 4: Minimum-, maksimum- og gjennomsnittlege p-verdiar 5. trinn Versjon 5-1 Versjon 5-2 Versjon 5-3 Minimum p-verdi Maksimum p-verdi Gjennomsnittleg p-verdi Ideelt sett ynskjer vi å ha med nokre få item med p-verdi under.2 i kvar prøveversjon (desse bør diskriminere godt mellom dei flinkaste elevane). Men det viser seg altså at ein del einskilditem har høgare p-verdi i samband med reelle prøvar enn dei hadde i piloteringa. Desse itema viser seg altså å vere lettare enn piloteringa kunne tyde på. Meir detaljerte opplysningar om format, kjønnskilnader og vanskegrad på itemnivå finst i tabell til slutt i rapporten 7

8 8. trinn Figur 13 og 18 viser vanskegraden på itema i prøvane på 8. trinn, først fordelt etter rekkefølgja itema opptrer i prøven (figur 13, 15, 17) og deretter sortert frå det vanskelegaste til det lettaste (figur 14, 16, 18). Vanskegrad på item rekkefølge som i prøven sortert etter vanskegrad Figur 13 Versjon 8-1 Figur 14 Versjon 8-1 Vanskegrad item Versjon 8-1 sortert etter vanskegrad Versjon 8-1 1, 1,9,9,8,8,7,7 Vanskegrad,6,5,4 Vanskegrad,6,5,4,3,3,2,2,1,1, Figur 15 Versjon 8-2 Figur 16 Versjon 8-2 Vanskegrad item Versjon 8-1 sortert etter vanskegrad Versjon ,9,9,8,8,7,7 Vanskegrad,6,5,4 Vanskegrad,6,5,4,3,3,2,2,1, Figur 17 Versjon 8-3 Figur 18 Versjon 8-3 Vanskegrad item Versjon 8-3 sortert etter vanskegrad Versjon 8-3 1, 1,9,9,8,8,7,7 Vanskegrad,6,5,4 Vanskegrad,6,5,4,3,3,2,2,1,1, Vi finn mykje av det same på 8. trinn som vi fann på 5. trinn. Figur 13, 15 og 17 viser at i prøven er det ei veksling mellom lette og vanskelege oppgåver. Sjølv om det også på dette trinnet er ein tendens til at dei aller vanskelegaste oppgåvene kjem på slutten av prøven, er ikkje tendensen like klar som på 5. trinn. I figur 14, 16 og 18 er itema sortert etter vanskegrad. 8

9 Vi ser at prøvane oppfører seg nokolunde likt. Dei vanskelegaste oppgåvene har ein p-verdi under.2, medan dei lettaste oppgåvene har ein p-verdi på.9 eller over. Tabell 5 summerer opp minimum-, maksimum- og gjennomsnittlege p-verdiar for alle tre versjonane. Tabell 5: Minimum-, maksimum- og gjennomsnittlege p-verdiar 5. trinn Versjon 8-1 Versjon 8-2 Versjon 8-3 Minimum p-verdi Maksimum p-verdi Gjennomsnittleg p-verdi Meir detaljerte opplysningar om format, kjønnskilnader og vanskegrad på itemnivå finst i tabell til slutt i rapporten Kjønnskilnader Ein t-test vil avsløre om skilnadene mellom gutar og jenter er signifikante. At ein skilnad er signifikant, vil seie at det er svært liten sjanse for at resultatet er tilfeldig. Dette blir uttrykt som ein p-verdi som kan tolkast som kor sannsynleg det er at resultatet kan oppstå ved eit reint tilfelle. Ein liten verdi er difor eit uttrykk for at skilnadene er store (t.d >.1), dette kan også tolkast som ein prosent der ein multipliserer p-verdien med 1. Tradisjonelt brukar ein grenser på 5% (.5) og 1% (.1) som viktige markaringar. Når vi har analysert data frå nasjonale prøvar i engelsk tidlegare år, har det i det store og heile ikkje vore særlege skilnader mellom gutane og jentene sine resultat. Jamnt over har jentene gjort det litt betre enn gutane utan at desse skilnadene har vore signifikante. Dersom ein baserer analysane sine på store datautval (til dømes fleire tusen elevar), er det lett å få signifikante resultat. Sjølv små og trivielle skilnader kan i slike samanhengar bli signifikante. Desse analysane baserer seg på data frå omlag 19 elevar for kvar av dei seks prøvane. Her vil vi meir eller mindre forvente signifikante resultat om vi samanliknar korleis gutar og jenter presterer. 5. trinn Den gjennomsnittlege poengsummen viser at det er små skilnader mellom gutane og jentene. Jentene skårar gjennomsnittleg litt høgre enn gutane. Dette gjeld alle tre prøveversjonar. T- testar viser at kjønnsskilnadene er signifikante. Tabell 6: skilnader mellom jenter og gutar på 5. trinn t-test Prøve Kjønn Gjennomsnittleg poengsum n Standardavvik t p 1 Gutar ** Jenter Gutar Jenter Gutar Jenter ** skilnaden er signifikant på.1-nivå * skilnaden er signifikant på.5-nivå ** * 9

10 Dersom vi deler jentene og gutane inn ti grupper (skåringsgrupper) på grunnlag av oppnådd poengsum, kan vi samanlikne om dei to gruppene oppfører seg likt. Gruppe 1 viser til gjennomsnittleg poengsum for dei 1% svakaste i gruppa, medan gruppe 1 viser til resultatet for dei 1% av elevane med høgast totalpoengsum. Figur viser gjennomsnittleg poengsum for kvar gruppe på dei tre prøvane på 5. trinn. Den gule lina representerer jentegruppene og den blå gutegruppene. Figur 19: Prøve 5-1 Gjennomsnittleg poengsum for ti skåringsgrupper Prøve 5-1 jenter (gul) og gutar (blå) Poeng Skåringsgrupper 1

11 Figur 2: Prøve 5-2 Gjennomsnittleg poengsum for ti skåringsgrupper Prøve 5-2 jenter (gul) og gutar (blå) Poeng Skåringsgrupper Figur 21: Prøve 5-3 Gjennomsnittleg poengsum for ti skåringsgrupper Prøve 5-3 jenter (gul) og gutar (blå) Poeng Skåringsgrupper Vi ser at resultata for alle tre prøvane viser at i dei lågaste skåringsgruppene skårar gutane litt lågare enn jentene, medan gjennomsnittspoengsum for gutar og jenter er tilnærma lik i dei høgste gruppene. Dette betyr altså at dei svakaste gutane skårar lågare enn dei svakaste jentene. Dei flinkaste jentene og gutane, derimot, skårar tilnærma likt. 11

12 Det er berre små skilnader mellom jentene og gutane sine resultat i alle skåringsgrupper. Dette gjeld alle tre prøvar. Tabell 7 oppsummerer informasjonen frå figurane Tabell 7: 5. trinnsprøvar gjennomsnittleg poengsum i skåringsgrupper Skåringsgrupper Jenter (n=9425) Prøve 5-1 Prøve 5-2 Prøve 5-3 Gutar (n=9679) Jenter (n=9362) Gutar (n=9571) Jenter (n=9472) Gutar (n=9749) Figur viser differansen i p-verdi mellom gutar og jenter på itemnivå. Dei blå kolonnene med positive verdiar viser til item der gutane gjer det best. Dei kvite kolonnene med negative verdiar viser til item der jentene gjer det best. Figur 22: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 5-1 Skilnad mellom gutar og jenter på itemnivå Versjon 5-1,25,2,15,1 Skilnad,5 -,5 -,1 -,15 -,

13 Figur 23: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 5-2 Skilnad mellom gutar og jenter på itemnivå Versjon 5-2,25,2,15,1 Skilnad,5 -,5 -,1 -,15 -, Figur 24: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 5-3 Skilnad mellom gutar og jenter på itemnivå Versjon 5-3,25,2,15,1 Skilnad,5 -,5 -,1 -,15 -, Vi ser med eitt blikk at ein større del av jentene svarar rett på mange av itema. Eitt itemformat skil seg spesielt ut: Who could say. Who could say - formatet er plassert heilt til slutt i prøvane på 5. trinn. Vi ser desse itema heilt til høgre i figur

14 I Who could say-item blir elevane presentert for ein tekst, som beskriv tre eller fire menneske I tillegg får dei spørsmål av typen: Who could say I have a pet? Jentene gjer det best på alle Who could say-itema i dei tre prøvane. Skilnadene mellom gjenter og gutar er ikkje store, men dei er gjennomførte. For å svare rett på desse må elevane bruke tid og lese teksten ganske nøye. Tabell 8: Skilnader i p-verdi mellom gutar og jenter Who could say Gutar Jenter Gutar Jenter Gutar Jenter trinn Den gjennomsnittlege poengsummen viser at det er små skilnader mellom gutane og jentene. Jentene skårar gjennomsnittleg litt høgre enn gutane. Dette gjeld alle tre prøveversjonar. T- testar viser at kjønnsskilnadene er signifikante. Den gjennomsnittlege poengsummen og standardavviket viser at det er relativt små skilnader mellom gutane og jentene på 8. trinn. Dette gjeld alle prøveversjonar. Sjølv om skilnadene er små, viser altså t-testar at dei er signifikante for alle tre prøvane. Tabell 9: skilnader mellom jenter og gutar på 8. trinn t-test Prøve Kjønn Gjennomsnittleg poengsum n Standardavvik t Sig 8-1 Gutar ** Jenter Gutar ** Jenter Gutar Jenter ** skilnaden er signifikant på.1-nivå 3.89.** Dersom vi deler jentene og gutane i ti grupper på grunnlag av oppnådd poengsum, på samme måte som vi gjorde for prøvane på 5. trinn, ser vi korleis gjennomsnittleg poengsum stig med skåringsgruppe for begge kjønn. Figur viser dette for dei tre prøvane for 8. trinn. 14

15 Figur 25: Prøve 8-1 Gjennomsnittleg poengsum for ti skåringsgrupper Versjon 8-1 jenter (gul) og gutar (blå) Poeng Skåringsgrupper Figur 26: Prøve 8-2 Gjennomsnittleg poengsum for ti skåringsgrupper Versjon 8-2 jenter (gul) og gutar (blå) Poeng Skåringsgrupper 15

16 Figur 27: Prøve 8-3 Gjennomsnittleg poengsum for ti skåringsgrupper Versjon 8-3 jenter (gul) og gutar (blå) Poeng Skåringsgrupper Skilnadene mellom gutar og jenter er små også på 8. trinn (sjå tabell 1). Vi registrerer det samme mønsteret her som på 5. trinn. Dei svakaste jentene skårar høgare enn dei svakaste gutane. Samtidig så skårar dei flinkaste jentene og gutane tilnærma likt. Vi understrekar nok ein gong at skilnadene mellom jenter og gutar er små. Tabell 1: 8. trinnsprøvar gjennomsnittleg poengsum i skåringsgrupper Skåringsgrupper Jenter (n=9613) Prøve 8-1 Prøve 8-2 Prøve 8-3 Gutar (n=1) Jenter (n=962) Gutar (n=9993) Jenter (n=9686) Gutar (n=996) Figur 28 3 viser differansen i p-verdi mellom gutar og jenter på itemnivå. Dei blå kolonnene med positive verdiar viser til item der gutane gjer det best. Dei kvite kolonnene med negative verdiar viser til item der jentene gjer det best. 16

17 Figur 28: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 8-1 Skilnad mellom gutar og jenter på itemnivå Prøve 8-1,15,1,5 Skilnad, -, ,1 -,15 Figur 29: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 8-2 Skilnad mellom gutar og jenter på itemnivå Prøve 8-2,15,1,5 Skilnad, -, ,1 -,15 17

18 Figur 3: Skilnad i p-verdi mellom gutar og jenter på itemnivå Prøve 8-3 Skilnad mellom gutar og jenter på itemnivå Prøve 8-3,15,1,5 Skilnad, -, ,1 -,15 Vi ser at også på 8. trinn taklar jentene dei fleste itema best (dei kvite kolonnene med negativ verdi). Dette gjeld i dei fleste itemformat. I tre av formata gjer jentene så å seie reint bord: Who could say, Grammar og Move paragraph. I Who could say-item blir elevane presentert for ein litt lengre tekst, som beskriv ein del menneske I tillegg får dei eit spørsmål av typen: Who could say I like to read books? For å svare rett på desse itema må elevane bruke tid og nærlese teksten ganske nøye. Det er til saman 17 Who could say-item i dei tre prøvane. På 15 av desse gjer jentene det best. I formatet Grammar må elevane følgje instruksjonar ved å skrive inn ord og fullføre ein setning. Til dømes: Complete the second sentence so that the meaning is similar to that of the first sentence. Use 2-4 words in each gap. - My mother would not let me go to the party in my shorts. - My mother stopped to the party in my shorts. (I nokre tilfelle er fleire korrekte svar lagt inn i fasiten. Elevane blir ikkje straffa for feil i teiknsetjing.) For å svare rett på spørsmåla i dette formatet må elevane ha kunnskapar i /god kjensle for engelsk språkbruk. Jentene gjer det best på 15 av 18 grammatikkoppgåver. Elevane må både nærlese og ha oversikt over heile teksten for å svare korrekt på itema i formatet Move paragraph. Oppgåva er å plassere avsnitta i ein tekst i korrekt rekkefølgje ved å klikke på piltastar. Jentene taklar alle itema i dette formatet betre enn gutane, 12 item til saman i dei tre prøvane. Det er ein tendens til at gutane svarar rett på fleire item enn jentene i formatet Click word. Av 15 item i dei tre prøvane, gjer gutane det best på 9 av desse. Jentene taklar 5 av itema best, 18

19 medan eitt item gjer dei det like godt på..p-verdien for eitt av itema er dene samme for jenter og gutar. I formata Who could say og Move paragraph må elevane forhalde seg til litt lengre tekstar. Her gjer altså jentene det best. I formatet Click word derimot er utgangspunktet ein kort tekst, og her gjer gutane ofte det best. 19

20 Opplysningar på itemnivå I tabellane som fylgjer, presenterer vi opplysningar om entkeltitem i dei tre prøvane for 5. og 8. trinn. Tabell 11: Eksempel på resultattabell Felt Fleirval A B C D Blank A B C D Blank D p- p- verdi kjønns diff. Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper Flagg/ Komm 9 Click&drag ,38.64 G=,67, J=,61 1 Click pict ,34.92 G=.91, J=.92 For å gjera tabellane meir leselege for lesarar som ikkje har særleg erfaring med statistikk, prøver vi å gi ei forklaring til tabellane. Vi håpar at dette gjer dei meir leselege. Døme frå tabell: Felt 1 Eit item er enten eit fleirvalsitem der eleven svarar ved å velja mellom ulike svaralternativ (A,B C osv.) eller eit item som blir skåra rett eller galt (t.d. click & drag, colour, click word osv.). Felt 1 viser korleis elevane i utvalet har svart på itemet. Vi ser at item 9 er eit rett/galt item, og at 681 elevar i utvalet har avgitt galt svar, medan har svart rett. 3 elevar har ikkje svart på itemet. 1 er eit fleirvalsitem, og tabellen viser kor mange elevar som har valt dei ulike svaralternativa elevar har valt alternativ A, 336 har valt alternativ B osv. 34 elevar har ikkje svart på item 1. Felt 2 Dette feltet viser gjennomsnittspoengsum for ulike elevgrupper. Vi vil forvente at gjennomsnittspoengsummen er høgre for elevgruppa som har svart rett på eit item, enn gruppa som har svart feil på samme item. Om vi ser på item 9, så ser vi at elevane som har svart feil på dette itemet, har 2

21 ein gjennomsnittspoengsum på poeng, mens elevane som svarar rett på itemet har ein gjennomsnittspoengsum på Det er 3 elevar som ikkje har svart på dette itemet, og gjennomsnittleg poengsum i denne gruppa er Når det gjeld item 1, så er gjennomsnittspoengsummen for dei elevane som har svart alternativ A, for gruppa som har svart alternativ B er gjennomsnittet osv. Felt 3 D står for diskriminering, og dette er eit mål på kor godt itema diskriminerer mellom elevane. Vi forventar at fleire sterke enn svake elevar svarar rett på eit item. Normalt vil ein seie at eit item bør ha ein verdi over,25 (maxverdi =1). Di høgare verdien er, di betre diskriminerer itemet mellom svake og sterke elevar. Felt 4 P er eit mål på vanskegrad, og p varierer mellom og 1. Di nærare p-verdien er, di vanskelegare er itemet. Lette item har verdiar som nærmar seg 1. 9 har ein p-verdi på,64. Det betyr at 64% av elevane har svart rett på dette itemet. Og vi ser at 67% av gutane svarte rett på itemet, medan 61% av jentene gjorde det samme.. Det er vanskeleg å angi ideelle p-verdiar fordi prøvar har ulike formål. Dersom målet er å skilja mellom dei fleste og dei svakaste elevane, vil ein velje item med relativt høg p-verdi, det vil seia item dei fleste svarar rett på og dei svakaste ikkje klarar. Dersom målet er å skilja mellom personar i heile populasjonen (slik som dei nasjonale prøvane), både mellom dei flinkaste og dei svakaste, vil ein velja både lette og vanskelege item. Mange vil då ha som mål at gjennomsnitts p-verdi for heile prøven er rundt,5. 21

22 Prøve 5-1 n= gutar = 9588, jenter = 9525 Tabell 12: Informasjon om einskilditem Prøve 5-1 Felt Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click item ,41,49 G=.48, J=.5 2 Click item ,33,89 G=.87, J=.91 3 Click item ,28,9 G=.88, J=.91 4 Click item ,42,82 G=.87, J=.77 5 Colour ,47,78 G=.77, J=.79 6 Colour ,5,64 G=.63, J=.65 7 Colour ,37,81 G=.77, J=.85 8 Click&drag ,26,57 G=.62, J=.52 9 Click&drag ,38,64 G=.67, J=.61 1 Click pict ,34,92 G=.91, J= Click pict ,38,78 G=.8, J= Click pict ,39,81 G=.82, J= Click pict ,35,86 G=.88, J= Click pict ,39,62 G=.6, J= Click pict ,31,75 G=.73, J= Click pict ,33,52 G=.55, J= Click text , ,36,61 G=.59, J= Click text ,34,47 G=.48, J= Click text ,32,67 G=.68, J=.67 2 Click text ,4,8 G=.8, J= Click text ,32,74 G=.73, J= Click text ,35,6 G=.58, J= Click text ,35,64 G=.66, J=.63 24a Gap ,33,67 G=.64, J=.7 Flagg/ Komm 22

23 24b Gap ,34,67 G=.66, J=.69 25a Gap ,48,63 G=.63, J=.63 25b Gap ,31,86 G=.84, J=.88 25c Gap ,3,79 G=.78, J=.8 26 Gap ,47,7 G=.67, J=.74 Kun rett galt 27 Mc ,16,54 G=.53, J=.56 *Diskr. dårleg 28 Mc ,22,49 G=.49. J=.49 *Diskr. dårleg 29 Mc ,3,32 G=.32 J=.32 3 Mc ,43,38 G=.38, J= Mc ,42,45 G=.43 J=.47 X 32 Mc ,46,4 G=.41, J=.4 33 Mc ,37,31 G=.3, J= Who ,47,5 G=.48 J= Who ,53,25 G=.24 J= Who ,33,29 G=.28, J=.3 37 Who ,25,28 G=.26, J= Who ,37,31 G=.3, J= Who ,55,36 G=.33, J=.38 23

24 Prøve 5-2 n = 1993 gutar = 9749, jenter = 9472 Tabell 13: Informasjon om einskilditem Prøve 5-2 Felt Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Flagg/ Komm Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click item ,28,94 G=.94, J=.95 2 Click item ,44,64 G=.65, J=.64 3 Click item ,37,78 G=.79, J=.76 4 Click item ,25,94 G=.93, J=.95 5 Colour ,31,82 G=.84, J=.8 6 Colour ,5,78 G=.79, J=.77 7 Colour ,52,67 G=.65, J=.69 8 Click&drag ,39,39 G=.45, J=.32 9 Click&drag ,33,74 G=.75, J=.73 1 Click&drag ,38,44 G=.44, J= Click pict ,52,61 G=.65, J= Click pict ,23,93 G=.92, J=.95 Diskr. dårleg 13 Click pict ,45,8 G=.8, J=.8 14 Click pict ,34,77 G=.69, J= Click pict ,22,56 G=.52, J= Click pict ,25,9 G=.89, J= Click pict ,4,78 G=.79, J= Click text ,3,91 G=.92, J=.9 19 Click text ,27,56 G=.53, J=.58 2 Click text ,36,74 G=.74, J= Click text ,45,61 G=.61, J=.6 22 Click text ,48,76 G=.76, J=.77 23a Gap ,28,5 G=.5, J=.51 23b Gap ,44,81 G=.8, J=.83 23c Gap ,36,72 G=.7, J=.74 24

25 23d Gap ,28,7 G=.69, J=.7 23e Gap ,37,81 G=.79, J=.84 23f Gap ,29,77 G=.75, J= Mc ,39,29 G=.32, J= Mc ,23,6 G=.57, J=.65 Diskr. dårleg 26 Mc ,13,76 G=.72, J=.82 Diskr. dårleg 27 Mc ,33,38 G=.39, J= Mc ,46,29 G=.27, J= Mc ,35,55 G=.55, J=.54 3 Mc ,32,3 G=.3, J=.3 31 Mc ,32,42 G=.4, J= Who ,42,27 G=.25, J=.3 33 Who ,38,35 G=.34, J= Who ,43,29 G=.28, J= Who ,33,41 G=.4, J= Who ,4,36 G=.35, J= Who ,34,28 G=.27, J=.29 25

26 Prøve 5-3 n = gutar: 9749, jenter = 9477 Tabell 14: Informasjon om einskilditem Prøve 5-3 Felt Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Flagg/ Komm Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click item ,28,93 G=.91, J=.94 2 Click item ,44,77 G=.76, J=.78 3 Click item ,37,95 G=.94, J=.95 4 Click item ,25,72 G=.71, J=.72 5 Colour ,31,51 G=.54, J=.48 6 Colour ,5,78 G=.79, J=.78 7 Colour ,52,88 G=.86, J=.89 8 Click&drag ,39,85 G=.88, J=.83 9 Click&drag ,33,39 G=.38, J=.4 1 Click&drag ,38,43 G=.45, J= Click pict ,63 19,68 26, ,52,86 G=.86, J= Click pict ,23,92 G=.91, J=.94 Diskr. dårleg 13 Click pict ,45,84 G=.83, J= Click pict ,34,95 G=.94, J= Click pict ,22,74 G=.73, J=.74 Diskr. dårleg 16 Click pict ,25,55 G=.58, J= Click text ,4,59 G=.59, J=.6 18 Click text ,3,75 G=.72, J= Click text ,27,5 G=.61, J=.38 2 Click text ,36,76 G=.76, J= Click text ,45,57 G=.54, J= Click text ,48,71 G=.7, J= Click text ,18,32 G=.31, J=.34 Diskr. dårleg 24a Gap ,44,88 G=.87, J=.9 24b Gap ,36,72 G=.71, J=.74 26

27 24c Gap ,28,8 G=.77, J=.83 25a Gap ,37,39 G=.4, J=.38 25b Gap ,29,26 G=.27, J=.26 25c Gap ,39,61 G=.61, J=.61 25d Gap ,23,69 G=.67, J=.7 Diskr. dårleg 26 Mc ,23,46 G=.45, J=.47 Diskr. dårleg 27 Mc ,33,51 G=.52, J= Mc ,46,35 G=.36, J= Mc ,35,54 G=.54, J=.53 3 Mc ,32,48 G=.45, J= Mc ,32,4 G=.38, J= Who ,42,35 G=.33, J= Who ,38,43 G=.43, J= Who ,43,32 G=.31, J= Who ,33,36 G=.36, J= Who ,4,16 G=.16, J= Who ,34,38 G=.37, J=.39 27

28 Prøve 8-1 n = gutar: 1, jenter = 9613 Tabell 15: Informasjon om einskilditem Prøve 8-1 Felt Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Flagg/ Komm Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click pict ,24,8 G=.81, J=.78 Diskr. dårleg 2 Click pict ,16,99 G=.98, J=.99 Diskr. dårleg 3 Click pict ,42,81 G=.81, J=.8 4 Click pict ,44,87 G=.86, J=.88 5 Click text ,45,85 G=.83, J=.87 6 Click text ,41,55 G=.55, J=.56 7 Click text ,36,51 G=.54, J=.49 8 Click text ,47,87 G=.87, J=.88 9 Click text ,36,81 G=.78, J=.85 1 Click&drag ,29,93 G=.93, J= Click&drag ,48,77 G=.76, J= Click&drag ,49,79 G=.79, J=.79 13a Gap ,28,61 G=.61, J=.61 13b Gap ,49,47 G=.5, J=.44 13c Gap ,4,4 G=.42, J= Mc ,43,45 G=.48, J= Mc ,49,73 G=.7, J= Mc ,4,66 G=.66, J= Mc ,54,69 G=.67, J= Mc ,33,66 G=.63, J= Mc ,63,75 G=.73, J=.77 2 Mc ,53,57 G=.57, J= Mc ,34,46 G=.46, J= Mc ,54,65 G=.64, J= Who ,59,76 G=.73, J=.8 28

29 24 Who ,61,69 G=.66, J= Who ,56,77 G=.75, J=.8 26 Who ,58,83 G=.8, J= Who ,56,69 G=.67, J= Who ,55,56 G=.,57 J= Click word ,44,28 G=.29, J=.28 3 Click word ,6,55 G=.5, J=.6 31 Click word ,63,77 G=.79, J= Click word ,69,7 G=.7, J= Click word ,37,26 G=.26, J= Grammar ,36,12 G=.12, J= Grammar ,42,19 G=.17, J=.2 36 Grammar ,56,53 G=.52, J= Grammar ,43,3 G=.29, J= Grammar ,28,15 G=.1, J=.2 39 Grammar ,4,36 G=.32, J=.4 4a Move par ,56,73 G=.69, J=.78 4b Move par ,58,7 G=.67, J=.74 4c Move par ,54,69 G=.66, J=.72 4d Move par ,58,66 G=.62, J=.7 29

30 Prøve 8-2 n = gutar: 9993, jenter = 962 Tabell 16: Informasjon om einskilditem Prøve 8-2 Felt Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Flagg/ Komm Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click pict ,25,64 G=.6, J=.67 2 Click pict ,37,79 G=.83, J=.76 3 Click pict ,38,79 G=.77, J=.81 4 Click pict ,42,85 G=.83, J=.88 5 Click text ,51,82 G=.81, J=.83 6 Click text ,5,84 G=.84, J=.83 7 Click text ,5,53 G=.54, J=.52 8 Click text ,49,77 G=.78, J=.77 9 Click text ,37,74 G=.76, J=.73 1 Click&drag ,26,9 G=.9, J= Click&drag ,47,8 G=.84, J= Click&drag ,54,71 G=.74, J=.68 13a Gap ,8,54 G=.55, J=.53 Diskr. dårleg 13b Gap ,17,44 G=.41, J=.47 Diskr. dårleg 13c Gap ,45,89 G=.87, J=.91 13d Gap ,51,49 G=.45, J=.54 13e Gap ,43,87 G=.85, J=.89 13f Gap ,44,65 G=.61, J=.69 13g Gap ,29,8 G=.79, J=.81 13h Gap ,4,57 G=.54, J=.6 14 Mc ,4,65 G=.65, J= Mc ,33,63 G=.66, J= Mc ,47,69 G=.69, J= Mc ,33,71 G=.7, J= Mc ,55,69 G=.7, J=.67 3

31 19 Mc ,48,57 G=.59, J=.54 2 Mc ,47,54 G=.59, J= Mc ,44,53 G=.52, J= Who ,51,62 G=.58, J= Who ,56,7 G=.67, J= Who ,55,66 G=.64, J= Who ,28,39 G=.39, J= Who ,56,76 G=.73, J= Click word ,5,32 G=.34, J=.3 28 Click word ,56,62 G=.63, J= Click word ,66,74 G=.72, J=.76 3 Click word ,53,73 G=.72, J= Click word ,48,46 G=.44, J= Grammar ,35,11 G=.1, J= Grammar ,43,16 G=.15, J= Grammar ,42,35 G=.34, J= Grammar ,56,49 G=.47, J=.5 36 Grammar ,57,39 G=.38, J=.4 37 Grammar ,43,4 G=.37, J=.44 38a Move par ,51,67 G=.64, J=.7 38b Move par ,47,44 G=.43, J=.46 38c Move par ,48,51 G=.49, J=.52 38d Move par ,4,44 G=.43, J=.45 31

32 Prøve 8-3 n = gutar: 996, jenter = 9686 Tabell 17: Informasjon om einskilditem Prøve 8-3 Felt Fleirval A B C D Blank A B C D Blank D p- verdi p- kjønns diff. Flagg/ Komm Rett/galt 1 1 Tal på elevar Gjennomsnittleg skåre i svargrupper 1 Click pict ,35,92 G=.9, J=.94 2 Click pict ,37,92 G=.91, J=.93 3 Click pict ,22,96 G=.95, J=.98 Diskr. dårleg 4 Click pict ,25,66 G=.62, J=.7 5 Click text ,46,63 G=.69, J=.57 6 Click text ,51,78 G=.77, J=.78 7 Click text ,51,88 G=.88, J=.88 8 Click text ,35,87 G=.84, J=.89 9 Click text ,48,54 G=.57, J=.51 1 Click&drag ,43,86 G=.84, J= Click&drag ,47,79 G=.8, J= Click&drag ,41,79 G=.81, J=.77 13a Gap ,19,56 G=.57, J=.56 Diskr. dårleg 13b Gap ,23,44 G=.43, J=.44 Diskr. dårleg 13c Gap ,43,86 G=.86, J=.85 13d Gap ,26,71 G=.71, J=.71 13e Gap ,38,5 G=.51, J= Mc ,46,65 G=.63, J= Mc ,25,69 G=.68, J=.7 16 Mc ,53,77 G=.75, J=.8 17 Mc ,5,72 G=.72, J= Mc ,49,44 G=.44, J= Mc ,52,62 G=.65, J=.6 2 Mc ,32,57 G=.59, J= Mc ,49,64 G=.63, J=.64 32

33 22 Mc ,48,7 G=.72, J= Who ,33,39 G=.39, J= Who ,42,39 G=.36, J= Who ,5,52 G=.49, J= Who ,5,44 G=.39, J=.5 27 Who ,57,61 G=.57, J= Who ,43,49 G=.47, J= Click word ,6,63 G=.66, J=.61 3 Click word ,65,62 G=.58, J= Click word ,59,8 G=.82, J= Click word ,54,33 G=.33, J= Click word ,49,24 G=.27, J= Grammar ,34,27 G=.26, J= Grammar ,55,42 G=.4, J= Grammar ,43,17 G=.16, J= Grammar ,43,19 G=.17, J=.2 38 Grammar ,43,24 G=.25, J= Grammar ,43,16 G=.13, J=.18 4a Move par ,57,75 G=.73, J=.77 4b Move par ,58,73 G=.73, J=.74 4c Move par ,56,74 G=.74, J=.75 4d Move par ,59,73 G=.72, J=.74 33