RAPPORT NASJONAL PRØVE I REGNING 8. og 9. TRINN 2013 Grethe Ravlo Bård Vinje Ole Harald Johansen Roberth Åsenhus NSMO/NTNU mars 2014
Den nasjonale prøven i regning for 8. og 9. trinn 2013 Rapport basert på resultatene fra versjon 1 av prøven Grethe Ravlo, Bård Vinje, Ole Harald Johansen og Roberth Åsenhus Nasjonalt senter for matematikk i opplæringen (NSMO) NTNU mars 2014 Innhold Innledning... 3 Validitet... 4 Resultater innen områdene tall, måling og statistikk... 8 Resultater til enkeltoppgaver... 9 Oppgaver med størst forskjell i resultatet til 8. og 9. trinn... 10 Oppgaver med lav p-verdi... 12 Oppgaver med høy p-verdi... 13 Mestringsnivå 1 og p-verdi... 14 Oppgaveformat, p-verdi og mestringsnivå... 16 Kjønnsforskjeller... 19 Kjønnsforskjeller innen områdene tall, måling og statistikk... 22 Kjønnsforskjeller i p-verdier på enkeltoppgaver... 23 Kjønnsforskjeller og oppgaveformat... 24 Ubesvarte oppgaver... 26 Teknisk rapport... 30 Item-analyse av alle oppgavene... 30 Kilder:... 33 2
Innledning Denne rapporten er basert på resultatene til elevene som gjennomførte versjon 1 av nasjonal prøve i regning for 8. og 9.trinn høsten 2013. Dette gjelder 18 981 elever på 8. trinn og 19 805 elever på 9. trinn. Rapporten handler i utgangspunktet om resultatene for 8. trinn, men vi sammenligner med resultatene for 9. trinn. Den nasjonale prøven for 2013 foreligger i fire versjoner, versjon 1, 2, 3 og 4. Alle versjonene inneholder 58 oppgaver. Oppgavene i versjon 1, 2 og 3 er de samme, men rekkefølgen til de ti første og de ti siste oppgavene er ulik i de tre versjonene. Versjon 4 er litt annerledes. I den er 38 av oppgavene lik oppgavene i versjon 1, 2 og 3. De resterende 20 oppgavene er fra prøven i 2012, og de skal være med i en versjon av nasjonal prøve i flere år framover. Disse oppgavene skal brukes til å måle utvikling over tid av elevenes grunnleggende ferdigheter i å kunne regne. Både oppgavene og hvor de er plassert i oppgavesettet må holdes hemmelig. Versjon 4 av prøven for 2013 er derfor ikke offentlig tilgjengelig. Det var 3 494 elever som gjennomførte versjon 4. Disse elevene fikk bare vite hvor mange poeng de fikk totalt på prøven. Analyseresultatene viser at de tre versjonene av prøven fungerte tilnærmet likt, både for 8. trinn og for 9. trinn. Veiledningsmateriellet som ligger på www.udir.no og analysematerialet som ligger i PAS, baserer seg på rekkefølgen oppgavene har i versjon 1 av prøven. Det var til sammen 59 816 elever på 8. trinn og 59 433 elever på 9. trinn som gjennomførte nasjonal prøve i regning for 2013. Prøven tester kompetansemålene etter 7. trinn i Kunnskapsløftet (LK06) for grunnleggende ferdighet i å kunne regne i alle fag. Prøven for 2013 er en elektronisk prøve med 58 oppgaver og prøvetid 90 minutter. Elevene hadde ark til å kladde på, men svarte elektronisk. Riktig svar ble honorert med 1 poeng per oppgave, og det ble ikke gitt delpoeng. Resultatene i denne rapporten blir presentert i form av p-verdier, som tilsvarer den prosentandelen elever som fikk poeng på hver oppgave. Rapporten inneholder gjennomsnittlige p-verdier for alle elevene og for jentene og guttene hver for seg for hele prøven. I tillegg oppgis p-verdier for hver enkelt oppgave. Oppgavene er kategorisert etter spesielle kriterier. Vi har sammenlignet p-verdier i flervalgsoppgaver og åpne oppgaver innenfor områdene tall, måling og statistikk, og undersøkt hvor stor andel av elevene som ikke har svart på oppgavene. Videre har vi sett på hvilke oppgaver som er riktig besvart av flest elever (høy p-verdi), hvilke oppgaver som elevene i stor grad har hatt problemer med å løse riktig (lav p-verdi), og hvilke oppgaver elever med lav gjennomsnittlig poengsum har løst. Oppgavene innen disse kategoriene er analysert for alle elevene og for jentene og guttene hver for seg. 3
Validitet i I Kunnskapsløftet (LK06) presiseres det at regning er en grunnleggende ferdighet i alle fag. Dette skal i så stor grad som mulig, gjenspeiles i den nasjonale prøven i regning. Prøven skal kartlegge i hvilken grad elevenes regneferdigheter er i samsvar med kompetansemål der regneferdigheter er integrert (Jfr. Rammeverk for nasjonale prøver, Utdanningsdirektoratet 2010). Siden prøven tester kompetansemålene for de ulike fagene etter 7. trinn i LK06, blir den gjennomført tidlig på 8. og 9. trinn. Innholdsmessig er den nasjonale prøven i regning knyttet til områdene tall, måling og statistikk. Rammeverket definerer hva som inngår i de ulike områdene (Utdanningsdirektoratet 2010). Det å kunne bruke regning i faglige og dagligdagse sammenhenger skal vektlegges, og prøven skal inneholde både åpne oppgaver og flervalgsoppgaver. Noen av oppgavene er interaktive. I åpne oppgaver skal elevene enten skrive et svar, merke antall ruter i et rutenett eller stille klokka. I flervalgsoppgaver skal elevene enten velge ett av flere svaralternativer, sortere tall i riktig rekkefølge eller koble sammen ulike representasjoner av samme tall. I interaktive oppgaver skal elevene flytte på ett eller flere objekter. Prøven for 8. og 9. trinn 2013 består av 32 flervalgsoppgaver og 26 åpne oppgaver. Mange av oppgavene i prøven er relevante for mer enn ett fag. Oppgavene i prøven for 2013 knyttes til følgende fag: 1. Oppgaver innenfor området tall: Norsk, Matematikk, Naturfag, Samfunnsfag, Kunst & Håndverk, Religion/Livssyn/Etikk, Mat & Helse, Musikk og Kroppsøving 2. Oppgaver innenfor området måling: Matematikk, Naturfag, Samfunnsfag, Religion/Livssyn/Etikk, Kunst & Håndverk, Mat & Helse, Kroppsøving og Engelsk 3. Oppgaver innenfor området statistikk: Norsk, Matematikk, Naturfag, Samfunnsfag, Religion/Livssyn/Etikk, Mat & Helse, Kroppsøving og Engelsk Prøven for 8. og 9. trinn består av 22 oppgaver i området tall, 22 innenfor måling og 14 statistikkoppgaver. For at alle elever skal få vist sin kompetanse, inneholder prøven oppgaver med ulik vanskelighetsgrad. Det er ferdig oppstilte regneoppgaver, oppgaver som tester evne til tolkning og til å løse problemer i kontekst, og evne til resonnement, analyse og vurdering. i Validitet betyr at prøven måler det den er ment å skulle måle, -grunnleggende ferdigheter i regning innenfor områdene tall, måling og statistikk i alle fag, relatert til LK06. 4
Tabell 1 Oppgaverekkefølge i versjon 1 av nasjonal prøve i regning 2013. Resultater for 8. og 9. trinn. N(8) =18 981 og N(9) =19 805 Oppgaver Innhold Område Format 1 2 Addisjon, subtraksjon og multiplikasjon i priskontekst Lage linjediagram ut fra gitt tabell Tall Statistikk Åpen Åpen Relevans til fag Ma, m&h, sf no, eng, na, rle P-verdi 8.trinn % Diff. j-g 8. trinn prosentpoeng P-verdi 9. trinn % Diff. j-g 9. trinn prosentpoeng Diff. (9.-8.) prosentpoeng Effektstørrelse ii Fra 8. til 9. trinn Forventet vanskegrad 82,5-1,3 85,7-0,7 3,2 0,09 2 88,3 0,8 91,8 1,1 3,5 0,12 2 3 Utvide matoppskrift, multiplikasjon eller gjentatt addisjon i Tall Åpen Ma, m&h 67,3-2,9 74,1-1,7 6,8 0,15 3 kontekst 4 Addisjon og divisjon i Tall Åpen kontekst m&h 61,2-6,3 66,7-4,5 5,5 0,12 2 5 Multiplikasjon/addisjon i Ma, krø, Måling Åpen tidskontekst na 53,2-12,2 60,0-12,2 6,8 0,14 2 Ma, krø, 6 Sortere lengdeenheter Måling Flervalg k&h, na, 72,7-6,0 78,2-6,4 5,5 0,13 1 sf 7 Differanse, min og s Måling Flervalg Ma, krø, sf, nat 54,7-12,5 62,1-11,7 7,4 0,15 3 8 Tolke diagram og utføre Statistikk Flervalg no, eng, beregninger, prosent na, rle 67,1-0,3 75,3-1,4 8,2 0,18 3 9 Lese av og tolke Statistikk Flervalg no, eng, søylediagram na, rle 67,8-2,2 72,6 0,9 4,8 0,11 4 10 Fylle ut poengtabell i Statistikk Åpen no, eng, idrett na, rle 16,1-12,8 23,0-12,8 6,9 0,17 5 11 Lage søylediagram ut fra Statistikk Åpen no, eng, gitte data na, rle 68,1 9,5 74,9 9,0 6,8 0,15 2 12 Måneder Måling Flervalg na, rle 68,9 11,7 72,6 12,7 3,7 0,08 1 13 Forskjell i prosentandel Tall Flervalg na, rle, 33,3-3,6 46,0-4,9 12,7 0,26 3 m&h, mu 14 Brøkdel av rutenett Tall Flervalg Ma, m&h 54,9 0,0 62,9 0,8 8,0 0,16 2 15 Vurdere mengde, divisj. Tall Åpen Ma, sf 70,1-3,9 74,8-2,1 4,7 0,11 2 16 Tolke tabell og beregne Statistikk Åpen na, eng, 65,1 7,3 69,7 7,4 4,6 0,10 3 no 17 Finne prosentdel Tall Flervalg Ma, m&h, mu 65,8-8,3 72,4-7,1 6,6 0,14 3 18 Vurdere og sammenligne Tall Åpen priser m&h 66,5 4,9 70,7 4,3 4,2 0,09 3 19 Tolke tabell og vurdere Statistikk Flervalg no, eng, påstander na, rle 54,2 2,9 57,2 2,7 3,0 0,06 4 20 Tegne kvadrat med gitt sidelengde Måling Åpen Ma, k&h 78,3 6,0 83,2 3,0 4,9 0,13 2 ii Effektstørrelse (e) har benevning standardavvik, og sier noe om forskjeller i gjennomsnittsverdier til to grupper. For eksempel i hvilken grad antall år i skolen har betydning for et resultat. For e 0,3 er effekten liten. Hvis 0,3 < e < 0,8 er effekten middels, og hvis e 0,8 er effekten av hvilken gruppe man tilhører stor. 5
Oppgaver Innhold Område Format 21 Multiplikasjon/addisjon i kontekst Tall Flervalg 22 Lese av linjediagram Statistikk Flervalg 23 Bestemme målestokk Måling Åpen 24 Multiplikasjon i kontekst Tall Åpen 25 26 Divisjon/addisjon i kontekst Vurdere og sammenligne priser Relevans til fag Ma, krø, na no, eng, na, rle Ma, krø, na, sf, k&h Ma, m&h, na Analyse av resultater fra nasjonal prøve i regning 8.og 9. trinn 2013 P-verdi 8.trinn % Diff. j-g 8. trinn prosentpoeng P-verdi 9. trinn % Diff. j-g 9. trinn prosentpoeng Diff. (9.-8.) prosentpoeng Effektstørrelse Fra 8. til 9. trinn Forventet vanskegrad 59,4-16,3 69,2-13,4 9,8 0,21 2 60,1-8,1 68,6-6,3 8,5 0,18 2 45,0-7,1 55,0-6,3 10,0 0,20 4 87,0 2,2 87,8 2,6 0,8 0,02 1 Tall Flervalg Ma, krø 71,0-5,3 75,4-3,3 4,4 0,10 2 Tall Åpen Ma, sf 33,7 3,3 37,1 2,8 3,4 0,07 4 27 Prosentdel av rutenett Tall Flervalg Ma, sf 51,6-6,8 58,0-5,6 6,4 0,13 3 28 Sammensatt problem, Ma, Måling Åpen omgjøring m&h, na 23,6-0,4 28,0-1,1 4,4 0,10 5 29 Sammenligne tider (s og Ma, krø, Måling Flervalg tideler) na, sf 32,0-13,0 35,0-15,2 3,0 0,06 3 30 Differanse, positive og negative tall Måling Flervalg Ma, na 42,4-6,6 49,5-6,9 7,1 0,14 3 31 Regne med tid Måling Flervalg Ma, na, sf, krø 68,5-2,2 72,7-2,1 4,2 0,09 2 32 Tolke diagram, vurdere Statistikk Flervalg no, eng, påstander na, rle 54,5-3,2 60,1-4,1 5,6 0,11 3 33 Gjennomsnitt Statistikk Flervalg Ma, sf 52,0-1,7 60,3 0,0 8,3 0,17 3 34 Tolke tabell, regne gjennomsnitt Statistikk Flervalg Ma, krø 35,1 0,2 41,5 2,1 6,4 0,13 4 35 Finne kg-pris Måling Åpen m&h 27,6-16,5 34,8-17,8 7,2 0,16 3 36 Regne med målestokk Måling Åpen Ma, krø, na, sf, 10,3-4,5 16,1-5,8 5,8 0,17 5 k&h 37 Finne prosent Tall Flervalg m&h 51,2-8,8 58,1-7,8 6,9 0,14 3 38 Tolke tabell og utføre Statistikk Åpen no, eng, beregninger na, rle 22,4-1,1 31,1-1,0 8,7 0,20 4 39 Sortere desimaltall Tall Flervalg Ma 73,0-1,0 76,6 0,7 3,6 0,08 2 40 Skrive store tall som tall Tall Flervalg Ma, sf 74,1-9,7 79,3-8,6 5,2 0,12 1 41 Angi lengde Måling Åpen Ma, krø 73,5-3,8 78,9-2,5 5,4 0,13 2 42 Divisjon i kontekst Tall Åpen 43 Regne ut gjennomsnittsfart Måling Flervalg 44 Valuta Måling Åpen 45 Merke av brøkdel Tall Åpen 46 Velge riktig benevning Måling Flervalg 47 Sammenheng mellom måleenheter Måling Flervalg 48 Vei, fart og tid Måling Flervalg m&h na eng Ma, m&h, k&h Ma, na, sf Ma, na, m&h na 18,5 0,8 24,6-0,1 6,1 0,15 3 16,6-4,0 21,3-4,5 4,7 0,12 5 33,1 1,2 39,1 1,3 6,0 0,12 3 71,8 2,0 76,2 1,5 4,4 0,10 2 62,8-4,5 69,3-4,0 6,5 0,14 2 64,2-5,1 70,1-5,1 5,9 0,13 2 34,0-11,8 38,2-14,0 4,2 0,09 4 6
Oppgaver Innhold Område Format 49 Multiplikasjon/divisjon i kontekst Tall Åpen 50 Enkel omgjøring, masse Måling Flervalg 51 52 Tolke tabell og utføre beregninger Addisjon, subtraksjon og multiplikasjon i priskontekst Statistikk Tall Flervalg Flervalg 53 Tidssoner Måling Åpen 54 55 56 57 58 Sammensatt problem, omgjøring Gjennomsnitt av store tall Sammenheng analog og digital tid Vurdere mengde i forhold til antall Vurdere mengde i forhold til pris Måling Flervalg Relevans til fag Ma, m&h, na Ma, m&h, na no, eng, na, rle Ma, m&h, sf Ma, na, sf Ma, m&h, sf Analyse av resultater fra nasjonal prøve i regning 8.og 9. trinn 2013 P-verdi 8.trinn % Diff. j-g 8. trinn prosentpoeng P-verdi 9. trinn % Diff. j-g 9. trinn prosentpoeng Diff. (9.-8.) prosentpoeng Effektstørrelse Fra 8. til 9. trinn Forventet vanskegrad 35,7-8,1 44,2-9,0 8,5 0,17 3 40,7-11,9 45,0-14,8 4,3 0,09 2 27,6-2,9 32,0-3,8 4,4 0,10 4 48,3 6,9 55,4 9,0 7,1 0,14 2 29,1-3,8 34,8-3,7 5,7 0,12 4 30,1-8,2 37,2-9,0 7,1 0,15 4 Statistikk Flervalg Ma 53,8-8,1 58,4-8,5 4,6 0,09 3 Måling Flervalg Ma, na 63,5 1,0 69,2 1,4 5,7 0,12 1 Tall Åpen Ma, m&h, no 16,3-2,9 20,7-4,1 4,4 0,11 4 Tall Åpen no 7,9-0,1 11,9-1,3 4,0 0,13 4 Gjennomsnitt 51,0-3,4 56,8-3,3 5,8 Tabell 1 viser rekkefølgen til oppgavene i versjon 1 av nasjonal prøve i regning for 8. og 9. trinn 2013. Tabellen viser hva oppgavene handler om, hvilket område hver oppgave hører inn under, om oppgaven er åpen eller om det er en flervalgsoppgave, hvilke fag hver oppgave har relevans til, og hvordan vi vurderer vanskelighetsgraden på oppgavene ut fra LK06. Siden nasjonal prøve for 8. og 9. trinn tester kompetansemålene etter 7. trinn der den grunnleggende ferdigheten å kunne regne er integrert, må valideringen hovedsakelig skje i forhold til hva som kan forventes av elever som nettopp har begynt på 8. trinn. Verdiene for 9. trinn er tatt med til sammenligning. P-verdiene angir hvor mange prosent av elevene som fikk rett svar på oppgavene. Det er p-verdier for alle de 18 981 elevene på 8. trinn og 19 805 elevene på 9. trinn som gjennomførte versjon 1 av prøven. To kolonner i tabellen viser forskjellen i prosentpoeng mellom jenter og gutter for hvert av trinnene (Diff j-g). Positiv verdi betyr at jentene gjorde det bedre enn guttene på en oppgave, og negativ verdi at guttene gjorde det bedre enn jentene. En kolonne viser forskjellen i prosentpoeng mellom 8. og 9. trinn. Positiv verdi betyr at det er flere elever på 9. trinn enn på 8. trinn som har løst oppgaven. Kolonnen effektstørrelse forteller noe om graden av forskjell i prestasjoner for elever på 8. og 9. trinn. Oppgavene er plassert på ulike vanskelighetsgrader relatert til kompetansemålene i LK06. Forventet vanskelighetsgrad 1 betyr at oppgavene bør kunne besvares av de fleste elevene, mens oppgavene med vanskelighetsgrad 5 normalt krever både analyse og evne til vurdering på et høyt kognitivt nivå for alderen. Disse oppgavene forventer vi at bare elever med høy måloppnåelse kan løse. Tabell 1 viser at det ikke alltid er samsvar mellom det man kan forvente ut fra LK06 og hva elevene faktisk mestrer (p-verdier). Poengsummen som en elev oppnår på prøven, relateres til et mestringsnivå. På 8. og 9. trinn er det fem mestringsnivåer, nivå 1 til nivå 5, hvor 5 er det høyeste nivået. 7
En lærergruppe på fire personer har gjennomført ekstern validering av prøvesettet. I tillegg fikk vi tilbakemelding fra en del lærere og elever da vi piloterte oppgavene. Hver oppgave er pilotert på ca. 1 000 elever. Resultater innen områdene tall, måling og statistikk Den gjennomsnittlige p-verdien for hele prøven er 51,0 på 8. trinn. Det betyr at elevene i gjennomsnitt løste 51,0 prosent av alle oppgavene riktig. Tilsvarende for 9. trinn er 56,8 prosent (se tabell 1 og 2). Elevene på 8. trinn har i gjennomsnitt løst 54,6 prosent av talloppgavene riktig. For måling- og statistikkoppgavene er løsningsprosenten henholdsvis 46,6 og 52,3. Tilsvarende tall for 9. trinn er 60,4, 52,3 og 58,3. Tabell 2 Gjennomsnittlige løsningsprosenter, forskjeller i prosentpoeng og effektstørrelser for tall, måling og statistikk for 8. og 9. trinn. N(8) =18 981 og N(9) =19 805 Gjennomsnittlig p-verdi Effektstørrelse Diff 9. 8. trinn Område 8. trinn 9. trinn 8. / 9. trinn Tall (n=22) 54,6 60,4 5,8 0,27 Måling (n=22) 46,6 52,3 5,7 0,26 Statistikk (n=14) 52,3 58,3 6,0 0,28 Hele prøven 51,0 56,8 5,8 0,29 Det er området tall som har høyest gjennomsnittlig løsningsprosent på denne prøven, og måling som har lavest. Vi ser at tendensen er den samme for 9. som for 8. trinn, men at elevene på 9. trinn i gjennomsnitt har løst flere oppgaver riktig enn elevene på 8. trinn. En effektstørrelse lik 0,29 sier at betydningen av å være elev på 8. eller 9. trinn i denne prøven er liten, men grenser til middels, siden forskjellen i gjennomsnittspoengsum utgjør litt mindre enn 30 prosent av standardavviket iii (se tabell 2). Forskjellen mellom trinnene er litt mindre i 2013 enn den var i prøven for 2012 (e = 0,33). Av enkeltområder er det området statistikk som har størst forskjell i resultater for trinnene i favør 9. trinn (e = 0,28). Effekten er imidlertid mindre enn det en kan anta skyldes modning siden effekten per skoleår regnes som ca. 35 40 prosent av et standardavvik. En enkeltoppgave kan inneholde elementer fra flere områder, og det kan derfor noen ganger være vanskelig å plassere oppgaver på et bestemt område. I alle oppgavene behandler vi tall i en eller annen sammenheng. Det typiske for måling er imidlertid behandling av enheter for vekt, lengde og volum, beregning av areal og regning med temperatur og tid. Statistikk handler om tabeller og grafer og tolkninger og beregninger i slike sammenhenger. Alle områdene har oppgaver med ulik vanskelighetsgrad. Det blir ikke riktig å sammenligne resultatene til versjon 1 av prøven i 2013 med resultatene til tidligere prøver. Oppgavene er ikke like, og det er heller ikke like mange oppgaver innenfor hvert av områdene fra år til år. Siden 2010 har vi imidlertid årlig sammenlignet resultatene for 8. og 9. trinn for å se i hvilken grad et års ekstra skolegang har ført til bedre prestasjoner. iii Standardavviket (sd) forteller om spredningen i et datamateriale. Jo større standardavvik, jo mer avviker enkeltobservasjoner i et datamateriale fra gjennomsnittsverdien. 68 % av observasjonene finnes innenfor ± 1sd. 8
Om 3 4 år vil vi, gjennom versjon 4 av prøven som inneholder 20 oppgaver som er like fra år til år, kunne si noe om utvikling av elevenes ferdigheter over tid. Resultater til enkeltoppgaver Oppgavenes p-verdier varierer fra 7,9 til 88,3 på 8. trinn og fra 11,9 til 91,8 på 9. trinn. For alle oppgavene gjelder at de elevene som har løst en oppgave riktig, har høyere gjennomsnittlig poengsum på hele prøven enn de som ikke har greid å løse oppgaven (se teknisk rapport tabell 17). Resultatene for 8. og 9. trinn samsvarer når det gjelder hvilke oppgaver som har lav p-verdi, og hvilke oppgaver som har høy p-verdi (se figur 1). Figur 1 Oppgavene i nasjonal prøve i regning for 8. og 9. trinn 2013, sortert fra laveste til høyeste p-verdi ut fra resultatene til elevene på 8. trinn. Grønn kurve viser p-verdier for 8. trinn og blå kurve for 9. trinn. FV betyr flervalgsoppgaver. De andre er åpne oppgaver. T betyr tall, M betyr måling og S statistikk. N(8) =18 981 og N(9) =19 805. 58 oppgaver NP8 p-verdi V1 2013 NP9 p-verdi V1 2013 100 90 80 70 60 50 40 30 20 10 0 58_T 36_M 10_S 57_T 43_FV_M 42_T 38_S 28_M 35_M 51_FV_S 53_M 54_FV_M 29_FV_M 44_M 13_FV_T 26-T 48_FV_M 34_FV_S 49_T 50_FV_M 30_FV_M 23-M 52_FV_T 37_FV_T 27_FV_T 33_FV_S 5_M 55_FV_S 19_FV_S 32_FV_S 7_FV_M 14_FV_T 21_FV_T 22_FV_S 4_T 46_FV_M 56_FV_M 47_FV_M 16_S 17_FV_T 18_T 8_FV_S 3_T 9_FV_S 11_S 31_FV_M 12_FV_M 15_T 25_FV_T 45_T 6_FV_M 39_FV_T 41_M 40_FV_T 20_M 1_T 24-T 2_S Det er små variasjoner når det gjelder plassering etter p-verdi av resultatene til 8. og 9. trinn. For alle oppgavene gjelder at løsningsprosenten til 9. trinn er høyere enn løsningsprosenten til 8. trinn (se figur 1). 9
Oppgaver med størst forskjell i resultatet til 8. og 9. trinn Analyse av resultater fra nasjonal prøve i regning 8.og 9. trinn 2013 Figur 2 Figuren viser effektstørrelsen for hver oppgave når vi sammenligner resultatene til 8. og 9. trinn. Oppgavene er sortert fra laveste til høyeste p-verdi ut fra resultatene til 8. trinn og har samme rekkefølge som i figur 1. FV betyr flervalgsoppgaver. De andre er åpne oppgaver. T betyr tall, M betyr måling og S statistikk. N(8) =18 981 og N(9) =19 805. 58 oppgaver Effektstørrelser for sammenligning av resultater for 8. og 9. trinn 2013 0,50 0,45 0,40 0,35 0,30 0,25 0,20 0,15 0,10 0,05 0,00 58_T 36_M 10_S 57_T 43_FV_M 42_T 38_S 28_M 35_M 51_FV_S 53_M 54_FV_M 29_FV_M 44_M 13_FV_T 26-T 48_FV_M 34_FV_S 49_T 50_FV_M 30_FV_M 23-M 52_FV_T 37_FV_T 27_FV_T 33_FV_S 5_M 55_FV_S 19_FV_S 32_FV_S 7_FV_M 14_FV_T 21_FV_T 22_FV_S 4_T 46_FV_M 56_FV_M 47_FV_M 16_S 17_FV_T 18_T 8_FV_S 3_T 9_FV_S 11_S 31_FV_M 12_FV_M 15_T 25_FV_T 45_T 6_FV_M 39_FV_T 41_M 40_FV_T 20_M 1_T 24-T 2_S Effektstørrelsen regnes i prosent av standardavviket. Størst effektstørrelse i favør 9. trinn har oppgave 13 hvor verdien er 26 prosent av standardavviket (e = 0,26). Effektstørrelse lik 0,26 er imidlertid i øvre del av skalaen innen området liten effekt. Det betyr at resultatene til den nasjonale prøven i regning for 2013 for 9. trinn viser liten effekt av at elevene har vært ett år mer på skolen. Allikevel kan det være interessant å se på de oppgavene som viser størst forskjell i resultater. Figur 3 Oppgave 13 i nasjonal prøve 2013. Oppgave med størst forskjell i resultatet til 8. og 9. trinn. Et års ekstra skolegang har allikevel liten effekt (e = 0,26) Oppgave 13 handler om prosent og prosentandeler (se figur 3). Det var 33 prosent av elevene på 8. trinn og 46 prosent på 9. trinn som løste oppgaven. Oppgaven vurderes som middels vanskelig, men krever at elevene forstår sammenhengen mellom brøk, prosent og prosentandeler. Oppgavene nærmest oppgave 13 når det gjelder effekt av et år mer skolegang, er 21, 23, 38 og 8. Dette er ikke de vanskeligste oppgavene i prøven, men har p- verdier fra 22 til 67 på 8. trinn. 10
Kjennetegnet for disse oppgavene er prosentregning, å regne med desimaltall, bestemme målestokk og tolke og analysere og beregne ut fra en litt uvanlig tabell. Dette stemmer med tidligere års resultater hvor vi har sett en tendens til at elever på 9. trinn behersker sammenhengen mellom brøk og prosent og regning med desimaltall, prosent og tid bedre enn elevene på 8. trinn. Oppgaver om målestokk får ofte lav p-verdi. I den ene (23) av årets to oppgaver skal elevene finne målestokken ut fra oppgitte mål. P-verdien ble 45 på 8. trinn og 55 på 9. trinn, og effektstørrelsen 20 prosent av standardavviket (se figur 4). I den andre målestokkoppgaven (36), kreves både multiplikasjon og omgjøring av enheter. Der er p-verdien lavere og forskjellen mellom trinnene mindre. Figur 4 Oppgave 23 i nasjonal prøve 2013. En av oppgavene med størst framgang fra 8. til 9. trinn. Ett års ekstra skolegang har allikevel liten effekt (e = 0,20) Tabell 3 viser oppgaver der et års ekstra skolegang fra 8. til 9. trinn har hatt størst effekt på resultatet til prøven i 2013. Hvis vi sammenligner forventet vanskelighetsgrad med en oppgaves p-verdi, ser vi at det ikke alltid er samsvar mellom det vi kan forvente ut fra læreplanen i fag og det elevene greier å løse. Vi ser også at den største forskjellen mellom trinnene ikke er å finne blant de vanskeligste oppgavene. Tabell 3 De ni oppgavene som viser størst effekt av et års ekstra skolegang. Effektstørrelser fra 0,26 til 0,17. N(8) =18 981 og N(9) =19 805 Oppgave Innhold Område Format P-verdi 8.trinn P-verdi 9.trinn Diff. p-verdi 9. 8. trinn Forventet Effektstørrelse vanskelighetsgrad 13 Forskjell i prosentandel Tall Flervalg 33,3 46,0 12,7 0,26 3 21 Multiplikasjon/addisjon i kontekst Tall Flervalg 59,4 69,2 9,8 0,21 2 23 Bestemme målestokk Måling Åpen 45,0 55,0 10,0 0,20 4 38 Tolke tabell og utføre beregninger Statistikk Åpen 22,4 31,1 8,7 0,20 4 8 Tolke diagram og utføre beregninger, prosent Statistikk Flervalg 67,1 75,3 8,2 0,18 3 22 Lese av linjediagram Statistikk Flervalg 60,1 68,6 8,5 0,18 2 10 Fylle ut poengtabell i idrett Statistikk Åpen 16,1 23,0 6,9 0,17 5 49 Multiplikasjon/divisjon i kontekst Tall Åpen 35,7 44,2 8,5 0,17 3 36 Regne med målestokk Måling Åpen 10,3 16,1 5,8 0,17 5 11
I tillegg løser elevene på 9. trinn sammensatte problemer i større grad enn elevene på 8. trinn (se figur 5). I oppgave 58 økte p-verdien med 50 prosent fra 8. til 9. trinn, men fordi p-verdien er lav, blir effektstørrelsen liten. Figur 5 Eksempel på et sammensatt problem. Oppgave 58 i nasjonal prøve for 2013. P-verdi 8 for 8. trinn og 12 for 9. trinn. Effektstørrelse 0,13 Oppgaver med lav p-verdi De ti oppgavene som elevene på 8. trinn skåret dårligst på, har p-verdi fra 7,9 til 27,6. Ni av disse oppgavene finner vi også blant de ti med lavest skår på 9. trinn med p-verdier fra 11,9 til 34,8 (se tabell 4). I seks av disse ti oppgavene gjør guttene på 8. trinn og på 9. trinn det signifikant bedre enn jentene på samme trinn. Tabell 4 Prøvens ti oppgaver med lavest p-verdi på 8. trinn, og resultatet for de samme oppgavene på 9. trinn. N(8) =18 981 og N(9) =19 805 Oppgave Innhold Område Format 12 8. trinn 9. trinn Forventet Diff Diff vanskelighetsgrad P-verdi P-verdi j-g j-g 58 Vurdere mengde i forhold til pris Tall Åpen 7,9-0,1 11,9-1,3 4 36 Regne med målestokk Måling Åpen 10,3-4,5 16,1-5,8 5 10 Fylle ut poengtabell i idrett Statistikk Åpen 16,1-12,8 23,0-12,8 5 57 Vurdere mengde i forhold til antall Tall Åpen 16,3-2,9 20,7-4,1 4 43 Regne ut gjennomsnittsfart Måling Flervalg 16,6-4,0 21,3-4,5 5 42 Divisjon i kontekst Tall Åpen 18,5 0,8 24,6-0,1 3 38 Tolke tabell og utføre beregninger Statistikk Åpen 22,4-1,1 31,1-1,0 4 28 Sammensatt problem, omgjøring Måling Åpen 23,6-0,4 28,0-1,1 5 35 Finne kg-pris Måling Åpen 27,6-16,5 34,8-17,8 3 51 Tolke tabell og utføre beregninger Statistikk Flervalg 27,6-2,9 32,0-3,8 4 Oppgave 58 har lavest p-verdi (se tabell 4 og figur 5). Oppgaven er plassert sist i prøven og har henholdsvis 25 og 21 prosent ubesvart på 8. og 9. trinn. Den er et sammensatt problem som krever tolking av tekst og regning med hele tall. Elevene må beherske addisjon og multiplikasjon med store tall. Oppgaven har forventet vanskelighetsgrad 4. De andre oppgavene handler om å regne med målestokk, fylle inn tabell, vurdere mengder, gjennomsnittsfart, divisjon med store tall, tolke tabell, omgjøring av måleenheter og regne ut pris per kilogram. Tre av oppgavene, 38 (e = 0,20) og 36 og 10 (e = 0,17) er blant de
oppgavene med størst endring i resultatet fra 8. til 9. trinn. Oppgave 36 og 38 omtales nærmere under kjønnsforskjeller. Når vi ser på de ti oppgavene som færrest elever løser riktig, er det i stor grad samsvar med forventet vanskelighetsgrad (se tabell 4). Åtte av oppgavene har forventet vanskelighetsgrad 4 eller 5. I oppgave 42 hadde vi forventet høyere p-verdi (se figur 6). Det er en åpen oppgave som krever to regneprosesser ved at elevene skal dividere et flersifret tall og doble resultatet. Oppgave 35 er også forventet å være en middels vanskelig oppgave, men ender opp blant de ti med lavest p-verdi. Dette stemmer med resultatene fra PISA 2012 (Olsen & Kjærnsli 2013) i forhold til at norske elever presterer dårligere enn OECD-gjennomsnittet når det gjelder å bruke matematikk. Oppgave 35 omtales nærmere under temaet kjønnsforskjeller. Figur 6 Oppgave 42 i prøven for 2013. P-verdi 18,5 på 8. trinn og 24,6 på 9. trinn. Effektstørrelse 0,15 i favør 9. trinn Oppgaver med høy p-verdi De ti oppgavene med høyest løsningsprosent har p-verdier fra 71,0 til 88,3 på 8. trinn og 75,4 til 91,8 på 9. trinn. Det er tre målingsoppgaver, en statistikk- og seks talloppgaver. Seks av oppgavene er åpne, og de er spredt i settet fra oppgave 1 til 45. De ti letteste er de samme oppgavene på 8. og 9. trinn. Det er godt samsvar mellom forventet vanskelighetsgrad og elevenes prestasjoner på disse ti oppgavene, og naturlig nok liten forskjell i p-verdi på resultatene for 8. og 9. trinn (se tabell 5). Tabell 5 Prøvens ti oppgaver med høyest p-verdi på 8. trinn, og resultater for de samme oppgavene på 9. trinn. N(8) =18 981 og N(9) =19 805 8. trinn 9. trinn Forventet Oppgave Innhold Område Format Diff Diff vanskelighetsgrad P-verdi P-verdi j-g j-g 2 Lage linjediagram ut fra gitt tabell Statistikk Åpen 88,3 0,8 91,8 1,1 2 24 Multiplikasjon i kontekst Tall Åpen 87,0 2,2 87,8 2,6 1 1 Addisjon, subtraksjon og multiplikasjon i priskontekst Tall Åpen 82,5-1,3 85,7-0,7 2 20 Tegne kvadrat med gitt sidelengde Måling Åpen 78,3 6,0 83,2 3,0 2 40 Skrive store tall som tall Tall Flervalg 74,1-9,7 79,3-8,6 1 41 Angi lengde Måling Åpen 73,5-3,8 78,9-2,5 2 39 Sortere desimaltall Tall Flervalg 73,0-1,0 76,6 0,7 2 6 Sortere lengdeenheter Måling Flervalg 72,7-6,0 78,2-6,4 1 45 Merke av brøkdel Tall Åpen 71,8 2,0 76,2 1,5 2 25 Divisjon/addisjon i kontekst Tall Flervalg 71,0-5,3 75,4-3,3 2 13
Det er fem interaktive oppgaver blant de ti letteste, - alle målingsoppgavene, en tall- og en statistikkoppgave. Elevene skal lage et linjediagram ut fra verdier i en tabell (se figur 7), ordne tall i stigende rekkefølge, fargelegge en brøkdel, tegne en figur og merke av en lengde. Ni av de ti oppgavene med høyest p-verdi er oppgaver som løses i ett trinn. Talloppgavene handler om representasjoner av tall eller enkle regneoperasjoner. Figur 7 En statistikkoppgave som mange elever løser. Oppgave 2 i prøven for 2013. P-verdi 88,3 på 8. trinn og 91,8 på 9. trinn Blant de ti oppgavene med høyest løsningsprosent er det signifikant forskjell i «guttefavør» i en oppgave mer enn det er signifikant i «jentefavør». De største forskjellene i enkeltoppgaver er imidlertid i «guttefavør», og i de samme oppgavene for 8. og 9. trinn. Størst forskjell er det i oppgave 40 hvor elevene skal finne ut hvordan 7 milliarder skrives med tallsymbol. Det er ca. 10 prosentpoeng flere gutter enn jenter på 8. trinn som løser oppgaven, og på 9. trinn er guttefavøren ca. 9 prosentpoeng. Tre av de fire oppgavene med lav vanskelighetsgrad, der jentene skårer bedre enn guttene, er interaktive. Disse oppgavene setter krav til nøyaktighet og presisjon. Det kan se ut til at jentene er flinkere til å etterprøve svaret sitt i slike oppgaver. Mestringsnivå 1 og p-verdi Elevene på mestringsnivå 1 i versjon 1 av prøven for 8. og 9. trinn, har fra 0 til 11 poeng. Analyser viser at disse elevene fikk poengene sine på de letteste oppgavene i hele settet. De fem oppgavene med høyest p-verdi på nivå 1 er de samme som hadde høyest p-verdi for alle elevene som deltok (se tabell 5 og 6). I tillegg henter mange av elevene på nivå 1 flere poeng på statistikkoppgaver. Dette gjelder tre oppgaver i tillegg til den som var den letteste for alle elevene. Elevene på nivå 1 skårer i tillegg bra på sammenhengen analog og digital tid og rekkefølgen på månedene i et år. 14
Tabell 6 De ti oppgavene som har høyest løsningsprosent for elever på mestringsnivå 1 på 8. trinn, og resultatet for de samme oppgavene på 9. trinn. P-verdi 60,6 betyr at 60,6 prosent av elevene på nivå 1 har løst oppgaven riktig. Forskjellen, j-g, gjelder elever på nivå 1. N(8) =1 276 og N(9) =813 Oppgave Innhold Område Format 8. trinn 9. trinn Forventet P-verdi Diff j-g P-verdi Diff j-g vanskelighetsgrad 2 Lage linjediagram ut fra gitt tabell Statistikk Åpen 60,6 2,0 61,1 3,5 2 24 Multiplikasjon i kontekst Tall Åpen 42,0 10,7 38,9 12,3 1 40 Skrive store tall som tall Tall Flervalg 39,5-7,2 41,2-17,3 1 20 Tegne kvadrat med gitt sidelengde Måling Åpen 36,5 13,2 38,5 7,1 2 1 Addisjon, subtraksjon og multiplikasjon i priskontekst Tall Åpen 34,2 0,0 37,6-7,0 2 33 Gjennomsnitt Statistikk Flervalg 30,9-2,5 30,4-3,1 3 11 Lage søylediagram ut fra gitte data Statistikk Åpen 29,2 15,0 31,6 19,7 2 9 Lese av og tolke søylediagram Statistikk Flervalg 29,1-2,7 29,0 0,5 4 56 Sammenheng analog og digital tid Måling Flervalg 28,4 4,5 29,6 4,7 1 12 Måneder Måling Flervalg 27,8 8,6 28,5 13,7 1 Av de ti oppgavene som elevene på nivå 1 fikk flest poeng på, er bare to oppgaver uten kontekst (20 og 56). Det har vist seg tidligere at hvis elevene kjenner seg igjen i en situasjon, er ikke tekstens lengde den største hindringen. Fem av oppgavene er flervalgsoppgaver. I oppgave 24 er p-verdien for 8. trinn nivå 1 signifikant høyere enn for 9. trinn nivå 1 (3,1 prosentpoeng). Dette er en oppgave som jentene løste i mye større grad enn guttene (se tabell 6 og figur 8 og 9). Oppgaven handler om multiplikasjon i kontekst. Oppgaven kan løses med gjentatt addisjon. Figur 8 Oppgave 24 i prøven for 2013. P-verdi på mestringsnivå 1 for 8. trinn (p = 42,0) er høyere enn for 9. trinn (p = 38,9) Oppgave 11 krever nøyaktig arbeid, telling, gruppering og å fremstille i søylediagram. Resultatet tyder på at jentene på nivå 1 er mer nøyaktige enn guttene på samme nivå. I denne oppgaven er forskjellen i jentefavør 15 prosentpoeng på 8. trinn og 20 prosentpoeng på 9. trinn. Resultatet til oppgave 12 tyder på at jentene på 9. trinn behersker rekkefølgen på månedene bedre enn guttene gjør. For øvrig er det godt å se at elever som presterer lavt ikke gir opp, men fullfører prøven siden oppgave 56 er blant «topp ti» på nivå 1. Oppgave 40 som er omtalt tidligere i avsnittet oppgaver med høy p-verdi, er den store gutteoppgaven blant de svakest presterende elevene på både 8. og 9. trinn. Aller størst er 15
kjønnsforskjellen på 9. trinn, 17 prosentpoeng, og ca. 10 prosentpoeng høyere enn på 8. trinn (se tabell 6). Figur 9 De 40 oppgavene som elevene på mestringsnivå 1 på 8. trinn fikk flest poeng på, sortert fra laveste til høyeste p-verdi og i sammenligning med resultatene for elever på 9. trinn på samme nivå. Grønn kurve viser p-verdier for 8. trinn og blå kurve for 9. trinn. N(8) =1 276 og N(9) =813 100 90 80 70 60 50 40 30 20 10 0 P-verdi nivå 1 NP8 2013 P-verdi nivå 1 NP9 2013 50_FV_M 32_FV_S 54_FV_M 4_T 18_T 52_FV_T 3_T 45_T 14_FV_T 34_FV_S 21_FV_T 27_FV_T 41_M 48_FV_M 22_FV_S 37_FV_T 47_FV_M 8_FV_S 13_FV_T 19_FV_S 16_S 15_T 55_FV_S 46_FV_M 39_FV_T 6_FV_M 25_FV_T 31_FV_M 17_FV_T 7_FV_M 12_FV_M 56_FV_M 9_FV_S 11_S 33_FV_S 1_T 20_M 40_FV_T 24-T 2_S De oppgavene elevene som skårer lavt har fått flest poeng på, handler om å lese av tabell, tolke og sammenligne data og gjøre enkle beregninger med hele tall i praktiske sammenhenger. Jentene gjør det bedre enn guttene i oppgaver av regneteknisk art, og interaktive oppgaver. Guttene gjør det bedre enn jentene i oppgaver hvor det er omgjøring av enheter (se tabell 6 og figur 9). I oppgavene 24, 31, 34 og 55, skårer elevene på 9. trinn nivå 1 litt lavere enn elevene på samme nivå på 8. trinn. Oppgave 31 handler om å regne med tid og bestemme klokkeslett, 34 om å regne ut et gjennomsnitt og i oppgave 55 skal elevene regne med store tall. For de ti oppgavene som har høyest p-verdi på nivå 1, er andel ubesvarte av guttene på 8. trinn i gjennomsnitt ca. 11 prosent og for jentene ca. 8 prosent. Tilsvarende andel er ca. 11 prosent for guttene og ca. 9 prosent for jentene på 9. trinn. Det betyr at jentene har svart i noe større grad enn guttene på både 8. og 9. trinn. Oppgavene 20 (tegne kvadrat) og 56 (analog til digital klokke) har størst andel ubesvarte på nivå 1 både på 8. trinn (17 og 22 prosent) og 9. trinn (17 og 23 prosent). Det er større andel ubesvarte oppgaver på nivå 1 for 9. trinn enn for 8. trinn. Oppgaveformat, p-verdi og mestringsnivå Gjennomsnittlig p-verdier for åpne oppgaver og flervalgsoppgaver er vist i tabell 7. Det er 32 flervalgsoppgaver og 26 åpne oppgaver i prøven for 2013. På 8. trinn har flervalgsoppgavene (p-verdi 53,3) falt lettere ut sammenlignet med gjennomsnittet for hele prøven (p-verdi 51,0), mens de åpne oppgavene har falt vanskeligere ut (p-verdi 48,2). På 9. trinn er tendensen den samme. Flervalgsoppgavene har p-verdi 59,4 (p-verdi 56,8 for hele prøven), og de åpne oppgavene har p-verdi 53,7. Blant de ti oppgavene med lavest 16
p-verdi er det to flervalgsoppgaver, mens det blant de ti med høyest p-verdi er fire (se tabell 4 og 5). At flervalgsoppgavene har høyere gjennomsnittlig p-verdi enn de åpne oppgavene, kan ha en naturlig årsak. I prøven skal det være overvekt av flervalgsoppgaver, men de skal helst ikke ha lavere p-verdi enn 25 fra piloteringen. Samtidig skal prøven ikke ha takeffekt. Det betyr at prøven skal inneholde oppgaver med lavere p-verdi enn 25, og da bør de være åpne oppgaver (se figur 1). P-verdien for flervalgsoppgavene er høyere enn for de åpne oppgavene på alle fem mestringsnivåer (se tabell 7). Forskjellen i p-verdi er størst på nivå 4 og 5 i favør av flervalgsoppgavene. Samtidig som p-verdien er høyest for flervalgsoppgavene, finner vi også færrest andel ubesvarte innenfor dette oppgaveformatet. Dette gjelder begge trinn (se tabell 14). Tabell 7 Løsningsprosent på åpne oppgaver og flervalgsoppgaver for 8. og 9. trinn, både på mestringsnivå og for alle elever. N(8) =18 981 og N(9) =19 805 Mestringsnivå Gjennomsnittlig p-verdi 8.trinn 9. trinn Åpen Flervalg Åpen Flervalg 1 ( 0-12) p 12,7 18,9 12,7 19,2 2 (13-21) p 28,3 31,4 28,3 32,0 3 (22 35) p 47,1 50,8 47,3 51,4 4 (36 44) p 64,2 72,0 64,5 72,2 5 (45 58) p 79,7 88,1 80,7 88,3 Alle elever 48,2 53,3 53,7 59,4 Analysen viser at det er små forskjeller, men at elevene på 8. trinn skårer litt lavere eller like bra som elevene på 9. trinn på alle nivå innenfor begge oppgaveformatene. Totalt fører dette til ca. 6 prosentpoeng forskjell mellom trinnene både innenfor de åpne oppgavene og flervalgsoppgavene. Figur 10 P-verdier på mestringsnivå for de åpne oppgavene, 8. trinn 2013. Sortert fra laveste til høyeste p-verdi ut fra resultatet til elevene på nivå 3 100 90 80 70 60 50 40 30 20 10 0 Å58 Å36 Å10 Å57 Å42 Å28 Å38 Å35 Å53 Å49 Å44 Å26 Å23 Å5 Å4 Å16 Å11_Soyle Å3 Å18 Å15 Å45_Kryss Å41_Omrade Å20_Koordinat Å1 Å2_Soyle Å24 Np8 åpne p- verdi nivå 1 Np8 åpne p- verdi nivå 2 Np8 åpne p- verdi nivå 3 Np8 åpne p- verdi nivå 4 Np8 åpne p- verdi nivå 5 17
Figur 10 viser i hvor stor grad elevene på de ulike mestringsnivåene for 8. trinn har løst de åpne oppgavene, og figur 11 viser tilsvarende for flervalgsoppgavene. Resultatet for 9. trinn er omtrent identisk og er derfor ikke tatt med her. Det er godt samsvar mellom mestringsnivået elevene er plassert på og mestringsnivåets p-verdi for de enkelte oppgavene. Elevene på mestringsnivå 5 får færrest poeng på de åpne oppgavene som hadde lavest p-verdi i hele prøven både for elevene på 8. og 9. trinn (se figur 1 og 10). Det er interessant å følge oppgave 35 (se figur 16) og 49 som skiller godt mellom nivå 4 og 5, samtidig som de utmerker seg i forhold til de andre nivåene. Begge er oppgaver som krever forståelse av forholdstall for å kunne gjøre beregningene, og er «gutteoppgaver» både på 8. og 9. trinn (se tabell 1). Figur 11 P-verdier på mestringsnivå for flervalgsoppgavene, 8. trinn 2013. Sortert fra laveste til høyeste p-verdi ut fra resultatet til elevene på nivå 3 100 90 80 70 60 50 40 30 20 10 0 FV43_MC FV51_MC FV54_MC FV13_MC FV29_MC FV34_MC FV48_MC FV30_MC FV50_MC FV37_MC FV27_MC FV33_MC FV52_MC FV7_MC FV55_MC FV19_MC FV32_MC FV14_MC FV21_MC FV22_MC FV46_MC FV56_MC FV17_MC FV47_MC FV8_MC FV9_MC FV31_MC FV12_MC FV25_MC FV6_MC FV40_MC FV39_MC NP8 flervalg p-verdi nivå 1 NP8 flervalg p-verdi nivå 2 NP8 flervalg p-verdi nivå 3 NP8 flervalg p-verdi nivå 4 NP8 flervalg p-verdi nivå 5 Den vanskeligste flervalgsoppgaven (43) for elevene på mestringsnivå 5, er en interaktiv oppgave med tema hastighet (se figur 12). Oppgaven kan løses med analyse og vurdering, men det er en forutsetning at man vet hvordan hastighet beregnes. P-verdien for elevene på nivå 5 var 1 prosentpoeng høyere på 8. trinn (p = 61) enn på 9. trinn, og på begge trinn gjorde jentene det bedre enn guttene (2 prosentpoeng). Figur 12 Oppgave 43 i 2013. Flervalgsoppgave med lavest løsningsprosent for elever på nivå 5, både 8. og 9. trinn 18
Figur 13 viser en oppgave som for elevene på nivå 5, hadde 8 prosentpoeng høyere p-verdi på 8. enn på 9. trinn (p = 80 og p = 72). Oppgaven er interaktiv og personene skal plasseres i riktig rekkefølge ut fra tidene på 60-meteren. Oppgaven er en typisk «gutteoppgave», og kjønnsforskjellen er større på 9. trinn nivå 5 (16 prosentpoeng) enn på 8. trinn (9 prosentpoeng). Figur 13 Oppgave 29 fra prøven i 2013. Åtte prosentpoeng høyere p-verdi på 8. enn 9. trinn nivå 5, og større kjønnsforskjell på 9. enn på 8. trinn Kjønnsforskjeller Guttene gjorde det signifikant iv bedre enn jentene på hele prøven. Forskjellen er 3,4 prosentpoeng på 8. trinn og 3,3 prosentpoeng på 9. trinn i guttenes favør. For 8. og 9. trinn gjelder dette i henholdsvis 37 og 36 oppgaver, og i flere flervalgsoppgaver enn åpne oppgaver. Jentene gjør det signifikant bedre enn guttene i 10 oppgaver på 8. trinn og i 13 oppgaver på 9. trinn, og der gjelder det i flest åpne oppgaver (se figur 14). Figur 14 Forskjell i p-verdi for jenter og gutter for hver oppgave. Positive søyler der jentene gjør det bedre enn guttene, og negative søyler der guttene gjør det bedre enn jentene. Gule søyler for resultater på 8. trinn og blå for 9. trinn. FV betyr flervalgsoppgaver, M betyr måling, T betyr tall og S betyr statistikk. Oppgavenummer på horisontal akse og prosentpoeng på vertikal akse. N(8)j = 9 386, N(8)g = 9 595, N(9)j = 9 718 og N(9)g = 10 087 Diff V1 j-g NP8 2013 Diff V1 j-g NP9 2013 16 12 8 4 0-4 -8-12 -16-20 1_T 2_S 3_T 4_T 5_M 6_FV_M 7_FV_M 8_FV_S 9_FV_S 10_S 11_S 12_FV_M 13_FV_T 14_FV_T 15_T 16_S 17_FV_T 18_T 19_FV_S 20_M 21_FV_T 22_FV_S 23_M 24-T 25_FV_T 26_T 27_FV_T 28_M 29_FV_M 30_FV_M 31_FV_M 32_FV_S 33_FV_S 34_FV_S 35_M 36_M 37_FV_T 38_S 39_FV_T 40_FV_T 41_M 42_T 43_FV_M 44_M 45_T 46_FV_M 47_FV_M 48_FV_M 49_T 50_FV_M 51_FV_S 52_FV_T 53_M 54_FV_M 55_FV_S 56_FV_M 57_T 58_T iv Signifikant forskjellen er så stor at den ikke kan skyldes tilfeldigheter. 5 % signifikansnivå. 19
Største forskjell i jentefavør er 12 prosentpoeng på 8. trinn og 13 prosentpoeng på 9. trinn. Gutteoppgavene har opp til 17 prosentpoeng forskjell i guttefavør på 8. trinn, mens den største forskjellen på 9. trinn er omtrent 18 prosentpoeng. Den gjennomsnittlige kjønnsforskjellen for prøven i 2013 er litt mindre enn i tidligere prøver, men stabil i guttefavør som den har vært i alle år siden 2007. Små kjønnsforskjeller kan vi også lese av resultatet for de norske elevene i matematikk i TIMSS 2007 (Grønmo mfl. 2008), mens rapporten etter gjennomføring av TIMSS i 2011, viser ingen signifikant forskjell mellom kjønn, verken i matematikk eller naturfag (Grønmo mfl. 2012). En nasjonal prøve i regning er ikke en prøve i matematikk, men har fokus på anvendelse av grunnleggende ferdigheter i regning. Derfor er det kanskje mer naturlig å sammenligne med resultatene fra PISA, som ikke er en test i oppnådde kompetansemål for fag. I PISA 2006 (Kjærnsli mfl. 2007) gjør guttene i Norge det litt bedre enn jentene, og forskjellen er statistisk signifikant. Også resultatene fra PISA 2009 viser at guttene skårer bedre enn jentene i matematikk. Dette gjelder så å si alle OECD-landene (Kjærnsli mfl. 2010). Gjennomgående er kjønnsforskjellene i de nordiske landene små og ikke-signifikante, men unntaket er Danmark hvor guttene skårer 16 poeng høyere enn jentene. Kjærnsli mfl. 2010, sier dette er et trekk som hadde vist seg i alle PISA-undersøkelsene. Den gang var det ingenting som tydet på at kjønnsforskjeller i matematikk innenfor OECD-området totalt sett hadde minket i de årene PISA hadde vært gjennomført. I de aller fleste land hadde kjønnsforskjellene ikke endret seg vesentlig over tid. I PISA 2012 (Olsen & Kjærnsli 2013) konkluderes det imidlertid med at det ikke er kjønnsforskjeller i matematikk i Norge. Det er ikke signifikante forskjeller verken i poeng på prøven eller i fordeling på prestasjonsnivå for kjønn. I denne PISA-rapporten stilles det derfor spørsmål om de ulikhetene vi ser i norske prøver (PISA, TIMSS og nasjonale prøver), mer handler om at vi sammenligner ulike typer prøver. I de nordiske landene med unntak av Danmark, er det små kjønnsforskjeller, sammenlignet med andre OECD-land. En amerikansk meta-studie (Lindberg, Hyde mfl. 2010) konkluderer også med at det ikke er signifikante kjønnsforskjeller i matematikk. De påpeker stereotype oppfatninger om matematikk og menns dyktighet. Disse stereotypene kan påvirke kompetanse og mestringstro, og ha skadelig effekt på prestasjon. I samme studie henvises det til en engelsk studie (Melhuish, Sylva mfl. 2008) som ser på hvilke faktorer som påvirker elevers prestasjoner i matematikk. Der undersøkes ni ulike faktorer: fødselsvekt, kjønn, sosioøkonomisk status, mors utdanning, fars utdanning, familiens inntekt, læringsmiljø i hjemmet, effekt av barnehage og effekt av opplæring på 1. 4. klasse. Kjønn er den faktoren som har minst effekt, mens mors utdanning, hjemmemiljø og opplæring i 1. 4. klasse er de tre faktorene som har størst effekt på elevenes prestasjoner. I lys av dette, - er det forventninger fra hjemmet og opplæringen i 1. 4. klasse vi bør fokusere sterkere på, for å gjøre kjønnsforskjellene i nasjonale prøver mindre? Det har vist seg at guttene ofte er flinkere enn jentene til å anvende kunnskap, mens jentene er flinkere rent regneteknisk (Kjærnsli mfl. 2007). De fleste oppgavene i den nasjonale prøven i regning tester anvendelse av kunnskap. Dette kan kanskje være en medvirkende årsak til at guttene gjør det signifikant bedre enn jentene på prøven. Effektstørrelsen for gutt 20
eller jente på 8. trinn (e = 0,17) og på 9. trinn (e = 0,17) viser at betydningen av kjønn er lav innen begge trinnene, men forskjellen er signifikant. Når vi sammenligner elevene på 8. trinn med tilsvarende på 9. trinn, får vi effektstørrelse 0,29 som viser lav effekt på grensen til middels (se tabell 8). Det betyr at i denne prøven har det liten betydning for resultatet om du er elev på 8. eller 9. trinn. Det samme gjelder om du er gutt på det ene eller det andre trinnet. Hvis du derimot er jente, har et års ekstra skolegang middels betydning (e = 0,31). Tabell 8 Gjennomsnittspoeng, p-verdier og forskjeller i skår for jenter og gutter på 8. og 9. trinn. N(8) =18 981, N(9) =19 805, N(8)j = 9 386, N(8)g = 9 595, N(9)j = 9 718 og N(9)g = 10 087 Gjennomsnittsverdier Poeng 8. trinn P-verdi 8. trinn Poeng 9. trinn P-verdi 9. trinn 21 Effektstørrelse 8. trinn i forhold til 9. trinn Alle 29,6 p 51,0 32,9 p 56,8 0,29 Jenter 28,6 p 49,3 32,0 p 55,1 0,31 Gutter 30,6 p 52,7 33,9 p 58,4 0,28 Diff. j-g* -2,0 p -3,4-1,9 p -3,3 *Signifikant forskjell i skår mellom kjønn på 8. og 9. trinn På høyeste nivå, nivå 5, i versjon 1 av prøven, finner vi 6 prosentpoeng flere gutter enn jenter. På 9. trinn nivå 5 er forskjellen mellom gutter og jenter 7 prosentpoeng (se tabell 9). Det er bare 3 gutter og 2 jenter på 8. trinn og 15 gutter og 4 jenter på 9. trinn som har alt rett i versjon 1 av prøven. På mestringsnivå 1 er det prosentvis litt flere jenter enn gutter på 8. trinn og litt flere gutter enn jenter på 9. trinn. Det er små kjønnsforskjeller innen alle nivåene. Guttene på nivå 3, 4 og 5 gjør det litt bedre enn jentene, og jentene på nivå 1 og 2 gjør det litt bedre enn guttene. På alle nivå presterer i gjennomsnitt elevene på 9. trinn like godt eller litt bedre enn elevene på 8. trinn (se tabell 9). Tabell 9 Gjennomsnittspoengsum og prosentvis fordeling av jenter og gutter på mestringsnivå for 8. og 9. trinn. N(8) =18 981 og N(9) =19 805 Mestringsnivå Poeng i gjennomsnitt Prosent Prosent Poeng i gjennomsnitt 8. trinn av jentene av guttene 9.trinn Jenter Gutter 8. trinn 8. trinn Jenter Gutter Prosent av jentene 9. trinn Prosent av guttene 9. trinn 1 ( 0-12) p 9,4 9,3 6,8 6,6 9,5 9,4 4,0 4,2 2 (13-21) p 17,4 17,4 21,7 18,7 17,7 17,5 15,4 13,3 3 (22 35) p 28,4 28,6 43,8 38,5 28,6 28,9 41,2 34,8 4 (36 44) p 39,6 39,9 19,5 22,1 39,8 40,0 24,4 25,9 5 (45 58) p 48,6 49,1 8,3 13,9 48,9 49,4 15,1 21,8 Den største forskjellen i gjennomsnittlig poengsum for jenter og gutter finner vi i gruppen med mestringsnivå 5. Det er vanskelig å si noe om årsaken til dette, men tendensen til at kjønnsforskjellene er tydeligst i gutters favør på det øverste nivået, ser man også i undersøkelser fra USA (Carr mfl. 2007). Der uttrykkes bekymring i forhold til rekruttering av jenter til høyere utdanning i matematikk og realfag generelt. Flere faktorer antas å ha betydning for en gryende kjønnsforskjell allerede blant elever i barneskolen. Det kan for
eksempel være hvilke strategier man velger når man skal løse oppgaver, for eksempel hukommelsesstrategier eller enkle oppskrifter (for eksempel telle på fingrene), det kan handle om tempo, mental rotasjon av informasjon, elevenes faglige selvtillit og hvilke forventninger elevene selv og omverdenen har til hver av dem. En del forskning viser resultater som tyder på at gutter oppfatter seg selv som bedre i matematikk enn jenter (Kimball 1994, Li 1999), og annen forskning viser til resultater om at gutter har mer positiv holdning enn jenter til matematikk (Hannula mfl. 2007). Lovisa Sumpter (2009) har forsket på lærernes oppfatning av hvordan jenter og gutter arbeider med matematikkfaget, og hun påpeker ulikheter i bruk av strategier. Både Carr (2007) og Grønmo (2005) nevner i sine rapporter at automatisering av basiskunnskaper i matematikkfaget bør vektlegges. Da kan mental kapasitet frigis og tankekapasiteten kan brukes på mer kognitivt krevende oppgaver. I artikkelen Kjønnsforskjeller i motivasjon, læringsstrategibruk og selvregulering i naturfag (Elstad & Turmo 2007), peker Elstad og Turmo på at gutter har en tendens til å ha større fokus på såkalt prestasjonsmotivasjon enn jenter, det vil si at de er mer motiverte for å yte sitt beste i det som kan oppfattes som en konkurransesituasjon. Dette støttes av Grønmo (2008) som nevner at gutter både kan være mer konkurranseorienterte enn jenter, og mer opptatt av å bruke kvantitative begreper. Gjennom daglige aktiviteter dannes mentale representasjoner som igjen overføres til matematisk læring (Pitta-Pantazi mfl. 2004). Derfor kan det være at gutter innenfor den tidlige matematikkopplæringen, raskere lærer viktige begreper som større, mindre og lengst. Dette kan gi gutter et forsprang når det gjelder regning. Kjønnsforskjeller i å løse matematiske problemer er et komplekst område. Ulikheter mellom kjønnene kan spores tilbake til et tidlig stadium i elevenes skolegang (Zhu 2007). Det gir en indikasjon på som tidligere nevnt, at elevenes tidlige skolegang er viktig og at matematikkopplæringen på 1. 4. klasse derfor bør settes under lupen. Kjønnsforskjeller innen områdene tall, måling og statistikk Siden en oppgave kan inneholde elementer fra flere områder, er det noen ganger vanskelig å plassere en oppgave på ett bestemt område. Ut i fra de plasseringene vi har gjort, gjør guttene det bedre enn jentene innen alle de tre områdene. Forskjellen er størst innenfor måling på begge trinn. Effektanalysen viser at det har liten betydning for resultatet innen alle områdene på begge trinn, om du en gutt eller jente (e < 0,3). Tabell 10 Gjennomsnittlige p-verdier, effektstørrelser og forskjeller i prosentpoeng for alle, og for jenter og gutter innenfor tall, måling og statistikk, både på 8. og 9. trinn. N(8) =18 981 og N(9) =19 805, N(8)j = 9 386, N(8)g = 9 595, N(9)j = 9 718 og N(9)g = 10 087 8. 9. 8. trinn 9. trinn trinn trinn Effektstørrelse P- P- P- P- Effektstørrelsstørrelse Effekt- P-verdi P-verdi Diff Diff 8. / 9. trinn Område verdi verdi verdi verdi jenter gutter j-g j-g alle elever alle alle jenter gutter j/g j/g Tall* (n=22) 54,6 53,1 56,1-3,0 60,4 59,1 61,5-2,4 0,14 0,11 0,27 Måling* (n=22) 46,6 44,0 49,2-5,2 52,3 49,4 55,0-5,6 0,24 0,26 0,26 Statistikk*(n=14) 52,3 51,6 53,0-1,4 58,4 57,8 58,9-1,1 0,07 0,05 0,28 *Signifikant forskjell i skår mellom kjønn 22
Kjønnsforskjeller i p-verdier på enkeltoppgaver Den største forskjellen i guttefavør sortert etter resultatene på 8. trinn, er sju målingsoppgaver, en statistikkoppgave og to talloppgaver (se figur 15). For 8. trinn er 16,5 prosentpoeng største forskjell i p-verdi mellom jenter og gutter i en oppgave, og for 9. trinn er største forskjell 17,8 prosentpoeng. Oppgavene har p-verdier fra 16 til 74 på 8. trinn, og seks av dem er middels vanskelig til lett. Det er altså ikke blant de aller vanskeligste oppgavene vi har de største forskjellene mellom kjønnene. Figur 15 De ti oppgavene med størst forskjell i p-verdi for jenter og gutter sortert etter resultatene på 8. trinn. Positive søyler for oppgaver hvor jentene gjør det bedre enn guttene, og negative søyler hvor guttene gjør det bedre enn jentene. Gule søyler for resultater på 8. trinn og blå for 9. trinn. Å betyr åpne oppgaver. Oppgavenummer på horisontal akse og prosentpoeng på vertikal akse. Diff V1 j-g NP8 2013 Diff V1 j-g NP9 2013 15 10 5 0-5 -10-15 -20 12_FV_M 40_FV_T 48_FV_M 50_FV_M 5_M 7_FV_M 10_S 29_FV_M 21_FV_T 35_M Oppgavene 29 er omtalt tidligere (se figur 13). Målingsoppgavene handler om å regne tidsforskjeller i minutter og sekunder, sammenligne tider, omgjøring fra gram til hektogram, finne prisen for 1 kg, regne ut en strekning når tid og hastighet er kjent og å kunne rekkefølgen på månedene. I statistikkoppgaven er det krav til analyse og vurdering for å fylle ut en tabell. Den ene talloppgaven handler om store tall, og den andre om desimaltall. Det er en tendens til at forskjellen er størst i problemløsningsoppgaver hvor regneteknikk også kan erstattes av resonnement og strategitenkning, men det er vanskelig å si noe generelt om dette. I oppgave 35 skal elevene finne kiloprisen på en vare når de vet prisen for 300 g. Det forventes at en elev på mestringsnivå 3 greier å finne prisen for 100 g og deretter kiloprisen. P-verdien på oppgaven er overraskende lav, og dette er den oppgaven med størst kjønnsforskjell både på 8. og 9. trinn, 16,5 og 17,8 prosentpoeng i guttefavør (se figur 16). Figur 16 Oppgave 35 i prøven for 2013. En av de ti vanskeligste oppgavene i prøven. P-verdi 27,6 for 8. trinn og 34,8 for 9. trinn. Størst kjønnsforskjell på 8. og 9. trinn i guttefavør 23
Blant de ti oppgavene med størst forskjell i p-verdi mellom kjønnene, er det én oppgave i jentefavør (oppgave 12, p-verdi 68,9 på 8. trinn og 72,6 på 9. trinn). Oppgaven krever fakta i forhold til navn på måneder. Å lese, tolke og gjøre beregninger ut fra tabeller og grafer, løse ferdig oppstilte oppgaver og utføre beregninger i praktiske sammenhenger hvor kjente algoritmer kan benyttes, synes å være typisk for oppgaver hvor jentene gjør det bedre enn guttene. Er det derimot måleenheter som skal bearbeides i slike oppgaver, blir det raskt en oppgave i guttefavør. Dette stemmer godt overens med tidligere års resultater. Se figur 8 og 17 som eksempel på oppgaver i jentefavør. Figur 17 Oppgave 12 i prøven for 2013. Størst kjønnsforskjell på 8. og 9. trinn i jentefavør Kjønnsforskjeller og oppgaveformat Analysen av resultatene viser at guttene på 8. og 9. trinn i gjennomsnitt løser flere både åpne oppgaver og flervalgsoppgaver enn jentene. Effektstørrelsene for åpne oppgaver er 0,10 både for 8. og for 9. trinn, og forteller at kjønn har ubetydelig betydning når vi sammenligner resultatene for jenter og gutter på samme trinn. For flervalgsoppgavene er effektstørrelsen henholdsvis 0,22 og 0,20. Forskjellen er større enn i de åpne oppgavene, men innenfor rammen av lav betydning. Selv om effektstørrelsene viser lav betydning, er imidlertid forskjellen mellom kjønnene signifikant når det gjelder oppgaveformat. Vi kan allikevel slå fast at oppgaveformatet bidrar i svært liten grad til å skape kjønnsforskjellene (se tabell 11). Tabell 11 P-verdier, forskjeller i prosentpoeng og effektstørrelser for jenter og gutter for åpne oppgaver og flervalgsoppgaver, både for 8. og 9. trinn. De to siste kolonnene sammenligner trinnene. N(8) =18 981 og N(9) =19 805 Område P- verdi alle 8.trinn 9.trinn 8.trinn 9.trinn Effektstørrelse P- P- P- P- P- Effektstørrelsstørrelse 8./9. Effekt- Diff. Diff. verdi verdi verdi verdi verdi j-g j-g jenter gutter alle jenter gutter j/g j/g jenter Effektstørrelse 8./9. gutter Åpne* (26) 48,2 47,2 49,1-1,9 53,7 52,6 54,7-2,1 0,10 0,10 0,28 0,26 Flervalg* (32) 53,3 50,9 55,6-4,7 59,4 57,2 61,5-4,3 0,22 0,20 0,30 0,27 *Signifikant forskjell i skår mellom kjønn 24