Rapport fra kartleggingsprøve i regning for Vg1 høsten 2009

Transkript

1 Rapport fra kartleggingsprøve i regning for Vg1 høsten 2009 Bjørnar Alseth og Are Turmo Oktober 2009 Institutt for lærerutdanning og skoleutvikling Universitetet i Oslo

2 Innhold Innledning 3 Teknisk analyse 4 Oppgavenes vanskegrad 4 Reliabilitetsanalyser 5 Diskriminering 5 Gjennomsnitt og spredning 5 Tabeller og figurer Tabell 1: Andeler riktige svar per oppgave 4 Tabell 2: Diskriminering målt som point-bisereal-korrelasjon 5 Figur 1: Fordeling av skåreverdier for prøven som helhet 6 Rapport fra kartleggingsprøve i regning for Vg1, 2009 s. 2

3 Innledning Denne rapporten beskriver gjennomføringen av en obligatorisk prøve som kartlegger elevers tallforståelse og regneferdighet ved starten av Vg1. Formålet med kartleggingsprøven er å avdekke enkeltelevers behov for individuell oppfølging og tilrettelegging både på individ- og skolenivå, og prøven inngår i og må ses i forhold til øvrige komponenter i det sammenhengende prøve- og vurderingssystemet til myndighetene. Den viktigste hensikten med kartleggingsprøven er å identifisere hvilke elever det er som har et dårlig grunnlag i forhold til å følge den ordinære undervisningen i videregående opplæring. På grunnlag av denne informasjonen kan lærerne og skolene iverksette tiltak med tanke på å bøte på det sviktende grunnlaget. På den måten vil prøven kunne være et godt verktøy for å gi særlig de elevene med svakest grunnlag bedre utbytte av undervisningen og større muligheter for et godt studieløp i den videregående opplæringen. Fordelingen av skåreverdier for prøven gjennomført høsten 2009 viser at 22,4 % av elevene skårer 14 poeng eller lavere. Vi setter derfor dette som den såkalte bekymringsgrensen, se ellers Figur 1, side 6 i denne rapporten. Kartleggingsprøven er initiert av Kunnskapsdepartementet som i stortingsmeldingen Kvalitet i skolen (Stortingsmelding 31, 2008) foreslår å innføre en obligatorisk kartleggingsprøve i regning ved starten av Vg1. Formålet med prøven er i stortingsmeldingen beskrevet på denne måten (Stortingsmelding 31, side 62-63): Disse prøvene skal avdekke hvilke elever som har særskilte problemer og som trenger spesiell oppfølging. Dette vil gi skolene muligheten til å fange opp elever med særskilte utfordringer tidlig og være med på å forebygge at elever avbryter videregående opplæring fordi de har for svake grunnleggende ferdigheter til å følge med i fagene. Et vesentlig punkt i stortingsmeldingen er å øke gjennomstrømningen i den videregående opplæringen. Innføring av kartleggingsprøver skjer blant annet med det som argument at en stor andel av de som faller fra i videregående opplæring gikk ut av grunnskolen uten å ha tilegnet seg tilstrekkelige kunnskaper og ferdigheter (Stortingsmelding 31, side 63). Fokuset i stortingsmeldingen er dermed ikke spesifikt på matematikkfaget, men på kunnskaper og ferdigheter i et bredere perspektiv. Regning synes dermed å være oppfattet som den grunnleggende ferdigheten som i større eller mindre grad finnes i alle fag. Utviklingen av prøven er gjort i henhold til et rammeverk basert på 10. trinns læreplan i matematikk etter LK06, samtidig som vi har sett på kravene i de andre fagenes læreplaner. Rammeverket er beskrevet i veiledningen til kartleggingsprøven. Når det gjelder utvalg av emner i rammeverket, har vi blant annet sett på det som venter elevene i undervisningen, i hovedsak slik det er beskrevet i læreplanene i matematikk for Vg1, både Vg1T og Vg1P. På grunnlag av rammeverket ble det høsten 2008 pilotert to oppgavesett. Av praktiske grunner ble piloteringen gjort med skriftlige prøver på papir. På grunnlag av piloteringen ble det endelige oppgavesettet utformet. Det ble så omarbeidet til en nettbasert prøve som ble gjennomført av over elever i starten av Vg1 høsten Denne rapporten beskriver den tekniske analysen av dataene fra denne gjennomføringen. Rapport fra kartleggingsprøve i regning for Vg1, 2009 s. 3

4 Teknisk analyse I det følgende presenterer vi tekniske analyser av prøven som ble gjennomført høsten Analysene er basert på et tilfeldig utvalg på i overkant av elever. Dette utgjør om lag en tredel av årskullet som gjennomførte prøven. Utvalget består av elever ved alle utdanningsprogrammer. Oppgavenes * vanskegrad Tabell 1 viser oppgavenes vanskegrader uttrykt som p-verdier, dvs. andeler av elevene som får poeng på oppgaven. Tabellen viser betydelig spredning i vanskegrader, fra svært lette oppgaver (for eksempel o2a, o7, o8a, o19b) til vanskelige oppgaver (for eksempel o5, o10, o20b). Tabell 1: Andeler riktige svar per oppgave. N= o1: 0,43 o4: 0,50 o11: 0,76 o17: 0,37 o2a: 0,95 o5: 0,26 o12: 0,64 o18: 0,46 o2b: 0,63 o6: 0,60 o13a: 0,33 o19a: 0,53 o2c: 0,69 o7: 0,85 o13b: 0,30 o19b: 0,85 o2d: 0,74 o8a: 0,85 o13c: 0,46 o19c: 0,43 o3a: 0,81 o8b: 0,77 o14a: 0,58 o20a: 0,53 o3b: 0,71 o8c: 0,61 o14b: 0,59 o20b: 0,23 o3c: 0,58 o9: 0,46 o15: 0,46 o21: 0,56 o3d: 0,47 o10: 0,24 o16: 0,55 o22: 0,59 Oppgavene ble fordelt på tre ulike oppgavesett. De tre oppgavesettene bestod altså av samme oppgaver, men rekkefølgen var ulik. For å teste om oppgavenes rekkefølge hadde betydning, har vi sammenlignet andelen elever som har fått til de fire første oppgavene i hvert sett med de tilsvarende andelene i de to andre settene. Tilsvarende har vi sammenlignet de fire siste oppgavene. I gjennomsnitt fikk 59 % av elevene til de fire første oppgavene. Til sammenligning fikk 57 % av elevene til de samme oppgavene når de var plassert lengre ut i oppgavesettet. I gjennomsnitt fikk 52 % av elevene til de fire siste oppgavene. Til sammenligning fikk 56 % av elevene til oppgavene når de var plassert tidligere i oppgavesettet. Dette viser at oppgavenes plassering har betydning, men at denne er relativt liten. Elevene skårer litt bedre når oppgavene er plassert tidlig i oppgavesettet og litt dårligere når de er plassert seint. Det at forskjellen er såpass liten, betyr at vurderingen i stor grad er uavhengig av oppgavenes plassering. Vel så viktig er det at dette innebærer at elevenes testmotivasjon har holdt ut prøvetiden. Hvis elevene hadde vært umotiverte og ikke ytt sitt beste, ville det antakeligvis medført at elevene hadde fått betydelig svakere skåreverdier på de siste oppgavene i oppgavesettet. * Oppgavenumrene det refereres til i denne rapporten er gjengitt i rekkefølgen fra oppgavesett 1. Rapport fra kartleggingsprøve i regning for Vg1, 2009 s. 4

5 Reliabilitetsanalyser Prøvens reliabilitet er 0,87 målt ved Cronbach s alpha (totalt 36 skårepoeng), noe som må betegnes som meget tilfredsstillende. Utelatelse av enkeltoppgaver i prøven fører ikke til forhøyet alpha-verdi. Diskriminering Tabell 2 viser oppgavenes diskriminering målt i form av point-bisereal-korrelasjon (mao korrelasjon mellom skåre på den enkelte oppgave og totalskåre på prøven som helhet). Tabellen viser at 6 av 36 oppgaver diskriminerer noe lavere enn den valgte grensen på 0,30, men alle disse verdiene ligger i intervallet fra 0,20-0,30. For o3a og o5 må den noe lave diskrimineringen sees i sammenheng med at oppgavene er henholdsvis svært lett og svært vanskelig. I oppgave 12 skal elevene først finne 40 % av et beløp og deretter trekke dette fra det opprinnelige beløpet. Her har en god del av elevene kun gjort første del og valgt alternativet som er 40 % av beløpet, noe som forklarer at oppgaven akkurat tipper under grensen på 0,30. Tabell 2: Diskriminering målt som point-bisereal-korrelasjon. Korrelasjoner lavere enn 0,30 er uthevet. N= o1: 0,46 o4: 0,30 o11: 0,54 o17: 0,47 o2a: 0,30 o5: 0,26 o12: 0,29 o18: 0,45 o2b: 0,47 o6: 0,43 o13a: 0,41 o19a: 0,25 o2c: 0,51 o7: 0,39 o13b: 0,52 o19b: 0,42 o2d: 0,50 o8a: 0,38 o13c: 0,38 o19c: 0,41 o3a: 0,25 o8b: 0,55 o14a: 0,38 o20a: 0,52 o3b: 0,36 o8c: 0,50 o14b: 0,53 o20b: 0,45 o3c: 0,27 o9: 0,63 o15: 0,22 o21: 0,55 o3d: 0,44 o10: 0,49 o16: 0,46 o22: 0,43 Gjennomsnitt og spredning Figur 1 viser fordelingen av skåreverdier for prøven som helhet. Gjennomsnittet for fordelingen er 20,3 poeng, med andre ord noe over halvparten av full skåre (36 poeng). Fordelingen i figur 1 er noe forskjøvet mot høye skåreverdier, men må sies å ligge rimelig nær en normalfordeling (skewness = 0,13). Figur 1 viser også at noen få elever har besvart alle oppgavene korrekt, mens vi i den andre enden av fordelingen finner elever som har oppnådd svært få skårepoeng. Nærmere analyse av fordelingen av skåreverdier viser at 22,4 prosent av elevene skårer 14 poeng eller lavere på prøven. Vi setter derfor dette som bekymringsgrense. 14 poeng utgjør 39 prosent av full skåre på prøven. Videre analyser viser at guttene skårer litt høyere på prøven sammenliknet med jentene (21,1 skårepoeng mot 19,5 skårepoeng). Spredningen av skåre blant henholdsvis jenter og gutter er imidlertid av helt tilsvarende størrelse. Karakterstatistikken fra skriftlig grunnskoleeksamen i matematikk våren 2009 viser en liten prestasjonsforskjell i jentenes favør, med karaktergjennomsnittene 3,5 for jenter og 3,4 for gutter. Kartleggingsprøven ved starten av Vg1 viser derimot altså en svak tendens i motsatt retning; guttene skårer litt bedre enn Rapport fra kartleggingsprøve i regning for Vg1, 2009 s. 5

6 jentene. Jentene skårer litt bedre enn guttene på fire oppgaver. Dette er oppgaver som omhandler parentesregning og behandling av algebraiske uttrykk og som tester mer formelle ferdigheter. Guttene gjør det betydelig bedre enn jentene på seks oppgaver. Disse oppgavene er svært ulike, så det er ikke åpenbart hva det er som gjør at guttene skårer bedre. Konklusjonen er at det er vanskelig å se at selve utformingen av de faglige oppgavene skal kunne forklare denne forskjellen. En viktig forskjell er imidlertid at mens kartleggingsprøven er IKT-basert, kunne ikke eksamen i matematikk våren 2009 gjennomføres IKT-basert. Annen forskning har vist at guttene gjerne gjør det relativt sett bedre i forhold til jentene når prøven gjennomføres IKT-basert sammenliknet med papirbasert. Dette skyldes høyere motivasjon og preferanse for å arbeide IKT-basert. Vår tolkning er derfor at de små avvikene i prestasjonsforskjeller mellom jenter og gutter på kartleggingsprøven sammenliknet med grunnskoleeksamen kan forklares av forskjeller i prøveformat. Figur 1: Fordeling av skåreverdier for prøven som helhet. Gjennomsnittsskåre er 20,3 poeng (standardavvik=7,0). Totalt antall oppnåelige poeng er 36. N= Rapport fra kartleggingsprøve i regning for Vg1, 2009 s. 6