Evaluering av de nasjonale prøvene for 2005

Transkript

1 evne til å kunne anvende kunnskapen på nye problemstillinger. Læreplanene sier ikke noe om arbeidsmåter. Det er fordi oppdraget fra departementet var helt klart på dette området. Hver enkelt lærer skal selv få bestemme hvilke arbeidsmåter som skal anvendes for å oppnå de ulike kompetansemålene. Matematikksenteret har hatt veldig fokus på arbeidsmåter. Det er både med tanke på variasjon (for differensiering og innslag av uforutsigbarhet), motivasjon og anvendelser av matematikk i ulike sammenhenger. Derfor vil vi publisere materiell som skal kunne hjelpe de enkelte lærerne og skolene. Dette må være ferdig og gjort kjent for lærerne i god til før skolereformen skal innføres. Evaluering av de nasjonale prøvene for 2005 Guri A. Nortvedt Vårhalvåret 2005 ble det gjennomført nasjonale prøver i matematikk på 4., 7., 10. og 11. trinn. Dette var skriftlige prøver som alle elevene på hvert årstrinn tok på fastsatt dato. I tillegg deltok i underkant av elever på 7. trinn på en frivillig, nettbasert prøve. Etter hvert som prøvene ble avholdt, har lærerne vært på kurs i vurdering og pedagogisk arbeid med kompetansene. I løpet av sommeren har prøvene og prøveavviklingen blitt evaluert av en rekke instanser: En ekstern forskergruppe ledet av Svein Lie, Institutt for lærerutdanning og skoleutvikling/uio, har på oppdrag fra Utdannings direktoratet gjort analyser av alle prøvene (alle fagfelt, alle nivåer). MMI har på oppdrag fra Utdanningsdirektoratet gjennomført spørreundersøkelser med elever (10. og 11. trinn), 52 rektorer, lærere og eksternvurderere. TNS Gallup har på oppdrag fra Utdanningsforbundet gjennomført en egen spørre undersøkelse med rektorer og lærere. Faggruppene som lager prøvene har gjennomført egne analyser av et utvalg elevbesvarelser. I sum gir disse evalueringene mye kunnskap, både om prøvene, prøvesystemet og om elevenes kunnskapsnivå. De gir også signaler og innspill i forhold til videre prøveutvikling. Matematikkprøvenes innhold, vanskegrad og tilpasning til læreplan Årets prøver har høy validitet i forhold til læreplanverket (Lie m fl, [2]). Prøvene måler grunn leggende regneferdighet og begrepsforståelse for sentrale begreper, særlig for 4. og 7. trinn. For 10. og 11. trinn måler prøven også stoff og ferdigheter som den eksterne gruppen mener ligger utenfor begrepet grunnleggende ferdigheter, men som er sentrale i forhold til lære planverket. Faggruppen som lager matematikkprøvene bruker en annen definisjon av grunnleggende ferdigheter. Vi definerer grunnleggende ferdigheter som blant annet å kunne bruke symboler og matematikkens formelle språk, ha begrepsforståelse, kunne anvende matematikk og kunne løse problemer. Årets prøve for 4. trinn har lavere vanskegrad enn prøvene for 7. og 10. trinn. På grunnkurs var det omfattende boikott av prøvene. Boikotten besto til dels i å unnlate å møte opp til prøven og dels i å møte opp på prøven, men levere blankt eller svært lite. Det gjør det vanskelig å si noe om hvor troverdig materialet som er samlet inn er, og det er vanskelig å vite om man kan stole helt på de resultatene man får. Elevene synes at matematikkprøvene var vanskelige. I snitt sier 53 % av elevene at disse

2 prøvene var meget eller ganske vanskelige. Andelen er høyere på grunnkurs enn på tiende trinn, og høyere blant jenter enn blant gutter. Imidlertid er det også 11 % av elevene som sier at prøvene var meget eller ganske enkle (Kavli m.fl., [1]). Over halvparten av lærerne mener at prøvenes vanskegrad er passe i forhold til egen undervisning. Dette varierer fra 64 % (grunnkurs) til 76 % (4. trinn). Ingen av lærerne fra barnetrinnet synes at prøvene er for enkle. Rund tre prosent av lærerne på ungdomstrinnet og videregående skole synes det (TNS Gallup, 2005). Når det gjelder elevenes muligheter til å få vist hva de kan, spriker undersøkelsene. 40 % av lærerne som er spurt av MMI mener det, men enigheten varierer fra 37 % til 80 % i TNS Gallup-undersøkelse. Dette må vi i faggruppa drøfte nærmere og se hvorledes vi kan bruke i vårt videre arbeid. Samtidig gleder vi oss over at Utdanningsforbundets undersøkelse viser at lærerne mener prøvene har god kvalitet. Flest lærere på 4. trinn er fornøyd (76 %) og færrest på 10. trinn (49%) (TNS Gallup, [3]). Det er interessant at flere lærere på grunnkurs enn i 7. og 10. trinn mener at prøvene har god kvalitet. Prøvenes reliabilitet hvor pålitelig de måler det de måler At prøvene har god tilpasning til læreplanverket er ikke nok. I tillegg må prøvene på en pålitelig måte måle det de skal måle. Dette er et område der vi stadig må strekke oss og arbeide for å høyne kvaliteten på arbeidet vårt og på prøvene. For prøvene i 2004 var prøve resultatene gode nok til publisering på prøvenivå. Det vil si at for hver skole ble det publisert gjennomsnittlig skåre for prøven som helhet i stedet for en skoleprofil. Når det gjelder årets resultater foreslår den eksterne gruppen at man også i år publiserer på prøvenivå i stedet for profilnivå på 4. og 7. trinn. For grunnkurs foreslår de at man ikke publiserer noen resultater siden boikotten var så høy (Lie m.fl, [2]). Alle matematikkprøvene har høy reliabilitet når man ser på hele prøven. Det betyr at elevens samlede poengsum gir et pålitelig mål for hvor høy matematikkompetanse eleven har. Dette forutsatt av at ikke noe spesielt har inntruffet, som at eleven var syk, hadde en dårlig dag eller tilsvarende som medførte at han eller hun gjorde det dårligere enn han/ hun ellers ville ha gjort. Når oppgavene fordeles ut på kompetanseområdene og poengsummen deles opp på tre skalaer, blir påliteligheten mindre. For å kunne måle noe sikkert trenger man et høyt nok antall oppgaver til at man får testet nok. Fordelt på tre områder, blir det litt få oppgaver for 4. og 7. trinn. For 10. trinn foreslås det at man for 2005 vurderer å rapportere på to skalaer (Lie m.fl, [2]). Matematikkgruppen vil i en egen rapport uttale seg til direktoratet om hvordan de ønsker publisering. Utover høsten vil Utdannings direktoratet og det nye Kunnskaps departementet drøfte de ulike rapportene og fatte vedtak om eventuell offentliggjøring. Ingen andre prøver i den norske skolen er like grundig utviklet og testet som de nasjonale prøvene, sier Petter Skarheim (Utdanningsdirektoratet, [4]). Per i dag prøver vi ut alle oppgavene vi konstruerer på en rekke skoleklasser før vi setter sammen et prøveutkast, en pilotprøve. Denne gjennomføres med et utvalg på omtrent 500 elever. Dette gir oss et statistisk grunnlag til å kjøre analyser og til å forkaste eller forbedre oppgaver og dermed også prøven. Allikevel kan prøvene forbedres. Vi må bli flinkere til å konstruere oppgaver som klarere måler aspekter ved matematikkompetanse som ligger innenfor kompetanse området. Vi ønsker også å komme inn i en rytme i prøveutviklingen der vi piloterer hver prøve to ganger, i motsetning til en gang som vi gjør i dag. Etter arbeidet med pilotprøven sitter vi med en prøve som er litt 53

3 annerledes enn det første utkastet. Denne vil vi sende ut på ny pilotering med 500 nye elever for å undersøke hvordan endringene påvirker prøven som hel prøve. Dette vil medføre at prosessen med å lage en prøve øker betraktelig, men samtidig vil kvaliteten på prøvene bli bedre. Nettbaserte prøver I vår deltok i underkant av elever på 7. trinn i forsøk med nettbaserte prøver i matematikk. Dette forsøket er ikke evaluert eksternt, men gruppen som har utviklet prøvene har intervjuet elever og lærere om gjennomføringen. Begge gruppene var positive til oppgavene og prøvekonseptet. Elevene får opp en liste over alle oppgavene når de logger seg på, så de kan få en oversikt over hva som skal gjøres. Her kan de fritt bevege seg mellom oppgavene, åpne og lukke dem så mange ganger de vil, og også løse en oppgave om igjen om de finner ut at de ønsker det. Oppgavene er dynamiske, det betyr for eksempel at dersom elevene får en oppgave i tallregning kan de få ulike tall, men tall som er valgt slik at oppgaven gir elevene samme kognitive utfordring. Det betyr at Per og Pål ikke får samme prøve, selv om det nettopp er det de får! En annen teknisk mulighet er at elever får oppgaver der de kan trekke i og flytte rundt på objekter og på denne måten undersøke noe før de tar en avgjørelse om svaret de vil gi. Det lot seg dessverre ikke gjøre å lage en egen lærerpålogging til denne prøven, hvilket medførte at kun de lærerne som lånte en elevidentitet fra en fraværende elev hadde anledning til å gå inn på prøven. Dette vil bli ordnet før neste gjennomføring av nettbaserte matematikk prøver. Matematikkgruppen har også satt i gang arbeid med å lage et evalueringssystem som kan gi læreren tilbakemelding om lærerens elevgruppe og enkeltelever samt på oppgavenivå, slik som man får i dag i profilberegneren som er utviklet til de skriftlige prøvene. På vårens prøver satt lærer og 54 elev bare igjen med elevprofil, noe som var svært lite tilfredsstillende i følge lærerne som ble intervjuet. Dersom man ønsker å se på eksempeloppgaver eller lese orienteringer om de nettbaserte prøvene, finnes det på no/matematikk. Noen smakebiter på resultater fra 2005-prøvene: fordeling av elevsvar på et knippe oppgaver 4. trinn Elevene ble bedt om å tegne den andre halvdelen av en sommerfugl, slik at sommerfuglen ble symmetrisk. Fra de første utprøvingene og piloteringen vet vi at elevene syntes dette var en spennende oppgave. Symmetri og speiling er begreper som elevene gjør erfaringer med også utenfor klasse rommet. De aller fleste elever har god forståelse for begrepet og tegner et speilbilde der form og avstander er korrekte. Elevene som tegner speilbilder med små avvik (detaljer som øyne forsvinner, det blir en rute for mye eller for lite), viser forståelse for speiling, men strever kanskje med å overføre forståelsen til handling. Noen få elever forveksler speiling og parallellforskyving. Disse elevene vil ha fordel av å bruke små lommespeil når de arbeider med speiling slik at de kan sjekke egne figurer mot et faktisk speilbilde. Bruk av speil kan også gjøre det enklere for elevene å identifisere speilingslinjer. Eksempel på kode 11

4 Svar Forklaring Kode Poeng Korrekt speilbilde Eleven har speilet figuren korrekt om linjen Fordeling elevsvar % Øyne forskjøvet Speiling Parallellforskyving Delvis speilet og delvis parallellforskjøvet Ytterkanten av figuren er korrekt speilet. Ett eller begge øynene er forskjøvet inntil en rad. Koden brukes også om eleven har glemt å tegne inn ett øye. Eleven har speilet figuren, men har små avvik Eleven har parallellforskjøvet figuren. Kopierer figuren slik den er, uten å speile Eleven har speilet noe av figuren og parallellforskjøvet deler av den. Ofte er skillet mellom øverste og nederste del av vingen % % % % Forsøkt speilet Eleven forsøker å speile får det ikke til % Andre svar % Ubesvart % 10. trinn Mange elever strever med algebra, og mangler kanskje både forståelse og ferdigheter. Oppgavene ved tabellen på neste side stod som oppgave 5 i del 1 på årets nasjonale prøver. Mange elever klarer ikke å løse disse enkle oppgavene. Ut fra feiltypene ser vi at enkelte misforståelser eller misoppfatninger er utbredt. Mange elever vet ikke forskjell på a + a og a a (oppgave 5 a). De mangler kunnskap om potensregler og tror for eksempel at y har eksponent 0. Kanskje siden det ikke står noe der? Det kan vi ikke finne ut av utvalgsundersøkelsen, men lærere kan nok med fordel spørre elevene oftere hvorfor de tror det de tror slik at slike forhold oppdages og kanskje kan oppklares. Eksempel på kode 22 Videre arbeid med matematikkprøvene Når dette skrives vet vi ikke riktig hva som vil skje med prøvene for Den eksterne gruppen som har evaluert prøvene gir det rådet at man bør bruke ett år ekstra på å utvikle neste prøvesett og dermed hoppe over Dette skal Utdanningsdirektoratet og Kunnskapsdepartementet vurdere i den nærmeste fremtid. Inntil dette avgjøres må de ulike faggruppene bare stevne frem som planlagt. Dersom det ikke blir utsettelse skal det gjennomføres obligatoriske skriftlige prøver for 4. og 7. trinn i april og februar (henholdsvis) samt frivillige nettbaserte prøver. For 10. og 11. trinn vil det i dette tilfellet først bli prøver høsten 2006, og 55

5 Oppg 5 Andel korrekte svar Vanligste feiltype a 77 % 12 %: 2a 2 2 % Ubesvart a 2 a + a = b 2 a a = b 83 % 6 %: 2a 3 % c 62 % 25 %: x 12 2 % d 35 % 35 %: 2t 4 6 % e 34 % 24 %: 3y 6 22 % c x 3 x 4 = d t t 2 = e 3 y 6 : y = da kun obligatoriske nettbaserte prøver. Uansett er dette en spennende tid for oss som arbeider med å lage prøvene. Gjennom årets evalueringer og analyser ser vi klare muligheter til å forbedre prøvene, og vi kommer til å bruke mye tid denne høsten på å vurdere hvilke endringer som vil være de beste og hvordan vi skal iverksette dem. For den som vil lese mer, kan årets prøver finnes på Matematikksenterets hjemmesider: De ulike evalueringsrapportene finnes på Utdanningsdirektoratet og Utdanningsforbundets hjemmesider. Referanser Kavli m fl (2005) Analyserapport evaluering av gjennomføring av de nasjonale prøvene. Rapport for Utdanningsdirektoratet Lie, S m fl (2005) Nasjonale prøver på ny prøve. Rapport for Utdanningsdirektoratet TNS Gallup (2005) Undersøkelse blant rektorer og lærere om gjennomføring av de nasjonale prøvene våren Rapport for Undervisningsforbundet Utdanningsdirektoratet (2005) Pressemelding Kengurukonkurransen Anne-Gunn Svorkmo Alle oppgavene fra Kengurukonkurransen 2005 finnes på nettsidene til Matematikksenteret. I tillegg til fasit og løsningsforslag finnes det også ideer til hvordan man kan jobbe videre med og utvikle hver enkelt oppgave. På denne måten kan Kenguruoppgavene brukes på tvers av trinn selv om de opprinnelig var laget i Ecolier som i utgangspunktet er tilpasset trinn eller Benjamin som er oppgavesettet for trinn. Enkelte av oppgavene vil også egne seg som problemløsningsoppgaver i ungdomsskolen. 56