2 Forord SINTEF har på oppdrag for Per Johan Rauø programvareutvikling deltatt på testingen av og leseforståelse hos tre grupper lesere som har deltatt i utprøvingen av treningsprogrammet Pageturner. Testingen har skjedd i perioden januar til april 2010. Den har vært gjennomført i Kristiansand for en gruppe med elever i videregående opplæring ved Kvadraturen skolesenter, i Oslo ved Diakonhjemmet høgskole for en gruppe av studenter ved avdeling for sosialt arbeid og i Oslo i Aschehoug forlags lokaler for en gruppe av voksne i arbeidslivet. Aschehoug forlag har stått for rekrutteringen av testgruppene, i samarbeid med Per Johan Rauø programvareutvikling. Kvadraturen skolesenter, Diakonhjemmet høgskole og Aschehoug har stilt velvillig opp til testingen. Per Johan Rauø fra Per Johan Rauø programvareutvikling og Bjørn Gunnar Saltnes fra Aschehoug forlag har i tillegg til Halvdan Haugsbakken, Arne L. Bygdås og Thomas Dahl fra SINTEF, vært til stede på testingene. En stor takk til alle personene som velvillig har stilt opp for å gjennomføre treningsopplegget og testene. SINTEF har stått for analysen av testresultatene, og Halvdan Haugsbakken har vært kvalitetssikrer på arbeidet. En takk til ham for det. Trondheim Juni 2010 Thomas Dahl Prosjektleder
3 INNHOLDSFORTEGNELSE Forord... 2 1 Innledning... 4 2 Om treningsopplegget... 4 3 Om trenings- og testgruppene... 4 4 Om testene og gjennomføringen av dem... 5 5 Begrepsbruk... 6 6 Datagrunnlag... 7 7 Resultater... 8 7.1 Lesehastighet... 8 7.2 Leseforståelse... 10 8 Sammenligning med andre testresultater... 11 9 Noen tolkninger av resultatene... 11 10 Konklusjon... 12
4 1 Innledning Det har vært gjennomført lesetrening med programmet Pageturner utviklet av Per Johan Rauø programvareutvikling for tre grupper forskjellige lesere: En gruppe elever ved Kvadraturen skolesenter i Kristiansand (videregående skole) En gruppe studenter ved Diakonhjemmets høgskole i Oslo En gruppe voksne i arbeid i Oslo Totalt har det deltatt 94 personer i treningsopplegget. Det har vært gjennomført testing av og leseforståelse før, under og i etterkant av treningen. SINTEF har vært til stede sammen med alle tre gruppene på testdagene og verifisert selve testingen samt at vi har gjennomført en analyse av testresultatene. 2 Om treningsopplegget Personene som har deltatt i treningsopplegget med Pageturner har gjennomført en 15 minutters trening på PC hver dag over en periode på tre uker. Pageturner er et internettprodukt. SINTEF har ikke hatt noe med utforming av dataprogrammet som brukes i treningen å gjøre, heller ikke selve treningsopplegget. Pageturner trener øynenes bevegelse og bevegelsesmønster. Opplegget virker dermed på oss til å være i hovedsak en trening av motorikk og innøvelse av ny motorikk i leseprosessen. Personene har gjennomført treningen på individuell basis. Man må imidlertid ha fullført ei treningsøkt for å komme til neste, og man må ha gjennomført alle treningsøktene mellom testene for å kunne få gjennomføre testene. Gjennom deltakelse i testene har vi observert at samtlige personer har gjennomført de treningsopplegg man må ha gjennomført for å kunne testes. Det kan derfor med rimelig sikkerhet antas at de personer som vi har testet har gjennomført lesetreningen. 3 Om trenings- og testgruppene 94 personer har vært rekruttert til lesetrening og -testing. Lesergruppene har vært rekruttert i et samarbeid mellom Per Johan Rauø programvareutvikling og Aschehoug forlag. Disse personene fordeler seg i tre forskjellige grupper. I tabellen nedenfor finner vi en oversikt over trenings- og testgruppene.
5 Tabell 1: Oversikt over testgruppene og oppstart av tester Testgruppe Antall testpersoner Start av trening og første test Navn på testgruppe Elever ved Kvadraturen 57 19. januar 2010 A skolesenter Studenter ved 29 26. mars 2010 B Diakonhjemmet høgskole Voksne i arbeid 8 26. mars 2010 C 4 Om testene og gjennomføringen av dem Testingen har bestått i at elevene først leser gjennom en tekst på 1500 ord som gjøres tilgjengelig gjennom programmet Pageturner etter at man har gjennomført et bestemt antall treningsøkter. Første testen gjennomføres før man har startet treningen. Testpersonene leser teksten på PCskjerm, og klikker på en stoppknapp når teksten er gjennomlest. På denne måten registreres en. Registreringen blir lagret i en database. Etter å ha registrert, lukkes teksten og blir ikke tilgjengelig lenger. Testpersonene får så seks spørsmål knyttet til teksten, hver med fire svaralternativer ( multiple choice ). Her krysser testpersonene av på det svaret de mener er riktig. Når alle seks svarene er besvart, lagres resultatene i databasen. Denne delen av testen gir et mål på leseforståelsen. Vi har fått tilsendt testloggene fra databasen gjennom Aschehoug, som administrerer databasen for Pageturner. Spørsmålene med svaralternativene har vært utformet av Svein Magne Sirnes på oppdrag for Aschehoug. 1 Det er valgt å ha fire svaralternativer til hvert spørsmål for å minimalisere effekten av gjetting. SINTEF har ikke vært involvert i utformingen av testene. Vi forutsetter at det arbeidet som er lagt ned i utformingen av testene gjør at testene gir et godt bilde på leseforståelsen. I tillegg har vi gjennom analysen av svarene på spørsmålene ikke sett systematiske skjevheter i besvarelsene; det er ikke noen spørsmål eller spørsmålssett som peker seg ut med større forskjeller i rette svar enn de øvrige spørsmålene. Spørsmålene synes dermed å gi et konsistent bilde av leseforståelsen hos elevene på det nivået spørsmålene representerer. Tekstene har vært hentet fra samme bok for å oppnå mest mulig likhet i vanskelighetsgrad gjennom testene. Det har totalt vært gjennomført fem tester for alle deltakerne. Første test har vært gjennomført ved oppstart av treningsopplegget. Test to har vært gjennomført etter ei uke med lesetrening, test tre etter to uker, test fire etter tre uker mens test fem har vært gjennomført én måned etter avslutningen av treningsperioden. Test fire er gjennomført ved avslutningen av den tre uker lange treningsøkten. I figuren nedenfor finner vi en skjematisk oversikt over hvordan testene har vært gjennomført. 1 Sirnes har jobbet mye med flervalgsoppgaver og har publisert en lærebok om temaet. Se Svein Magne Sirnes, Flervalgsoppgaver - konstruksjon og analyse, Bergen: Fagbokforl., 2005.
6 Figur 1: Tidsskjema for gjennomføring av treningen og testene Test 1 Test 2 Test 3 Test 4 Test 5 Start trening 7 dager 14 dager 21 dager 51 dager Tid Slutt trening 5 Begrepsbruk Lesing er en sammensatt ferdighet som kan forstås på ulike måter, men det er vanlig å se på leseprosessen som et produkt av avkoding og forståelse. Vanlig begrepsbruk innenfor forskningslitteraturen er at en bruker begrepet avkoding når man viser til de ferdigheter og kunnskaper leseren benytter til å omgjøre det som er skrevet (de grafiske tegnene) til korresponderende språklige lyder. Avkoding blir ofte omtalt som den tekniske siden ved leseferdigheten. Leseforståelse omfatter de språklig-kognitive prosesser som gjør det mulig for leseren å få tak i meningsinnholdet i en tekst. 2 Utdanningsdirektoratet har i utformingen av nasjonale prøver i lesing skilt mellom tre ulike aspekter av leseforståelse, nemlig å finne informasjon i teksten, å tolke og forstå teksten og å reflektere over og vurdere tekstens form og innhold. 3 Gjennom testingen har vi målt og evnen til å svare på noen spørsmål knyttet til teksten. Vi bruker betegnelsen leseforståelse som betegnelse på det vi måler gjennom spørsmålene. Spørsmålene viser om eleven har fått med seg det som ble lest og klarer å gjengi innholdet. Lesehastighet i seg selv sier ikke noe om leseforståelsen; man kan lese hurtig uten å forstå hva man leser. Men den er et mål på evne til avkoding, eller rettere: hvor hurtig eleven er i stand til å avkode. Både og leseforståelse er dermed komponenter i leseferdigheten til eleven, men det utgjør to forskjellige typer ferdigheter. Vi kan ikke her gå inn på en nærmere begrepsavklaring, men det er opplagt at de to ferdighetene spiller på forskjellige evner. Lesehastighet viser evnen til avkoding. Avkodingen vil både inneholde en motorisk komponent (evnen til å la øyet oppfatte teksten) og en kognitiv (evnen til å omgjøre de grafiske tegnene til lyder). Leseforståelsen vil være mer avhengig av de kognitive ferdighetene til eleven og har ikke en motorisk komponent. Enkelt sagt kan vi si at en viser tydeligst den motoriske siden av lesingen, mens leseforståelsen viser den kognitive. 2 Trond Buland, Thomas Dahl og Liv Finbak, Et ord sier mer enn tusen bilder: Evaluering av tiltaksplanen "Gi rom for lesing!", Delrapport 1, Trondheim: SINTEF, 2005, s. 20. 3 http://www.udir.no/upload/nasjonale_prover/2009/del3/np_lesing_5_trinn_del_3_2009_bm.pdf
7 6 Datagrunnlag I tabellen nedenfor har vi laget en oversikt over hvor mange som har fullført de enkelte testene innenfor hver gruppe. Tabell 2: Oversikt over antall fullførte tester Testgruppe Totalt antall Test 1 Test 2 Test 3 Test 4 Test 5 testpersoner A 57 50 50 46 40 37 B 29 20 20 20 20 19 C 8 7 7 7 7 7 Totalt 94 77 77 73 67 63 Lesehastigheten måles ved at testpersonen trykker på en stoppknapp etter å ha lest igjennom teksten. Ved verifisering av testingen til gruppe A så vi at det var to personer som ikke trykket på denne knappen etter å ha lest igjennom teksten. Dette vises i dataene ved at det er to personer med meget lav på test 1 (henholdsvis 4 og 13 ord i minuttet). Disse to testdataene er fjernet fra datagrunnlaget og teller ikke med i utregningen og analysen av dataene. Dette betyr at vi for test 1 bare har data fra 48 personer i testgruppe A, og totalt data fra 75 personer. Vi ser at det er betydelig færre som har gjennomført testen mot slutten enn de som var med fra starten. Dette reiser spørsmålet om det er noen systematiske forskjeller mellom de som har besvart og de som ikke har besvart. Vi har gjennomført en analyse av testresultatene hvor vi har utelatt de som ikke har gjennomført test 5. Denne analysen viser en noe bedre utvikling av en (en økning på 2,41 ganger mellom test 1 og test 4) enn dersom vi tar med alle testresultatene i analysen (da er økningen på 2,33 ganger). Antakelig gjør frafallet at vi får en noe dårligere utvikling av en enn om vi ikke hadde hatt det observerte frafallet. En statistisk analyse av testresultatene viser videre en signifikant sammenheng mellom hva man presterte under test 1 og om man har gjennomført test 5. Sammenhengen er negativ. Det betyr at det i hovedsak er de som har gode resultater i utgangspunktet som har falt fra. Som vi skal se nedenfor, så har utviklingen av en hos gruppen av de som hadde høy ved test 1, ikke vært like god som for de øvrige gruppene. Dette forklarer hvorfor vi får en noe dårligere utvikling av en når vi tar med alle resultater. Vi kan derfor konkludere med at dersom alle personene som gjennomførte test 1 hadde fullført trenings- og testopplegget, hadde vi fått bedre testresultater enn de vi faktisk har fått.
8 7 Resultater 7.1 Lesehastighet I tabellen nedenfor har vi angitt utviklingen av en for samtlige testgrupper til sammen. Tabell 3: Utvikling av Test 1 Test 2 Test 3 Test 4 Test 5 N 75 77 73 67 63 Gjennomsnittlig 190,6 284,1 357,0 443,9 415,8 Standardavvik 56,7 83,9 128,4 142,3 126,5 Tabellen ovenfor viser at en er over fordoblet (2,3 ganger) i gjennomsnitt gjennom testperioden, fra 190,6 ord i minuttet i test 1 til 443,9 ord i minuttet i test 4, som markerer slutten på treningsperioden. Fra test 4 til test 5 ser vi en liten nedgang i en, men den utgjør ikke mer enn 7 %. Det er ingen signifikante forskjeller mellom de tre testgruppene i målet på, unntatt ved test 5. Tabellen ovenfor viser også at standardavviket har økt gjennom testene. Dette betyr at det har blitt større spredning i resultatene hos testpersonene. En korrelasjonsanalyse viser at det er en signifikant sammenheng mellom resultatene i de forskjellige testene. Dette betyr at de som i utgangspunktet har en høy, vil tilhøre gruppen av de med høy i de øvrige testene. Spørsmålet vi da kan reise er hvordan utviklingen har vært i forhold til en målt ved test 1. For å svare på dette spørsmålet har vi delt testgruppen i tre etter hvor hurtig de leste før de gikk i gang med treningen. Vi har en gruppe som hadde en på mindre enn 160 ord i minuttet under test 1, en gruppe på mellom 160 og 200 og ei gruppe på over 200 ord i minuttet. Den gjennomsnittlige en for disse tre gruppene er vist i tabellen nedenfor.
9 Tabell 4: Gjennomsnittlig i forhold til ved test 1 Lesehastighetsgruppe Test 1 Test 2 Test 3 Test 4 Test 5 Lesehastighet < 160 N 25 25 24 22 21 ved test 1 Gjennomsnittlig 124,5 228,8 297,6 381,7 354,8 Lesehastighet 160 N 24 23 22 22 22 og < 200 ved test 1 Gjennomsnittlig 177,5 288,0 352,6 447,2 428,4 Lesehastighet > 200 N 27 26 24 19 18 ved test 1 Gjennomsnittlig 249,5 337,0 428,9 525,4 477,9 Tabellen ovenfor viser at en for den gruppen med lavest i utgangspunktet (<160 ord pr. minutt), har hatt en økning fra 124,5 til 381,7 ord pr. minutt i gjennomsnitt, fra test 1 til test 4. Det utgjør en økning på 3,07 ganger. Økningen for den mellomste gruppen ( 160 og < 200 ord pr. minutt) har økt 2,52 ganger, mens den for gruppen med den høyeste en ved test 1 har økt 2,11 ganger. Det er dermed den gruppen som presterte dårligst ved oppstart som har hatt best utbytte av treningen. Som nevnt ovenfor er det ingen signifikante forskjeller mellom de tre testgruppene, bortsett fra når det gjelder ved test 5. Tabellen nedenfor viser utvikling av gjennomsnittlig for de tre testgruppene. Tabell 5: Gjennomsnittlig i de tre testgruppene Testgruppe Test 1 Test 2 Test 3 Test 4 Test 5 A N 50 50 46 40 37 Gjennomsnittlig 183,5 277,1 377,7 445,3 397,8 B N 20 20 20 20 19 Gjennomsnittlig 183,3 303,7 329,4 449,3 436,5 C N 7 7 7 7 7 Gjennomsnittlig 209,9 278,0 299,3 420,7 455,1 Vi ser av tabellen ovenfor at for testgruppe C (voksne i arbeidslivet) har vi en økning i mellom test 4 og test 5. Dette forklarer den signifikante forskjellen mellom gruppene. Hvorfor vi har denne økningen, har vi ikke noen forklaring på. Gruppen er liten, så tilfeldigheter kan spille inn. Det kan også være at denne gruppen har trengt mer tid på å få inn leseteknikken som treningen skal gi, og at vi først ser utslag av dette en stund etter at testene er over.
10 Tallene når det gjelder utviklingen av mellom de forskjellige gruppene viser at opphør av trening ikke nødvendigvis betyr nedgang i. Som tilfellet er ved gruppe C, så kan den faktisk øke etter at treningen er avsluttet. 7.2 Leseforståelse Hvordan forholder det seg med leseforståelsen? Nedenfor har vi angitt resultatene fra testene når det gjelder leseforståelse. Tabell 6: Målt leseforståelse i testene (0 = ingen rette, 6 = alt rett) Test 1 Test 2 Test 3 Test 4 Test 5 N 77 77 73 67 63 Leseforståelse 3,4 2,3 4,3 4,5 4,2 Standardavvik 1,30 1,22 1,34 1,16 1,35 Tabellen ovenfor viser at leseforståelsen har gått ned mellom test 1 og test 2, men så tatt seg opp i de øvrige testene. Resultatene er bedre for test 3, 4 og 5 enn for test 1. Dette tyder på at i en innkjøringsfase går den økte en utover forståelsen, men over tid kommer leseforståelsen etter. Man kan sogar si at treningen ser ut til å bedre leseforståelsen. Mens det er sammenheng mellom en gjennom alle testene, ser vi en sammenheng når det gjelder leseforståelsen først etter test 3. Mellom de tre siste testene er det en signifikant sammenheng. Dette indikerer at det etter hvert opparbeides en leseforståelse som holder seg noenlunde konstant etter at den er opparbeidet. Vi ser av tabellen ovenfor at det er lite variasjon i standardavviket mellom testene. Dette betyr at det er den samme spredningen av resultater gjennom alle testene. Det er ikke slik at noen gruppe utvikler en bedre leseforståelse enn andre. Vi har sett nærmere på sammenhengen mellom og leseforståelse. En korrelasjonsanalyse viser at det ikke er sammenheng mellom disse to variablene. Dette betyr at det finnes både god og dårlig forståelse blant både raske og langsomme lesere. Derimot ser vi en sammenheng når det gjelder endring i og leseforståelse. De som i størst grad har økt en, har i mindre grad utviklet leseforståelsen. Det å øke en mye kan dermed gå på bekostning av forståelsen. Men samlet for hele testgruppen ser vi at leseforståelsen har økt, så økningen i hastigheten for gruppen samlet har ikke gått på bekostning av leseforståelsen. Mens det ikke var noen signifikant forskjell mellom gruppene når det gjaldt, bortsett fra ved test 5, ser vi en signifikant forskjell mellom gruppene når det gjelder leseforståelse ved flere av testene. I tabellen nedenfor har vi angitt gjennomsnittlig leseforståelse i forhold til gruppene.
11 Tabell 7: Gjennomsnittlig leseforståelse i forhold til testgruppe Testgruppe Test 1 Test 2 Test 3 Test 4 Test 5 A N 50 50 46 40 37 Gjennomsnittlig 3,3 2,2 3,9 4,1 4,1 leseforståelse B N 20 20 20 20 19 Gjennomsnittlig 3,6 2,2 4,6 4,9 4,1 leseforståelse C N 7 7 7 7 7 Gjennomsnittlig leseforståelse 3,3 3,6 5,6 6,0 5,3 Tabellen ovenfor viser at testgruppe C (testpersonene fra arbeidslivet) ikke har en nedgang i leseforståelsen mellom test 1 og test 2, og at de har betraktelig bedre resultater på de tre siste testene enn de to øvrige gruppene. Testgruppe B (høgskolestudentene) har også bedre resultater på test 3 og test 4 enn testgruppe A. Vi har ingen forklaringer på denne forskjellen. Det kan være at alder og dermed erfaring med lesing har betydning. Det kan også være at den lille forskjellen vi kan observere mellom gruppene når det gjelder utvikling av, har betydning. Gruppe C har mindre økning i enn de øvrige gruppene. Dette med erfaringen gjør kanskje at de leser mer bevisst på å få med seg innholdet i teksten enn de øvrige gruppene. 8 Sammenligning med andre testresultater Denne testingen har vært gjennomført ved at teksten har vært lest på skjerm og ved at spørsmålene knyttet til teksten har vært besvart elektronisk. Vi gjennomførte vinteren/våren 2008 en tilsvarende testing av 104 ungdomsskoleelever. 4 Her ble teksten lest på papir og svarene på spørsmålene var også papirbasert. Resultatene fra testingen av ungdomsskoleelevene viser de samme trekkene som vi ser nå under denne testingen. Da var økningen i 2,26 ganger gjennom testperioden og med en liten nedgang ved testen én måned etter avsluttet treningsopplegg. Testingen da viste også en nedgang i leseforståelsen ved andre test, men dette tok seg opp i de påfølgende testene. Leseforståelsen ble imidlertid ikke høyere enn hva den hadde vært ved første gangs testing (før lesetrening), slik vi har sett at den har blitt her. 9 Noen tolkninger av resultatene Vi har sett at en har økt betraktelig gjennom treningsperioden, og at denne økningen har holdt seg en god stund etter at treningen er avsluttet. Vi har også sett at det målet vi har på leseforståelse har gått opp etter at det gikk ned i starten av treningsperioden. Forutsatt at vi med målet på leseforståelse har et mål som er sammenlignbart fra test til test, ser treningen ut til både å høyne en og leseforståelsen. Hvordan kan vi tolke dette? At en øker, innebærer at avkodingen av teksten skjer hurtigere. I og med at vi ikke ser noen radikal endring i negativ retning på målene på leseforståelse, må vi anta at avkodingen 4 Thomas Dahl, Trening for utvikling av leseferdigheter. Analyse av testresultater i forbindelse med treningsopplegg, Trondheim: SINTEF, 2008 (fortrolig rapport).
12 ikke blir dårligere. Utfordringen for å øke en ligger dermed ikke på det kognitive, men i det motoriske. Når øyet blir trent til å bevege seg hurtigere og i et mønster som fremmer lesingen, økes en uten at det går ut over selve avkodingen. I en startfase, før man har vent seg til den nye måten å bevege øyet på og før øyet har blitt trent til en slik lesing, ser den hurtige lesingen til å gå utover forståelsen. Man leser uten å forstå eller få med seg hva man leser. Etter hvert kommer imidlertid forståelsen etter. Dette tyder på at lesingen blir mer automatisert og ikke krever ressurser som går utover forståelsen. Dette kan være med på å forklare hvorfor vi ser en bedring av leseforståelsen over tid. Når lesingen automatiseres, frigjøres det ressurser til forståelsen. Nyere forskning har vist at øyets evne til bevegelse har konsekvenser for læreferdigheter generelt. 5 Det virker som om treningen med Pageturner nettopp bidrar til å trene evnen til å bevege øyet. Dette har da ikke bare innvirkning på selve en, men på leseferdigheten i sin helhet. 10 Konklusjon Trening med programmet Pageturner innebærer en trening av øyets motorikk og innøvelse av nye øyemotoriske mønstre i leseprosessen. Denne treningen ser ut til å utvikle i første rekke en og også til en viss grad leseferdigheter. Gjennom trening med programmet øker en betraktelig. Vi ser samtidig at leseforståelsen øker, etter en liten nedgang i starten av treningen. Vi har testet tre forskjellige grupper mennesker: Elever ved videregående opplæring, studenter ved høyere utdanning og voksne i arbeidslivet. Det er ingen signifikante forskjeller mellom disse gruppene når det gjelder utviklingen av en. Når det gjelder leseforståelse, ser vi derimot en bedre utvikling hos gruppen av voksne i arbeidslivet enn hos de øvrige to gruppene. Vi har tredelt testgruppen i en gruppe med høy ved oppstart, en med middels og en med lav. Det er gruppen med lavest som har hatt best utvikling av en gjennom testen. Programmet fungerer dermed best på denne gruppen. Dette kan forklares med at de med høy ikke har samme potensial for å utvikle en som de øvrige (selv om vi også i denne gruppen ser en betydelig økning). Testene viser at økt etter hvert ikke innvirker på leseforståelsen. Det går med andre ord an å lese hurtig uten at man mister forståelsen, og man kan øke en betraktelig uten at man mister forståelsen. Vi ser til og med at treningen ser ut til å øke en samtidig som forståelsen øker. Vi tolker dette med at den tekniske siden av lesingen gjennom treningen i større grad blir automatisert og at man trenger å bruke mindre ressurser på selve avkodingen av teksten. Det synes som dette gir mer ressurser til forståelsen, slik at leseferdighetene samlet sett kommer styrket ut gjennom treningen. 5 H. Sigmundsson, S. K. Anholt og J. B. Talcott, Are poor mathematics skills associated with visual deficits in temporal processing?, Neuroscience Letters, vol. 469, nr. 2, 2010.