1 Inger Kristine Løge Olav Lunde Statistisk analyse av observasjonspunktene i MIO Innledning Den første ideen til utarbeidelse av et materiell til bruk ved observasjon av matematikk utvikling hos førskolebarn tok til for flere år siden, nærmere bestemt høsten 2000. Det var representanter fra Forum for matematikkmestring, Sørlandet kompetansesenter og Senter for atferdsforskning, HiS/UiS som gikk sammen for å utvikle denne ideen. Utviklingsprosessen har fulgt to linjer: Den ene å utvikle et redskap for personalet i barnehagen til å skape bevissthet om matematikken i barnehagens daglige aktiviteter, og den andre å skape årvåkenhet i forhold til barn som i sin kognitive og språklige utvikling ikke fulgte det typiske utviklingsmønsteret. Det ferdige observasjonsmateriellet MIO (Matematikken Individet - Omgivelsene) består av et Observasjonsark og en Håndbok. MIO har sin teoretiske forankring i Magnes faktor - samspillsmodell (Magne, 1998). Modellen viser at barns ferdigheter i forståelse av matematikk er avhengig av et samspill mellom flere faktorer og at det er tre aktører i denne prosessen: Matematikken (M), Individet (I) som holder på å lære matematikk og Omgivelsene (O) som legger til rette slik at barnet får erfaringer med matematiske aspekter (Magne, 2005; Davidsen, 2006). Hensikten med bruk av observasjonsmaterialet MIO er å øke kunnskapen om barns matematiske utvikling hos personalet i barnehagen, ved at de får kunnskap om hva matematikk kan være for små barn og hvordan det kan arbeides med matematikk i barnehagen. I tillegg ønsker en at bruk av MIO kan bidra til at barn som strever på dette området blir fanget opp på et tidlig tidspunkt. A: Validitet ved uarbeiding av MIO Første fase i utarbeidingen var å avgrense og fokusere de sentrale aspekter ved barns matematiske utvikling, slik at det ville være enklere for personalet i barnehagen å følge enkeltbarn og grupper av barn sin utvikling. Samtidig ønsket vi at MIO-materialet skulle benyttes til å forebygge senere matematikkvansker. Det
2 ble derfor lagt vekt på å få fram de trekk ved barnas matematiske utvikling som kunne være tegn på senere matematikkvansker (Mazzocco & Thompson, 2005). Lite forskning har vært gjort på dette feltet. Vi laget en beskrivelse av hva vi ønsket å observere på de tre aldersgruppene (2-3, 3-4 og 4-5 år) og lot flere grupper av førskolelærere kommentere dette og komme med innspill. Vi konkluderte med å ville basere oss på observasjon i daglige situasjoner og ikke bruke konstruerte observasjonspunkter. Dette ble så kombinert med Olof Magnes PTG-modell (Problemløsning, Tall og Geometri) for å styrke den indre strukturen i materiellet. Dette ble drøftet i møte med Olof Magne og første skisse av observasjonspunkter ble laget i 2004. Gjennom denne prosessen mener vi å ha hatt en validering basert på construct-validity (Bryman & Cramer, 1995, side 74), dvs. at vi har foretatt en vurdering om observasjonene gir et bilde av det vi ønsker å få fram. Vi vil senere også se på om bestemte grupper av barn som vi vet har en senere matematisk utvikling, fungerer som forventet på materialet. B: Første pilotering høsten 2005 Det ble laget et oppsett til første utprøving med 3-5 observasjonspunkter for hver av ringene. Figur 1 viser ringene i det endelige oppsettet. Den ble gjennomført i 8 kommuner, i hovedsak fordelt på Sør-Norge. Antall barn var 411. Ufullstendig utfylte skjema ble fjernet, og vi hadde da igjen 396 skjema. Barna fordelte seg med 97 i alderen 2-3 år, 156 i alderen 3-4 år og 158 i alderen 4-5 år. I hver kommune hadde vi en kontaktperson som skulle ha ansvar for selve utprøvingen. Disse ble samlet til en kursdag og orientert om tenkingen bak MIO, innholdet i observasjonspunktene og hvordan observasjonene kunne utføres. Det ble supplert med skriftlig informasjon og presiseringer av observasjonspunktene. Det matematiske innholdet i punktene var sentralt. Også utfyllingen av skjemaene ble diskutert mht. mestring/delvis mestring og åpent felt (ingen mestring). Kontaktpersonene brakte deretter denne informasjonen ut til de førskolelærerne som utførte selve observasjonene og fylte ut skjemaene. Figur 1: MIO observasjonsark For å få den aldersmessige plasseringen av observasjonspunktene riktig, mente vi at hvert observasjonspunkt burde ha full mestring for ca. 70 % av barna, og ca. 10 % ikke mestring. Delvis mestring burde ligge rundt 20 %. For hvert av observasjonspunktene laget vi en prosentfordeling, og denne sammen med faglig vurdering, dannet grunnlaget for plasseringen av observasjonspunktene i forhold til alder.
3 Som et ledd i valideringsarbeidet, foretok vi en vurdering av hvordan observasjonspunktet fungerte for gruppene to-språklige barn (to-sp.) og barn med funksjonshemming (f.h.) (det ble krysset av på observasjonsskjemaet for dette). Dette er grupper som vi vet har en senere matematisk utvikling (Lie, 2001; Kroesbergen & van Luit, 2003). Vi så på hvordan gjennomsnittsverdien (mean) var for totalgruppen, hvert alderstrinn og for hver av disse undergruppene. Eks. Item: Barnet bruker begrep som angir forholdet mellom størrelser. Full mestring er 2,00 Total mean: 1.34. F.h: 0.55 To-sp.: 0.94. Barnet kan ordne gjenstander etter størrelse i en rekke. Totalt:1.19, F.h. 0.57 To-sp.: 0.84. Alle beregninger er gjort i SPSS (Pallant, 2005). Det at vi får slike klare forskjeller tolker vi som om at observasjonspunktet fanger opp det som var vår intensjon. Det ble også foretatt tradisjonell itemanalyse og hvert item ble vurdert etter korrelasjon med total. Item med korrelasjon under 0.3 ble utelatt/endret. På bakgrunn av dette beregnet vi så reliabiliteten, dvs. om verktøyet har en indre konsistens som gjør at vi ville få samme resultat ved gjentatte observasjoner. Beregning av Cronbach s alfa viste en reliabilitet på 0.96 (med 67 observasjonspunkter). Verdier over 0.80 regnes som bra (Bryman & Cramer, 1995). Cronbach s alfa er en funksjon av antall observasjonspunkter og den gjennomsnittlige interkorrelasjonen mellom disse. Ved en faktoranalyse hadde vi først konstatert at MIO kan betraktes som endimensjonal. Vi fikk også kommentarer fra de som var med på utprøvingen. Kommentarene gikk på både selve gjennomføringen og de enkelte observasjonspunkter. Det ble tatt hensyn til disse kommentarene ved utvelgelsen av hvilke observasjonspunkter vi skulle bruke samt formuleringene av dem. Det ble på grunnlag av dette laget en utgave til andre pilotering med 2 observasjonspunkter for hver felt, betegnet f. eks. slik: P1, 3-4 år, se side 8 i Håndboken. C: Andre pilotering høsten 2006 Andre pilotering ble gjennomført i 12 andre kommuner enn de som var med første gang og kommunene fordelte seg nå over hele landet. Vi valgte bevisst både typiske by-kommuner og land-kommuner. Ved andre utprøvingen la vi vekt på å kurse førskolelærerne som skulle observere og fylle ut skjemaene. Det ble arrangert 3 egne dagskurs, to i Oslo, og ett i Alta. Barna fordelte seg slik: 2-3 år: 109, 3-4 år 207, 4-5 år 246, dvs. 562 barn totalt. Da var ufullstendig utfylte skjemaer tatt bort. Vi brukte samme prosedyre som ved første utprøving for å vurdere de enkelte observasjonspunktene, og på bakgrunn av denne informasjonen ble noen formuleringer endret. I figur 2 er gjengitt prosentfordelingen for hvert observasjonspunkt, fordelt på alderstrinn og grad av mestring. I Tillegg: Observasjonspunktene ved andre pilotering er gjengitt ordlyden slik den ble brukt. På bakgrunn av resultatet fra analysene og diskusjoner er teksten i endelig utgave noe endret på enkelte observasjonspunkter og presisert i beskrivelsen av hvert observasjonspunkt i Håndboken.
4 Figur 2: Prosentfordelingen for hvert observasjonspunkt, fordelt på alderstrinn og grad av mestring. Det var 64 to-språklige og 11 barn med funksjonshemminger denne gangen. Som ved første utprøving så vi på gjennomsnittsverdier for disse to gruppene i forhold til totalgruppen. Vi får også denne gangen klare forskjeller og mener dette styrker validiteten i observasjonsmateriellet. Vi så også på en krysstabulering i forhold til kjønn og distrikt. Observasjonspunkter som kanskje var noe følsomme for kjønn / distrikt, ble endret. Cronbachs alfa gav nå en verdi på 0.916 basert på 36 observasjonspunkter. I og med at antall observasjonspunkter nå er lavere, var det forventet at reliabiliteten også ville bli noe lavere. Vi vurderer en reliabilitet på 0.92 som meget tilfredsstillende. D: Observasjonsreliabilitet ved bruk av MIO Vi ønsket å få informasjon om MIO gir et observasjonsresultat som i liten grad er påvirket av den enkelte førskolelærers tolkning av observasjonspunktene og registreringen. Derfor valgte vi å la to førskolelærere uavhengig av hverandre observere samme barn innen en tidsramme på to måneder. Vi hadde totalt 90 barn fordelt på de tre aldersgruppene. Disse var valgt ut tilfeldig, men fordelt på kjønn og aldersgruppe. Vi beregnet samsvaret på to måter: Først brukte vi Spearmans rho-korrelasjon i en matrise samlet for de tre aldersgruppene. Dette er en ikke-parametrisk test som først rangerer de originale data og så beregner korrelasjonen mellom dem (Dancey & Reidy, 2004, side 523). De aller fleste observasjonspunktene gir en signifikant korrelasjon mellom de to observasjonene. Det betyr at det var en stor grad av samsvar mellom dem, se figur 3.
5 Figur 3: Observatørreliabilitet, Spearman. Rutene med uthevede tall viser korrelasjonen mellom observatør 1 og 2 for hvert av de tre områdene P, T og G. Vi beregnet også parvis korrelasjon mellom de to observasjonene for hvert alderstrinn ved å bruke Wilcoxon Signed Rank Test som beregner om der er signifikant forskjell mellom to ulike sett av observasjoner for samme utvalg (Dancey & Reidy, 2004, side 527). Vi anser denne for å gi et mer presist bilde. Hvis vi får en antatt signifikans lik eller mindre enn 0.05, er forskjellene mellom de to observasjonene signifikant (Pindell, 2005, side 294). Vi bør derfor ha en verdi som er høyere enn 0.05. I aldersgruppen 4-5 år hadde vi ikke noen med så lav verdi. Tre observasjoner fikk verdier mellom 0.05 og 0.10. I aldersgruppen 3-4 år hadde vi en observasjon under 0.05 og to mellom 0.05 og 0.10. I aldersgruppen 2-3 år hadde vi to observasjoner under 0.05 og en mellom 0.05 og 0.10. De aller fleste beregningene gav en verdi over 0.3, noe vi betrakter som meget tilfredsstillende. Ulike brukere synes å ha samme tolkning av observasjonspunktene, hva som skal observeres hos barnet og hvordan dette så skal registreres, se figur 4. De observasjonspunktene som på Wilcoxon kom ut med signifikant verdi (dvs. at vurderingene til observatør 1 og 2 var signifikant forskjellige), har vi vurdert og presisert i veiledningen. Vi har også foretatt noen mindre endringer i ordlyden for å bedre presisere hva vi ønsker observert. I dette arbeidet vurderte vi også resultatene fra Spearmans korrelasjoner og finner godt samsvar.
Figur 4: Observatørreliabilitet, Wilcoxon Signed Rank Test, etter aldersgrupper 6
7 E: Konklusjoner Slik observasjonsskjemaet nå er, mener vi at piloteringen og de statistiske analysene tyder på tilfredsstillende validitet. Det vil si at materialet gir et reelt bilde av de forhold det var tenkt å vise. Også materialets reliabilitet er god. Det vil si at resultatene vil være like ved gjentatte observasjoner av samme førskolelærer overfor samme barn. Observasjonspunktene i MIO tolkes likt eller tilnærmet likt av ulike brukere. Dette er viktig når personalet i barnehagen bruker informasjonen MIO gir. Referanser: Bryman & Cramer (1995): Routlegde, 1995 Quantitative Data Analysis for Social Sciences. Dancey, C.P. & Reidy, J. (2004): Statistics Without Maths for Psychology. (3 rd ed.) Pearson, Prentice Hall, 2004 Davidsen, H. S. (2006) Matematikk i barnehagen utvikling av observasjonsverktøyet MIO (Matematikken mellom Individet og Omgivelsene). Spesialpedagogikk, nr 4, s. 16-20. Magne, O. (1998): Att lyckas med matematik i grundskolan. Lund: Studentlitteratur. Magne, O. (2005): Om SUM-elever og nyere spesialpedagogisk tenking i matematik. Landskonferansen Fra vanske til mestring II, Konferanserapport, Sørlandet kompetansesenter, Kristiansand Mazzocco, M.M.M. & Thompson, R.E. (2005): Kindergarten Predictors of Math Learning Disability. Learning Disabilities Research & Practice, vol. 20, no 3 (2005), pp. 142-155 Pallant, J. (2005): SPSS Survival Manual. (2 nd ed.) Open University Press, London.
Tillegg: Observasjonspunktene ved andre pilotering. 8
9