Refleksjonar knytt til utvikling og bruk av observasjonsskjema

Transkript

1 Notat 3/2009 Leif Bjørn Skorpen Refleksjonar knytt til utvikling og bruk av observasjonsskjema Erfaringar frå to klasseromsforskingsprosjekt 2009

2 Forfattar Ansvarleg utgjevar ISSN Sats Distribusjon Leif Bjørn Skorpen Høgskulen i Volda Forfattar Leif Bjørn Skorpen er høgskulelektor ved Institutt for realfag, Høgskulen i Volda. Forfattar/Høgskulen i Volda Føresegnene i åndsverklova gjeld for materialet i denne publikasjonen. Materialet er publisert for at du skal kunne lese det på skjermen eller framstille eksemplar til privat bruk. Utan særskild avtale med forfattar/høgskulen i Volda er all anna eksemplarframstilling og tilgjengeleggjering berre tillate så langt det har heimel i lov eller avtale med Kopinor, interesseorgan for rettshavarar til åndsverk. Notatserien er for ulike slag publikasjonar av mindre omfang, t.d. forprosjektnotat, foredrag, artikkelutkast o.a. Eit hovudføremål med serien er å stimulere til publisering og fagleg debatt i miljøet. Spreiinga går i hovudsak til fagmiljøet i Volda, til eksterne fagmiljø og personar som forfattar(ar) ønskjer kommentarar frå. Kvar forfattar er ansvarleg for sitt arbeid.

3 Innhald Bakgrunn for val av problemområde... 4 Klasseromsstudiar som metode... 4 Metode og utval i Kupp-prosjektet... 6 Kort om Kio-prosjektet... 9 Utvikling av observasjonsskjema til Kupp Utvikling av observasjonsskjema til Kio Nye variablar Namneendringar, samanslåing og sannering av variablar Kvalitetssikring av observasjonssinstrumenta Reliabilitet Validitet Forbetring av datakvaliteten Litteratur Vedlegg Vedlegg Vedlegg

4 Bakgrunn for val av problemområde I to ulike forskingsprosjekt har eg vore med på prosessane med å utvikle observasjonsskjema og brukt desse i klasseromsobservasjonar. Det første hadde tittelen: Begynnaropplæring og tilpassa undervisning kva skjer i klasserommet? 1 (Haug, 2006b) og gjekk føre seg i perioden Dette var eit samarbeidsprosjekt mellom seks forskarar under leiing av Peder Haug. I perioden er eg med i prosjektet Kvalitet i opplæringa 2 ( Peder Haug er leiar også for dette prosjektet. I begge desse prosjekta har klasseromsobservasjonar ved hjelp av observasjonsskjema ei sentral rolle. Problemstilling Refleksjonar knytt til utvikling og bruk av observasjonsskjema erfaringar frå to klasseromsforskingsprosjekt. Klasseromsstudiar som metode For å få kunnskap om livet i klasserommet kan ulike metodar og forskingstilnærmingar nyttast. Spørjeundersøkingar, intervju og ulike observasjonsmetodar er dei mest vanlege. Observasjon er ein direkte metode, og kan dermed gje meir informasjon om hendingar, tilhøve og situasjonar enn data innsamla ved hjelp av andre metodar kan gje. Ved bruk av observasjon spør ein ikkje folk kva dei gjer, følar eller kva holdningar dei har. Ein observerer kva dei gjer, lyttar til kva som vert sagt, og tolkar dette i lys av konteksten (Vedeler, 2000, s. 12). Observasjon er godt eigna til å få informasjon om korleis personar omgåast kvarandre og korleis dei forheld seg til kvarandre (Thagaard, 2003, s. 12). Følgjeleg har observatøren ei svært sentral rolle i denne type forsking, noko eg kjem tilbake til seinare. Observatøren kan ha ulike roller under observasjonane. Det eine ytterpunktet er at observatøren deltek fullstendig på lik line med dei andre deltakarane i dei aktivitetane han/ho skal observere. Dette vert kalla fullstendig deltakande observasjon. Det andre ytterpunktet er ei fullstendig uavhengig observatørrolle, der observatøren står heilt utanfor aktiviteten og observerer det heile frå sidelinja ( floge på veggen-rolle ). I praksis vil observatøren ofte ha 1 Prosjektet var finansiert av Noregs forskingsråd, som del av programmet Kunnskapsutvikling i profesjonsutdanning og profesjonsutøvelse (KUPP), og av Høgskulen i Volda. 2 Også dette prosjektet er finansiert av Noregs forskingsråd, som del av programmet Praksisrettet FoU i grunnopplæring og lærerutdanning, og av Høgskulen i Volda. 4

5 ei rolle som ligg ein stad mellom desse ytterpunkta. Vedeler (2000, s. 18) innfører to slike mellomroller som ho omtalar som deltakande observatør og observatør som deltakar. Eit metodologisk problem ved all observasjonsforsking er den innverknaden forskaren har på situasjonen han/ho skal observere. Den eller dei som skal observerast reagerer på at dei vert observert, og kan dermed kome til å handle annleis enn dei ville gjort utan observatøren til stades. Dette fenomenet vert av Grønmo (2004, s. 9) omtalt som reaktivitet eller kontrolleffekt, medan Vedeler (2000, s. 109) kallar det observatøreffekt. Problemet kan reduserast ved at forskaren arbeidar for å bli best mogleg integrert i det miljøet han/ho skal studere, og at aktørane får god informasjon om forskinga. Spesielt viktig er det å framheve dei etiske sidene ved studien, personvern, anonymisering og konfidensiell handsaming av personopplysningar (Grønmo, 2004, s. 151). Eit anna problem knytt til forskaren sin innverknad på observasjonsdata er såkalla observatørbias. Observatørbias er systematiske feil i observasjonane som følgje av karakteristiske trekk ved observatøren, som til dømes haldningar, oppfatningar, sympatiar/ antipatiar osv. Dette kan gje seg utslag i form av selektiv merksemd, selektiv koding og tolking eller selektiv hukommelse (Vedeler, 2000, s ). Observasjonar vert brukt i samband med både kvalitative og kvantitative forskingsmetodar. Ved strukturert observasjon (kvantitativ observasjonsforsking) ynskjer ein å registrere den observerte åtferda i nokre veldefinerte kategoriar. Når ein utformar observasjonsskjemaet vil ein med utgangspunkt i forskingsspørsmålet prøve å definere variablar som kan operasjonaliserast, slik at ein under sjølve observasjonen veit kva ein skal sjå etter og kan registrere det ein ser i dei rette kategoriane. I observasjonsforskning med kvantitativ tilnærming er det altså operasjonalisering av variabler som bestemmer observasjonskategoriene og konstruksjonen av observasjonsskjemaet (Vedeler, 2000, s ). Kvaliteten på dei observasjonskategoriane ein utviklar vil ha innverknad på reliabiliteten til dei data som vert samla inn ved hjelp av observasjonsskjemaet. Eit sentralt problem ved strukturert observasjon er at ein på førehand må ha gjort seg opp ei meining om kva ein kjem til å møte i felten (observere), og utforme observasjonskategoriar for å kunne registrere desse på ein enkel og eintydig måte. 5

6 Metode og utval i Kupp-prosjektet Datamaterialet vart samla inn gjennom klasseromsobservasjonar. Ca. ni klassar 3 frå 1. til 4. klassesteg vart observert i to veker per år i tre år ( ). Utvalet av skular og klassar var ikkje tilfeldig. Dei vart valde ut for å oppnå variasjon mellom by- og bygdeskular, store og små skular og store og små klassar osv. Klassane kom frå sju skular frå fem ulike kommunar innanfor same fylke 4. Me ynskte å observere normaltfungerande klassar og lærarar. Det vart oppretta kontakt med aktuelle skular og lærarar via skulesjef og rektor. Den einskilde lærar stod sjølvsagt fritt til å takke ja eller nei til tilbodet om å vere med. Totalt bestod utvalet av 17 lærarar der fire av dei var med alle tre åra (Haug, 2006a, s ). Seks observatørar frå ulike fagmiljø samla inn materiale til ein felles database. Kvar observatør observerte ca. tre klassar kvart år ved å følje kvar av klassane i alle timane og aktivitetane gjennom ei veke. Observasjonsperiodar på ei veke vart vald med utgangspunkt i erfaringar frå ein liknande studie, Klasserommets praksisformer gjennomført av Kirsti Klette mfl. i samband med evalueringa av L97 (Klette, 2003b, s. 26). Vår studie var inspirert av og var delvis ein vidareføring av denne. Observasjonane vart gjennomførte ved ein kombinasjon av kvalitative og kvantitative metodar. Kvart femte minutt vart det gjort registreringar i eit observasjonsskjema. Registreringane tok sikte på å fryse eit bilete av det som gjekk føre seg i klasserommet ved det tidspunktet observasjonen vart gjennomført. Observasjonsskjemaet var bygd opp av ca. 50 variablar fordelte på føljande fire hovudkategoriar: Kva læraren gjorde, kva ein utvald elev gjorde, kva klassen gjorde og det faglege innhaldet (sjå vedlegg 2). Utforming og innhald i skjemaet bygde på det skjemaet Klette mfl. brukte, men me auka talet på variablar (sjå vedlegg 1 og 2). Mellom kvart observasjonstidspunkt vart det ført observasjonslogg. Loggen hadde fleire funksjonar. Han vart brukt til å utdjupe og forklare den scena som observasjonsskjemaet var eit augneblikksbilete av, og til å fange opp kommunikasjon mellom dei ulike aktørane i klasserommet. Han vart også brukt til å skildre det faglege innhaldet, og til å skildre meir typiske trekk ved livet i klasserommet. 3 Ti klassar første året, ni klassar andre året og åtte klassar tredje året. Fem av klassane vart følgde gjennom alle tre åra, nokre gjennom to år og nokre berre eitt år. Til saman vart det gjennomført observasjonar i tretten ulike klassar. 4 To bykommunar og tre landkommunar. To av landkommunane har industri som hovudnæring og den tredje har jordbruk og offentleg verksemd som hovudnæring. 6

7 Eit enkelt kodesystem kopla loggane til dei ulike tidspunkta i observasjonsskjemaet, sjå døme 1. Døme 1, 3. klasse: T25: Dei diskuterer ulike sanksjonar mot problemoppførsel på ein roleg, sakleg og forståelsesfull måte : Lærar: No må vi ta opp Pluss-bøkene! Ein elev vil sei noko, men lærar presiserer at no må dei gå i gang med Plussbøkene. Hjelpelærar deler ut kalkulatorar. Lærar skriv på tavla: 23/26/27. Lærar hjelper elev A. T3: Lærar hjelper elev A. Hjelpelærar hjelper elev B på bakerste benk. Klassen arbeider stille. Elev C og elev D rettar opp handa og spør kva siffer er. Det er fleire elevar som lurer på kva eit siffer er. Lærar går fram til tavla og seier: Det er lenge sidan vi hadde om dette. Kva er eit siffer? Ein elev foreslår eit tal. Lærar spør då kva eit tal er. (Her observerer eg at alle som har sagt noko ser ut til å mangle omgrepsskille mellom tal og talsymbol.) Lærar skriv på tavla T4: Dei snakkar om talet på siffer i fleirsifra tal. Før lærar skriv eit nytt tal på tavla snakkar dei om tal og siffer. Elevane arbeider med oppgåver i bøkene sine. Plussboka side 23, 26 og 27. Ved slutten av kvar observasjonsveke vart det gjennomført eit formalisert intervju med lærarane etter ein felles utarbeida intervjumal. Opplysningar frå meir uformelle samtalar med lærar i løpet av observasjonsveka vart også notert undervegs. Etter kvar observasjonsøkt vart loggane reinskrivne og gjort tilgjengelege for alle seks forskarane i prosjektet. Resultata frå observasjonsskjemaet vart lagt inn og handsama i statistikkprogrammet SPSS. I løpet av prosjektperioden vart det kvart år gjennomført eit todagars møte mellom observatørane og alle lærarane som var blitt observerte. Der vart funna våre presenterte og diskuterte, og informasjon vart utveksla. 5 T2 refererer til tilsvarande registrering i observasjonsskjema, som er andre registrering den timen. Timen starta med T1 klokka Ved T2 er klokka

8 Det at seks personar med ulik fagbakgrunn og med ulike fokus i sine delprosjekt samla inn data til ein felles database, hadde både positive og negative konsekvensar for datamaterialet. For det første gav ein felles database ei større datamengde enn om kvar deltakar hadde samla data berre til sitt eige delprosjekt. Det at kvar observatør følgde mange klassar gjennom all undervinsinga elevane fekk i løpet av ei veke, førte til at kvar einskild observatør og forskargruppa samla, fekk ei rimeleg bra oversikt over begynnaropplæringa i dei klassane me besøkte. Ei negativ side ved denne måten å samle inn data på var at den einskilde forskar si moglegheit til å gå i djupna innanfor sitt fagfelt blei mindre enn det ein kunne tenkt seg om kvar einskild hadde brukt like mykje tid til å samle inn data eksplisitt til sitt delprosjekt. For å redusere den negative verdien av dette, arbeidde me for at alle deltakarane skulle vere best mogleg orienterte om problemstillingane innanfor kvart av delprosjekta. Dette vart gjort blant anna gjennom prosjektpresentasjonar både i munnleg og skriftleg form. Datainnsamlingsinstrumenta vart utvikla i fellesskap over relativt lang tid. I løpet av utviklingsfasen fekk me høve til å bli kjende med dei ulike delprosjekta sine behov for informasjon. Gjennom observasjonsfasane møttest me ofte, utveksla erfaringar og diskuterte problem som dei ulike observatørane opplevde. På den måten utvikla me ei større felles forståing både i bruken av instrumenta og for innhaldet i dei ulike delprosjekta (Haug, 2006a, s. 13). 8

9 Kort om Kio-prosjektet På Kio-prosjektet si heimeside, finn ein følgjande målformuleringar: Hovudmålet med prosjektet er å få større kunnskap om korleis kvalitet i undervisninga er forstått, praktisert og opplevd i skulen ut frå perspektiv knytt til omgrepet tilpassa opplæring. Delmåla med studien er å få svar på følgjande: Korleis prioriterer og arbeider kommunar og skular med tanke på å utvikle kvaliteten på opplæringa innanfor tilpassa opplæring? Korleis planlegg, gjennomfører og evaluerer lærarane opplæringa i utvalde klassar? Korleis erfarer og vurderer elevar og foreldre den opplæringa som går føre seg? Prosjektet er bygd opp av to hovuddelar: Ein kvantitativ og ein kvalitativ del. Eg konsentrerer meg i dette skrivet utelukkande om ein liten del av den kvantitative undersøkinga den delen som går på observasjon i klasserommet ved bruk av observasjonsskjema. I Kio-prosjektet har me også brukt observasjonsskjema og protokoll, men bruken av protokollen er kraftig nedtona i høve til Kupp-prosjektet. Det formaliserte intervjuet med lærarane i dei klassane me observerte i Kupp, er i Kio bytta ut med spørjeskjema til alle lærarane ved skulen. Elevane og dei føresette til elevane i dei klassane me har observert har også svart på spørsmål frå spørjeskjema. Det same gjeld skuleleiinga ved kvar av dei skulane der me har gjort observasjonar. Totalt har me vore på besøk på 26 skular og i 45 klassar, 15 klassar på kvart av tredje, sjette og niande klassetrinnet. Me har følgd elevane i alle timane gjennom ei heil veke i kvar av klassane. 16 kommunar i tre fylker vart valde ut etter ulike kriterium. Me valde eit fylke som låg høgt, eit som låg middels og eit som låg lågt på gjennomsnittlege grunnskuleresultat. Innanfor desse fylka valde me kommunar ut frå ynskje om variasjon både i kommunestorleik (Kostra-definisjonen) og i to- og trenivåkommunar. Me ynskte også variasjon i utvalet av kommunar som brukte mykje, middels eller lite midlar på skulesektoren (Kostra-gruppering). Innanfor dei utvalde kommunane valde me skular ut frå ynskje om variasjon i skulestorleik, små, middels og store skular (GSI). I utvalet vårt har me med både reine barneskular, reine 9

10 ungdomsskular og kombinerte barne- og ungdomsskular. Berre fulldelte skular inngår i utvalet (Halse og Haug, 2008, s. 5). Utvikling av observasjonsskjema til Kupp Kupp-prosjektet var, som tidlegare nemnt, inspirert av og bygde på prosjektet Klasserommets praksisformer leia av Kirsti Klette, og gjennomført som del av evalueringa av Reform 97 (Klette, 2003b). Strukturert observasjon er ein godt eigna observasjonsmetode for å finne ut kva som vert gjort og kor mykje tid som vert brukt på ulike aktivitetar i skulen. Eit sentralt problem ved strukturert observasjon er at ein på førehand må ha gjort seg opp ei meining om kva ein kjem til å møte i felten (observere), og utforme observasjonskategoriar for å kunne registrere desse på ein enkel og eintydig måte. Ved utvikling av skjemaet tok me utgangspunkt i det skjemaet Klette og hennar medarbeidarar hadde nytta (sjå vedlegg 1), og bygde vidare på det. Vårt skjema var, som tidlegare nemnd, inndelt i følgjande fire hovuddelar: 1. Kva læraren gjer. 2. Kva ein enkelt utvald elev gjer. 3. Kva klassen gjer. 4. Det faglege innhaldet i aktiviteten til det klassen gjer. Innanfor kvar av desse hovuddelane innførte me mange ulike kategoriar. Det vart gjort ut frå ynskje om å fange opp, og få eit mest mogleg nyansert bilete av aktiviteten i klasserommet. Ved utvikling av skjema arbeidde me ut frå hypotesen om at dess meir detaljert observasjonsskjemaet er, dess lettare vert det å fange opp nyansane i den situasjonen som vert observert. Når Klette (2003b) fann relativt lite elevaktivitet i sitt materiale, kunne det skuldast at det verkeleg var lite av den type aktivitet, men det kunne også skuldast at observasjonskategoriane dei brukte var grove og omfattande, og at dei dermed ikkje fekk registrert dei ulike nyansane i det som gjekk føre seg. For å motverke det siste tilfellet ynskte me å bruke eit meir nyansert observasjonsinstrument. I prosessen med å operasjonalisere variablane prøvde me å sjå føre oss mange ulike situasjonar i klasserommet og utvikla ulike kategoriar for å kunne registrere desse. Me erkjente sjølvsagt at det er uråd å føresjå alle moglege situasjonar som kan inntreffe eller som kan vere av interesse å få registrert, men prøvde å opprette kategoriar for så mange som mogleg innanfor overkomelege rammer. Dette førte til eit skjema som bestod av totalt ca. 50 observasjonskategoriar (variablar), sjå vedlegg 2. Sjølve 10

11 utviklinga av skjemaet i form av å finne fram til og operasjonalisere variablane gjekk føre seg i samla forskargruppe. Observasjonane i Kupp strakte seg over tre skuleår. Mellom kvart skuleår evaluerte me skjemaet, og gjorde små endringar der det var naudsynt. Blant anna registrerte me raskt at det i einskilde klassar var mange vaksne tilstades samstundes. Det kunne vere ein ekstra lærar, assistent, spesialpedagog eller representantar frå andre yrkesgrupper/funksjonar. På det meste vart det registrert at 11 ulike vaksne var innom eitt av dei observerte klasseromma i løpet av ein dobbeltime. Me innførte av den grunn ein variabel andre vaksne for på ein enkel måte å kunne registrere i kor stor del av tida det var meir enn ein vaksen inne i rommet. Funksjonen til denne/dei ekstra vaksne gjekk fram av loggen. Som supplement til observasjonsskjema skreiv me heile tida detaljert logg. Kombinasjonen av kvantitativ og kvalitativ datainnsamlingsmetode fungerte etter vårt syn godt ut frå dei problemstillingane me arbeidde etter. Utvikling av observasjonsskjema til Kio Det var naturleg å planlegge Kio-prosjektet som ei vidareutvikling av Kupp-prosjektet. I staden for å samle inn kvantitative og kvalitative data samstundes slik me gjorde i Kuppprosjektet, valde me no å dele prosjektet inn i to fasar. Første fase bestod av ein stor kvantitativ datainnsamling der 15 forskarar var ute i til saman 45 klassar 6, ei veke i kvar klasse. I denne fasen var observasjonsskjema det sentrale instrumentet for datainnsamling. Loggen vart brukt berre til korte og supplerande opplysningar, i utgangspunktet til bruk berre for observatøren sjølv for å kvalitetssikre registreringane i skjema. Observasjonsvekene vart også brukte til å dele ut og samle inn igjen spørjeskjema til lærarar, elevar og foreldre. Spørjeskjema til skuleleiarane vart sende ut elektronisk i slutten av vårsemesteret. I og med at loggen skulle spele ei langt mindre viktig rolle i dette prosjektet enn det han hadde gjort i Kupp, var det naudsynt å vidareutvikle observasjonsskjema, slik at dette i større grad kunne stå på eigen bein. Ei gruppe fekk ansvaret for å revidere og vidareutvikle 6 Omgrepet klasse vart avvikla i grunnskulen i 200?. I staden nyttar ein fleire ulike omgrep som storgruppe, seminargruppe, basisgruppe, kontaktlærargruppe, smågruppe osv Me har vald å nytte det gamle omgrepet klasse som eit samleomgrep på grupper som består av om lag elevar. 11

12 observasjonsskjemaet, medan andre grupper arbeidde med utvikling av spørjeskjema til ulike informantgrupper. Eg deltok i den gruppa som hadde ansvaret for observasjonsskjemaet. Nye variablar Det var naturleg å halde fast på grunnstrukturen i observasjonsskjemaet frå Kupp, med dei fire hovudkategoriane for å registrere kva lærar gjer, kva ein utvald elev gjer, kva klassen gjer og kva som er det faglege innhaldet. Det vart tidleg klart for oss at me trengte fleire kategoriar for å registrere det faglege innhaldet og måten det vart arbeidd med lærestoffet på. Dette førte til ein del nye kategoriar i Kio-skjemaet i høve til Kupp-skjemaet. Me innførte eigne kategoriar for elevinitierte diskusjonar/forteljingar, prøve/framføring, disiplinering, rutinesituasjonar og venting. Desse vart plasserte i hovudkategorien innhaldet. Det vil ofte vere ein glidande overgang mellom kva klassen held på med og kva som er innhaldet i timen. Når skjemaet skulle lagast måtte me velje i kva hovudkategori dei ulike variablane skulle plasserast. No i ettertid ser eg at variabelen utfører pauseaktivitet er plassert i hovudkategorien kva klassen held på med, medan rutinesituasjonar og venting er plasserte i hovudkategorien innhaldet. Under kva hovudkategori desse tre mest naturleg høyrer heime kan diskuterast, men dei burde vore samla under ein av dei. Årsaka til at desse hamna i ulike hovudkategoriar var truleg at rutinesituasjonar og venting var nye kategoriar som vart innført saman med andre nye kategoriar under innhaldet, medan utfører pauseaktivitet var ein omdøypt variabel som i Kupp-skjema hadde sin plass i hovudkategorien klassen. Nokre nye kategoriar vart oppretta med utgangspunkt i spesielle forskingsinteresser i dei ulike delprosjekta. Ein av forskarane har spesielt fokus på bruk av elevbøker på niande klassetrinnet. Me oppretta derfor ein variabel for å registrere om elevbøkene ligg framme/er i bruk. Eit anna delprosjekt har fokus på framandspråklege elevar og fleire av delprosjekta er knytt til spesialundervisning. Me oppretta av den grunn to nye variablar for å kunne registrere om elevar er ute til norsk2-undervisning og om elevar er ute til spesialundervisning Medan datainnsamlinga i Kupp-prosjektet gjekk føre seg, vart det tradisjonelle klasse - omgrepet oppheva, og det vart frå departementet si side opna for at dei ulike skuleeigarane kunne organisere elevgruppene på ein friare måte. Dette fekk ingen umiddelbare konsekvensar for Kupp-observasjonane, men ved utforminga av observasjonsskjemaet for Kio, måtte me ta omsyn til at me kom til å møte ulike organiseringsformer. Me oppretta 12

13 derfor ein kategori for delt klasse og ein for storgruppe/samanslåtte klassar. Innanfor kvar av desse kan det gå føre seg heilklasseundervisning, gruppearbeid eller individuelt arbeid. For å gjere bruken av skjema enklare, har me prøvd å samle kategoriar som i utgangspunktet er venta å vere innbyrdes utelukkande, eller som står i eit tematisk slektskap til kvarandre, i grupper omslutta av tjukke svarte linjer. Til dømes er dei to kategoriane delt klasse og storgruppe/samanslåtte klassar innbyrdes utelukkande. To av dei tre kategoriane arbeider etter arbeidsplan, arbeider med felles arbeidsoppgåver og arbeider med differensierte arbeidsoppgåver er innbyrdes utelukkande, men ikkje alle tre. Enten arbeider klassen med felles arbeidsoppgåver eller så arbeider dei med differensierte arbeidsoppgåver. Desse to kategoriane er altså innbyrdes utelukkande, men kvar av dei kan inngå som ein del av ein arbeidsplan. Dei er samla mellom tjukke linjer for å markere den tematiske slektskapen mellom dei (sjå vedlegg 3). I og med at me har eit spesielt fokus på lærar og på ein utvald elev, bør det ved kvart observasjonstidspunkt alltid vere mogleg å sette minst eitt kryss for kvar av desse. Om ein av desse er borte frå klasserommet i kortare eller lengre tid, vil det vere ynskjeleg å aktivt kunne markere det ved eit kryss, ikkje berre indirekte ved mangel på kryss. Følgjeleg oppretta me kategorien er ikkje tilstades for lærar og eleven er borte frå klasserommet for den utvalde elev. For å kunne få litt meir informasjon om form og innhald i den lærarstyrte undervisninga, innførte me dei to nye variablane gjennomfører «kald start» og motiverer/inspirerer. I ettertid ser eg at det kunne vore gunstig på ein enkel måte å kunne skilje mellom faglege og ikkje-faglege rutinesituasjonar. Dette kunne vore løyst ved å ha to ulike variablar, ein for fagleg rutinesituasjon og ein for ikkje-fagleg rutinesituasjon. I skjema er det berre ein variabel for rutinesituasjonar. Om det er ein fagleg eller ikkje-fagleg rutinesituasjon som er registrert må tolkast på grunnlag av om det er kryss både i rutinesituasjonar og eit spesifikt fag, eller om det berre er kryssa for rutinesituasjonar, utan samstundes å vere kryssa for eit bestemt fag. Ein veikskap ved denne siste løysinga er at det vert vanskeleg å fange opp ein situasjon der det inne i ein fagleg sekvens vert brukt tid på ein ikkje-fagleg rutinesituasjon. 13

14 Namneendringar, samanslåing og sannering av variablar Talet på variablar var i grunnen stort nok i Kupp-skjemaet. Samstundes som me no oppretta nye kategoriar, måtte me dermed også stryke gamle. Me valde då i første omgang å stryke variablar som reint teknisk kunne seiast å vere overflødige. Til dømes valde me å stryke dei tre kategoriane som markerte om den utvalde eleven var ein del av klassen, ei gruppe eller arbeidde individuelt. Dette kunne gjerast fordi den ytre organiseringa som den utvalde eleven inngjekk i, ville bli fanga opp av tilsvarande kategoriar for heile klassen og av andre kategoriar i skjema. I Kio-skjemaet hadde me ein open kategori, anna, både for alle dei fire hovudkategoriane lærar, utvald elev, klassen og for innhald. Desse vart brukte for å markere at det vart skrive utdjupande informasjon om ein eller fleire av desse hovudkategoriane i observasjonsloggen. Trongen for å spare plass gjorde at me avgrensa det til berre ein kategori for å markere at det vart skrive utfyllande kommentarar i loggen. Det vil gå fram av loggen kva dette gjeld. I Kupp-prosjektet observerte me berre småskulesteget (1. 4. klasse). I Kio skulle det same skjemaet brukast både på 3., 6. og 9. klassesteget. Dette medførte visse endringar. Blant anna kutta me ut variabelen leikprega aktivitet, og innførte i staden den meir omfattande variabelen utfører pauseaktivitet. Frå hovudkategorien læraren kutta me også ut variablane høgtlesing, forteljing og lærar beveger seg rundt. Situasjonar der lærar beveger seg rundt vil normalt inngå i ein større samanheng, og vil dermed bli fanga opp av andre observasjonskategoriar. På observasjonsskjema i Kupp hadde me kategorien spørsmål/ svarsekvens/klassesamtale både for lærar og klasse. Her valde me å halde fast på denne variabelen for lærar, og stryke han frå klassen. Kombinasjonen av kryss for denne variabelen hos lærar og kryss for ein av variablane lyttar til lærar eller lyttar til medelev for klassen vil fange opp den aktuelle situasjonen. I neste omgang såg me etter variablar som kunne samlast og slåast saman til nye variablar. Til dømes hadde me i hovudkategorien utvald elev tre variablar: Svarar på spørsmål frå lærar/ medelev, munnleg aktivitet og høgtlesing. Desse omhandla grovt sett same tema. Me valde derfor å samle dei i ein ny variabel under namnet utfører fagleg munnleg aktivitet. I Kupp-skjemaet hadde me ein kategori for at læraren sit ved kateteret. For det første var dette ikkje ein spesielt høgfrekvent variabel. For det andre er det mindre viktig kvar læraren 14

15 sit. Det som er interessant for oss å få tak i, er kva læraren gjer. Om han/ho er aktiv overfor elevane eller held på med sitt, og dermed er inaktiv overfor elevane. Følgjeleg endra me variabelen sit ved kateteret til inaktiv i høve til elevane. Om læraren er aktiv overfor elevane, vil det bli fanga opp av dei andre variablane, der ein også får registrert kva type aktivitet det dreiar seg om. I tillegg vart det også gjort nokre mindre språklege endringar for nokre variabelnamn. Til dømes vart skaper uro endra til forstyrrar, har handa oppe vart endra til ventar på lærar, samarbeider med medelev vart endra til samhandling med medelev osv. På grunn av dei store datamengdene denne innsamlinga ville medføre, vart det tidleg bestemt at digitaliseringa av observasjonsskjema til datamatrise burde gjerast maskinelt. Observasjonsskjemaet måtte dermed utformast slik at det kunne lesast av ein scanner. Dette førte blant anna til at variabelen fag, som i Kupp-skjemaet vart registrert i form av ein bokstavkode som bestod av dei to tre første bokstavane i fagnamnet, no vart splitta opp i tolv nye variablar. Ein variabel for kvart fag i grunnskulen. Me valde denne løysinga for å gjere bruken av skjema i observasjonssituasjonen så enkel som mogleg. Det same problemet stod me overfor med variabelen språk, som i Kupp-skjemaet kunne registrerast med ein bokstav for å symbolisere kva språk lærar eller den utvalde eleven snakka. Her valde me ei anna løysing ved at me i Kio-skjemaet forenkla denne variabelen til språk, anna enn norsk. Konsekvensen av denne endringa er at me berre får registrert at det vert snakka eit anna språk enn norsk, ikkje kva språk som vert snakka. Denne løysinga vart vald for å unngå å auke talet på variablar, og ut frå erfaringar frå Kupp-prosjektet som viste at dette var ein relativt lågfrekvent variabel. I og med at det er venta relativt få registreringar for denne variabelen, kan den som er spesielt interessert i akkurat desse observasjonane få tilgang til loggane frå dei aktuelle observatørane. Desse endringane som eg no har omtala har i hovudsak gått i to retningar. For det første har me oppretta ein del nye variablar for å prøve å få eit meir nyansert bilde av dei situasjonane me er spesielt interesserte i å observere. For å unngå at det samla talet på variablar vart for stort, måtte ein auke i talet på variablar innanfor nokre områder føre til reduksjon i talet på variablar på andre områder. For å gjere dei negative konsekvensane av desse reduksjonane 15

16 minst moglege, har me prøvd å gjere reduksjonane så varlege som mogleg. Talet på variablar i Kio-observasjonsskjemaet vart dermed totalt 65. Dette kan i første omgang verke stort og uoversiktleg, men i og med at 12 av dei går med til å identifisere kva fag det vert arbeidd med, og at det i mange av timane vert arbeidd med same faget ein heil time i gangen, vert det likevel relativt enkelt å forholde seg til desse. Om ein då ser bort frå desse 12 fagvariablane, sit ein att med 53 variablar, altså berre to fleire enn i Kupp-skjema. Ved at skjemaet er delt inn i fire tydelege hovudkategoriar, og kvar av dei inneheld om lag 15 variablar, vert det oversiktleg og relativt enkelt å bruke. Erfaringar frå observasjonane i både Kupp- og Kioprosjektet viste at det ikkje tok lang tid å bli kjende med skjema. Kvalitetssikring av observasjonssinstrumenta Reliabilitet Reliabilitet seier noko om kor påliteleg datamaterialet er. Dersom datasettet er påliteleg vil ein få identiske data når ein brukar det same undersøkingsopplegget ved ulike innsamlingar av data om dei same fenomena. Reliabiliteten er eit uttrykk for kor stort samsvar det er mellom datasetta frå slike gjentekne datainnsamlingar. Reliabiliteten er høgre dess større samsvaret er. Reliabiliteten avheng både av korleis undersøkingsopplegget er utforma og korleis datainnsamlinga vert gjennomført. For å oppnå høg reliabilitet må undersøkingsopplegget vere utforma så klart at det fungerer på ein eintydig måte og datainnsamlinga må gjennomførast grundig og systematisk (Grønmo, 2004, s ). Det er vanleg å sjå på to ulike aspekt ved reliabilitetsomgrepet; stabilitet og ekvivalens. Stabilitet er knytt til graden av samsvar mellom data om same fenomen, samla inn til ulike tidspunkt ved hjelp av same undersøkingsopplegg (Grønmo, 2004, s. 222). Ekvivalens referer til graden av samsvar mellom innbyrdes uavhengige datainnsamlingar, utført av ulike personar, på same tidspunkt (Grønmo, 2004, s. 223). I faglitteraturen kan ein også finne fenomenet stabilitet omtalt som intra-observatørreliabilitet og ekvivalens omtalt som inter-observatør-reliabilitet (Vedeler, 2000, s. 141). I vårt tilfelle vil det vere mest aktuelt å fokusere på ekvivalens. Det var fleire personar som brukte same observasjonsskjema til å observere aktiviteten i ulike klasserom. Ville ulike observatørar tolke og registrere dei same hendingane på same måten? Ein vanleg måte å teste ekvivalens på er at fleire observatørar observerer og registrerer dei same hendingane samstundes. Etterpå kan ein gå gjennom datamaterialet og undersøke graden av samsvar mellom registreringane frå dei ulike observatørane. Di meir tolking dei ulike 16

17 observasjonskategoriane krev av observatørane, dess mindre samsvar kan ein vente mellom registreringar frå ulike observatørar. Ein kan tenke seg dei ulike observasjonskategoriane spreidde utover ein akse, der ein i den eine enden finn typiske fenomenkategoriar, og i den andre, typiske vurderingskategoriar. Kvar av dei ulike observasjonskategoriane vil då plassere seg ein stad mellom dei to ytterpunkta på aksen. Dei mest typiske fenomenkategoriane er i utgangspunktet relativt enklast å identifisere. Vedeler (2000, s. 96) avgrensar dette kontinuumet til tre kategoriar av observasjonsvariablar; deskriptive variablar, observasjonsvariablar som må tolkast og observasjonsvariablar som er avhengig av vurdering. Dei deskriptive variablane, som svarar til fenomenkategoriane, er definerte operasjonelt, og krev dermed lite tolking av observatøren. Dei deskriptive variablane gjev mest reliable data. Ei målsetting under utviklinga av skjema var å finne fram til kategoriar som var mest mogleg deskriptive, som i størst mogleg grad fanga opp aktiviteten i klasserommet, og som på den måten gjorde bruken av skjemaet mest mogleg eintydig å bruke. Eit døme på ein slik deskriptiv variabel kan vere variabel 43 i vedlegg 3, elevbøkene er framme/i bruk. Her er det nok å observere og registrere om elevbøkene ligg på pulten eller er i bruk. Det var likevel ikkje til å unngå at nokre av observasjonskategoriane krev meir tolking eller vurdering enn andre. Til dømes vil variabel nr. 45 i vedlegg 3, klassen er uroleg, gjerne måtte vurderast. I observasjonsmanualen har me spesifisert denne variabelen slik: Det er uro i klassen som forstyrrar eller påverkar dei aktivitetane som skal gå føre seg. Når er det kreativ uro, som gjerne er ein føresetnad for å kunne utføre enkelte type aktivitetar, og når går uroa over til å forstyrre aktivitetane? Ulike observatørar kan ha ulik terskel for kva dei oppfattar som uro. Og det må ei vurdering til for å bestemme om denne uroa er av ein slik art at ho forstyrrar aktivitetane. Også innanfor fenomenkategoriane vil det kunne oppstå grensetilfelle der det vert vanskeleg å avgjere om situasjonen er oppfylt eller ikkje. Til dømes skulle ein tru at det var enkelt å avgjere om lærar er tilstades eller ikkje. Eit utdrag frå kommentarane frå ein av observatørane viser at så enkelt er det likevel ikkje: Er ikkje tilstades har nokre gråsoner. Når læraren er på grupperom med nokre elevar, er han då ikkje til stades? Viss døra mellom grupperommet og klasserommet er opa, er situasjonen då annleis enn om døra er lukka? (Observatør nr. 14) 17

18 Det kunne også oppstå problem med å vurdere om elevar som vart tekne ut av klasserommet einskildvis eller i grupper fekk spesialundervisning eller norsk2-undervisning. Som fenomen kunne me registrere at dei vart tekne ut av klasserommet, men det var vanskelegare for observatøren som vart verande igjen i klasserommet å vurdere om det tilbodet dei fekk der ute verkeleg kvalifiserte til å bli kategorisert som spesialundervisning eller norsk2- undervisning. Lærar vart i ettertid sjølvsagt ein viktig informant i denne samanheng. Generelt var det vanskelegare å forholde seg til dei meir utprega vurderingskategoriane. Eit døme på det var kategoriane arbeider etter arbeidsplan, arbeider med felles arbeidsoppgåver og arbeider med differensierte arbeidsoppgåver. Dei planane som vart omtala som arbeidsplanar varierte mykje i form og innhald. Det kunne vere alt frå korte summariske oversikter over kva oppgåvenummer og sidetal elevane skulle arbeide med i bøkene i ulike fag innanfor ein viss tidsperiode, til meir omfattande dokument som i tillegg til å vise til sidetal og oppgåvenummer også inkluderte lærings- eller kunnskapsmål. Planane kunne innehalde liten eller stor grad av valfridom for den einskilde elev. Alle elevane kunne få den same planen eller einskildelevar eller grupper av elevar kunne få planar som var tilpassa dei. Elevane kunne arbeide med arbeidsoppgåver som del av arbeidsplan eller med arbeidsoppgåver som vart gitt av lærar der og då, utan å vere knytt til nokon formell arbeidsplan. Her kunne det altså bli mange moglege kombinasjonar av kryss i dei tre kategoriane, og observatøren måtte gjere mange vurderingar og val undervegs. Klette gjennomførte reliabilitetstestar av det skjemaet som vårt skjema var ei vidareutvikling av. Gjennom reliabilitetsutprøving der fire observatørar brukte skjema i same klasserom fann dei høg grad av samsvar i observasjonsavkryssingane. (Manglande samsvar var knytt til blandingssituasjonar der ein til dømes kunne krysse av både for gir hjelp til enkeltelever og gir hjelp til par/grupper ) (Klette, 2003a, s. 28). I Kupp-prosjektet hadde me hennar testing som utgangspunkt, og valde i tillegg ei litt anna form for kvalitetssikring. Etter dei første dagane med observasjonar møttest alle observatørane for å utveksle erfaringar og for å diskutere korleis ulike situasjonar skulle kodast. Me kopierte opp eit utval av observasjonsskjemaa og loggar og gjekk gjennom desse i samla forskargruppe. Med utgangspunkt i dei fyldige og detaljerte loggane som då var skrivne hadde me eit godt grunnlag for å utvikle ei felles forståing og bruk av dei ulike kategoriane i skjemaet. I tillegg til desse rundane med innkøyring, hadde alle vore saman om å utvikle skjemaet og skrive forklaringar til obsersvasjonskategoriane. Dermed hadde alle førstehandskjennskap til kva dei ulike 18

19 kategoriane var tenkt å dekke. Gjennom heile prosjektperioden møttest forskargruppa jamleg. Dersom det oppstod usikkerheit knytt til korleis konkrete situasjonar skulle kodast i skjemaet, blei desse diskutert i gruppa med støtte frå loggen. God trening i å bruke skjema før ein tek til med observasjonane og tett samarbeid undervegs er tiltak som Vedeler (2000, s. 114) rår til for å redusere effekten av observatørbias. Metodetriangulering kan i følgje Grønmo (2004, s. 56) bidra til å styrke tilliten til både metodane og resultata i ein studie. Som allereie nemnd hadde me i samband med observatørtreninga i starten av observasjonsfasen i Kupp-prosjektet, og gjennom begge prosjekta i form av kvalitetssikring av observasjonsdata, stor nytte av metodetriangulering i form av parallell innsamling og analyse av kvalitative og kvantitative data. I Kupp-prosjektet bidrog også forskartriangulering til å auke reliabiliteten av observasjonsdata. Alle klassane hadde kvart år besøk av to ulike forskarar som observerte ei veke kvar. Dei klassane som var med alle tre åra hadde dermed moglegheit til å bli observert av seks ulike forskarar i løpet av den perioden. I følgje Vedeler (2000, s. 120) vil ein ved å nytte forskartriangulering kunne motvirke bias som kan oppstå når berre ein person gjer all datainnsamlinga og analysen åleine. I Kupp-prosjektet presenterte me ein gong i året resultat frå observasjonane for dei lærarane som var blitt observerte. Dette er også ei form for kvalitetssikring som av Vedeler (2000, s. 120) vert omtala som triangulering. I begge desse prosjekta prøvde me å ha ei mest mogleg uavhengig observatørrolle. Me ynskte å vere floge på veggen og observere livet i klasserommet mest mogleg frå sidelinja. Me presenterte oss for elevane den første dagen 7. Nokre elevar var meir nyfikne enn andre, og ville vite kva me gjorde og kva me skreiv osv. I dei fleste norske klasserom er det i dag mange vaksne med ulike roller innom i løpet ein dag. Erfaringa vår var at både lærar og elevar vart fort vande med å ha oss der, og såg på oss som ein del av inventaret. Den uavhengige observatørrolla kunne nokre gonger bli utfordra av elevar som prøvde å kontakte oss for å få hjelp viss lærar var oppteken. I slike tilfeller var det viktig for oss å markere vår uavhengige observatørrolle, og ikkje fungere som hjelpelærar. Det at kvar av observatørane var tilstades ei heil veke i strekk bidrog også til å gjere reaktivitetseffekten mindre. 7 Elevar, lærarar og foreldre var på førehand informerte, og hadde gitt sitt samtykke til vår observasjon. 19

20 Skjemaet i Kio-prosjektet er som tidlegare nemnd ei vidareføring av Kupp-skjemaet. Situasjonen var likevel ein litt annan samanlikna med Kupp. For det første var ikkje alle forskarane som skulle bruke observasjonsskjemaet med på å utvikle dette. For det andre skulle ein no i hovudsak berre samle inn kvantitative data ved hjelp av observasjonsskjema. Loggen var, som tidlegare nemnd, tiltenkt ei langt mindre framtredande rolle i dette prosjektet enn han hadde hatt i Kupp-prosjektet. Me hadde ein grundig gjennomgang av dei ulike kategoriane i skjema, og til forklaringane til desse (manualen) i samla forskargruppe. Etter at skjemaet var ferdig utvikla, vart det prøvd ut av nokre observatørar i ulike klasserom i samband med praksisoppfølging av studentar. For å auke/sikre reliabiliteten vart forskargruppa samla og såg ein film frå ein klasseromssituasjon 8. Alle observerte og registrerte det som gjekk føre seg i filmen til faste tidspunkt. Etterpå samanlikna og diskuterte me resultata. Når så mange ulike observatørar skal bruke same skjema, vil det fort kunne oppstå ulike tolkingar av situasjonar som ein opplever og som det har vore vanskeleg å føresjå og skildre i manualen til skjema. For å få mest mogleg ekvivalente registreringar, gjennomførte me jamlege møter for flest mogleg av observatørane gjennom heile perioden datainnsamlinga pågjekk. Der fleire observatørar var på same skule eller budde på same hotell, vart spørsmål/ problem knytt til korleis ulike situasjonar skulle registrerast drøfta medan dei var ferske. Telefonkontakt mellom observatørane vart også nytta for å diskutere spørsmål og for å få størst mogleg samsvar i måten å registrere spesielle observasjonar på. Frå prosjektleiar var me også oppmoda om å noterte ned problem som oppstod undervegs, for å ta dei opp til grundig vurdering og felles diskusjon i samla forskargruppe etter avslutta datainnsamling og før skjema vart sende til lesing. I ettertid ser eg at me ideelt sett kunne sett av endå meir tid til reliabilitetstestar før me tok skjema i bruk. Me kunne gjennomført reliabilitetsberekningar ved at fleire gjennomførte observasjonar i same klasserommet til same tid. Resultata frå kvar av observatørane kunne på ein enkel måte vore samanlikna, der ein såg kor stor (prosent-)del av registreringane som samsvarte. På denne måten kunne ein fått eit kvantitativt mål for reliabiliteten og samstundes auka interobservatørreliabiliteten ved at ein fekk fokusert på dei situasjonane som vart registrert ulikt av ulike observatørar. Alternativet til eit enkelt reliabilitetsmål kunne ein teke i 8 Av praktiske grunnar vart denne sekvensen gjennomført på to ulike dagar, med om lag halve forskargruppa tilstades på kvar av dei to dagane. 20

21 bruk ein litt meir avansert analysemodell, til dømes Scotts pi, der ein også tek omsyn til at det vil vere tilfeldige samsvar. Reliabileten kan då uttrykkast som eit mål på forskjellen mellom det faktiske samsvaret og det tilfeldige samsvaret (Grønmo, 2004, s. 227). Når reliabilitetstestane ikkje vart meir omfattande enn det som er skildra ovanfor før skjema vart teken i bruk, skuldast det først og fremst tidspresset me var utsette for på det aktuelle tidspunktet. Tidspunktet for dei første observasjonane var avtala og fastsette lang tid på førehand. Dei ulike spørjeskjema og observasjonsskjema vart ferdige relativt kort tid før dei første observasjonane skule starte. Ei kritisk innvending kan då vere at me heller burde utsett dei første observasjonane, slik at me fekk tid til å gjennomføre grundige reliabilitetstestar. Å rydde arbeidsplanane slik at ein kunne vere borte frå arbeidsplassen ei heil veke i strekk i tre til fire periodar i løpet av nokre hektiske haust/vintermånader var for dei fleste observatørane vanskeleg å få til. Å måtte endre på allereie planlagde observasjonstidpunkt, og dermed måtte rydde plass til nye, var for dei fleste lite ynskjeleg. Følgjeleg heldt me fast på den oppsette tidsplanen. Validitet Validitet referer til i kor stor grad datamaterialet er gyldig i høve til dei problemstillingane ein ynskjer å finne svar på. Dette kvalitetskriteriet er altså i enno større grad enn reliabilitet knytt til dei ulike problemstillingane i prosjektet. Hovudproblemstillinga i heile Kio-prosjektet er, som tidlegare nemnd, følgjande: Korleis er kvalitet i undervisninga forstått, praktisert og opplevd i skulen? Delmåla med studien er å få svar på følgjande: Korleis prioriterer og arbeider kommunar og skular med tanke på å utvikle kvaliteten på opplæringa innanfor tilpassa opplæring? Korleis planlegg, gjennomfører og evaluerer lærarane opplæringa i utvalde klassar? Korleis erfarer og vurderer elevar og foreldre den opplæringa som går føre seg? Det seier seg sjølv at bruk av strukturert observasjon åleine ikkje er det beste instrumentet for å finne svar på desse spørsmåla. Det er viktig å presisere at også andre datainnsamlingsmetodar i form av spørjeskjema til elevar, foreldre, lærarar og skuleleiarar har blitt brukt. I arbeidet med del to av prosjektet vil det bli lagt meir vekt på kvalitative metodar som intervju, loggskriving, lyd- og bildeopptak. Bruken av observasjonsskjema er knytt til ein liten del av 21

22 det andre prikkpunktet ovanfor korleis gjennomfører lærarane opplæringa i utvalde klassar? Dei andre delane av dette prikkpunktet korleis planlegg og evaluerer lærarane opplæringa i utvalde klassar? vart dekka av eit omfattande spørjeskjema til lærarane, og vil bli undersøkt vidare i del to av prosjektet, blant anna gjennom intervju. Første del av undersøkinga har grovt sett hatt to funksjonar. Ein eigen sjølvstendig kvantitativ datainnsamlingsdel, og ein del som førebur og legg grunnlaget for dei einskilde kvalitative delprosjekta i andre del av prosjektet. Omgrepsvaliditet handlar i følgje Vedeler (2000, s. 129) om i kva grad det instrumentet ein har konstruert for undersøkinga måler det som det er meint å måle. Vedeler seier vidare at det ikkje er nokon enkle og ukompliserte måtar å bestemme omgrepsvaliditet på. På det enklaste nivået nyttar ein såkalla face validity, som tyder ei intuitiv oppfatning av kva ein synest er rimeleg. Ho referer vidare til Robson (1993, s. 69) som hevdar at face validity verken er dårlegare eller betre enn meir sofistikerte metodar som ofte vert brukt i konstruksjon av testar for å ivareta dette validitetskriteriet. Eit observasjonsskjema av den typen me har brukt er best eigna til å registrere og kvantifisere aktivitetar som det på førehand har vore mogleg å operasjonalisere i form av observasjonsvariablar. Klette (2004, s. 28) konkluderer med at punktobservasjonsregistreringar gjev oversikt over aktivitetar og tidsbruk i klasserommet, men det er gjennom feltnotata at ulikskapar og potensielle forskjellar i lærarane sin bruk av læringsaktivitetane kjem fram. I den delen av mitt delprosjekt som er knytt til bruk av data frå observasjonsskjema, er eg oppteken av å samanlikne arbeidsformer i matematikkfaget med arbeidsformer i andre fag spesielt norsk og engelsk. Eg legg til grunn ein vid definisjon av arbeidsformer, slik at dette omfattar både undervisningsformer, organisasjonsformer og arbeidsmåtar. Kvar av desse byggjer igjen på fleire observasjonsvariablar. Som tidlegare nemnd kan desse observasjonsvariablane krevje ulik grad av tolking frå observatørane si side, og kan følgjeleg ha noko ulik grad av reliabilitet. I mi problemstilling fokuserer eg på ei samanlikning mellom ulike fag på grunnlag av data innsamla ved hjelp av observasjonsskjema. Resultatet av denne samanlikninga kan ventast å ha relativt høg validitet i og med at informasjonen om dei ulike faga er innsamla med det same instrumentet. 22

23 Forbetring av datakvaliteten Som det går fram av drøftinga ovanfor, har me stått overfor mange val, og me måtte ta mange avgjerder undervegs i utviklinga av observasjonsskjemaet. Me lagde eit skjema som har sine sterke og svake sider. Eg har peika på ein del problem og svakheiter med observasjonsskjemaet og datainnsamlinga. Desse er det viktig å vere beviste på når me no skal analysere data og trekke konklusjonar på grunnlag av det innsamla materialet. I det vidare arbeidet blir det viktig å redusere dei negative følgjene av dei svake punkta. Det fins ulike måtar å gjere datakvaliteten betre på. Ein enkel metode kan vere å legge størst vekt på dei delane av materialet som har høgast reliabilitet og validitet, og sjå bort frå eller tone ned verdien av dei variablane som har låg reliabilitet eller validitet. Eit anna alternativ kan vere å slå saman variablar og lage skalaer. I følgje De Vaus (2007, s ) vil ein ved å bruke skala kunne få auka validitet, reliabilitet og presisjon. Til dømes kan det vere interessant å finne ut kor mykje tid som vert brukt til faglege aktivitetar og kor mykje tid som vert brukt til ikkjefaglege aktivitetar i vårt datamateriale. Då kan ein opprette ein ny variabel faglege aktivitetar som er samansett av alle observasjonsvariablane som måler fagleg aktivitet. Tilsvarande kan ein opprette ein variabel ikkje-faglege aktivitetar som er samansett av alle observasjonsvariablane som måler ikkje-fagleg aktivitet. Slike skalakonstruksjonar vart brukte i tilbakemeldinga til skulane etter første observasjonsrunde (Halse og Haug, 2008, s ). Det viktigaste på dette stadiet er å vere merksam på dei svake punkta, slik at ein så langt det let seg gjere kan prøve å rette opp dei negative følgjene av desse i det vidare analysearbeidet. 23

24 Litteratur De Vaus, D. (2007). Surveys in social research (5. utg.). Abingdon, Oxon: Routledge. Grønmo, S. (2004). Samfunnsvitenskapelige metoder. Bergen: Fagbokforlaget. Halse, Ø., & Haug, P. (2008). Prosjektet Kvalitet i opplæringa (KIO). Tilbakemelding til skulane. Notat nr. 4/2008. Volda: Høgskulen i Volda og Møreforsking Volda. Haug, P. (2006a). Bakgrunn, tema og gjennomføring. I P. Haug (Red.), Begynnaropplæring og tilpassa opplæring. Landås, Bergen: Caspar Forlag AS. Haug, P. (Red.). (2006b). Begynnaropplæring og tilpassa undervisning kva skjer i klasserommet? Landås, Bergen: Caspar Forlag AS. Klette, K. (2003a). Forskingstilnærming og datainnsamlingsstrategier. I K. Klette (Red.), Klasserommets praksisformer etter Reform 97. Oslo: Universitetet i Oslo, Det utdanningsvitenskapelige fakultet og Norges forskningsråd. Klette, K. (2003b). Lærerens klasseromsarbeid: Interaksjons- og arbeidsformer i norske klasserom etter Reform 97. I K. Klette (Red.), Klasserommets praksisformer etter Reform 97. Oslo: Universistetet i Oslo, Det utdanningsvitenskapelige fakultet og Norges forskningsråd. Klette, K. (2004). Lærerstyrt kateterundervisning fremdeles dominerende? Aktivitets- og arbeidsformer i norske klasserom etter Reform 97. I K. Klette (Red.), Fag og arbeidsmåter i endring? Oslo: Universitetsforlaget. Thagaard, T. (2003). Systematikk og innlevelse. En innføring i kvalitativ metode (2. utg.). Bergen: Fagbokforlaget. Vedeler, L. (2000). Observasjonsforsking i pedagogiske fag. En innføring i bruk av metoder (1. utg.). Oslo: Gyldendal Akademisk AS. 24

25 Vedlegg 1 Henta frå Klette, K: Klasserommets praksisformer etter Reform 97 25

26 Vedlegg 2 Observasjonsskjema brukt i Kupp-prosjektet: 26

27 Vedlegg 3 Observasjonsskjema brukt i Kio-prosjektet: 27

28 28