Kvalitet i kvalitativ analyse - eksemplifisert ved analysen bak en publisert artikkel Stein Dankert Kolstø Institutt for fysikk og teknologi Universitetet i Bergen Oversikt Mange retninger innen kvalitativ analyse Ulike fokus og formål? Mitt formål: Utvikle beskrivende kategorier Sentrale poeng: Funksjonen til teoretisk perspektiv Systematikk i kodeprosessen Hvordan overbevise lesere om validitet av funn 1 2 Forskningsspørsmål i eksempelartikkel Hvilke kriterier bruker naturfaglærerstudenter når de analyserer innlegg i sosiovitenskapelige kontroverser Ønsket å analysere tekster og identifisere ideer brukt av studentene Metode datagrunnlag 89 lærerstudenter med naturfag Arbeidet i grupper på 2 og 3 Valgte selv en artikkel på internett Sosiovitenskapelig kontrovers Skriv en evaluering Fokusere spesielt på påliteligheten av naturvitenskapelige påstander 28 artikler på mellom en halv og en hel maskinskrevet side 3 4 Method - analyse Kvalitativ analyse Formål Uttømmende kategorisering Trengte variasjon og volum Induktiv analyse Men informert av teori Konstant sammenliknende metode Koding og fremhenting Analyse av tekstene I Fokus må (etter hvert) være klart! Mitt forskningsspørsmål Hvilke kriterier bruker naturfaglærerstudenter når de analyserer innlegg i sosiovitenskapelige kontroverser Hva regner jeg som sosiovitenskapelige kontroverser? Kategorisering 5 6 1
Teoretisk perspektiv I Sosiovitenskapelige kontroverser Inneholder minst to omdiskuterte spørsmål: 1 Politisk / ethisk Bør vi tillate bestråling av matvarer? 2 Naturvitenskapelig Har bestrålte matvarer mindre næringsverdi? Sorterte vekk tre tekster med feil fokus - (se evt tekstoversikt) 7 Analyse av tekstene II Forskningsspørsmål Hvilke kriterier bruker naturfaglærerstudenter når de analyserer innlegg i sosiovitenskapelige kontroverser Kriterier? Jeg trengte å ha ideer om kriterier som gjorde meg i stand til å se disse Disse? Hva vil jeg i min analyse regne som kriterier? 8 Teoretisk perspektiv II Teoretisk perspektiv II Hvilke briller leser jeg dataene med? Er brillene klare eller gir de uklart syn? Teoretisk perspektiv må synliggjøres Fra vitenskapsteorien Teoriimpregnering Data må kokes i teori for å bli spiselige Solen går ned observasjon og fortolkning i samme oppfattelse Induktiv analyse? Funn også avhengige av data??? Er jeg åpen nok til å kunne oppdage det jeg ikke forventer? Være bevisst ønske om åpenhet Tydeliggjøre fokus Teoretisk sensitivitet Funn er avhengig av perspektiv! 9 10 Mine teoretiske perspektiv Konstruktivistisk epistemologi Fra omdiskuterte påstander i forskningsfront til pålitelig konsensuel lærebokkunnskap Teorier er underbestemt av data Altså grader av pålitelighet Og ikke-vitenskapelige forhold kan (legitimt) spille med i en vurdering 11 Mine teoretiske perspektiv Fase 1 Vitenskapelige vs. kontekstuelle Fase 2 Definerte vurderingskriterier: Verdier, normer eller ideer vi appelerer til nå vi bedømmer Fase 3 Kriterier for å bedømme naturvitenskapelige påstander Valgte å søke å identifisere alle typer kritereier studentene brukte, uten å vurdere disse Viktig: Bli bevisst, og legg frem, forskerståsted 12 2
Klar til koding (bobling) Klar til koding: Hva kjennetegner analyse og koding? Hva er interessant å se etter? Bruke kjente koder? Systematisere materiale, gruppere Bestemme kriterier for kodingen Kodene må være klart definerte: Kunne vite om koden er rett i forhold til sitatet Koder må være robuste, men kunne forandres Ideer / kriterier for hvilke deler av data en skal kode eller forkaste 13 Min analyse: koding på tre nivåer 3: Hovedkategorier (4 grupper av kriterier) 2: Kategorier (de 13 identifiserte kriteriene) Basert på koder som konstant ble sammenliknet for likheter og forskjeller Tentative kategorier og underliggende koder stadig sammenliknet med underliggende sitat Pendle mellom helhet og enkeltsitat 1: Koder empirinære koder før fortolkning! (jf. Solen går ned ) Kondenseringer av sitat, men med indikering av tentativ kategorisering 0: Identifisere relevante rådata 14 Analysen som prosess Under datainnsamling (intervju, observasjon, lesing) Notereobservasjoner og tentative tolkninger Under transkribering og gjennomlesing Notereobservasjoner og tentative tolkninger Første fase av systematisk koding Notereobservasjoner, tentative kategorier med def. Andre fase av strukturert koding basert på tentative kategorier Notereideer, hypoteser og justerte kategoridefinisjoner 15 Veien til gyldige kategorier (!) Konstant sammenliknende metode Fokusere vekselvis på del og helhet Identifisere forskjeller og likheter Koding og fremhenting Justering av koder og kategorier Videre vurdering av forskjeller og likheter Helt til alle relevante data passer i en og bare en kategor: Stabilitet (vis 5 og HU) 16 Tallfesting signaliserer nøyaktighet? Bruk av sitat i utskriving Number of critical comments identified 16 14 12 10 8 6 4 2 0 Number of critical comments identified per student group 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 The 28 student groups Ma: Manipulative str. Em: Empirical and th. So: Social aspects (vis 6) Co: Completeness of inf. 17 Ma Em So Co Sitat er ikke bare eksempler! Leseren får kontrollert dine måter å tolke på! Eks: Konsistens i argumentasjon Påstand: redusert ozonlag fører til økt risiko for huskreft Gr. 21: Artikkelen sier ingenting om muligheten for at økt antall tilfeller av kreft kan ha andre årsaker, for eksempel mer soling. 18 3
Validitet av rådata Validitet Var kildene ærlige (informanter, dokumenter)? Hadde de sjulte agendaer? Forstod de spørsmålene? Data-triangulering Validitet i analysen Hvike grunner har leseren til å tro at din analyse får fram fenomen som ligger i rådataene? Hvordan overbevise leseren? Generelt: Gi leser innsyn! Teori Tydelig fokus og skarpe definisjoner Ditt teoretisk perspektiv Din teoretiske sensitivitet Beskriv analysestrategier Løpende sammenlikning Løpende notatskriving Evnetuelle andre analysemetoder Fremstilling av funn Vise eksempler på tolkninger Tallfest forekomster i materialet Bruk flere fortolkere 19 20 Generaliserbarhet? Reliabilitet? Uttømmende kategorisering? Dokumentere at eks. de siste 4 intervjuene ikke gav noen nye kategorier Funn er kontextavhengige Analytisk generalisering Bruker må vurdere kontekstlikhet Kontekst må være beskrevet! Ikke uttømmende katagorisering Har vist at visse kategorier finnes. Unngå implisitt generalisering 21 Reliable data? Ikke mulig å stige ned i samme elven to ganger slik er det med mennesker også (dokumentforfattere, informanter, observasjonssituasjoner) Reliable analyse? Leser vurdere: Beskriv teori og analysemetoder Flere fortolkere (Eks. interkoder reliabilitetstest) 22 Oppsummerende råd for analysen 1. Notere alle ideer etter hvert husk oversiktlighet (Atlas.ti?) 2. Empirinære koder før fortolkning (jf Solen går ned!) 3. Identifisere tentative kategorier underveis 4. Lag skriftlige definisjoner av alle kategorier vurdere uavhengighet og fullstendighet 5. Hent frem kodede sitat og sammenlikn med tentative kategorier justere! 6. Plassere alle sitat (ideer!) i en og bare en kategori skal kunne telles opp 7. Vurdere stadig re-kategorisering i lys av helhet og justerte kategoridefinisjoner 8. Tenk formidling (og Ocham): kategorier skal kommunisere, samt kunne brukes til noe 23 Mange veier til Rom? Ja! Men: Du må kunne overbevise leseren om at Din tokning av enkeltsitat er gyldig Vis eksempler Be en kollega kontrolltolke noe av materialet (basert på kunnskap om ditt teoretiske perspektiv!) Du ikke har valgt ut visse konfirmerende data Du må fremstå som ærlig og åpen Vise teoretisk perspektiv og teoretisk sensitivitet Vise at du har arbeidet systematisk med all empirien La kontrollkoderen velge dokument for kontrollering? 24 4
Takk for oppmerksomheten! Ekstramateriale Artikkelen brukt som eksempel var fra et prosjekt støttet av daværende Utdannings- og forskningsdepartementet (via ITU) 25 26 Analyseenhet Klargjør hviken enhet du ønsker å beskrive Enkeltideer (som i eksempelartikkelen) Elever Klasse, skole, Analysen må tilpasses tilsvarende Ideer: Jeg samlet ideer som liknet på hverande og sammenliknet Elever: Må samle koder som beskriver hver enkeltelev, og studere disse som en helhet 27 Kategorier Disse bør oppfylle følgende kriterier Ikke overlappe! Alle data må passe inn i en og bare en bestemt kategori Være relevante i forhold til forskningsspørsmålet Se f.eks Merriam 28 Bruk memos/notater! Interkoder reliabilitet Notere observasjoner og ideer til tolkninger Notere strategiene du bruker i analysen Og endringer i disse Notere vurderinger mhp kvalitet på data Har noen data for lav validitet? Notere ideer til vurdering av validitet, reliabilitet og generaliserbarhet (vis HU) 29 Tallfesting/entydighet gir muligheter for interkoder kontroll Velg noen tekster for samkjøring av kategoriforståelse Velg noen, mange eller resten til kontrollkoding Tell opp antall treff av antall mulige Identifisere årsaker til mismatch (vis 2) 30 5
Er funn bestemt av teori eller empiri? Teoriimpregnering Teori bestemmer Induktiv analyse Data bestemmer Balanse eller motsetning? Teori som for-dommer? Relativisme? Eller empirisk begrunnede funn med åpenhet om forsker ståsted 31 6