Vitenskapsteori og forskningsmetode Skriftlig eksamen

Vitenskapsteori og forskningsmetode Skriftlig eksamen Av Kristina Halkidis Master i IKT-støttet læring Høgskolen i Oslo og Akershus Vår 2015 02.06.15

Innholdsfortegnelse Innledning... 3 Reliabilitet... 3 Validitet... 4 Kvales syv validitetsfaser... 6 Tematisering... 7 Planlegging og Intervjuing... 7 Transkripsjonens reliabilitet og validitet... 7 Den utfordrende reliabiliteten... 8 Å styrke påliteligheten... 8 Avslutning... 9 Hvordan sikre reliabilitet og validitet i et intervju?... 9 Kilder:... 11 Emnekode MAIKT- VF s199078 2

Innledning Innen den moderne samfunnsvitenskapen har begrepene generaliserbarhet, reliabilitet og validitet fått status som en hellig, vitenskapelig treenighet (Kvale, Brinkmann, Anderssen & Rygge, 2009). I denne artikkelen vil jeg gå dypere inn på intervju som er en kvalitativ metode, og se på hvordan man kan sikre validitet og reliabilitet i et intervju. Årsaken til at jeg velger å skrive om dette, er grunnet fremtidig masteroppgave hvor intervju er den metoden jeg mest sannsynlig vil velge å bruke. Masteroppgaven sin foreløpige problemstilling er Hvordan kan IKT- støttet læring være gunstig som hjelpemiddel på barneskoler i Nepal?. Problemstillingen vil legge vekt på lærernes synspunkter, dermed kan intervju med lærerne være en god metode og ta i bruk, og det er derfor jeg har valgt å gå dypere inn på dette. Problemstillingen for denne artikkelen blir da følgende: Hvordan sikre validitet og reliabilitet i et intervju? Jeg vil starte artikkelen med å skrive om reliabilitet og validitet med fokus på intervju som metode, hva begrepene står for og hvorfor det bør være en del av hele forskningsprosessen. Deretter vil jeg diskutere ut ifra Kvale m.fl., (2009) sine syv validitetsfaser, og skrive om reliabilitet som en utfordring i en intervjuprosess. Til slutt vil jeg gi en kort oppsummering i henhold til problemstillingen. Reliabilitet Reliabilitet har med forskningsfunnenes konsistens å gjøre (Kvale m.fl.,, 2009). Direkte oversatt fra engelsk betyr ordet pålitelighet (reliability). Forskningsfunnenes konsistens kan med andre ord innebære at målingene eller transkriberingen er korrekt utført, for eksempel må en undersøkelse eller et intervju bygge på et representativt utvalg av personer slik at tilfeldigheter ikke påvirker resultatet (Thurén, Gjestland & Gjerpe, 2009). Om transkriberingen er korrekt utført er det kun forskeren/intervjueren som vet, ettersom det er han/hun som har gjennomført et intervju. Krav om å kunne teste reliabiliteten på et intervju er ifølge Johannessen, Christoffersen og Tufte (2010) lite hensiktsmessige. Dette fordi det ikke benyttes strukturerte datainnsamlingsteknikker slik som kvantitative undersøkelser gjør; det er ofte samtalen som styrer datainnsamlingen. Det vil være vanskelig for en forsker å kopiere en annen kvalitativ forskers forskning. Dalen (2011) er enig med Johannessen m.fl., (2010) og viser til reliabilitet som et vanskelig krav å stille til et kvalitativt studie. For reliabilitet i kvantitative undersøkelser forutsetter at Emnekode MAIKT- VF s199078 3

fremgangsmåten ved innsamling og analyse av data skal kunne etterprøves nøyaktig av andre forskere. Det blir dermed vanskeligere i et kvalitativt studie, siden det er forskerens rolle som er en viktig faktor, og denne rollen utformes i samspill med informanten og den aktuelle situasjonen. Både det enkelte individet og omstendighetene vil da endre seg, og det gjør det da vanskelig å etterprøve resultatene. Dalen (2011) mener da at man må tilnærme seg spørsmål om reliabilitet på andre måter, for eksempel en tydelig beskrivelse av enkeltleddene i forskningsprosessen, slik at en annen forsker kan ta på seg de samme «forskerbrillene». Beskrivelsen må da omfatte forhold ved forskeren, informantene og intervjusituasjonen, samt angivelse av hvilke analytiske metoder som er anvendt under bearbeidingen av datamateriale. Kvale m.fl., (2009) og Cohen, Manion og Morrison (2007) som viser til LeCompte og Preissle (1993: 332), bekrefter at reliabilitet er et vanskelig krav å stille til et kvalitativt studie, med en av sine ti innvendinger mot intervjuforskning. Eksperimentelle studier har vist at både intervjupersonens og forskerens forventninger kan påvirke eksperimentets resultater. En mellommenneskelig interaksjon i intervjuet er av stor betydning for resultatet, dermed må intervjuerens innflytelse vurderes nøye. Et eksempel på dette kan være hvis en datter skal intervjue sin mor ville hun kanskje fått andre resultater enn hvis en ukjent skulle vært intervjueren på grunn av mulig påvirkning av følelser og predisponerte tanker. Validitet I vanlige ordbøker blir validitet definert som en uttalelses sannhet og riktighet. Direkte oversatt fra engelsk betyr det gyldig (valid). I en bredere tolkning har validitet å gjøre med hvilken grad en metode undersøker det den er ment å undersøke (Kvale m.fl.,, 2009), eller som Johannessen m.fl., (2010) skriver om validitet for kvantitativ metode; «måler vi det vi tror vi måler?». Validitetsbegrepet kan videre deles inn i indre og ytre validitet, hvor den indre validiteten tar opp spørsmålet om forskningsfunnene samsvarer med virkeligheten og hvor sammenfallende de er i forhold til virkeligheten. Den ytre validiteten handler om funnene fra et studium kan overføres til andre situasjoner, med andre ord: hvor generaliserbare er funnene som er kommet fram? (Krumsvik, 2013). Innenfor intervju som metode vil det da være den indre validiteten som man legger vekt på, ettersom det er vanskelig å overføre intervjuresultater til andre studier. I det kvalitative forskningsintervjuet er man tett på feltet og informantene, så det er lett for at den kvalitative forskeren til tider får sympati for informantene gjennom feltarbeidet sitt (Krumsvik, 2013). Hvis det for eksempel er sensitive spørsmål omkring sårbare grupper i samfunnet, kan dette bli vanskelig, også i transkriberingsprosessen. Det blir dermed viktig å Emnekode MAIKT- VF s199078 4

ha fokus på intervjuvaliditeten, blant annet fordi det under intervjuet kan være lite tid for fortolkning, noe som kommer senere i prosessen med den empiriske analysen (Krumsvik, 2013). I denne sammenheng skriver Kvale m.fl., (2009) om validitet i syv stadier som gir en oversikt over validitetsaspektet gjennom en hel intervjuundersøkelse (Kvale m.fl.,, 2009, s. 165): 1. Tematisering. Gyldigheten i en undersøkelse er avhengig av hvor solid teoretiske forut-antakelser er, og hvor logisk utledningen fra teori til forskningsspørsmål er. 2. Planlegging. Kunnskapen som produseres må være gyldig og den er avhengig av undersøkelsesoppleggets kvalitet. Intervjuet skal produsere kunnskap som er fordelaktig for mennesket. 3. Intervjuing. Validitet har her med intervjupersonens troverdighet og selve intervjuets kvalitet, å gjøre. Det må være en grundig utspørring om meningen med det som blir sagt, og kontroll av informasjonen som gis. 4. Transkribering. Ved valg av språklig stil for transkripsjonen reises spørsmålet om hva som utgjør en gyldig overføring fra muntlig til skriftlig form. 5. Analysering. Om spørsmålene som stilles i intervjuteksten er gyldige, og hvorvidt tolkningene er logiske. 6. Validering. En reflektert vurdering av hvilke valideringsformer som er relevante for en bestemt studie, gjennomføringen av de konkrete valideringsprosedyrene, og avgjørelsen om hva som er et egnet forum for en dialog om resultatenes gyldighet. 7. Rapportering. Dette involverer spørsmålet om hvorvidt en rapport gir en valid beskrivelse av hovedfunnene i en studie, samt leserens rolle som validitetsbedømmer av resultatene. Disse syv fasene kan ses i sammenheng med tre valideringsfelleskap som Krumsvik (2013) legger frem; Intervjuetikk, Analyse og Grounded Theory. Jeg vil her skrive kort om Intervjuetikk og Analyse fordi det er to valideringsfellesskap som kan sees mest i sammenheng med Kvales syv validitetsstadier. Intervjuetikk handler om dilemmaer som er knyttet til etiske sider ved forskingen, for eksempel konfidensiell varsomhet med opplysningsinformasjonen til den som blir intervjuet hvis temaet for intervjuet foregår i en liten bygd hvor alle kjenner alle. Det kan kjennes igjen i Kvale m.fl., (2009) sitt fjerde stadiet; Transkribering, at ordrett transkribert muntlig språk kan for utenforstående fremstå som usammenhengende forvirrende tale. Intervjupersonen kan da bli uthengt og nekte videre samarbeid. Analysedelen i et forskningsintervju er krevende og krever nøye gjennomtenking i Emnekode MAIKT- VF s199078 5

den tidlige fasen av designet av intervjuopplegget. Det er mange måter å gjøre dette på, for eksempel med å gjennomføre pilotintervju for å kvalitetssikre intervjuguiden, og gjennomføre en fullstendig transkripsjon av intervjumaterialet. Når man gjennomfører et pilotintervju får man som Kvale m.fl., (2009) skriver på det femte stadiet, sett om spørsmålene i intervjuteksten er gyldige, og hvorvidt tolkningene er logiske. Cohen m.fl., (2007) mener den mest praktiske måten for å oppnå høyest validitet i et intervju er å minimalisere mengden av forspenning så mye som mulig. Forspenningen kan oppstå ved intervjuerens karakter, respondenten sin karakter, og konteksten fra spørsmålene som blir stilt. Dette kan for eksempel være oppførsel, meninger og forventninger, misforståelser i form av hva respondenten sier eller hva det blir spurt om. Gjengitt i Johannessen m.fl., (2010) viser Lincoln og Guba (1985) til to teknikker som også øker sannsynligheten for at forskningen frembringer troverdige resultater; vedvarende observasjon og metodetriangulering. Vedvarende observasjon innebærer å bli godt nok kjent med område og miljøet slik at man kan skille mellom å være relevant og ikke relevant samt bygge tillit. Metodetriangulering vil si at forskeren bruker ulike metoder, for eksempel observasjon og intervju. Krumsvik (2013) bekrefter at metodetriangulering kan nyttes for å bedre validiteten i intervjustudien, fordi man får en bredere og mer sikker forståelse for det du som forsker undersøker. Et eksempel på dette som Johannessen m.fl., (2010) skriver, er at forskeren da tar utgangspunkt i flere settinger, for eksempel flere skoleklasser hvis han ønsker å undersøke hvordan elever samarbeider. I tillegg kan troverdigheten styrkes ved å formidle resultatene til informantene ved å la andre kompetente personer analysere det samme materialet. Denne artikkelen har frem til nå tatt for seg hvilke roller reliabilitet og validitet har innenfor intervju som metode, og hvilke utfordringer som kan oppstå. I denne diskusjonsdelen vil det blir diskutert i henhold til problemstillingen; hvordan sikre reliabilitet og validitet i et intervju? Jeg vil nå diskutere rundt Kvales syv validitetsstadier, og se på hvordan det kan være nyttig i henhold til intervju med lærere i Nepal. Jeg vil videre se på utfordringen med å sikre reliabilitet i et intervju. Kvales syv validitetsfaser Jeg har valgt å ta utgangspunkt i Kvales syv validitetsstadier ettersom det gir en god gjennomgang steg for steg i hvordan man kan sikre validitet i et intervju. I denne diskusjonsdelen vil jeg ha fokus på tematisering, planlegging og intervjuing, og transkripsjon. Emnekode MAIKT- VF s199078 6

Transkripsjonsprosessen er den viktigste for å sikre reliabilitet og validitet i intervjuet, derfor vil jeg diskutere mest rundt det. Tematisering Punkt 1 var tematisering. For å klare å ha en god tematisering, må jeg ha sikre teoretiske kilder som gir meg et solid grunnlag å gå på før jeg lager spørsmålene. Siden dette er starten av intervjuprosessen hvor undersøkelsen skal forberedes, er det som Kvale m.fl., (2009) skriver, lurt å besvare spørsmålene hva, hvorfor og hvordan. I mitt intervju kan det da bli: Hva: innhente forhåndskunnskap om teknologisituasjonen på skoler i Nepal Hvorfor: Klargjøre formål med studien Hvordan: Innhente kunnskap om ulike intervju- og analyseringsteknikker, og bestemme hvilken man skal benytte for å innhente ønskede kunnskap. I mitt tilfelle ville det da blitt semistrukturert intervju, som er intervjuer basert på intervjuguide med rom for åpen diskusjon (Johannessen m.fl.,, 2010). Når jeg får rom for åpen diskusjon, vil jeg kanskje få resultater som ikke hadde kommet frem om intervjuet hadde være låst til bestemte spørsmål. Cohen m.fl., (2007, s. 356) bekrefter tematisering som det første steget i intervjuprosessen, og legger til at god forberedelse vil produsere den dataen man trenger til problemstillingen. Planlegging og Intervjuing Etter at innholdet og formålet har blitt fastslått, kommer planleggingen og forberedelse av de metodiske prosedyrene som skal benyttes for å innhente kunnskapene (Kvale m.fl.,, 2009). Jeg vil ikke gå så dypt inn på dette stadiet, men poengtere at det her er viktig å fastslå en viss tidsdimensjon, og ha god oversikt over veien frem til sluttmålet. Etter planlegging kommer vi til det tredje stadiet; Intervjuing. Det handler her om troverdigheten til intervjupersonene og kvaliteten på intervjuet. Det blir da nødvendig ifølge Krumsvik (2013) å sikre validiteten ved å ha kvalitetskontroll av intervjuguiden, pilotintervjuet og alle fasene i intervjuet. Transkripsjonens reliabilitet og validitet Transkriberingen er svært viktig, og blir betraktet som det solide, empiriske materialet i et intervjuprosjekt (Kvale m.fl.,, 2009). Den vanligste prosedyren i dag er å transkribere fra båndopptak til skriftlig tekst, men det er utfordringer som kan oppstå. Enhver transkripsjon fra en kontekst til en annen medfører en rekke vurderinger og beslutninger. For å få frem mest mulig nøyaktig transkripsjon, kan man se nærmere på intervjuets pålitelighet og gyldighet (Kvale m.fl.,, 2009). Teknisk sett er det enkelt å la to personer hver for seg skrive ned den samme uttalelsen i et intervjuopptak, og la et dataprogram lage en liste over og telle antall ord Emnekode MAIKT- VF s199078 7

som er ulike i de to transkripsjonene, og på denne måten foreta en kvantifisert reliabilitetsjekk. Men selv med detaljert nedskrivingsinstrukser kan det være vanskelig for to transkriberere å komme til fullstendig enighet om hva som ble sagt (Kvale m.fl.,, 2009). En løsning til dette kan være å lytte til båndet en gang til for å kanskje oppdage at man har hørt feil, og i tillegg som Kvale m.fl., (2009) foreslår, ta med de emosjonelle aspektene ved samtalen som for eksempel «sukk», «fliring» osv., vil transkripsjonens intersubjektive reliabilitet kunne utvikle seg til å bli et forskningsprosjekt i seg selv. Det er mer komplisert å vurdere intervjutranskripsjonenes gyldighet/validitet enn deres pålitelighet på det rene (Kvale m.fl.,, 2009). Noen av årsakene til dette, er ifølge Cohen m.fl., (2007) er fordi transkripsjoner er «fryst». At en transkripsjon er «fryst», betyr at den er abstrahert fra tid og rom, fra dynamikken i situasjonene, fra det sosiale og den levende form. Man går da glipp av mye som foregår rundt selve intervjuet som kan ha en avgjørende rolle for eventuelle tolkninger fra det respondenten sier. En løsning på dette problemet kan være som Cohen m.fl., (2007) foreslår, at forskeren forsikrer seg at forskjellig typer data er notert under transkripsjonen som for eksempel om tonen på stemmen er oppmuntrende eller streng, avbrytelser, humøret til respondenten, eller pauser i samtalen. Den utfordrende reliabiliteten Som nevnt tidligere i artikkelen er det å sikre reliabilitet i et intervju vanskelig. Innenfor kvalitativ forskning er slike krav om reliabilitet lite hensiktsmessige, siden det ofte er samtalen som styrer datainnsamlingen, og observasjoner er klart verdiladet og kontekstavhengige (Johannessen m.fl.,, 2010). Så er det i det hele tatt mulig å sikre reliabilitet i et intervju? Å styrke påliteligheten Det finnes muligheter for å styrke reliabiliteten i et intervju. Ifølge Johannessen m.fl., (2010) er en løsning å gi leseren en inngående beskrivelse av konteksten, og en åpen og detaljert framstilling av framgangsmåten for hele forskningsprosessen. Forskeren utarbeider da en revisjonsprosedyre som gjør det mulig å spore hans dokumentasjon av data, metoder og avgjørelser gjennom prosjektet, inkludert det endelige resultatet (Ryen, 2002, gjengitt i Johannesen m.fl., 2010). I motsetning til Johannessen m.fl., (2010), mener Krumsvik (2013) at for kvalitative intervju er tekstdata like viktige som talldata er for kvantitativ forskning, og er dermed det som utgjør det empiriske materialet som en baserer analysen og funnene på. Krumsvik (2013) skriver også at hvis intervjureliabiliteten er solid, er det med på å styrke validiteten. Emnekode MAIKT- VF s199078 8

Det er altså mulig ifølge Krumsvik (2013) å sikre intervjureliabilitet. Eksempler på hvordan man kan gjøre dette, er å være to personer som transkriberer det samme intervjuet, deretter sammenligne og relatere til en «fasit», legge det inn i dataprogram og gjøre en kvantifisert reliabilitetssjekk, og videre regne ut hvor treffsikker transkripsjonen har vært. Avslutning Jeg har frem til nå gitt forklaring på hva reliabilitet og validitet betyr, og hvordan de kan oppnås i en intervjuprosess. Når det gjaldt reliabilitet, er det ulike meninger om hvor nødvendig det er å forsikre seg om det. Både fordi det er en utfordring å «kopiere» en annen forskers intervju når det er så mange faktorer som spiller inn på forskningsresultatet, som for eksempel forhold og kontekst mellom intervjueren og respondenten. Likevel er reliabilitet noe som gjør et forskningsarbeid mer pålitelig, derfor noe som bør gjennomføres så godt som mulig. Jeg vil nå avslutte med å besvare problemstillingen på bakgrunn av artikkelens innhold. Hvordan sikre reliabilitet og validitet i et intervju? Ut ifra Krumsvik (2013) sin mening om nødvendigheten av intervjureliabilitet, vil jeg henvise til eksemplene han la frem som var med på å sikre reliabiliteten i et intervju. Det vil i mine øyne også være mer pålitelig om transkripsjonen har blitt gjennomført av to personer hvor resultatet har blitt dobbeltsjekket. Men igjen møter man på de utfordringene jeg tidligere nevnte, som har med vanskeligheten til å gjenskape et likt forskningsresultat på grunn av bl.a. forventningene til intervjueren og respondenten som kan påvirke resultatet. I tillegg påvirker også de fysiske faktorene som man mister ved å gjøre muntlig tale om til skriftlig tekst. Det vil da utfra de ulike teoretiske syn på intervjureliabilitet, være en utfordring å sikre reliabiliteten, men likevel være gode muligheter for å styrke den. Validitet i kvalitative undersøkelser dreier seg om i hvilken grad forskerens framgangsmåter og funn på en riktig måte reflekterer formålet med studien og representerer virkeligheten (Johannessen m.fl.,, 2010). Ved å følge Kvale m.fl., (2009) sine syv validitetsfaser kan man styrke troverdigheten. Jeg nevnte også metodetriangulering, en teknikk som øker sannsynligheten for at forskningen frambringer troverdige resultater. Tidligere nevnte jeg en løsning på hvordan man kan forhindre «fryste» transkripsjoner. I tillegg til dette vil jeg også tilføye hvordan vedvarende observasjon og metodetriangulering også kan styrke validiteten. Hvis jeg for eksempel skal intervjue tre barneskolelærere i Nepal, ville jeg, for å sikre validitet, observert og blitt kjent med miljøet før intervjuprosessen startet. Jeg ville tatt utgangspunkt i flere settinger, hvis det jeg ønsket var å se hvordan lærerne tok i bruk IKT- Emnekode MAIKT- VF s199078 9

støttet læring. Jeg ville i tillegg vært oppmerksom på intervjuetikken med å holde informasjon konfidensielt, og utført et pilotintervju i starten for å støtte analysen senere i prosessen. Emnekode MAIKT- VF s199078 10

Kilder: Cohen, L., Manion, L. & Morrison, K. (2007). Research methods in education. London: Routledge. Dalen, M. (2011). Intervju som forskningsmetode. Oslo: Universitetsforl. Johannessen, A., Christoffersen, L. & Tufte, P. A. (2010). Introduksjon til samfunnsvitenskapelig metode. Oslo: Abstrakt. Krumsvik, R. J. (2013). Innføring i forskingsdesign og kvalitativ metode. Bergen: Fagbokforl. Kvale, S., Brinkmann, S., Anderssen, T. M. & Rygge, J. (2009). Det kvalitative forskningsintervju. Oslo: Gyldendal akademisk. Thurén, T., Gjestland, D. & Gjerpe, K. (2009). Vitenskapsteori for nybegynnere. Oslo: Gyldendal akademisk. Emnekode MAIKT- VF s199078 11