Om feiltolking av forskningsresultater

Transkript

1 Betyr ikke lærerkvalitet noe for elevprestasjoner? Om feiltolking av forskningsresultater Fagpedagogisk dag UiO 1/ Gir meningsmålinger et misvisende bilde av virkeligheten? Meningsmålinger og annen surveyforskning får en stadig mer sentral plass i mediene, og påvirker bildet vi danner oss av samfunnsforhold. Mye god formidling i mediene. Men det er også mange eksempler på at det skapes et sterkt misvisende bilde. Sviktende fagkunnskaper og tidspress kan føre til feiltolking av resultatene. Noen ganger skjer det også en bevisst fordreining for å få et spennende oppslag. Også forskere kan komme til å trekke uholdbare konklusjoner. Derfor viktig med en kritisk innstilling. Og nyttig med noe kjennskap til forskningsmetode.

2 Eksempler på at mediene bevisst eller ubevisst forvrenger resultater Ikke-tilfeldig utvelging: Innringingsmålinger Reagerer du negativt på svart arbeid? Holmgang (Innringing i TV-program) Ja ; 30 Nei; 70 Opinion (meningsmåling) Ja ; 62 Nei; 38 Er parkeringsvaktene for grådige, eller gjør de bare jobben sin? Standpunkt (Innringing i TV-program) Grådige; 96 Jobben; 4 Respons (meningsmåling) Grådige; 34 Jobben; 66

3 Misvisende grafisk presentasjon? Hvorfor kan denne figuren tenkes å gi leseren et misvisende inntrykk av utviklingen? 0 Fordi aksen for besøkstall er kuttet ved , kan figuren gi et inntrykk av sterkere nedgang om sommeren enn det som faktisk er tilfellet (men skalaen er gjengitt, slik at det er mulig å se hva nedre grense er). Jan. Mar. Mai Juli Sept. Avkuttet akse som ikke oppgis 54,5 55,0 50,0 0 Forskjellen er ikke signifikant (den kan skyldes tilfeldigheter)

4 Førsteside Aftenposten aften, 31/8-93 Forholdet Dette er mellom en illustrasjon prosentene: 42 / 13 = 3,2 av hvordan grafikk som Forholdet bruker bilder mellom kanarealene: gi et helt 13,8 misvisende inntrykk Forskjellen gjøres 13,8 / 3,2 = 4,3 ganger hvorfor? stor! Hvis en hadde brukt lik bredde på bildene, ville arealet blitt riktig (vanlig praksis for stolpediagram). Ingen vellykket løsning med bilder.

5 Førsteside Aftenposten aften, 31/8-93 Her er arealet riktig (svarer til 42, 34 og 13 prosent). Dramatisk forskjell i inntrykket av størrelse. Mot bedre vitende? (Aftenposten 8/ ) Det ble i intervjuet opplyst at for andre skoler er andelen som kan være utsatt for spiseforstyrrelser halvparten av elevene, dvs. dobbelt så stor risiko som for elever på toppidrettsgymnas. Dette ble utelatt fra intervjuet da det ble trykket.

6 Amnesty: Hver fjerde kvinne i Norge blir slått av sin partner Kilde: Norsk voldsforskning. Forskerne protesterte: Spørsmålet gjaldt hva en har opplevd gjennom hele livet etter fylte 15 år. Det ble ikke bare spurt om fysisk vold, men for eksempel også om verbale trusler og mindre graverende former for fysisk maktbruk. Oppfatning om velferdsstaten B B ? A ? A

7 Desken i Dagsavisen og Hegnar i Finansavisen slår til Bak Synovate-undersøkelsen står visstnok professor Ottar Hellevik ved Universitetet i Oslo, som ifølge Dagsavisen er landets fremste ekspert på verdiendringer i den norske befolkningen. Det er mulig Hellevik er en slik kapasitet, men da ligger nivået faretruende lavt. Professorer og forskere skal ikke stille ledende spørsmål for å få frem et resultat de finner passende og som gir seg selv. (...) at professorer driver med slikt vill-ledende tull er trist. Eksempler på at mediene feiltolker resultater

8 Rangering eller vurdering Problemet: Rangering tolkes som vurdering. Svarene ikke gjelder troverdighet i absolutt forstand. Selv om de fleste oppfatter NRK som mer troverdige enn TV2, er det likevel mulig at de mener at TV2 har høy troverdighet. Lav troverdighet Høy troverdighet Respondent A TV2 NRK Respondent B Aftenposten TV , NRK s. 8-9 Ifølge Amnesty mener 1 av 2 norske menn at kvinner selv har skylden dersom de blir voldtatt

9 Betyr delvis ansvarlig at de har skylden for? Både i Norge og Storbritannia fikk en omtrent samme resultat som for menn når det var kvinner som svarte. Mener du at LO står svekket etter LO-leder Gerd-Liv Vallas håndtering av saken omkring Ingunn Yssen, mener du LO ikke står svekket etter dette, eller har du ingen oppfatning om dette? 73% Svekket: / Ikke svekket: 17% / Ingen oppfatning: 10%

10 Meget/ganske stor tiltro til LO (%) Januar 2007? Meget/ganske stor tiltro til LO (%) Skifte av intervjuopplegg: Fra personlig intervju til selvutfylling Januar

11 Bør skolen nedlegges og all undervisning overlates til familien - siden skolekvaliteten bare betyr 10 prosent for elevenes skoleresultater? Oppslag i Aftenposten 6/ , Basert på Rapport 34/2010 fra NIFU STEP (Norsk institutt for studier av innovasjon, forskning og utdanning) Bare egenskaper som varierer kan forklare variasjon i en annen egenskap. Det vil si at hvis alle skoler har omtrent like gode lærere og like mye ressurser, Elevprestasjoner Tidspunkt 1 - mye ressurser Tidspunkt 2 - lite ressurser kan ikke slike ting forklare variasjon i elevenes prestasjoner. Men de kan likevel bety mye for prestasjonene. 0 A B C D E F G H I J Skoler rangert etter kvalitet

12 Eksempler på at forskere feiltolker resultater Ved lanseringen av NM 1985: Feilslutning om dramatisk fall i religiøsitet i Norge i kommentar på Dagsrevyen 100 Prosent som sier de tror på Gud Personlig intervju Intervjuereffekt For at resultatene fra ulike undersøkelser skal kunne sammenliknes, må samme opplegg være fulgt. Selvutfylling

13 Utviklingen for gudstro (%) Tror på Gud Tror ikke på Gud Forskjellen mellom absolutt og relativ lønnsøkning Lønnstillegg for sjefene: (11,4% av ) Lønnstillegg for sykepleierne: (5,5% av ) Sjefenes relative tillegg er dobbelt, det absolutte 5,5 ganger så stort.

14 Absolutte og relative forskjeller Opplyses: kvinner undersøkt. Av disse fikk 187 hudkreft (fra 1991 til 1999). Dette gir sannsynlighet = 0,18 %. Vi kan beregne at sannsynligheten for å få hudkreft for de som tok solarium var 0,25%, mot 0,16% for de som ikke tok. En relativ forskjell på 55% svarer altså i dette tilfellet til en absolutt forskjell på 0,25 0,16 = 0,09 prosentpoeng. Statistisk sammenheng versus ulikhet Ledende forskere om klasseulikhet i rekrutteringen til høyere utdanning: Stabil klasseulikhet i Storbritannia på 1900-tallet: "... no significant reduction in class inequalities was in fact achieved" (Goldthorpe et al. 1987: 328) Britiske utdanningsreformer har ikke oppnådd målene om utjevning: "Neither the meritocratic reforms of the 1944 Act nor comprehensive reorganization can, in this respect at least, be said to have succeeded" (Heath and Clifford 1990: 15) Egalitære reformer virker ikke: "The implications of the findings... have therefore to count as rather grave ones for the general strategy of egalitarian reform that was pursued during the post-war period" (Goldthorpe et al. 1987: 328) Samme konklusjon i stor internasjonal studie med data fra en rekke land: "... despite the marked expansion of all the educational systems under study, in most countries there has been little change in socioeconomic inequality of educational opportunity." (...) "Finally, the impact of educational reforms on changes in educational stratifi-cation seems to be negligible. Nowhere have they reduced inequalities of educational opportunity between socioeconomic strata." (Blossfeld and Shavit 1993: 19, 21)

15 Prosent som oppnår høyere utdanning i Storbritannia, avhengig av fødselstidspunkt og foreldres sosiale status Høy status Middels status = = = =33 18*100 = 54* = Lav status Stabil sammenheng klasse-inntekt (avstand i gjennomsnittsinntekt = 30). Økende avstand / sterkere sammenheng (fra 30 til 130). 300 Jevnere fordeling av inntekt mellom klassene=større likhet (fra 29 til 44% av all inntekt tilfaller lavstatusgruppen). Stabil fordeling av inntekt mellom klassene (29%til lav), dvs. stabil ulikhet. 130 Income Income Low High Low High Time 1 Time 2 Low High Low High Time 1 Time