Betyr ikke lærerkvalitet noe for elevprestasjoner? Om feiltolking av forskningsresultater Fagpedagogisk dag UiO 1/11 2012 Gir meningsmålinger et misvisende bilde av virkeligheten? Meningsmålinger og annen surveyforskning får en stadig mer sentral plass i mediene, og påvirker bildet vi danner oss av samfunnsforhold. Mye god formidling i mediene. Men det er også mange eksempler på at det skapes et sterkt misvisende bilde. Sviktende fagkunnskaper og tidspress kan føre til feiltolking av resultatene. Noen ganger skjer det også en bevisst fordreining for å få et spennende oppslag. Også forskere kan komme til å trekke uholdbare konklusjoner. Derfor viktig med en kritisk innstilling. Og nyttig med noe kjennskap til forskningsmetode.
Eksempler på at mediene bevisst eller ubevisst forvrenger resultater Ikke-tilfeldig utvelging: Innringingsmålinger Reagerer du negativt på svart arbeid? Holmgang (Innringing i TV-program) Ja ; 30 Nei; 70 Opinion (meningsmåling) Ja ; 62 Nei; 38 Er parkeringsvaktene for grådige, eller gjør de bare jobben sin? Standpunkt (Innringing i TV-program) Grådige; 96 Jobben; 4 Respons (meningsmåling) Grådige; 34 Jobben; 66
Misvisende grafisk presentasjon? 1000000 800000 600000 400000 200000 Hvorfor kan denne figuren tenkes å gi leseren et misvisende inntrykk av utviklingen? 0 Fordi aksen for besøkstall er kuttet ved 400.000, kan figuren gi et inntrykk av sterkere nedgang om sommeren enn det som faktisk er tilfellet (men skalaen er gjengitt, slik at det er mulig å se hva nedre grense er). Jan. Mar. Mai Juli Sept. Avkuttet akse som ikke oppgis 54,5 55,0 50,0 0 Forskjellen er ikke signifikant (den kan skyldes tilfeldigheter)
Førsteside Aftenposten aften, 31/8-93 Forholdet Dette er mellom en illustrasjon prosentene: 42 / 13 = 3,2 av hvordan grafikk som Forholdet bruker bilder mellom kanarealene: gi et helt 13,8 misvisende inntrykk Forskjellen gjøres 13,8 / 3,2 = 4,3 ganger hvorfor? stor! Hvis en hadde brukt lik bredde på bildene, ville arealet blitt riktig (vanlig praksis for stolpediagram). Ingen vellykket løsning med bilder.
Førsteside Aftenposten aften, 31/8-93 Her er arealet riktig (svarer til 42, 34 og 13 prosent). Dramatisk forskjell i inntrykket av størrelse. Mot bedre vitende? (Aftenposten 8/11 2009) Det ble i intervjuet opplyst at for andre skoler er andelen som kan være utsatt for spiseforstyrrelser halvparten av elevene, dvs. dobbelt så stor risiko som for elever på toppidrettsgymnas. Dette ble utelatt fra intervjuet da det ble trykket.
Amnesty: Hver fjerde kvinne i Norge blir slått av sin partner Kilde: Norsk voldsforskning. Forskerne protesterte: Spørsmålet gjaldt hva en har opplevd gjennom hele livet etter fylte 15 år. Det ble ikke bare spurt om fysisk vold, men for eksempel også om verbale trusler og mindre graverende former for fysisk maktbruk. Oppfatning om velferdsstaten 78 79 76 B 79 78 71 B 11 10 10 12 11 14? A 11 10 11 12 9 20? A 2005 2007 2009-399 400-799 800+
Desken i Dagsavisen og Hegnar i Finansavisen slår til Bak Synovate-undersøkelsen står visstnok professor Ottar Hellevik ved Universitetet i Oslo, som ifølge Dagsavisen er landets fremste ekspert på verdiendringer i den norske befolkningen. Det er mulig Hellevik er en slik kapasitet, men da ligger nivået faretruende lavt. Professorer og forskere skal ikke stille ledende spørsmål for å få frem et resultat de finner passende og som gir seg selv. (...) at professorer driver med slikt vill-ledende tull er trist. Eksempler på at mediene feiltolker resultater
Rangering eller vurdering Problemet: Rangering tolkes som vurdering. Svarene ikke gjelder troverdighet i absolutt forstand. Selv om de fleste oppfatter NRK som mer troverdige enn TV2, er det likevel mulig at de mener at TV2 har høy troverdighet. Lav troverdighet Høy troverdighet 0 1 2 3 4 5 6 7 8 9 10 Respondent A TV2 NRK Respondent B Aftenposten TV2 05.01.04, NRK s. 8-9 Ifølge Amnesty mener 1 av 2 norske menn at kvinner selv har skylden dersom de blir voldtatt
Betyr delvis ansvarlig at de har skylden for? Både i Norge og Storbritannia fikk en omtrent samme resultat som for menn når det var kvinner som svarte. Mener du at LO står svekket etter LO-leder Gerd-Liv Vallas håndtering av saken omkring Ingunn Yssen, mener du LO ikke står svekket etter dette, eller har du ingen oppfatning om dette? 73% Svekket: / Ikke svekket: 17% / Ingen oppfatning: 10%
Meget/ganske stor tiltro til LO (%) 50 45 40 35 30 25 20 15 10 5 0 42 45 34 36 1993 1995 1997 1999 2001 2003 2005 2007 31 37 34 Januar 2007? Meget/ganske stor tiltro til LO (%) 50 45 40 35 30 25 20 15 10 5 0 42 45 34 36 Skifte av intervjuopplegg: Fra personlig intervju til selvutfylling 1993 1995 1997 1999 2001 2003 2005 2007 31 37 34 Januar 2007 36
Bør skolen nedlegges og all undervisning overlates til familien - siden skolekvaliteten bare betyr 10 prosent for elevenes skoleresultater? Oppslag i Aftenposten 6/11 2010, Basert på Rapport 34/2010 fra NIFU STEP (Norsk institutt for studier av innovasjon, forskning og utdanning) 100 75 Bare egenskaper som varierer kan forklare variasjon i en annen egenskap. Det vil si at hvis alle skoler har omtrent like gode lærere og like mye ressurser, Elevprestasjoner 50 25 Tidspunkt 1 - mye ressurser Tidspunkt 2 - lite ressurser kan ikke slike ting forklare variasjon i elevenes prestasjoner. Men de kan likevel bety mye for prestasjonene. 0 A B C D E F G H I J Skoler rangert etter kvalitet
Eksempler på at forskere feiltolker resultater Ved lanseringen av NM 1985: Feilslutning om dramatisk fall i religiøsitet i Norge i kommentar på Dagsrevyen 100 Prosent som sier de tror på Gud 90 84 85 Personlig intervju 80 70 60 75 70 53 Intervjuereffekt 50 40 30 20 10 For at resultatene fra ulike undersøkelser skal kunne sammenliknes, må samme opplegg være fulgt. Selvutfylling 0 1948 1966 1978 1982 1985
Utviklingen for gudstro (%) 53 51 51 51 49 49 49 47 47 46 46 45 43 40 Tror på Gud 21 24 25 25 26 25 26 27 28 30 30 31 34 37 Tror ikke på Gud 1985 1987 1989 1991 1993 1995 1997 1999 2001 2003 2005 2007 2009 2011 Forskjellen mellom absolutt og relativ lønnsøkning Lønnstillegg for sjefene: 105.000 (11,4% av 920.000) Lønnstillegg for sykepleierne: 19.000 (5,5% av 350.000) Sjefenes relative tillegg er dobbelt, det absolutte 5,5 ganger så stort.
Absolutte og relative forskjeller Opplyses: 106.379 kvinner undersøkt. Av disse fikk 187 hudkreft (fra 1991 til 1999). Dette gir sannsynlighet = 0,18 %. Vi kan beregne at sannsynligheten for å få hudkreft for de som tok solarium var 0,25%, mot 0,16% for de som ikke tok. En relativ forskjell på 55% svarer altså i dette tilfellet til en absolutt forskjell på 0,25 0,16 = 0,09 prosentpoeng. Statistisk sammenheng versus ulikhet Ledende forskere om klasseulikhet i rekrutteringen til høyere utdanning: Stabil klasseulikhet i Storbritannia på 1900-tallet: "... no significant reduction in class inequalities was in fact achieved" (Goldthorpe et al. 1987: 328) Britiske utdanningsreformer har ikke oppnådd målene om utjevning: "Neither the meritocratic reforms of the 1944 Act nor comprehensive reorganization can, in this respect at least, be said to have succeeded" (Heath and Clifford 1990: 15) Egalitære reformer virker ikke: "The implications of the findings... have therefore to count as rather grave ones for the general strategy of egalitarian reform that was pursued during the post-war period" (Goldthorpe et al. 1987: 328) Samme konklusjon i stor internasjonal studie med data fra en rekke land: "... despite the marked expansion of all the educational systems under study, in most countries there has been little change in socioeconomic inequality of educational opportunity." (...) "Finally, the impact of educational reforms on changes in educational stratifi-cation seems to be negligible. Nowhere have they reduced inequalities of educational opportunity between socioeconomic strata." (Blossfeld and Shavit 1993: 19, 21)
Prosent som oppnår høyere utdanning i Storbritannia, avhengig av fødselstidspunkt og foreldres sosiale status 84 87 74 Høy status 67 58 46 58 42 54 Middels status 31 27 18 58-18=40 67-27=40 84-42=42 87-54=33 18*100 = 54*100 31 = 62 58 87 1930-39 1940-49 1950-59 1960-69 Lav status Stabil sammenheng klasse-inntekt (avstand i gjennomsnittsinntekt = 30). Økende avstand / sterkere sammenheng (fra 30 til 130). 300 Jevnere fordeling av inntekt mellom klassene=større likhet (fra 29 til 44% av all inntekt tilfaller lavstatusgruppen). Stabil fordeling av inntekt mellom klassene (29%til lav), dvs. stabil ulikhet. 130 Income 120 150 30 Income 120 50 50 20 30 20 30 Low High Low High Time 1 Time 2 Low High Low High Time 1 Time 2 29 71 44 56 29 71 29 71