Fordeler og ulemper ved tabellanalyse

Transkript

1 Fordeler og ulemper ved tabellanalyse Ottar Hellevik Innlegg på møte i Surveyselskabet København 8/ Tabeller på vei ut? Epost fra James A. Davis (Harvard / NORC & General Social Survey): On :21, Davis-James wrote: Both reprints arrived. I've kinda given up on tables - BUT I am enthusiastic about the logit paper. Make sure it is widely read. JAD Fra innspill til pensumdiskusjon i komite på Institutt for statsvitenskap, UiO: Jeg har i komiteen argumentert for hva jeg mener bør være de grunnleggende prinsippene for å fastsette et pensum for statsvitenskapstudenter. Etter min mening må det være å ta utgangspunkt i 1) de mest generaliserbare metodene og 2) de metodene som er mest hyppig brukt i den faglige litteraturen. Svaret på begge spørsmålene er linjær regresjon og generaliseringene av disse. Sagt i komiteen: Tabeller brukes ikke lengre. Introduction to causal analysis. Exploring survey data by crosstabulation, som har vært på pensum i metodekurset på masternivå siden 1984, bør nå tas ut. 1

2 Alternativet? Hva er tabellanalyse (TA)? Analyse der en sammenlikner fordelingen på en avhengig variabel (gjerne prosentuert) mellom grupper inndelt etter verdi på en eller flere uavhengige variabler. Forskjellen mellom grupper kan måles i form av prosent- eller proporsjonsdifferanser, som viser effekten av den/de uavhengige variablene på den avhengige (Alternativt: Odds Ratio). Tabellanalysen er basert på data slik de foreligger, uten at det gjøres forutsetninger om datas fordelingsegenskaper (et ikkeparametrisk eller fordelingsfritt analyseopplegg). Styrke: Lett å forstå og bruke, enkelt å formidle til studenter og et ikke-faglært publikum. Svakhet/problem: Omfanget av multivariat analyse begrensens av kravene til N (antall enheter). Tap av informasjon for variabler med mange verdier / høyt målenivå. 2

3 Tankegang og framgangsmåte i TA lar seg enkelt visualisere Illustrasjon fra Kausalanalyse av krysstabeller (1980) Grunnleggende spørsmål: Hvilken forskjell gjør en forskjell? Inndeling i grupper ut fra én egenskap (uavhengig variabel) er gruppene forskjellige mht en annen (avhengig variabel)? Operasjoner: Sortering og opptelling prosentuering. Neste spørsmål: Kan forskjellen skyldes andre forskjeller mellom gruppene? Kontroll for tredje variabel via ny sortering innenfor de første gruppene. I eksemplet til venstre: Opprinnelig sammenheng blir noe svakere etter kontrollen. Mitt eget forhold til tabeller I innføringskurs i statistisk analyse for sosiologi- eller statsvitenskapstudenter er prosenttabeller det sentrale redskapet. Også for mange forskere forblir krysstabellene det foretrukne hjelpemidlet når det gjelder å finne mønstre i et empirisk materiale. Krysstabellene har et vesentlig fortrinn sammenliknet med den vrimmelen av raffinerte teknikker som spesiallitteraturen i dag tilbyr de er enkle å oppfatte og tillegge mening. Hverken forsker eller leser trenger å være i tvil om hva en prosentdifferanse betyr, i klar kontrast til det som ofte vil være situasjonen med de mer raffinerte analyseteknikkene. (Fra forordet til Kausalanalyse av krysstabeller (Universitetsforlaget 1980) Etter 1980 har etter min mening utviklingen gått i en uheldig retning for statistiske analyser av survey-data, det raffinerte er iferd med å ta fullstendig overhånd. Dette har mange uheldige konsekvenser. Studenter bruker mye tid og energi på å lære seg noe de har lite glede av, interessen for datakvalitet og teoretiske resonnementer kommer i bakgrunnen, det produseres forskningsresultater som bare er forståelige for de spesielt interesserte, og knapt nok dem. Hvis denne utviklingen fortsetter, kan resultatet bli at samfunnsforskning blir oppfattet som helt uinteressant og irrelevant av samfunnet for øvrig. 3

4 Temaer i presentasjonen: Utviklingen for surveyanalyse et personlig tilbakeblikk To ulike formål: Kausal- og prediksjons-analyse Opplegg for kausalanalyse ved hjelp av krysstabeller Tabellanalysens begrensninger Regresjonsanalyse som alternativ Lineær versus logistisk regresjon Alternativ: Indekser og Propensity-score Enkelhet og mening framfor statistisk raffinement Temaer i presentasjonen: Utviklingen for surveyanalyse et personlig tilbakeblikk 4

5 Eksempel fra 1967 på multivariat tabell med fire variabler: Egen stemme avhengig av fars yrke, fars stemme og eget yrke Videre analyse av tabellen til Valen og Katz: Gudmund Hernes En intuitiv innføring i multivariat analyse i Ugelvik Larsen (red.) Problemer i samfunnsvitenskapelig metode (1976) Forenklet tabelloppsett. Utgangspunkt for beregning av delsammenhenger samt variabeleffekter og samspillseffekter 5

6 Samme tabell ble brukt i mine bøker Kausalanalyse av krysstabeller (Universitetsforlaget 1980); og Introduction to Causal analysis. Exploring Survey Data by Crosstabulation (George Allen & Unwin 1984; Universitetsforlaget 1988) Uavhengige variabler %Ste. Fars yrke Fars stemme Eget yrke sos. FaYr FaSt EgYr Arbeider Sosialistisk Arbeider 0,90 Funksjonær 0,66 0,28 Borgerlig Arbeider 0,62-0,04 0,48 Funksjonær 0,18 0,40 Bonde Sosialistisk Arbeider 0,94 0,14 Selvstendig Funksjonær 0,26 0,07 0,46 Borgerlig Arbeider 0,48 0,15 Funksjonær 0,11 Deleffekter Hensiktsmessig tabell-layout (mange uavhengige variabler, delsammenhenger). Videre analyse av delsammenhengene: Prediksjonsanalyse: Uveide gjennomsnitt og samspillseffekter (Coleman / Hernes). Kausalanalyse: Veide gjennomsnitt (Rosenberg / Boyle / Davis / Hellevik) 0,24 0,44 0,68 0,37 Coleman/Hernes: Opplegg for prediksjonsanalyse Uveid gjennomsnitt for delsammenhenger som variabel-effekt og differanser som samspillseffekter Uavhengige variabler %Ste. Deleffekter Fars yrke Fars stemme Eget yrke sos. FaYr FaSt EgYr Arbeider Sosialistisk Arbeider 0,90 Funksjonær 0,66 0,28 Bonde Sosialistisk Arbeider 0,94 0,14 Selvstendig Funksjonær 0,26 0,07 0,46 Borgerlig Borgerlig Arbeider Arbeider 0,62 0,48-0,04 0,15 0,48 Funksjonær Funksjonær 0,18 0,11 0,40 0,24 0,44 0,68 0,37 Snitt (prediksjonseffekt) 0,14 0,34 0,43 Samspill: FY*FS = 1/4[(-0,04 + 0,40) - (0,14 + 0,07)] = 0,04 Samspill: FY*EY = 1/4[(-0,04 + 0,14) - (0,40 + 0,07)] = -0,09 Samspill: FS*EY = 1/4[(0,28 + 0,46) - (0,48 + 0,15)] = 0,03 Samspill: FY*FS*EY = 1/4[(-0,04-0,40) - (0,14-0,07)] = -0,13 6

7 Prediksjonsanalyseresultatene presentert grafisk Effektene kan brukes til å dekomponere proporsjonene for hver gruppe. Innvendinger: 1) Høyereordens samspill vanskelig å forstå / tolke. 2) Antall effekter = antall grupper, vokser eksponentielt (2 opphøyd i antall uavh.var.). 3) Teoretisk uinteressant, som regel er det en kausalfortolking vi er ønsker å foreta. Temaer i presentasjonen: Utviklingen for surveyanalyse et personlig tilbakeblikk To ulike formål: Kausal- og prediksjons-analyse 7

8 Analysetype: Prediksjon Kausal Formål: Analysemodell: Analyseopplegg: Forutsi verdi på Y ut fra sett med X er (uavhengige var.) X X X Y Todelt Én multivariat tabell med samtlige uavhengige variabler Forklare/dekomponere sammenheng mellom variabler X 2 Hier- X 1 X 4 arkisk X 3 Serie med tabeller. To opplegg: effektendring/ -overføring Effektberegning: Krav til resultat: Uveiet gjennomsnitt av deleffekter og samspillseffekter Prediksjon = faktisk fordeling (med forenkling) Veiet gjennomsnitt av deleffekter, ikke mål for samspill Komponentsum DE + IE + SE = bivariat sam.heng Statistiske teknikker Regresjon Tabbellanalyse Prediksjonsanalyse Uveide prosent-/ proporsjons-differanser og samspillseffekter Loglineær analyse (odds ratio, lambda, ) Logistisk regresjon Lineær regresjon med samspillsvariabler (binær / metrisk). Kausalanalyse Veide prosent-/ proporsjons-differanser uten samspillseffekter Lineær regresjon uten samspillsvariabler (binær / metrisk). 8

9 Temaer i presentasjonen: Utviklingen for surveyanalyse et personlig tilbakeblikk To ulike formål: Kausal- og prediksjons-analyse Opplegg for kausalanalyse ved hjelp av krysstabeller Kausalanalyse ved hjelp av krysstabeller: To aspekter 1) Analyseopplegget (hvilke tabeller trenger en) a) Effektendring (se hvordan sammenhengen mellom to variabler endres når det kontrolleres for andre variabler, endringene tolkes ut fra kausalmodellen). b) Effektoverføring (beregne alle direkte effekter i modellen, finne indirekte effekter ved hjelp av stimultiplikasjon). Analyseoppleggene er akkurat de samme som brukes ved stianalyse. 2) Effektberegningen (hva slags veid gjennomsnitt) a) Kontrollgruppenes størrelse (= testfaktor standardisering, Rosenberg). b) I tillegg variansen til fordelingen på den uavhengige variabelen innenfor kontrollgruppen (eget forslag; Boyle). c) I tillegg variansen til fordelingen på den avhengige variablen (Davis d-systems). Ingen av dem fungerer helt perfekt, b) nærmest. Ved bruk av lineær regresjon er en garantert perfekt dekomponering. 9

10 Effektoverføring Alle direkte effekter bestemmes. Indirekte effekter beregnes ved stimultiplikasjon. Spuriøs effekt: stimultiplikasjon gir omtrentlig resultat. Bør bruke effektendringsopplegget. Funn: Fars yrke har omtrent samme kausale betydning som de to andre variablene pga betydelig indirekte effekt. Effektendring Sammenhengen mellom en årsaksvariabel og effektvariabelen kontrolleres for de andre årsaksvariablene. Endring som skyldes forutgående variabel = spuriøs effekt. Endring som skyldes mellomliggende variabel = indirekte effekt. Dette opplegget gir en rask oversikt. Må brukes ved blokkmodeller / polytomier. 10

11 DDPP-programmet NONCAN Et genialt program for multivariat tabellanalyse (med opp til 10 variabler). Valg mellom effekt-endring eller effekt-overførings-opplegget, automatisk tabell-oppsett. Først den multivariate tabellen med proporsjoner og (N). Så en tabell for hver uavhengig variabel, med deleffektene for hver kontrollgrupper, + vekter, veid gjennomsnitt og p-verdier. Dette var et stormaskinprogram ved UiO, og er dessverre ikke lengre i bruk. Temaer i presentasjonen: Utviklingen for surveyanalyse et personlig tilbakeblikk To ulike formål: Kausal- og prediksjons-analyse Opplegg for kausalanalyse ved hjelp av krysstabeller Tabellanalysens begrensninger 11

12 Begrensninger for tabellanalysen Kontinuerlige variabler må grupperes, som gir tap av informasjon (men denne er ikke alltid meningsfull). I kausalanalysen greiest med dikotomier, men flere verdier kan håndteres. Kontrollen er basert på sortering av enhetene i atskilte grupper. Det stiller store krav til N å ta med mange variabler samtidig i analysen. Med mer enn tre variabler gir ikke alltid de veide effektene en perfekt dekomponering av en bivariat sammenheng, selv ikke med de beste vektene. Regresjonsanalysen derimot garanterer en perfekt dekomponering, og kan ha et nesten ubegrenset antall kontrollvariabler. Men også dette har sine problematiske sider. Temaer i presentasjonen: Utviklingen for surveyanalyse et personlig tilbakeblikk To ulike formål: Kausal- og prediksjons-analyse Opplegg for kausalanalyse ved hjelp av krysstabeller Tabellanalysens begrensninger Regresjonsanalyse som alternativ 12

13 Regresjonsanalyse med binær avhengig variabel Regresjonsanalyse forutsetter at vi kan beregne gjennomsnitt for den avhengige variabelen, dvs. at den må ha intervall-/forholdstalls-nivå. For en binær variabel (dikotomi kodet 0-1) kan det beregnes gjennomsnitt. Det er lik proporsjonen som har høy verdi på variabelen. I regresjonsanalyse der både uavhengig og avhengig variabel er binær: konstantleddet a = proporsjonen med verdi 1 på den avhengige variabelen for enheter med verdi 0 på den uavhengige (p 0 ); stigningskoeffisienten b = proporsjonsdifferansen d (= p 1 p 0 ). Utdanning og følelse av fellesskap med dommerrollen for departementsansatte Prosent DR: Ja DR: Nei Sum Jurist Annet P(DR) = a + b Utd = 0,20 + 0,55 Utd Prediksjonsanalyse: Regresjon med samspillsledd (S 12 =X 1 *X 2 ) Uavhengige variabler %Ste. Deleffekter Fars yrke Fars stemme Eget yrke sos. FaYr FaSt EgYr Arbeider Sosialistisk Arbeider 0,90 Funksjonær 0,66 0,28 Bonde Sosialistisk Arbeider 0,94 0,14 Selvstendig Funksjonær 0,26 0,07 0,46 Borgerlig Borgerlig Arbeider Arbeider 0,62 0,48-0,04 0,15 0,48 Funksjonær Funksjonær 0,18 0,11 0,40 0,24 0,44 0,68 0,37 Regresjonskoeffisienter b 1 b 2 b 3 0,07 0,15 0,37 Samspillspillsledd: b 12 = 0,40-0,07 = 0,33 Samspillspillsledd: b 13 = 0,14-0,07 = 0,07 Samspillspillsledd: b 23 = 0,46-0,15 = 0,31 Samspillspillsledd: b 123 = (-0,02-0,14) - (0,40-0,07) = -0,51 a Regresjonskoeffisientene finnes i den multivariate tabellen. Den delsammenhengen der kontrollvariablene har lav verdi er den uavhengige variabelens b. NB!:Gir tolkingsproblem. Effektene kan brukes til å dekomponere proporsjonene for hver gruppe. Innvendinger: 1) Tolking: Samspillseffekter vanskelig å forstå + Variabeleffekten tilfeldig. 2) Antall effekter = antall grupper, vokser eksponentielt. 3) Ikke så interessant, dersom det er en kausalfortolking vi er ønsker å foreta. 13

14 Kausalanalyse med samspillsvariabler Forslag: Siden samspill er representert som variabler, ta dem med i analysen. Men: Modellen eser ut: Med tre uavhengige variabler 1+4 samspillsvariabler etc. Størrelsen til en effekt avhenger ved samspill av hva som defineres som høy verdi på kontrollvariablene (avgjør hvilken delsammenheng som plukkes ut som b). Dette igjen påvirker dekomponeringen av sammenhenger i direkte / indirekte effekt. Kausalanalyse ved hjelp av regresjon Når samspillsvariablene sløyfes, svarer regresjonskoeffisienten for hver uavhengig variabel til det veide gjennomsnittet av dens delsammenhenger uttrykt som proporsjoner (identisk med tre variabler, kan avvike noe med flere). Kan tolkes som forskjell i sannsynlighet. I forhold til kausalmodellen svarer det til at de mellomliggende samspillsvariablene utelates. Gode grunner for å gjøre dette. Med lineær regresjonsanalyse får vi alltid en perfekt dekomponering av bivariate sammenhenger. Kontrollert b beregnes ut fra matrise av bivariate korrelasjoner. Kan derfor håndtere mange uavhengige variabler (N-1). Men ikke mer informasjon enn i tabellanalysen, så dette oppnås ved hjelp av fordelingsforutsetninger. Jo mer multivariat, jo større fare for at resultatene kan bli misvisende. Fare for ateoretiske fiske-ekspedisjoner med mange uavh. variabler. God strategi: Kombinere regresjons- og tabell-analyse (for de viktige variablene). 14

15 Temaer i presentasjonen: Utviklingen for surveyanalyse et personlig tilbakeblikk To ulike formål: Kausal- og prediksjons-analyse Opplegg for kausalanalyse ved hjelp av krysstabeller Tabellanalysens begrensninger Regresjonsanalyse som alternativ Lineær versus logistisk regresjon Men kan vi bruke lineær regresjon? Det sies ofte at en ikke kan bruke lineær regresjon med en binær avhengig variabel. Grunn I: Umulige resultater (predikerte sannsynligheter over 1 eller under 0). Logistisk b varierer mellom +/- uendelig. Irrelevant innvending i kausalanalyse, der det som teller er at summen av komponenter er lik den bivariate sammenhengen. Dette ikke tilfelle med logistisk regresjon. Grunn II: feilaktig signifikanstest (forutsetningen om homoskedastisitet er brutt). Dette viser seg å være helt uten betydning i praksis (sies i noen lærebøker, gitt noenlunde stor N og ikke altfor lav p. Simulering viser at dette gjelder også for relativt små utvalg og meget skjeve fordelinger på den avhengige variabelen. 15

16 Signifikanssannsynligheter ved logistisk og lineær regresjon: tilnærmet identiske resultater En 5% signifikanstest ga ulik konklusjon i én av 320 tester (0,0497 mot 0,0505) Hellevik (2009). Linear versus logistic regression when the dependent variable is a dichotomy Quality & Quantity Grunner for å foretrekke lineær regresjon Det er altså fullt mulig å velge lineær regresjon med en dikotom avhengig variabel. Det er det flere gode grunner for å gjøre. 1) Resultatene er enklere å forstå og formidle til andre. Forhindre at studenter bruker unødig tid og energi på å lære seg kompliserte analyseteknikker de ikke har bruk for. Redusere faren for å gjøre feil for forskere (noe som skjer ganske ofte når en bruker teknikker en egentlig ikke forstår). 2) Sikre at effektenes styrke og ikke bare deres signifikans lar seg kommentere når resultatene presenteres, slik tilfellet ofte er med logistisk regresjon. 3) Bare lineær regresjon kan brukes til kausal dekomponering av sammenheng mellom variabler. 4) Resultatene fra logistisk regresjon kan virke urimelige og direkte kontraintuitive. 5) Det er alvorlige statistiske innvendinger mot bruken av ikkelineære regresjonsmodeller (resultatene avhenger av uforklart varians). 16

17 Mål for sammenheng: Enkle og forståelige? Utdanning og følelse av fellesskap med dommerrollen for departementsansatte Prosent DR: Ja DR: Nei Sum Jurist Annet Proporsjonsdifferansen = 0,75-0,20 = 0,55 Odds for ja = P / (1 - P) Jurist: O j = 75/25 = 3,00 Annet: O a = 20/80 = 0,25 Odds ratio = OR = O j /O a = 3,00/0,25 = 12,0 Logit = ln(or) = 2,48 Lambda = 1/4 Logit = 0,62 b i lineær regresjon Blandes sammen med relativ risiko: P j / P a =3,75 b i logistisk regresjon Illustrasjon av forskjellen mellom lineær og logistisk analyse Andel som studerer i utlandet avhengig av foreldrens inntekt. 23 Lineær analyse: 5 %-d yttergrupper 87-90: 14 4 = : 14 4 = : 17 3 = : 23 5 = 18 Det er en forskjell i sannsynlighet for å studere i utlandet mellom ytterkategoriene for foreldreinntekt, som øker fra 0,10 til 0,18 fra første til siste periode. Sammenhengen er tilnærmet monoton, men øker med økende inntekt. Stenstrup, K. (2010). Den sosiale rekrutteringen til utenlandsstudier endring over tid. Sosiologisk tidsskrift. 18,

18 Multivariat logistisk regresjonsanalyse Tolking av tabellen For inntekt er laveste inntekts-gruppe referansegruppe. Koeffisientene er den naturlige logaritmen til OR for de øvrige gruppene i forhold til lavgruppen, kontrollert for de andre variablene. I kommentaren til tabellen sies det noe om endring og forskjeller mellom koeffisienter, og om signifikans. Det sies ikke noe om hva koeffisientene i seg selv betyr. Heller ikke noe om hvordan disse resultatene skiller seg fra de i figuren. Feks om hvor mye effekten av inntekt reduseres ved kontrollen for de andre variablene. Det kunne en gjort dersom det i den multivariate analysen var blitt brukt lineær regresjon. Forholdet mellom lineære og logistiske koeffisienter Prosent med høy utdannelse i befolkningen Lambda (= = ¼ 1/4logit lnor) Proportion Prop.diff. Difference = b Figuren viser betydningen av nivå for den avhengige variabelen for forskjellen mellom lineære og logistiske mål. To grupper med like store befolkningsandeler. Konstant proporsjonsdifferanse = lineær b = 0,20. Korresponderende verdier av Lambda går mot uendelig for ekstreme nivåer av den avhengige variabelen. 18

19 Lineære versus logistiske mål: Tenkt eksempel % som stemmer Menn Kvinner Menn Kvinner Proporsjonsdifferanser = lineær b: 0,9999 0,9990 = 0,0009 (%d = 0,09) 0,75 0,25 = 0,50 (%d = 50) Odds ratio: (99,99/0,01) / (99,90/0,10) = 9999/999 =10,0 (75 / 25) / (25 / 75) = 3 / 0,3333 = 9,0 Logistisk b: Ln (10,0) = 2,30 Ln (9,0) = 2,20 Lambda: ¼ ln (10,0) = ¼ 2,3 = 0,58 ¼ ln (9,0) = ¼ 2,2 = 0,55 Er det meningsfullt å betrakte forskjel-len mellom kvinners og menns valgdel-takelse som størst for de gule søylene, slik de logistiske målene sier at den er? Statistiske innvendinger mot logistisk regresjon I en lineær analyse vil det være uten betydning for resultatet for de øvrige variablene om en kontrollerer eller ikke for en variabel som bare er korrelert med én av dem, slik som W i modellen. Slik er det ikke i logistisk regresjon, her avhenger resultatet for alle variabler av den forklare variansen i W Y, som påvirkes av samtlige variabler X Y som er korrelert med Y. Den vil være forskjellig avhengig av om W er med i Z analysen eller ikke. Dette diskuteres av den svenske sosiologen Carina Mood i en artikkel i European Sociological Review (Logistic regression: Why we cannot do what we think we can do, and what we can do about it) - det er også blitt påpekt av andre. Foreløpig ser det ut til at mange av tilhengerne av ikke-lineære modeller ikke har tatt dette problemet inn over seg. 19

20 Temaer i presentasjonen: Utviklingen for surveyanalyse et personlig tilbakeblikk To ulike formål: Kausal- og prediksjons-analyse Opplegg for kausalanalyse ved hjelp av krysstabeller Tabellanalysens begrensninger Regresjonsanalyse som alternativ Lineær versus logistisk regresjon Alternativ: Indekser og Propensity score Problemer med multippel regresjon Noen advarende stemmer: Harvard-statistikeren Donald B. Rubin: Standard modeling software can automatically handle many regressor variables and produce results, although they can be remarkably misleading. With many confounding covariates, however, the issues of lack of adequate overlap and reliance on untrustworthy modelbased extrapolations are even more serious than with only one confounding covariate. (Rubin 1997: 759). When an estimate is derived using a regression model, especially one with many regressors, it may become difficult to judge how much the estimate reflects the data and how much it reflects the model. To investigate the source of results, we recommend one compare model-based results to the corresponding tabular (categorical-analysis) results. (Rothman & Greenland 1998: 407). Alternativer som kan gjøre problemet med mange variabler og begrenset antall enheter mindre i en tabellanalyse: indekser og tilbøyelighets-skåre (propensity-score). Rothman, K.J. & Greenland, S. (eds.) Moderen Epidemiology. Second edition. Philadelphia: Lippincott- Raven Publishers. Rubin, D.R Estimating causal effects from large data sets using propensity scores. Annals of internal medicine, 127,

21 Indeks som kontrollvariabel Bruk av en additiv indeks for kontrollvariablene reduserer antallet kontrollgrupper : Fra antall kontrollgrupper = 2 n (der n: antall kontrollvar.) til antall indeksverdier = n + 1. Antall kontrollvariabler (0-1) Antall: Kontrollgrupper Indeksverdier Det en mister, er informasjon om de enkelte kontrollvariablenes betydning. Passer derfor når det er én årsaksvariabel som har spesiell interesse, og de andres årsaksvariabelenes effekter ikke har egen interesse (de er rene kontrollvariabler). Sammenhengen inntekt-lykke kontrollert for 14 variabler (=16384 kontr.gr.) Med indeks: 15 kontrollgrupper. Kan ev. grupperes, slik som her (11) Lykkelig? Lav Meget Ganske Ikke Høy Lav inntekt Høy inntekt Lykkenivå: %meget %ikke. Inntekt høy=27,3 5,8 = 21,5; Lav= 19,2 12,4 = 6,8. Differansen 21,5 6,8 = 14,7 = bivariat sammenheng hush.sinntekt lykkenivå. Etter regresjonsanalyse med kontroll for 14 dikomotome variabler: 0,7 (ikke sign.) Regresjonsanalyse med kontroll for indeks 0-14: 4,3 (sign.) Tabellanalyse med indeks som som kontroll: Snitt for forskjellene i figuren: 6,5 (sign.) 21

22 Tilbøyelighets-skåre (Propensity-score) Alternativ til kontroll gjennom regresjonsanalyse: lage kontrollvariabel kalt tilbøyelighets-skåre. Den bestemmes gjennom en multivariat regresjonseller diskriminant-analyse, der aktuelle kontroll-variabler brukes til å forutsi sjansen for å ha høy verdi på årsaksvariabelen. Ut fra skåren inndeles enhetene i f.eks. fem like store kontrollgrupper, og en undersøker sammenhengen mellom årsaks- og effektvariabel innenfor hver gruppe. Framgangsmåten egner seg best når en er opptatt av å påvise betydningen av en bestemt årsaksfaktor, slik som effekten av et medikament for et sykdomsforløp innenfor ikke-eksperimentell medisinsk forskning, og skal kontrollere for alle slags forhold som kan tenkes å forstyrre inntrykket av denne sammenhengen. Den er ikke tilfredsstillende når en er interessert i hele systemet av relasjoner mellom variablene i en kausalmodell. Her vil regresjonsanalyse fortsatt være aktuell. Brukes mye i ikke-eksperimentell medisinsk forskning (1). Er også brukt for å korrigere for skjevhet i internett-surveyer. Feilaktig bruk forekommer (2). (1) Rosenbaum, P. & Rubin, D.B The central role of the propensity score in observational studies for causal effects. Biometrica. 70, (2) Hill, J Discussion of research using propensity-score mattching: Comments on A critical appraisal of propensity-score matching i the medical literature between 1996 and 2003 by Peter Austin. Statistics in Medicin 27, Temaer i presentasjonen: Utviklingen for surveyanalyse et personlig tilbakeblikk To ulike formål: Kausal- og prediksjons-analyse Opplegg for kausalanalyse ved hjelp av krysstabeller Tabellanalysens begrensninger Regresjonsanalyse som alternativ Lineær versus logistisk regresjon Alternativ: Indekser og Propensity score Enkelhet og mening framfor statistisk raffinement 22

23 Grunner for å foretrekke enkle statistiske teknikker Teoriproblemet: enkle problemstillinger. I beste fall modell med fortegn, sjelden spesifisering av styrke/form for relasjonene mellom variabler. Tendens: teoriløse fiskeekspedisjoner med store multivariate analyser. Måleproblemet: primitive mål. Enkle indikatorer for komplekse/latente egenskaper, problematisk validitet. Tendens: datakvaliteten kommer i bakgrunnen når bare analysen blir raffinert nok. Forståelseproblemet: mange forskere bruker teknikker de ikke forstår fullt ut. Faren for å gjøre feil eller mistolke resultater øker jo mere kompliserte teknikker anvendes. Tendens: Økende forekomst av uholdbare analyser. Formidlingsproblemet: "uskolert" publikum. Viktig for samfunnsforskere å kunne kommunisere med og bli forstått av av politikere og interesserte borgere. Tendens: Vil bli vanskeligere med økt raffinement. Konklusjon: Enkle metoder bedre enn sitt rykte. Feilaktig kritikk ut fra snevre/feilanvendte statistiske kriterier, i stedet for å legge vekt på hva som gir mening. For samfunnsforskning er det å bidra til den almenne samfunnsdebatten en hovedmålsetting (det er dette som er nytteverdien). 23