SOS3003 Anvendt statistisk dataanalyse i samfunnsvitenskap Forelesingsnotat, vår Erling Berge Institutt for sosiologi og statsvitenskap NTNU

Transkript

1 SOS33 Anvendt statistisk dataanalyse i samfunnsvitenskap Forelesingsnotat, vår 3 Erling Berge Institutt for sosiologi og statsvitenskap NTNU Vår 4 Erling Berge 4 Forelesing VIII Kurvetilpasning Hamilton kap 5 s4573 Vår 4 Erling Berge 4

2 Kurvetilpassing Ein rett spesifisert modell krev at funksjonen som bind xvariablane og y variabelen saman er i samsvar med røyndomen: er sambandet lineært? Data kan granskast gjennom bandregresjon eller glatting Teori om kausalsambandet kan spesifisere eit ikkjelineært samband For fenomen som ikkje kan representerast med ei rett linje skal vi sjå på nokre alternativ Kurvelineær regresjon Ikkjelineær regresjon Vår 4 Erling Berge 4 3 Bandregresjon Kan nyttast til å utforske korleis sambanda mellom variablane ser ut. Dersom vi kan sjå at ein underliggjande trend i data er ikkjelineær, må vi gjennom transformasjonar eller bruk av kurver finne ei form på funksjonen som betre representerer samanhengen Vår 4 Erling Berge 4 4

3 Ureining i ulike djup av sediment på sjøbotnen utanfor NH Ureining målt ved raten krom/jern i ulike djup av ulike sedimentprøver Er sambandet lineært? CR/FE RATIO 5,, 9,, 3,,, 5,, 5,, 5, DEPTH IN CM Vår 4 Erling Berge 4 5 Medianane i 5 band: raten krom/jern i sediment utanfor kysten i NH 5, 5,,, CR/FE RATIO 9,, CR/FE RATIO 9,, 3, 3,,,, 5,, 5,, 5, DEPTH IN CM Sambandet er tydeleg ikkjelineært DEPTH IN CM (Banded) Vår 4 Erling Berge 4

4 Transformerte variablar Brukar vi transformerte variablar vert regresjonen kurvelineær. Transformasjonen gjer den opphavelege kurvesamanhengen til ein lineær samanheng Dette er den viktigaste grunnen til å transformere. Samtidig kan transformering ordne opp i ulike typar statistiske problem (utliggjarar, heteroskedastisitet, ikkjenormale feil) Framgangsmåte: Vel høveleg transformasjon og lag nye transformerte var. Gjennomfør ein standard analyse med dei transformerte var For tolking bør ein vanlegvis transformere attende til opphaveleg måleskala Vår 4 Erling Berge 4 7 y Den lineære modellen K = β + β X + ε i j ji i j= I den lineære modellen kan vi transformere x ane og yane utan at det har noko å seie for eigenskapane til OLSestimata i seg sjølv. Så lenge modellen er lineær i parametrane er OLS ein lovleg metode Vår 4 Erling Berge 4 8

5 Kurvelineære Modellar Dette er i praksis regresjon med transformerte variablar Vi skal sjå på korleis ulike transformasjonar gir ulik form på sambanda Semilogaritmiske kurver LogLog kurver Logresiproke kurver Polynom ( og 3 orden) Vår 4 Erling Berge 4 9 Semilogaritmiske kurver Fig 5. i Hamilton y=5+ln(x) y=5ln(x) 4 8 Vår 4 Erling Berge 4 5 ln(y)=+.x ln(y)=.x 5

6 Loglog kurver Fig 5.3 i Hamilton 5 8 ln(y)=5+.8ln(x) ln(y)=5+ln(x) 4 5 ln(y)=5+.ln(x) ln(y)=5.ln(x) Vår 4 Erling Berge 4 Logresiproke kurver Fig 5.4 Hamilton.5.5 ln(y)=.+./x ln(y)=.5.5/x Horizontal line through (,.5 ) Horizontal line through (,.49 ) 4 Dei horisontale linjene gir verdien av y når x veks mot uendeleg: asymptoten for y 8 Vår 4 Erling Berge 4

7 Andregrads polynom Fig 5.5 Hamilton 3 4 y=5+8x.x^ y=58x+.x^ Vår 4 Erling Berge 4 3 Tredjegrads polynom Fig 5. Hamilton y=4+8x.7x^+.x^3 y=58x+.7x^.x^3 Vår 4 Erling Berge 4 4

8 Val av transformasjon Spreiingsplott eller teori kan gi råd Elles er transformasjon til symmetri det beste utgangspunktet Regresjonen rapportert i tabell 3. i Hamilton viste seg problematisk Regresjon med transformerte variablar kan redusere problema Vår 4 Erling Berge 4 5 Val av transformasjon i tab 3. Hamilton Y X X X 3 X 4 X 5 X X 7 Y*=Y.3 gir tilnærma symmetri X *= X.3 gir tilnærma symmetri X *= X.3 gir tilnærma symmetri Transformasjonar kan gjere lite Transformasjon påverkar ikkje dummyvar X 5 *= ln(x 5 ) gir tilnærma symmetri X = X 5 X (= # menneskje i 98) X 7 * = ln (X 5 /X ) Vassforbruk 98 Inntekt Vassforbruk 98 Utdanning Pensjonist # menneskje i 98 Endring i # menneskje Relativ endring i # m Vår 4 Erling Berge 4

9 Regresjon med transformerte variable Tab 5. Hamilton Dependent Variable: wtr8_3 B Std. Error t Sig. (Constant),85,385 4,8, inc_3,5,3 3,97, wtr8_3,,9,58, Education in Years,3,,57,4 head of house retired?,,9,85,395 logpeop,75,,49, clogpeop,9,3 3,485, Vår 4 Erling Berge 4 7, 75, Basert på regresjonen i tabell 3. i Hamilton Unstandardized Residual 5, 5,, 5, 5, Residual mot predikert Y,, 4,, 8, Unstandardized Predicted Value, 4, Unstandardized Residual,,, Annotation 4,, Basert på regresjonen i tabell 5. i Hamilton, 8,,, 4, Vår 4 Erling Berge 4 8

10 Andre verknader av transformasjonane To case med stor innverknad på koeffesienten for inntekt (store DFBTAS) har no ikkje slik innverknad (fig 4. og 5.9) Eit case med stor innverknad på koeffesienten for vassforbruk i 98 har no ikkje så stor innverknad (fig 4. og 5.) Transformasjonar som gjer fordelingar symmetriske vil ofte løyse mange problem men ikkje alltid! Vår 4 Erling Berge 4 9 Tolking Estimatet av modellen ser no slik ut y = x +.x.3x x i i i 3i 5i.x4i.75ln( x5i).9 ln( ) xi Tolking av koeffesientane er ikkje lenger så enkelt (t.d.: måleeiningane på parametrane er endra) Den enklaste måten å tolke på er å nytte betinga effekt plott Vår 4 Erling Berge 4

11 For betinga effekt plott er det nyttig med ein tabell over minimum, maximum og gjennomsnitt Summer 98 Water Use N 49 Minimum Maximum Mean 98,39 Summer 98 Water Use , Income in Thousands 49 3,8 Education in Years 49 4, head of house retired? 49,9 # of People Resident, ,7 Increase in # of People ,4 # people living in , Vår 4 Erling Berge 4 Variabelverdiar som maksimerer eller minimerer predikert verdi Summer 98 Water Use Koeff (+/) Minimere y Maximere y Mean 98,39 Summer 98 Water Use. 7 73, Income in Thousands.5 3,8 Education in Years.3 4, head of house retired?.,9 # of People Resident, ,7 Increase in # of People.9 3 3,4 # people living in 98 3, Vår 4 Erling Berge 4

12 Vassforbruk etter inntekt kontrollert for andre variablar Fig 5. Hamilton 4 Samanhengen når andre variablar har gjennomsnittsverdiar 8 4 y.3 =.85+.(73).3.3(4)+.(.94)+.75ln(3.7)+.9(ln(3.7)ln(3.))+.5(x).3 Vår 4 Erling Berge Kva er interessant å plotte? Samanhengen inntekt vassforbruk kontrollert for ulike kombinasjonar av andre variabelverdiar. Dei som minimerer vassforbruket. Dei som maksimerer vassforbruket 3. Gjennomsnittverdiane y.3 =(.85+.().3.3()+.()+.75ln()+.9(ln()ln())+.5(x).3 ) y.3 =(.85+.(7).3.3()+.()+.75ln()+.9(ln()ln())+.5(x).3 ) y.3 =(.85+.(73).3.3(4)+.(.9)+.75ln(3.7)+.9(ln(3.7)ln(3.))+.5(x).3 ) Vår 4 Erling Berge 4 4

13 Samanlikning av tre typar brukssituasjon 4 Maksimum 8 4 Gjennomsnitt Minimum Samanhengen mellom inntekt og vassforbruk Fig 5. Hamilton Vår 4 Erling Berge 4 5 Konstanten si rolle i plottet Den einaste skilnaden mellom dei tre kurvene er konstanten I maksimumskurva er (konst) = 4.4 I minimumskurva er (konst) = 4.4 I gjennomsnittskurva er (konst) = 8.57 y = konst +.5x ( ).3.3 i i Effekten av inntekt varierer med verdien av (konst) Når vi transformerer avhengig variabel vert alle samanhengar til interaksjonseffektar Vår 4 Erling Berge 4

14 Samanlikning av effektar I somme samanhengar kan ein nytte den standardiserte regresjonskoeffesienten til å samanlikne effektar, men den er sensitiv for skeive estimat av standardfeilen Ein meir generell metode er å samanlikne betinga effekt plott der skaleringa på y aksen er halden konstant Vår 4 Erling Berge Inntekt i tusen 5 4 Pensjonist # menneskje vassforbruk Utdanning i år 4 3 Relativ endring i # menneskje Fig 5.3 Hamilton Vår 4 Erling Berge 4 8 4

15 Ikkjelineære modellar Dersom vi ikkje har modellar som er lineære i parametrane vil ein trenge andre teknikkar for å estimere parametrane Det kan vere to typar argument for slike modellar Teori om den kausale mekanismen kan diktere ein slik modell Inspeksjon av data kan peike på ein bestemt type modell Vi skal sjå på Eksponentielle modellar Logistiske modellar Gompertz modellar Vår 4 Erling Berge 4 9 Eksponentiell vekst og fall Fig 5.4 Hamilton y=5exp(.3x) y=4exp(.x) 4 Vår 4 Erling Berge 4 3 8

16 Negative eksponential kurver Fig 5.5 Hamilton 8 4 y=(exp(.7x)) y=(exp(.x)) Horizontal line through (, ) 4 8 Vår 4 Erling Berge 4 3 Toledds eksponentialkurver Fig 5. Hamilton y=(.5.4 )(exp(.4x)exp(.5x)).5 y=(.5. )(exp(.x)exp(.5x)) Vår 4 Erling Berge 4 3

17 Logistiske modellar Den logistiske funksjonen skriv ein Når x veks mot uendeleg vil y nærme seg α Når x minkar mot minus uendeleg vil y nærme seg α y = +ε +γexp( βx) Logistiske modellar passar til mange fenomen Vekst i biologiske populasjonar Spreiing av rykte Spreiing av sjukdom Vår 4 Erling Berge Logistiske kurver Fig 5.7 Hamilton Y=α y= y= 5 +exp(.x) 5 +5exp(.x) 5 +exp(.x) y= Horizontal line through (, 5 ) 8 γ fastset kvar veksten startar, β kor rask veksten er Vår 4 Erling Berge 4 34

18 Logistisk sannsynsmodell Dersom ein set α=γ= vil y variere mellom og når x varierer mellom minus uendeleg og pluss uendeleg. Logistiske kurver kan da nyttast til å modellere sannsyn y i = +ε + exp( βx ) i ι Vår 4 Erling Berge 4 35 Gompertzkurver Gompertzkurver er sigmoidkurver slik som den logistiske, men tilvekst og vekstreduksjon skjer i ulik takt, så dei er ikkje symmetriske y βx γe = α e +ε Parametrane α, γ og β har den same tolkinga som i den logistiske modellen Vår 4 Erling Berge 4 3

19 Gompertzkurver Fig 5.8 Hamilton y=5exp(exp(.x)) y=5exp(exp(.x)) y=5exp(exp(.x)) Horizontal line through (, 5 ) 8 Vår 4 Erling Berge 4 37 Estimering av ikkjelineære modellar Kriteriet på tilpassing er framleis minimum RSS Ein kan sjeldan finne analytiske uttrykk for parametrane. Ein må gjette på ein startverdi og gå igjennom fleire iterasjonar for å finne kva parameterverdi som gir den minste RSS verdien Gode startverdiar er som regel nødvendig og alt frå teori til inspeksjon av data vert brukt for å finne dei Vår 4 Erling Berge 4 38

20 Prosent kvinner med minst barn etter kvinnas alder og fødselsår (England og Wales) Vår 4 Erling Berge 4 39 Estimering av Gompertzmodellar for kohortar () 8, % FEMALE COHORT WITH >= CHILD WOMEN'S AGE Predicted Values WOMEN'S AGE, 4,,, 9 kohorten, observerte og estimerte verdiar: Y= 79.8exp(4.exp(.x)) Y= prosent med minst barn X= alder 5,, 5, 3, 35, 4, Vår 4 Erling Berge 4 4

21 Estimering av Gompertzmodellar for kohortar (), Predicted Values WOMEN'S AGE 8,, 4,, 9 og 945 kohortane, estimerte verdiar Y= 79.8exp(4.exp(.x)) Y= 9.4exp(48.exp(.8x)) Y= prosent med minst barn X= alder,,, 3, 4, 5, Vår 4 Erling Berge 4 4 Modelltilpassing For å evaluere ein teoretisk utleda modell For prediksjon av y innan eller ut over variasjonsområdet for x Substansiell eller komparativ vurdering av parmeterverdiar Her kan vi nytte modellen på kohortar som enno ikkje er ferdig med fødslane sine (prediksjon ut over observerte x verdiar) Vi kan nytte modellen til å samanlikne parameterverdiane til ulike kohortar Vår 4 Erling Berge 4 4

22 Parametertolking Tab 5. Hamilton Kohort α = øvre grense γ =? β = vekstfart Vår 4 Erling Berge 4 43 Fødselsrater i Sunndal, Meråker, Verran og Rana 987 Modellert med Hadwiger funksjonen Ref.: Erling Berge 98 «The Social Ecology of Human Fertility in Norway 97», Ph.D dissertation, Boston University Vår 4 Erling Berge 4 44

23 Konklusjonar i kapittel 5 () Dataanalyse startar ofte med lineære modellar. Dei er enklast. Teori eller utforskande dataanalyse (bandregresjon, glatting) kan seie oss om kurvelineære eller ikkjelineære modellar trengst Transformasjon av variable gir kurvelineær regresjon. Dette kan motverke fleire problem Kurvelinearitet i samanhengane Case med stor påverknad Ikkjenormale feil Heteroskedastisitet Vår 4 Erling Berge 4 45 Konklusjonar i kapittel 5 () Ikkjelineær regresjon nyttar iterative prosedyrar for å finne parameterestimat. Prosedyrane treng initialverdiar og er ofte sensitive for initialverdiane. Tolking av parametrar kan vere vanskeleg. Grafar som viser sambanda for ulike parameterverdiar vil hjelpe mye Vår 4 Erling Berge 4 4