Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller

Transkript

1 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 1/34 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller STK3100/ august 2011 Geir Storvik (Oppdatert av tidligere presentasjon laget av Sven Ove Samuelsen)

2 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 2/34 Plan for dagen 1. Introduksjon, Litteratur, Program 2. Eksempler 3. Uformell definisjon av GLM 4. Blandede modeller 5. Plan for kurset

3 Aktivt forskningsfelt, mye fremdeles uferdig Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 3/34 Introduksjon Generaliserte lineære modeller Utvidelse av multippel regresjon / anova. Sentral klasse av modeller Skal vi se på hvordan binære data, telledata og kategoriske (multinomiske) data kan analyseres innen rammen av regresjon. Innkluderer logistisk regresjon, Poisson regresjon Blandede modeller/modeller med tilfeldige effekter Kan kombineres med lineære/generaliserte lineære modeller Kraftig modellverktøy

4 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 4/34 Målsetning Grundig innføring i generaliserte lineære modeller lære å benytte disse modellene til konkrete analyser kjenne den matematiske bakgrunnen for analysene. Kjennskap til blandede modeller lære å benytte disse modellene til konkrete analyser i enkle situasjoner kjenne til tilnærminger og utfordringer ved analyse av slike modeller Emnet skal altså ha både et praktisk og et teoretisk perspektiv. Eksempler fra mange fagfelt: medisin / biologi, samfunnvitenskap / økonomi, forsikring

5 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 5/34 Litteratur Hovedlærebok Generalized Linear Models for Insurance Data av Piet de Jong og Gillian Z. Heller. boka kan kjøpes i Akademika. hjemmeside: Inneholder de fleste data settene som benyttes. Tilleggslærebok Mixed Effects Models and Extensions in Ecology with R av Alain Zuur og andre. ebook, kan lastes ned fra webben. kun utvalgte kapitler Støtteliteratur på GLM

6 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 6/34 Statistikk-program Vi skal bruke programpakken R som kjører under de vanlige operativsystemer og som kan lastes ned gratis fra I hovedsak skal vi benytte rutiner som er implementert i R. Det vil ikke bli behov for å programmere mye på egenhånd. Hjemmeside for R:

7 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 7/34 Dataeksempel 1: Fødselsvekt og svangerskapslengde Gutter Jenter Varighet(uker) Fødselsvekt (gram) Varighet (uker) Fødselsvekt (gram) Gj.sn En er interessert i å studere veksthastigheten pr. uke i slutten av svangerskapet, og om denne er forskjelig for de to kjønn.

8 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 8/34 Spredningsplott for Eks 1. fłdselsvekt (g) o + Gutter Jenter svangerskapslengde (uker)

9 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 9/34 Typisk modell for Eks 1: Lineær regresjon For k = 1,..., 12 og j = 1, 2 (der j = 1 angir gutt og j = 2 jente) Y jk = x jk = fødselsvekt for baby nr. k kjønn nr. j svangerskapsvarighet for baby nr. k kjønn nr. j antas Y jk = α j + βx jk + ε jk der ε jk N(0,σ 2 ), dvs. normalfordelte med forventning 0 og samme varians σ 2 og dessuten uavhengige. Regresjonsparametre: β = α j = stigningskoeffisient konstantledd for kjønn j

10 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 10/34 Minste kvadraters tilpasning for Eks 1. fłdselsvekt (g) Gutter Jenter svangerskapslengde (uker) Estimater: ˆα 1 = 1610, ˆα 2 = 1773, ˆβ = 121

11 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 11/34 Modellspesifikasjonen for Eks 1 kan alternativt skrives: Linearitet: E[Y jk ] = µ jk = α j + βx jk Konstant varians: Var[Y jk ] = σ 2 Normalitetsantagelse: Y jk N(µ jk,σ 2 ) Uavhengige responser: Y jk -ene uavhengige I STK3100/4100 ser vi på utvidelser av lineære regresjonsmodeller til Linearitet etter transformasjon via "link-funksjon" g(): g(µ jk ) = α j + βx jk Variansen avhenger av forventningen til responsene Andre fordelinger: Binomiske, Poisson, Gamma,... Innkludering av flere tilfeldige effekter (blandede

12 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 12/34 Dataeksempel 2: Dødelig giftdose for biller Ca. 60 biller ble utsatt for hver av 8 ulike konsentrasjoner av CS 2, og antallet som døde ved hver av konsentrasjonene ble registrert. Dose (log 10 CS 2 mg l 1 ) Antall biller Antall døde Ønsker å studere sammenhengen mellom dose og dødelighet.

13 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 13/34 Eks. 2: Andel døde biller andel dode biller dose (log_10)

14 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 14/34 I Eks. 2: Dødelighet for biller er det rimelig å anta at Y i = antall døde biller med dose x i er binomisk fordelt Y i bin(n i,π i ) der π i = sannsynligheten for at en bille dør med dose x i og n i = antall biller som får dose x i En lineær modell for π i tilpasset med vanlig minste kvadrater er problematisk fordi 0 π i 1 i motsetning til lineært utrykk α + βx i Var(Y i ) = n i π i (1 π i ), ikke-konstant (heteroskedastisk) variansstruktur

15 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 15/34 Vanlig løsning for Eks. 2: Logistisk regresjon Logistisk regresjonsmodell: Da blir 0 π i 1 π i = exp(α + βx i) 1 + exp(α + βx i ) Tilpasser så den logistiske regresjonsmodellen med Maximum Likelihood (ML). Tar hensyn til binomiske responser (og ikke-konstant varians) Effisiente estimater (tilnærmet med "mye" data)

16 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 16/34 Logistisk regresjon for Eks. 2: Andel døde biller MLE: ˆα = 60.72, ˆβ = Predikerte sannsynligheter: ˆπ = exp(ˆα+ˆβx) 1+exp(ˆα+ˆβx) andel dode biller dose (log_10)

17 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 17/34 Estimering logistisk regresjon Storvik: "Numerical optimization of likelihoods: Additional literature for STK2120" gir en Newton-Rahpson rutine i R for å tilpasse logistisk regresjon til disse dataene. Heldigvis er dette allerede implementert R. Bruk kommando glm(cbind(dode,ant-dode) Dose,family=binomial) glm = Generalisert Lineær Modell family=binomial angir at vi har binære eller binomiske data Ved binomiske data angir cbind(dode,ant-dode) antall suksesser og antall ikke-suksesser

18 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 18/34 Dataeksempel 3: Antall barn blant gravide de Jong & Heller: Data over antall tidligere barn blant 141 gravide kvinner i ulike aldre. Ikke uventet synes antall barn å øke med alder. antall barn gjennomsnittlig antall barn alder alder

19 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 19/34 Dataeksempel 3b: Antall bilskader de Jong & Heller: Data over antall rapporte bilskader på poliser (siste år). Forklaringsvariable: Bilens verdi Bilens alder Type bil Førerens kjønn Førerens alder I begge eksempler: Antall, dvs. tellevariable, kanskje Poissonfordeling.

20 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 20/34 I eks. 3: Y i = Antall barn tidligere for mor nr. i kan det være rimelig å anta at Y i er Poissonfordelt med forventning µ i der µ i avhenger av x i = mors alder. Tilsvarende Eks 2: Forventningene µ i > 0 Variansen til Y i er lik µ i, dvs. ikke-konstant varians Vanlig løsning: Poisson-regresjon Y i Po(µ i ) der µ i = exp(α + βx i ) Dette er også en generalisert lineær modell og kan tilpasses ved glm-rutinen. Må bare spesifisere at data er antatt Poissonfordelte ved family=poisson

21 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 21/34 Poisson-regresjon for eks. 3 MLE for (α,β) ble (ˆα, ˆβ) = ( , ) Får dermed tilpassede forventninger ˆµ i = exp(ˆα + ˆβx i ) forventet antall barn o Observert i 5 årsgrupper Tilpasset med glm

22 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 22/34 Definisjon av GLM Uavhengige responser: Y 1,Y 2,...,Y n Vektorer av forklaringsvariable x 1,x 2,...,x n der x i = (x i1,x i2,...,x ip ) er p-dimensjonale. En GLM = Generalisert Lineær Modell er definert ved Y 1,Y 2,...,Y n kommer fra samme eksponensiell klasse (Eksponensielle klasser defineres senere, nok å vite at normalfordelinger, binomiske, Poisson-, gammafordelinger etc. utgjør eksp. klasser) Lineære komponenter (prediktorer) η i = β 0 + β 1 x i1 + + β p x ip Linkfunksjon g(): Med µ i = E[Y i ] kobles forventningen til lineær komponent ved at g(µ i ) = η i

23 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 23/34 Lineær regresjon er en GLM Responser (Y i -er) fra normalfordelinger Lineær komponent η i = β 0 + β 1 x i1 + + β p x ip E[Y i ] = µ i = η i, dvs. linkfunksjonen g(µ i ) = µ i er identitetsfunksjonen Spesielt gjør R-kommandoene lm for lineær regresjon og glm essensielt det samme bare med litt forskjellig utskrift. Lineær regresjon er spesielt default-spesifikasjonen av for glm

24 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 24/34 Eks. 1: Fødselsvekter > lm(vekt sex+svlengde) Call: lm(formula = vekt sex + svlengde) Coefficients: (Intercept) sex svlengde > glm(vekt sex+svlengde) Call: glm(formula = vekt sex + svlengde) Coefficients: (Intercept) sex svlengde Degrees of Freedom: 23 Total (i.e. Null); Null Deviance: Residual Deviance: AIC: Residual

25 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 25/34 Logistisk regresjon er en GLM Responser (Y i -er) fra binomiske fordelinger bin(n i,π i ) Lineær komponent η i = β 0 + β 1 x i1 + + β p x ip E[Y i ]/n i = π i = exp(η i) 1+exp(η i ). Dermed fås linkfunksjon g(π i ) = log( π i 1 π i ) Kaller g(π) = log( π ) = logit(π) for logit-funksjonen. 1 π > glm(cbind(dode,ant-dode) Dose,family=binomial) Call: glm(formula = cbind(dode, Ant - Dode) Dose, family = binomial) Coefficients: (Intercept) Dose Degrees of Freedom: 7 Total (i.e. Null); 6 Residual Null Deviance: Residual Deviance: AIC: 41.43

26 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 26/34 Poisson-regresjon er en GLM Responser Y i Po(µ i ) Lineær komponent η i = β 0 + β 1 x i1 + + β p x ip E[Y i ] = µ i = exp(η i ), dvs. linkfunksjonen g(µ i ) = log(µ i ) er (den naturlige) logaritmefunksjonen > glm(children age,family=poisson) Call: glm(formula = children age, family = poisson) Coefficients: (Intercept) age Degrees of Freedom: 140 Total (i.e. Null); Null Deviance: Residual Deviance: 165 AIC: Residual

27 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 27/34 Eksempel 4 Vekt av 30 rotter målt ukentlig i 5 uker Weight days

28 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 28/34 Vanlig lineær modell Respons Y i,j er vekt av rotte i for uke j. Individuelle forskjeller i nivå. Mulig modell: Y i,j = α i + β x j + ε i,j, ε i,j N(0,σ 2 ) der x j er antall dager. Kan estimere α 1,...,α 30,β,σ 2 ved vanlig lineær regresjon.

29 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 29/34 Eksempel 4 (forts) 30 rotter utvalg av populasjon. Av interesse hele populasjonen. Alternativ modell Y i,j = α + a i + β x j + ε i,j, ε i,j N(0,σ 2 ) der nå a i N(0,σa). 2 Eksempel på blandet modell

30 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 30/34 Eksempel 4: Tilpasning i R lme(y x,random= 1 id,data=d) Linear mixed-effects model fit by REML Data: d AIC BIC loglik Random effects: Formula: 1 id (Intercept) Residual StdDev: Fixed effects: y x Value Std.Error DF t-value p-value (Intercept) x Correlation: (Intr) x -0.49

31 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 31/34 Noen utvidelser Andre GLM-er: Telledata med negativ binomisk fordeling: Overspredning Kontinuerlige, ikke-normale responser: Gammafordeling, Invers gaussisk fordeling Utvidelser av GLM: Multinomiske responser (STK3100) Blandede modeller (STK3100,STK4070) Analyse av avhengige data (STK3100,STK4060/STK4150) Levetidsdata (STK4080) Generaliserte additive modeller (STK4030)

32 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 32/34 Oversikt boka til de Jong & Heller Kap. 1: Introduksjon, Dataeksempler, Gjennomgåes ikke detaljert Kap. 2: Diverse fordelinger (med noen unntak kjent fra før) Kap. 3: Eksponensielle klasser, ML-estimering Kap. 4: Lineær modellering (stort sett kjent fra STK1110/STK2120) Kap. 5: Generaliserte lineære modeller Kap. 6: Telledata (Poissonregresjon, overspredning) Kap. 7: Katergoriske responser (binomiske data, multinomiske data) Kap. 8: Kontinuerlige responser

33 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 33/34 Oversikt boka til Zuur og andre Kap 5: Lineæare blandede modeller Kap 8: Eksponensielle klasser (støtte til de Jong & Heller) Kap 13: GLM og blandede modeller Kap 23 (sek 4-7) Bayesianske tilnærminger (hvis tid)

34 Introduksjon til Generaliserte Lineære Modeller (GLM) og blandede modeller p. 34/34 Plan for kurset de Jong & Heller Følger stort sett kapittellindelingen Ikke slavisk, enkelte deler må fylles ut a Zuur og andre først og fremst se på modeller og eksempler. Forelesningsplan vil bli oppdatert på kurset hjemmeside etterhvert.