Introduksjon til Generaliserte Lineære Modeller (GLM)

Transkript

1 Literatur / program Introduksjon til Generaliserte Lineære Modeller (GLM) STK august 2007 Sven Ove Samuelsen Plan for første forelesning: 1. Introduksjon, Literatur, Program 2. ksempler 3. Uformell definisjon av GLM 4. Noen utvidelser av GLM 5. Plan for kurset Introduksjon til Generaliserte Lineære Modeller (GLM) p.1/21 Som lærebok skal vi bruke Annette J. Dobson: An introduction to generalized linear models. Chapman & Hall/CRC 2002 Denne boka kan kjøpes i Akademika. Som støttelitteratur kan det også være greit å anskaffe Julian J. Faraway: xtending the linear model with R. Generalized linear, mixed effect and nonparametric regression models. Chapman & Hall/CRC 2006 Denne boka er bestilt, men ikke ankommet i Akademika. Vi skal bruke programpakken R som kjører under de vanlige operativsystemer og som kan lastes ned gratis fra I hovedsak skal vi benytte rutiner som er implementert i R. Det vil Introduksjon til Generaliserte Lineære Modeller (GLM) p.3/2 Introduksjon Generaliserte lineære modeller (med utvidelser) omhandler sentrale klasser av mer kompliserte, men likevel standard modeller utover multippel regresjon / anova. Spesielt skal vi se på hvordan binære data, telledata, kategoriske (multinomiske) data og levetidsdata kan analyseres. Målet med emnet er både å lære å benytte disse modellene til konkrete analyser og kjenne den matematiske bagrunnen for analysene. mnet skal altså ha både et praktisk og et teoretisk perspektiv. Dataeksempel 1: Fødselsvekt og svangerskapslengde Fra Dobson, Kapittel 2: Gutter Jenter Varighet(uker) Fødselsvekt (gram) Varighet (uker) Fødselsvekt (gram) Gj.sn n er interessert i å studere veksthastigheten pr. uke i slutten av svangerskapet, og om denne er forskjelig for de to kjønn. Introduksjon til Generaliserte Lineære Modeller (GLM) p.2/21 Introduksjon til Generaliserte Lineære Modeller (GLM) p.4/2

2 Spredningsplott for ks 1. ks. 2: Andel døde biller fłdselsvekt (g) o + Gutter Jenter andel dode biller svangerskapslengde (uker) dose (log_10) Introduksjon til Generaliserte Lineære Modeller (GLM) p.5/21 Introduksjon til Generaliserte Lineære Modeller (GLM) p.7/2 Dataeksempel 2: Dødelig giftdose for biller Dobson, Kapittel 7: Ca. 60 biller ble utsatt for hver av 8 ulike konsentrasjoner av, og antallet som døde ved hver av konsentrasjonene ble registrert. Dose Antall biller Antall døde Ønsker å studere sammenhengen mellom dose og dødelighet. Typisk modell for ks 1: Lineær regresjon For antas der N samme varians og Regresjonsparametre: (der fødselsvekt for baby nr. angir gutt og kjønn nr. svangerskapsvarighet for baby nr. kjønn nr. jente), dvs. normalfordelte med forventning 0 og og dessuten uavhengige. stigningskoeffisient konstantledd for kjønn Introduksjon til Generaliserte Lineære Modeller (GLM) p.6/21 Introduksjon til Generaliserte Lineære Modeller (GLM) p.8/2

3 Minste kvadraters tilpasning for ks 1. fłdselsvekt (g) stimater: svangerskapslengde (uker) Gutter Jenter Introduksjon til Generaliserte Lineære Modeller (GLM) p.9/21 I ks. 2: Dødelighet for biller er det rimelig å anta at binomisk fordelt = antall døde biller med dose der = sannsynligheten for at en bille dør med dose = antall biller som får dose n lineær modell for problematisk fordi Var variansstruktur og tilpasset med vanlig minste kvadrater er i motsetning til lineært utrykk er Ikke-konstant (heteroskedastisk) Introduksjon til Generaliserte Lineære Modeller (GLM) p.11/2 Modellspesifikasjonen for ks 1 kan alternativt skrives: Linearitet: Konstant varians: Var Uavhengige responser: Normalitetsantagelse: -ene uavhengige I STK3100 ser vi på utvidelser av lineære regresjonsmodeller til Linearitet etter transformasjon via link-funksjon Andre fordelinger for responsene: Binomiske, Poisson, Gamma,... Variansen avhenger av forventningen til responsene : Vanlig løsning for ks. 2: Logistisk regresjon Logistisk regresjonsmodell: Da blir Tilpasser så den logistiske regresjonsmodellen med Maximum Likelihood (ML). Tar hensyn til binomiske responser (og ikke-konstant varians) ffisiente estimater (tilnærmet med mye data) Introduksjon til Generaliserte Lineære Modeller (GLM) p.10/21 Introduksjon til Generaliserte Lineære Modeller (GLM) p.12/2

4 Logistisk regresjon for ks. 2: Andel døde biller ML: Predikerte sannsynligheter: Definisjon av GLM Uavhengige responser: Vektorer av forklaringsvariable der er -dimensjonale. andel dode biller dose (log_10) Introduksjon til Generaliserte Lineære Modeller (GLM) p.13/21 n GLM = Generalisert Lineær Modell er definert ved kommer fra samme eksponensiell klasse (ksponensielle klasser defineres senere, nok å vite at normalfordelinger, binomiske, Poisson-, gammafordelinger etc. utgjør eksp. klasser) Lineære komponenter (prediktorer) Linkfunksjon : Med lineær komponent ved at kobles forventningen til Introduksjon til Generaliserte Lineære Modeller (GLM) p.15/2 stimering logistisk regresjon Storvik: Numerical optimization of likelihoods: Additional literature for STK1120 gir en Newton-Rahpson rutine i R for å tilpasse logistisk regresjon til disse dataene. Heldigvis er dette allerede implementert R. Bruk kommando glm(cbind(dode,ant-dode) Dose,family=binomial) glm = Generalisert Lineær Modell family=binomial angir at vi har binære eller binomiske data Ved binomiske data angir cbind(dode,ant-dode) antall suksesser og antall ikke-suksesser Lineær regresjon er en GLM Responser ( -er) fra normalfordelinger Lineær komponent, dvs. linkfunksjonen identitetsfunksjonen Spesielt gjør R-kommandoene lm for lineær regresjon og glm essensielt det samme bare med litt forskjellig utskrift. Lineær regresjon er spesielt default-spesifikasjonen av for glm er Introduksjon til Generaliserte Lineære Modeller (GLM) p.14/21 Introduksjon til Generaliserte Lineære Modeller (GLM) p.16/2

5 ks. 1: Fødselsvekter > lm(vekt sex+svlengde) Call: lm(formula = vekt sex + svlengde) Coefficients: (Intercept) sex svlengde > glm(vekt sex+svlengde) Call: glm(formula = vekt sex + svlengde) Coefficients: (Intercept) sex svlengde Degrees of Freedom: 23 Total (i.e. Null); 21 Residual Null Deviance: Residual Deviance: AIC: Introduksjon til Generaliserte Lineære Modeller (GLM) p.17/21 Poisson-regresjon / Telledata ks. Dobson, Kap. 2: = antall ganger til lege kvinne nr. byer ( ) og på landet ( ). Antar at er Poissonfordelte med ( ). Sammenligner kun by / land, ikke nødvendig å bruke regresjon. Men kvinnene var år gamle. Kan være aktuelt å utvide dataene til å inkludere variable alder og kjønn. Vanlig GLM: Responser Lineær komponent, dvs. linkfunksjonen er (den naturlige) logaritmefunksjonen Introduksjon til Generaliserte Lineære Modeller (GLM) p.19/2 i Logistisk regresjon er en GLM Kaller Responser ( -er) fra binomiske fordelinger Lineær komponent. Dermed fås linkfunksjon logit for logit-funksjonen. > glm(cbind(dode,ant-dode) Dose,family=binomial) Call: glm(formula = cbind(dode, Ant - Dode) Dose, family = binomial) Coefficients: (Intercept) Dose Degrees of Freedom: 7 Total (i.e. Null); 6 Residual Null Deviance: Introduksjon til Generaliserte Lineære Modeller (GLM) p.18/21 Residual Deviance: AIC: Noen utvidelser Andre GLM-er: Telledata med negativ binomisk fordeling: Overspredning Kontinuerlige, ikke-normale responser: Gammafordeling, Invers gaussisk fordeling Utvidelser av GLM: Multinomiske responser Levetidsdata Analyse av avhengige data Generaliserte additive modeller (GAM) Vi skal gå inn på multinomiske responser og levetidsdata. Introduksjon til Generaliserte Lineære Modeller (GLM) p.20/2

6 Plan for kurset Vi følger boka til Dobson, ikke ord for ord, men kapittel for kapittel. Kap. 1: Introduksjon, Gjennomgåes ikke detaljert Kap. 2: Generlt om Modelltilpasning Kap. 3: ksponensielle klasser og GLM Kap. 4 og 5: stimering og inferens (ML) Kap. 6: Normal lineære modeller Kap. 7: Binomiske data Kap. 9: Telledata Kap. 8: Multinomiske data Kap. 10: Levetidsanalyse Introduksjon til Generaliserte Lineære Modeller (GLM) p.21/21