Introduksjon til generelle lineære modeller (GLM)

Transkript

1 Itrodusjo tl geerelle leære modeller (GLM) Geerelle Leære Modeller (GLM) er orthet e felles betegelse for e ree statstse modeller, fra eel leær regresjo og eves balasert ANOVA tl de mest omplserte ANOVA-modeller med ubalasert desg, stoastse effeter, multvarabel respos og modeller for repeterte målger og flervåmodeller for logtudelle studer. Det at alt dette a samles efor ett og samme formelver, gr stor flesbltet og mulghet for sreddersydd desg og tlpasg ute at ye metoder og teor må utvles. Modere dataprogram for statse aalyser har GLM som stadartrepertoar. Selv om det meyvalget tlsyelatede a se ut som om det er speselle moduler for leær regresjo, ANOVA, ANCOVA osv., a det godt hede at datamase tert bruer GLM-programmet. Alt dette gr som resultat et svært flesbelt og omfattede redsap for avedt statst. Fra Statst II er v jet med leær regresjo, eves ANOVA og ANCOVA. V sal se at GLM foreer alle tre. Seere dette urset troduseres fatorell desg og aalyse av repeterte målger. Ved ubalasert desg vl her de ele formlee med vadratsummer og oppsplttge av dem e leger gjelde. De eeste farbare ve er da e GLM-tlærmg. Teore for GLM ble utvlet på 800-tallet av matematere som bl.a. Gauss og Boole og bygger på teore om algebras varas. Eelt sagt går de ut på å detfsere de størrelsee et lgssett, som forblr uedret uder leær trasformasjo av varablee. Det eleste esemplet på det er at orrelasjoe mellom to varabler er uforadret ved e leær trasformasjo av begge varablee. GLM støtter seg på matrsealgebra, me matrsebegrepet sal her bare ort ssseres. For e dypere forståelse reves mdlertd jesap tl dee form for regg. Det er mdlertd e mege å g e grudg gjeomgag av matrseregg og GLM dette urset. Heste er først å repetere hva som mees med e leær modell og så vse hvorda det som tdlgere er gjeomgått av leær regresjo og varasaalyse a forees GLM, og så sal det ssseres hvorda mer omplserte modeller faller. Vetor- og matrseotasjo sal ort eves bare for å vse hvor ompat modellee a uttryes på dee forme. GLM a sees på som e geeralserg av multppel leær regresjo, og god usap om dee metode er e forutsetg for å forstå GLM og hvorfor GLM a fave så vdt. Multppel leær regresjo Multppel leær regresjo er e utvdelse av eel leær regresjo ved at det er flere e é regressor (predtor). Med predtorer a modelle uttryes som Y β β β β ε = β0, β, β,..., β er parametrer, regresjosoeffseter regresjo,,..., er gtte, jete størrelser, bære eller vattatve ε er uavhegge N(0, σ ) =,,...,

2 Støyleddee ε sal ha samme fordelg, og v ue godt ha satt ε = ε for alle. Modelle ovefor er geerell, og de er bass for alle modeller GLM. Ettersom ε har forvetg ull, a v srve EY [,,..., ] = β + β + β β 0 Dette er et hyperpla det (+)-dmesjoale rom, dvs. e rett lje et -dmesjoalt pla for =, et pla det -mesjoale rommet for = osv. Mer av leartetsravet lgger på regresjosoeffsetee og e på regressoree. Dette medfører at e modell som Y = β0 + β + ε også er leær selv om det her er e rum forvetgslje -y-plaet. Hvs v setter får v modelle Y = β0 + βz+ ε og v får e rett lje z-y-plaet som ved eel leær regresjo. Det a lett vses at også e modell som = z, Y = ep( β + β + ε) 0 a føres over på leær form ved logartms trasformasjo, mes modelle Y = β + + ε 0 β er e-leær. V a før estmerge trasformere båre regressorvarabler og resposvarabele og så utføre aalyse med de trasformerte verder. Tlbaetrasformerg gr mdlertd som regel forvetgssjev estmator for predert Y, me tervallestmerg blr orret. Trasformerg av varabler a være atuelt dersom modellotroll vser brudd på forutsetger modelle. ML-estmerg. V lærte Statst II at regresjosoeffsetee (parametree) β0, β,..., β ble estmert ved mste vadratsums metode (MK-estmerg) og at de var forvetgsrette ute hesy tl sasylghetsfordelger. MK-estmerg regresjosaalyse besto å bestemme regresjosoeffsetee sl at vadratsumme av dfferesee mellom observert respos Y og forvetet Y ble mmert. Dette var basert på ret geometrse betratger. I GLM med mer omplserte modeller a det hede at dee metode e gr oe løsg. I sle tlfeller beyttes e ae estmergsmetode, emlg mamum lelhood-estmerg (MLE), på ors alt sasylghetsmasmergsprsppet. Noe forelet sagt går det ut på å bestemme parametree sl at sasylghete for de observasjoee v fats har, blr masmert. For å ue beytte metode må v jee formele tl de sasylghetsfordelg observasjoee har.

3 Esempel på ML-estmerg Utledg av ML-estmatorer ebærer ofte omplserte matematse tealterer. V sal her gå gjeom to relatvt ele esempler. Det første er for å vse prsppet. Det adre er for å vse ML-estmerg regresjo. Esempel : X er uavhegge og Possofordelte med parameter λ, =,,...,. Putsasylghete for e eelt observasjo blr da λ λ PX ( = ) = e! Multplserer v å samme sasylghete for alle observasjoer, får v smultasasylghete for alle observasjoee. Oppfattet som fusjo av de ujete parametere λ alles smultasasylghete lelhood, og v får: λ λ L( λ) = P( X = ) P( X = ) P( X = ) = ΠP( X = ) = Π e! = = Dee fusjoe sal masmerer med hesy på λ. Dette a gjøres ved dervasjo og med løsg dervert verd l ull. Me det elere stede å masmere logartme tl L (ll) e L selv. Resultatet blr mdlertd det samme. Log-lelhood blr: λ λ l( λ) = l( L) = l e ( l( ) l! ) ) λ λ = = =! Derverer v dette uttryet med hesy på λ og setter det l ull, får v: = = = 0 λ λ De verde for λ som løser dee lge, er de som masmerer lelhood, emlg λ =. V aller de ML-estmatore, og srver λ = X. V ser at λ E λ = E X = E = λ Følgelg er ML-estmatore λ forvetgsrett dette tlfellet, me e ML-estmator er e alltd det, oe v sal se este esempel. Esempel : V bruer eel leær regresjo som esempel. Modelle er Y = β + β + ε 0 der ε er uavhegge N(0, σ ). Dette medfører at Y er Sasylghetstetthete for e eelt Y blr da: N( β0 + β, σ ).

4 f ( y ) = ep Y ( πσ ) σ ( β β ) Y 0 V har her tre ujete parametrer - β0, β og σ som sal estmeres. Det er lettere å estmere σ e σ. Derfor oppfatter v varase σ som parametere og e stadardavvet σ. V deferer å lelhood som smultatetthete av alle observasjoee oppfattet som fusjo av de ujete parametree. Mer at lelhood ved otuerlge fordelger e er oe sasylghet. V får å: 0 β σ = Y Y Y = Y = L( β,, ) f ( y ) f ( y ) f ( y ) f ( y ) Log-lelhood blr: = ep = ( πσ ) σ ( Y β β ) 0 = ep ( πσ ) σ = ( Y β β ) 0 l( β, β, σ ) lπ lσ Y β β 0 = 0 σ = ( ) Dee sal masmeres med hesy på β0, β og σ. Dette gjøres ved at de partellderverte settes l ull, og det derav følgede sett på tre lger løses. Derved får v estmatore for β, β og σ. V får: 0 β = ( Y Y)( ), samme som ved MKE ( ) β = Y β, samme som ved MKE 0 ( Y β 0 β ) SS σ = = E Fra tdlgere har v sett at mste vadratsums metode gav de forvetgsrette estmatore SS E σ = = MS E. 4

5 Følgelg er ML-estmatore σ forvetgssjev (based). Dette heder ofte MLestmerg. I tlfellet her a v rette opp forvetgssjevhete ved å multplsere med e orresjosfator. Estmatore SSE SSE SSE σ = = = = σ ( ) ( ) er forvetgsrett for σ, me σ har lavere varas e σ. I estmerg geerelt a det være e trade-off mellom forvetgsretthet og varas. Noe gager a det derfor være sl at v må godta e vss forvetgssjevhet for å få e estmator som har lavere varas. På de ae sde må v godta større varas for å oppå forvetgsretthet. MLestmatoree har det egesap at de alle fall er asymptots forvetgsrette, dvs år og har da mdre varas e alle adre forvetgsrette estmatorer. I begge esemplee ovefor har v fått løsg på aalyts form, dvs e geerell formel som a beyttes på samme problem med et aet datasett. Noe gager er dette e mulg på gru av e uløselg lelhood-fusjo. I sle tlfeller fes u umerse løsger som bare gjelder det atuelle datasett. Multppel regresjosmodell på matrseform I multppel leær regresjo settes dataee e tallmatrse med é søyle for løpeummer, é søyle for resposvarabel Y og søyler for regressoree. Atall ljer er atall observasjoer,. Y.. Y.. Y Y.. V setter å e y oloe med bare eere, og e søyle med de uobserverbare, stoastse støyleddee : Y 0.. ε Y.. ε Y.. ε Y.. ε Så lar v hele søyle med resposee Y, Y,,Y være e søylevetor Y. Tallmatrse med regressorverdee samt søyle med eere aller v desgmatrse X. Det gjestår da søyle 5

6 med støyledd, som blr søylevetore ε. I tllegg deferer v e søylevetor β med elemetee β0, β, β,..., β. V får å vetor- og matrseuttryee: Y Y Y =.,. Y.... X =....., ε ε ε =.,. ε β0 β β =.. β Modelle a da srves på matrseform Y=Xβ + ε Mer de ompate uttrysmåte. Uttryet ovefor eholder alle observerte resposer (Y-verder) og verde for alle regressoree (-verdee) tlhørede observerte Y-verder! Estmerg ved mste vadratsums metode ute rav tl støyleddees sasylghetsfordelg gr ˆ - β = (X'X) X'Y forutsatt at (X'X) essterer. Noe gager, særlg ved omplserte modeller, a desgmatrse være sl at (X'X) e essterer. I sle tlfeller a ma omme tl målet ved forsjellge grep efor matrseregg, me som regel må sasylghetsmasmerg (ML-estmerg) beyttes. Matrseesemplet ovefor er hetet fra multppel leær regresjo der -verdee går rett matrse sl de er. Dersom v for esempel vl udersøe samspll mellom to regressorvarabler, for esempel og, oppretter v bare e y søyle desgmatrse med elemeter l produtet av elemeter på samme ree søyle for og. Modellotroll Når ma har bestemt seg for e statsts modell for et atuelt formål, har ma også godtatt e ree forutsetger. Eelte forutsetger a være temmelg strege, mes adre a være mer tøyelge. Robusthet brues som betegelse av modelles følsomhet overfor forutsetgee. Geerelt må ma, etter at parametree e modell er estmert, sjee om forutsetgee holder. Det fes flere måter å gjøre det på. Det eleste er å beytte uformelle grafse metoder. Valgvs er dette godt o, me det må utvses e vss grad av sjø. Det fes også formelle metoder, me det sal e tas opp her. V har tdlgere defert de geerelle GLM-modelle på forme Y β β β β ε =

7 der støyleddeeε er uavhegge og ormalfordelte med ull forvetg og ostat varas σ, og det er følgelg egesapee tl ε og e tl de observerte ebærer av gtt β0, β, β,..., β blr Y ( β β β... β ) 0 Y v må udersøe. Dette ormalfordelt med ull forvetg og ostat varas σ. Støyleddee ε observeres e, me de a estmeres form av resdualer ˆ ε, som er de estmerte ε. V har at ˆ ε = Y Yˆ = Y ( ˆ β + ˆ β + ˆ β ˆ β ) 0 Resdualee er avvet mellom observert og tlpasset Y-verd, og de a derfor sees på som et mål på varabltet som e forlares av modelle. Dette medfører at brudd på de uderlggede forutsetgee støyleddee vl g seg tl jee resdualees oppførsel. Normalfordelg Kravet om ormalfordelg av støyleddee sjees elest ved grafse metoder som hstogramplott av resdualee eller ormalfordelgs plott av dem, evt. Normal Q-Q-plott. Vurderge er uformell og baserer seg på sjø, me det fs også formelle tester for sje av ormalfordelg. Kostat varas Resdualee plottes mot estmerte Y-verder (Ŷ ). Ideelt sett sal resdualee fordele seg et jevt båd symmetrs om Ŷ -ase. Dee type resdualplott gr oe gager typse møstre, som så a g et yttg ht hvor vdt trasformasjo av varabler, særlg resposvarabele, må utføres. Plottet a også dere hvle type trasformasjo som bør gjøres. Ofte ser e at resdualees tallverd øer jevt utover med øede Ŷ. Logartms trasformasjo av resposvarabele er da det første som bør forsøes. Rsdualplott er også veleget tl å detfsere utlggere. Uavhegghet Dersom resposvarabele er observert ut over td, a det være yttg å plotte resdualee ordet etter tdsput for observasjoee. E tedes tl å få følger med postve og egatve resdualer derer postv orrelasjo. Dette ebærer brudd på forutsetge om uavhegghet mellom støyleddee og derved mellom observasjoee. Sl avhegghet er et poteselt alvorlg problem som a være vaselg å rette opp. Det er derfor vtg å forebygge det allerede ved datasamlge, om mulg. I espermetelle studer gjøres dette ved orret radomserg. Idatorvarabler Regressorvarablee (predtoree) regresjosaalyse er valgvs vattatve, oe som ebærer at de er relaterte tl e veldefert målesala. Temperatur, legde, vet, alder er esempler på vattatve varabler. Noe gager er det behov for valtatve, eller ategorse varabler regresjosaalyse, eller GLM geerelt. Sle varabler a e 7

8 aturlg ordes på e målesala. Esempler er jø, behadlgsform, farge, yresgruppe osv. Vel o a v g f.es. hver farge et ut tall (ummer), me tlordge er helt vlårlg, og det er megsløst å la tlordgsummeret som sådat gå som regressorverd aalyse. Løsge er å føre datorvarabler for odg av de ategorse varablee. Det eleste esemplet på odg av ategorse varabler er tlfeller med bare to ategorer, for esempel jø. Dette har v sett på tdlgere urs. V førte da e bær varabel som ato verde for ett jø og verde 0 for det adre jø. Sal behadlgsformer A, B, C odes, treger v datorvarabler, som v a alle. og. I regresjosmodeller er odge valgvs sl:, behadlg A = 0, ellers (behadlg B eller C), behadlg B = 0, ellers (behadlg A eller C) Behadlg C treger ge særslt odg, for dersom behadlge e er A ( = 0 ) eller e er B ( = 0 ), må de ødvedgvs være C. Geerelt er det sl at odg av g ategorer rever g- datorvarabler. Eves ANOVA på GLM-form Dette avsttet er u met som et esempel på hvorda eves ANOVA-modeller faller uder GLM. For eves ANOVA treger e grue e å beytte GLM, me mer omplserte og flerfatormodeller med ubalasert desg er GLM, som evt ledgsvs, eeste farbare ve. V teer oss grupper, hver med to observasjoer. Modelle blr da Y =,, = μ+ α + ε j =, j j μ : Grad mea α : Tllegg (eller fratre) for gruppe Når μ velges sl at Σ α = 0, får v: μ = μ + α μ = μ + α μ = μ α α Her har v grupper og treger varabler for odg av dem. Det at 0 α Σ = medfører at de to varablee må odes sl: 8

9 , gruppe G = 0, gruppe G -, gruppe G 0, gruppe G =, gruppe G -, gruppe G V får modelle Y = β + β + β + ε 0 som v gjejeer fra multppel leær regresjo. Desgmatrse dette tlfelle er: X = 0 Sammelet med de opprelge ANOVA-modelle ser v at μ = β0 + β, μ = β0 + β og μ = β 0 β β. Det medfører at β0 = μ, β = α, β = α og β β = α. Nå a v tee oss at v tllegg har e ovarabel, oe som gr e y søyle desgmatrse. Dette medfører bare at de opprelge desgmatrse utvdes med e søylevetor X, og v får de ye desgmatrse X = 0 4 Dette er et esempel på desgmatrse ovarasaalyse (ANCOVA). 5 6 I SPSS GLM er odge av ategorse varabler som leær regresjo. I esemplet med eves ANOVA og grupper blr odge av de to datorvarablee: 9

10 , gruppe G = 0, ellers (gruppe G og G ), gruppe G = 0, ellers (gruppe G og G ) Modelle blr de samme, emlg Y = β + β + β + ε me på gru av desgmatrse X = blr tolge av oeffsetee e ae: β0 = μ, β0 + β = μ og β0 + β = μ. Dette medfører at β0 + ( β+ β ) = μ. I tlfeller som dette er de sste gruppe (gruppe G) å betrate som e referasegruppe, og β og β agr avvet heholdsvs gruppe G og G forhold tl referasegruppe. V har ovefor sett esempler på hvorda eves ANOVA og ANCOVA a uttryes på e form v gjejeer fra multppel leær regresjo. Et hovedpoeg er det at de geerelle leære modelle uttryt på matrseform gr et geerelt og vdtreede matemats vertøy som deer alle leære modeller. Ved tlpasset ostrusjo av desgmatrse a alle spesfe modeller behadles efor et felles rammever. Leære otraster For tester om forvetgee eves ANOVA er det hestsmessg å beytte otraster. E otrast L er e leærombasjo av forvetgsverdee μ,..., μ μ der oeffsetee summeres opp tl ull: L= cμ og = = c = 0 E forvetgsrett estmator for L er: Lˆ = c ˆ μ = cy = 0

11 Sde Yj er uavhegge med ostat varas σ, blr varase tl ˆL : ( ˆ σ Var L) = = c σ = = c Her er atall observasjoer gruppe. Fra ANOVA-tabelle får v varasestmatore σ = MSE, og v har da e estmator for Var( L ˆ) : s ( Lˆ ) = MSE = c ˆL er ormalfordelt ford de er e leærombasjo av uavhegge, ormalfordelte varabler. Dette fører tl at Her er T totalt atall observasjoer, dvs Lˆ L er t-fordelt med ( T ) frhetsgrader. sl ( ˆ) T =. Nullhypotese L = 0 a å testes, og v a berege ofdestervall for L. = Esempel: Ata at v har 4 grupper og at v sal teste H0 : μ = μ ( μ μ = 0) mot H: μ μ Dette er et esempel på parvs sammelg. V lager otraste L med oeffsetee c =, c =, c = 0, c = 0 og får L = μ + ( ) μ + 0 μ + 0 μ = μ μ 4 Teste blr å: L= 0 mot L 0. L ˆ = ˆ μ ˆ μ = X X Testobservatore blr c ( ) 4 ˆ s ( L) = MSE = MSE + = MSE + = T = MS E X X +, som uder H 0 er t-fordelt med ( T 4 ) frhetsgrader.

12 Dette er realtete e to-utvalgs t-test, me mer av varase tl observasjoee er estmert ved MS E fra ANOVA-tabelle og at atall frhetsgrader er større e ved bare å osetrere seg om de to gruppee som sammeles. Dersom v for esempel øser å teste gjeomsttet av μ og μ mot gjeomsttet av μ og μ 4, daer v otraste μ+ μ μ+ μ4 L = Her er c =, c =, c =, c4 =. c ( ) / (/ ) ( / ) ( / ) 4 ˆ s ( L) = MSE = MSE = MSE = Testobservatore blr å: T = MS E X + X X X , som uder H 0 er t-fordelt med ( T 4 ) frhetsgrader Dette vser hvorda ma ved hjelp av otraster a utføre mer omplsert testg, me v a alltd beytte otrastbegrepet ved gruppesammelg ANOVA. Ortogoale otraster To otraster L = aμ = aμ + a μ a μ og A = ses å være ortogoale dersom L = bμ = bμ + b μ b μ B = = ab = ab + a b a b = 0 Ved ubalasert desg er betgelse for ortogoaltet = ab = ab + ab a b = 0 Når dee egesape er tl stede, vl tester om tlsvarede otraster være uavhegge. Dette er e fordel multple sammelger.

13 Esempel med 4 våer (grupper), balasert desg og atuelle otraster: L = μ μ = μ + ( ) μ + 0 μ + 0 μ c = (,.0,0) 4 L = μ μ = μ + 0 μ + ( ) μ + 0 μ c = (,0,,0) 4 L = μ μ = 0 μ + 0 μ + μ + ( ) μ c = (0,0,, ) 4 4 Kotrast L vs L : c c = + ( ) ( ) = Kotrast L vs L : c c = 0 + ( ) ( ) = 0 V ser at otrastee L og L er ortogoale, mes otrastee L og L e er det. Heller e vl L og L være det. Dette har oseveser for valg av testprosedyre etter F-teste ANOVA. Multple tester Ata at v har 4 behadlgsgrupper og sal teste følgede otraster: L = μ μ L = ( μ + μ ) μ L = ( μ + μ + μ ) μ 4 Esemplet er relevat. Effete fra og med gruppe sal testes mot gjeomsttet av effete fra de foregåede gruppee. Det a lett vses at dsse otrastee daer et ortogoalt sett. Ata at hver otrast testes med valgt vå α = Hvs realtete de fre behadlgee har samme effet, hvor sasylg er det å få mst ett sgfat resultat, dvs begå Type I-fel? Ettersom testee på gru av ortogoaltet er uavhegge, får v: P(mst é Type I-fel)=-P(ge Type I-fel)=-(-α ) C Her er C atall otraster som testes, og α er vået for de eelte otrast. I dette esemplet blr sasylghete for mst é Type I-fel 0.4. Er dette oe problem? V må først defere oe størrelser: Felrate per otrast ( α PC ) er sasylghete for at e spesf otrast felatg sal bl erlært sgfat (forsjellg fra ull). Med adre ord, dersom e otrast med sa populasjosverd l ull sulle bl testet om og om gje, vlle adele av sgfate utfall bl α. PC De espermetelle felrate ( α EE ) er sasylghete for at mst é av de atuelle otrastee felatg blr erlært forsjellg fra ull.

14 I tlfellet ovefor er α PC = 0.05 ford hver otrast testes med vå Sasylghete for mst é Type I-fel espermetet er tdlgere bereget tl α EE = 0.4. V hadde ovefor: α EE = ( α ) C PC Dersom v øser å otrollere α EE, for esempel sette de tl 0.05må v løse dee lge med hesy på α PC : α PC = α = = C EE Altså må vået for teste av de eelte otrast settes tl 0.07 for at sasylghete sal være 0.05 for felatg å erlære mst é otrast av mulge for sgfat forsjellg fra ull. Dette er et esempel på Boferro-orresjo. For multple tester ANOVA fes e ree prosedyrer tlpasset forsjellge formål. Boferro-orresjo er é av dem. Geerelt gjelder det at dersom utvalget av multple tester bestemmes på grulag av atuelle observasjoer, stlles det stregere rav tl de eelte test e om de samme testee var bestemt på forhåd ute hesy tl hva de atuelle data måtte atyde. Harald Johse, jauar