Forelesning 21 og 22 Goodness of fit test and contingency table ( 2 test og krysstabell)

Transkript

1 STAT111 Statstkk Metoder Forelesg 1 Goodess of ft test ad cotgecy table ( test krysstabell 1.Goodess of ft test ( test Ata at v har et utvalg med observasjoee fra e stokastsk varabel X. Goodess-of-ft test ( test ka avedes for å se: a. om fordelg for X har et bestemt møster b. om X har e påstått fordelg. 1.1 Test om fordelg for X har et bestemt møster Ata at utfallet av X ka klassfseres k kategorer (for eksempel blodtype fra e perso ka være e av de 4 kategoree: O, A, B eller AB. La p, 1,..., k betege sasylghete at utfallet av X tlhører kategor, øsker v å teste e ullhypotese som vl helt spesfsere verdee av alle p ; 1,..., k (For eksempel : p1.45, p.35, p3.15, p4.5, år det er 4 kategorer. For et utvalg av X med størrelse, før v har fått observasjoee (før ekspermet er utført, er atall utfall som lgger de te kategore tlfeldge varabel E p, hvs med forvetge er sa, E p ; 1,..., k. Etter at v får observasjoer (etter ekspermet er utført, atall observasjoee som lgger te kategore (observert frekves er e kostat ummer ; 1,..., k, se Tabell 1 Tabell 1. Observert forvetet frekves vs er rktg, vl de observerte frekvesee ; 1,..., k være ære de forvetede frekvesee p ; 1,..., k, da kvadrat summe av alle avvkee mellom observerte frekvesee forvetede frekvesee vl være lte: vdere deler hver ( p skal være lte. V 1 p med forvetede frekves p for å få e sum av ormalserte (

2 STAT111 Statstkk Metoder ( p ( p kvadrerte avvkee:. Dersom er lte, betyr det at de observerte 1 p 1 p frekvesee er ær de forvetede frekvesee, det vlle kke være oe gru tl å forkaste ( p ; år er veldg stor, er e sterk gru tl å stlle spørsmål ved om skal p 1 forkastes. ele prosedyre ka oppås ved statstsk test basert på vs er sa p 5; 1,..., k, har v: fordelg. k k ( E ( p ( k 1 E p. 1 1 Etter at v får observasjoer, ka v berege observert frekves ; 1,..., k de ( p observerte kj-kvadratverde o. V forkaster på sgfkat vået, p hvs o, k 1 med, k 1 1 være krtsk verd ( k 1 fordelg. Fgur 1. Krtsk verd ( fordelg Eks 1. Bladee av e tomatplate ka ha e av dsse 4 feotypee: type 1 er «tall, cutleaf»; type er «tall, potato leaf»; type 3 er «dwarf, cut-leaf»; type 4 er «dwarf, potato-leaf». Medels arvelov ebærer at bladee tl e tlfeldg tomatplate skal få de te ( =1,,4 feotype har sasylghete heholdsvs: p1 =, p =, p3 =, p 4=. Et ekspermet utført 1931 samlet tomatplater fkk atall de observerte platee for type er ; 1,...,4, se Tabell. Basert på dsse observasjoee, er Medels lov rktg(sgfkat vået =.1? Tabell. Observert forvetet frekves Eks.1

3 STAT111 Statstkk Metoder 1. Test om X har e påstått fordelg år parameter av fordelge uder er kjet De teste ka så brukes tl å teste hvorvdt X kommer fra e spesfkk fordelg med fordelgs fuksjo uder er f ( x, x ( a, b (eller p ( x hvs X er dskret. V ka derfor dele ( ab, tl k tervaller for å sette opp k kategorer: [ a, a1,[ a1, a,...,[ ak 1, ak ; a a, ak b. Da ka v rege ut sasylghete at X lgger på te tervallet [ a 1, a ( te kategor uder. a. Dskret tlfelle, f.eks. atar at X kommer fra Posso-fordelge, eller bomal fordelg, da har v at dersom er sa, P(X lgger på te tervallet er: p p( X [ a 1, a p( x j, x j [ a 1, a b. Kotuerlg tlfelle, f.eks. atar at X kommet fra ormalfordelg, Webull fordelg, da har v at dersom er sa, P(X lgger på te tervallet er: For et utvalg med størrelse, før v har fått observasjoee, er atall utfall som lgger de te kategore tlfeldg varabel, med E ; 1,..., p k uder. Etter at v får observasjoer, atall observasjoee som lgger de te kategore (observert frekves er kostat ummer ; 1,..., k. V ka bruke test seksjo 1.1 for å teste om er sa. Eg. V vl teste om tde for term (X for e gravd kve er jevt fordelt over 4 tmer e dag. V ka dele e dag 4 peroder, hver perode er 1 tme. Da ka v sette som f 1 ( x b a, a, b 4 : X er uform fordelt på tervallet [, 4]. Artkkele "The our of Brth" (Brt J. hdre sosal Med, 1953 rapporterer 1186 term e dag som begyer ved mdatt, atall term de este 4 tmee er heholdsvs 5, 73, 89, 88, 68, 47, 58, 47, 48, 53, 47, 34, 1, 31, 4, 4, 37, 31, 47, 34, 36, 44, 78, 59. Bruk test for å se hvs er sa (sgfkat vået =.1.

4 STAT111 Statstkk Metoder *For å skre at test er gyldg, må k velges uavhegg av eksempel observasjoer: k velges før ekspermet er utført. V treger så p 5; 1,..., k, ellers komberer v samme abo kategorers for å forskre forvetet frekveser 5 hver kategor. 1.. år parameter av fordelge uder er ukjet test 1..1 tester om X kommer fra e spesfkk fordelg, med parametere fordelge er gtt, Eks. 3 uform fordelg, er edre øvre grese gtt. V ka så være teressert å teste om X kommer fra e spesell famle av fordelger ute å ag oe verder tl parametere ( 1,... m fordelgee. For å bruke test, må de ukjete parametere aslås først. MLE ka brukes for å estmere parametere v har følgede teorem: Teorem: La ˆ ( ˆ ˆ 1,... m være maksmum lkelhood estmatorer av ( 1,... m. vs v bereger statstkk basert på ˆ bruker test, på sgfkatvå, vl de krtske verd c teste lgger mellom, k 1 m :, k 1 Testprosedyre som følger av dette teorem er derfor: Eks. 3 (Dskret V øsker å modellere fordelg av atall kuder per mutt e bak som lgger setrum av Berge. Ata at atall kuder per mutt ble observert ett-mutters peroder løpet av e uke resultatee er oppsummert Tabell, = v observer kuder e m; = atall muttee som har kuder på besøk per mutt. F. esk. I Tabell, =3, = 41: mellom alle de ettmuttee, har v 31 ett-mutter som har 3 kuder på besøk hver mutt. Tabell 3 Observert frekves, kuder på Bak

5 STAT111 Statstkk Metoder Se om atall kuder per mutt følger Posso( fordelg, ( =.1 med 1, : Atall kuder per mutt følger e Posso-fordelg : Atall kuder per mutt kke følger e Posso-fordelg 1 x t: Fordelgsfuksjo tl Posso( er: e P( X x ; x,1,.... La x j være atall x! 8 kuder på j te mutt, j=1,,, da har v ˆ xj xj * 1 1 fra MLE er ˆ j j 58.9 Tabell 4 Observert forvetete frekves, kuder på Bak p ( p p ( p / p Eks. 4. Artkkele Some Studes o Tuft Weght Dstrbuto the Opeg Room (Textle Res. J., 1976: udersøkte fordelge for «output tuft weght» X (mg av bomullsfbre år «put weght» er gtt som x 7mg. Forfattere postulerte e avkortet ekspoetell fordelg for X: med forvetg for X er følgede: Forfattere har fått 4 observasjoer fra X brukt «method of momet» for å estmere : de erstatte med x løse resulterede lgg som tlførte ˆ.74. Med ˆ erstatter f(x, ka de rege ut sasylghete at X lgger et spesfsert tervall, vdere forvetet frekves. Forfattere delte tervallet (, 7 9 tervaller de tlsvarede observerte forvetete frekveser er Tabell 5. Bruk test for å se hvs de avkortet ekspoetell fordelg er rett,.5 Tabell 5 Observert forvetete frekves, bombullfber

6 STAT111 Statstkk Metoder To-ves Krysstabell test Ata at v har e populasjo av teresse, med hvert dvd (hver ehet populasjo blr utsatt for to ulke faktorer samtdg. V ka bruker test for å se om dsse to faktorer er uavhegg med hveradre. Det er I kategorer forbudet med de første faktor, J kategorer forbudet med de adre faktor. vert dvd populasjo atas å tlhøre øyaktg e av de I-kategoree som er kyttet tl de første faktor, øyaktg e av de J-kategoree som kyttet tl de adre faktore. For et utvalg av observasjos tatt fra dee populasjoe, la j betege atall observasjoer som faller begge de te kategor av de første faktore j te kategor av de adre faktor ( = 1,, I, j = 1,, J. j ka vses e to-ves Krysstabell med I rader J koloer. (Før v har fått observasjo, beytter v S.V. Tabell 6 To-ve krysstabell j j er La p j = adele av dvder populasjo som tlhører kategore av faktor 1 kategor j av faktor, ( = 1,, I, j = 1,, J = P(et tlfeldg dvd faller både kategor av faktor 1 kategor j av faktor. Da ka v få de forvetede atall dvder celle (, j E er j j p. Deretter ka v så få: p J pj P(tlfeldg valgt dvd faller kategore av faktor 1 j1 p j I pj P(tlfeldg valgt dvd faller kategore j av faktor 1 her påstår at dvdskategor med hesy tl faktor 1 er uavhegg av kategor med hesy tl faktor : pj p* pj, ( = 1,, I, j = 1,, J. Derfor hvs er sa, har v E * p * p. j j j test ka brukes gje tl å se om er sa. For å få verd tl statstkk, må v derfor aslå p p j ( = 1,, I, j = 1,, J først. La

7 STAT111 Statstkk Metoder J j atall observasjoer faller kategore av faktor 1 de observasjoee j1 j I j atall observasjoer faller kategore j av faktor de observasjoee 1 De maxmum lkelhood estmergee for p p j ( = 1,, I, j = 1,, J er heholdsvs pˆ j, pˆ j. Dette gr estmerte forvetede atall celle (, j uder test for å teste Eks. 5 Ata at kodsjo for alegget besstasjo ka bl kategorsert 3 kategorer: substadard, stadar, moder; prspoltkk av bes ka bl kategorsert 3 kategorer: aggressve, eutral, oaggressve. E stude av forholdet mellom alegget kodsjo (codto på besstasjoer aggressvtet besprsge rapporterer de medfølgede data basert på = 441 stasjoer. På sgfkatvå,1, tyder dataee på at aleggs kodsjo prspoltkk er uavhegge av hveradre? Observertresultatee er gtt Tabell 7. Tabell 7 Observert frekves fra 441 besstasjoer. V treger å berege estmert forvetet frekves først De beregede verdee er de følgede tabell: Tabell 8 Estmert forvetet frekves for 441 besstasjoer. test for å teste : aleggs kodsjo prspoltkk er uavhegge av hveradre (M.P.F *Abefalt hjemlesg: pp , Test for homeety