ST0202 Statistikk for samfunnsvitere Bo Lindqvist Institutt for matematiske fag 2 Kap. 11: Anvendelser av kjikvadratfordelingen: Kjikvadrattester Situasjon: Et tilfeldig utvalg av n individer er trukket fra en populasjon. Hvert individ kan klassifiseres ifølge en kategorisk variabel med k mulige verdier og det telles opp hvor mange (O) som faller i hver kategori (observerte frekvenser). Disse skal så sammenlignes med forventede frekvenser (E) ifølge den teori som skal testes. Kategorier kalles ofte celler i tabeller som den nedenfor. k kategorier 1 2 3 k Totalt Observerte frekvenser O 1 O 2 O 3 O k n Forventede frekvenser E 1 E 2 E 3 E k n 3 Testobservator for kjikvadrattester k celler 1 2 3 k Totalt Observerte frekvenser O 1 O 2 O 3 O k n Forventede frekvenser E 1 E 2 E 3 E k n χ 2 (O E) 2 = E alle celler Hvis (null)hypotesen som svarer til de forventede frekvenser er sann vil χ 2 være kjikvadratfordelt med df frihetsgrader som avhenger av situasjonen. Hvis χ 2 blir for stor vil vi forkaste nullhypotesen. Eksempel med terningkast: Kast en terning 60 ganger observer antall 1 ere 2 ere... osv. Vi vil teste nullhypotesen at terningen er korrekt dvs. at sannsynlighetene er 1/6 for hvert antall øyne. Forventede frekvenser under denne hypotesen er 60 1 6 = 10. Antall øyne 1 2 3 4 5 6 Observerte frekvenser 7 12 10 12 8 11 Forventede frekvenser 10 10 10 10 10 10
Beregning av testobservator: χ 2 (O E) 2 = E alle celler Øyne O E O-E (O E) 2 (O E) 2 /E 1 7 10-3 9 0.9 2 12 10 2 4 0.4 3 10 10 0 0 0.0 4 12 10 2 4 0.4 5 8 10-2 4 0.4 6 11 10 1 1 0.1 Totalt n=60 n=60 0-2.2 dvs. at χ 2 = 2.2. Er dette et stort tall? Vi kommer tilbake til dette siden vi her har et spesialtilfelle av multinomiske eksperimenter - se neste side: 6 Multinomiske eksperimenter (11.3) 1. n identiske uavhengige forsøk. 2. Utfallet av hvert forsøk havner i en av k mulige kategorier (celler) 3. Sannsynlighetene for å havne i hver kategori er de samme i hvert forsøk. p 1 er sannsynligheten for å falle i kategori 1 osv. Vi må ha at p 1 + p 2 + + p k = 1 4. Eksperimentet resulterer i et sett av observerte frekvenser O 1 O 2 O k ( med sum lik n) Vi sier at (O 1 O 2...O k ) er multinomisk fordelt med n forsøk og sannsynligheter p 1 p 2 p k Vi tester nullhypoteser av formen H 0 : p 1 p 2...p k har gitte verdier mot alternativet H a at minst en av p-ene har en annen verdi. De forventede frekvenser når H 0 gjelder er: E 1 = np 1 E 2 = np 2... E k = np k ( med sum lik n) Det grunnleggende fordelingsresultat er at hvis H 0 gjelder er testobservatoren χ 2 (O E) 2 = E alle celler kjikvadratfordelt med df = k 1 frihetsgrader. Analyse av terningeksemplet Vi hadde n = 60 k = 6 og testet nullhypotesen at alle p ene er lik 1/6 dvs. at alle E-ene er lik 60 1/6 = 10. Hypotestetest ved bruk av p-verdi: p verdi = P(χ 2 >χ 2 )=P(χ 2 > 2.2) =0.821 der χ 2 er kjikvadratfordelt med 6 1 = 5 frihetsgrader. (Vi har ikke tabell for dette men Tabell 8 gir at p-verdien er mellom 0.75 og 0.90). p-verdien er altså større enn signifikansnivå α=0.05 og nullhypotesen forkastes ikke.
& $ " ' " ( # ) # * % $ ( " " $ T g h i b o V ` \ ` ^ U e e U a X _ U V p a a U V U a H I F ; A E : ; ; > q Z [ ` a ` e \ W n Z [ [ U c X V [ ` W \ U j r m X \ U W U a X Y ` \ ^ ` V a J k M L s M O P 9 M O R [ _ Z a a U V X ] Y U a a ] n V e Z [ U Y r U \ Z e c ` W \ e U ] U a k Analyse av terningeksemplet Hypotetsetest ved bruk av kritisk verdi: H 0 forkastes med signifikansnivå α hvis χ 2 >χ 2 (k 1α). Vi har fra Tabell 8 at χ 2 (5 0.05) =11.1 og siden χ 2 = 2.2 < 11.1 kan vi ikke forkaste nullhypotesen. Oppgave: En produsent av poleringsmiddel for gulv utførte et eksperiment for å finne ut hvilket av 5 poleringsmidler som hadde det beste resultatet. Et utvalg med 100 konsumenter betraktet fem overflater behandlet med de ulike poleringsmidlene. Hver konsument indikerte hvilken av de 5 overflatene som var finest. Svarene fordelte seg slik: poleringsmiddel A B C D E frekvens 27 17 15 22 19 a) Sett opp nullhypotesen for konsumentene har ingen spesiell preferanse b) Hvilken testobservator vil du bruke for å teste nullhypotesen? c) Fullfør hypotesetesten med α = 0.1 Løsning Fra eksamen 9. desember 2008 2 3 3 4 5 6 7 8 H 0 : p barn = 375/1500p kvinne = 607/1500p mann = 522/1500 H A 9 : : ; < = > ; @ : A B C C D : = = E > F G :? p I ; ;! " # # K L L N O Q S R Q L O L Q * $ + " ' " H 0 U V V Z [ \ Z ] U V \ U W \ X ^ W U V _ ` \ X V U a U V W X Y & " $ - " - ". " " $ $. - / 0 1 χ 2 = (O i E i ) 2 E i χ 2b c X V d U e \ Y U d f c V Z j U \ W ] V ` d U V l [ W U m \ X Y V n d U ^ e Z V (0χ 2 (2 0.05)) = (0 5.99)k χ 2 = (O i E i ) 2 E i =3.26 H 0 k W X Y U V Z ` [ W U m \ X Y V n d U \ X ] U a ^ U j X e d U V
13 Inferens i kontingenstabeller (krysstabeller) (11.4) Individene klassifiseres nå etter to faktorer (kjennetegn). Ønsker å undersøke om faktorene er uavhengige. 14 Uavhengighetstesten Hypoteser i uavhengighetstesten: H 0 : Fagpreferanse (MS SS eller H) er uavhengig av kjønn. H a : Fagpreferanse er avhengig av kjønn. Bruker igjen kjikvadratobservatoren χ 2 (O E) 2 = E alle celler med forventede frekvenser E beregnet for hver celle ved: E = radsum kolonnesum totalt antall i utvalg Begrunnelse for forventede responser: Ved uavhengighet skulle vi forvente at sannsynligheten for at en uttrukket er Male med område MS er lik sannsyligheten for Male multiplisert med sannsynligheten for MS dvs. 122 300 72 300 Forventet antall uttrukne med denne kombinasjonen ville i så fall være 300 122 300 72 122 72 = = 29.28 300 300
18 Frihetsgrader ved kontingenstabeller: df =(r 1) (c 1) der r er antall rader og c er antall kolonner i tabellen. I eksempel: df =(2 1) (3 1) =1 2 = 2. Klassisk metode med signifikansnivå 5%: Forkast H 0 hvis χ 2 >χ 2 (2 0.05) =5.99 dvs. ikke forkast. Homogenitetstesten Tilfeldige utvalg fra r = 3 populasjoner klassifisert i c = 2 kategorier. H 0 : Andelen stemmeberettigede som er for lovforslaget er den samme i alle de tre bostedsgruppene H a :... er ikke den samme i alle de tre bostedsgruppene Metode med p-verdi: p-verdi = P(χ 2 > 4.61) =0.10 i Tabell 8 så p-verdi er ca. 0.10. Beregner forventede frekvenser som for uavhengighetstesten f.eks. for øverste venstre celle: 200 254 500 = 101.6 Antall frihetsgrader er som for uavhengighetstesten dvs. df =(r 1) (c 1) =(3 1) (2 1) =2 p-value = P(χ 2 > 91.72) =0.000...såH 0 forkastes klart med alle tenkelige signifikansnivå!
21 Kap. 12: Variansanalyse Situasjon: c populasjoner hver med sitt populasjonsgjennomsnitt μ i. Vi tester H 0 : Alle populasjonene har samme gjennomsnitt dvs. μ 1 = μ 2 =...= μ c H a : Ikke alle populasjonsgjennomsnittene er like. (Tilfellet med to populasjoner ble behandlet i kap. 10.) Eksempel 12.1: Effekt av temperatur på produsert antall. Temperaturnivå 68 o F 72 o F 76 o F Populasjon nr. i = 1 i = 2 i = 3 Utvalg 10 7 3 12 6 3 10 7 5 9 8 4 7 Populasjons- μ 1 μ 2 μ 3 gjennomsnitt Vil teste: H 0 : μ 1 = μ 2 = μ 3 Fra kapittel 10: Testet H 0 : μ 1 = μ 2 mot μ 1 μ 2 t = x 1 x 2 (μ 1 μ 2 ) s 2 1 n 1 + s2 2 n 2 Med flere enn to populasjoner dvs. H 0 : μ 1 = μ 2 =...= μ c kunne man teste to og to μ-er men det ville bli mange tester å utføre. Isteden testes ved såkalt variansanalyse (ANOVA) der det regnes ut én testobservator som kombinerer informasjon fra alle utvalgene. 24 ANOVA Antagelser: c populasjoner skal sammenlignes populasjonsgjennomsnittene er μ 1 μ 2...μ c populasjonsvariansene σ 2 er de samme for alle populasjonene populasjonene antas normalfordelte populasjonene svarer ofte til ulike nivåer av en faktor f.eks. temperatur vi har tilfeldige og uavhengige utvalg fra hver populasjon av størrelse henholdsvis k 1 k 2...k c
Eksempel 12.1: Effekt av temperatur på produsert antall. Temperaturnivå 68 o F 72 o F 76 o F Utvalg nr. i = 1 i = 2 i = 3 10 7 3 12 6 3 10 7 5 9 8 4 7 Utvalgsstørrelse k 1 = 4 k 2 = 5 k 3 = 4 Kolonnesum C 1 = 41 C 2 = 35 C 3 = 15 Utvalgs- x 1 = 10.25 x 2 = 7.0 x 3 = 3.75 observatorer s1 2 = 1.5833 s2 2 = 0.5000 s2 3 = 0.9167 Populasjons- μ 1 μ 2 μ 3 parametre σ σ σ Intuitivt: Forkast H 0 : μ 1 = μ 2 = μ 3 dersom x 1 x 2 x 3 er tilstrekkelig forskjellige. 26 Kvadratsummer ( Sums of Squares ) Total Sum of Squares SS(total) = (x x) 2 = (x 2 ) ( x) 2 n der n er det totale antall observasjoner i alle utvalgene x er gjennomsnittet av alle observasjonene ( grand mean ) det summeres over alle de n observasjonene (Merk: Hvis dette divideres med n 1 får vi den vanlige s 2.) Sum of Squares Due to Factor SS(factor) = k 1 ( x 1 x) 2 + k 2 ( x 2 x) 2 + k 3 ( x 3 x) 2 + der k i er antall i utvalg nr. i x i er gjennomsnitt i utvalg nr. i og x er grand mean. Fortolkning: SS(factor) blir stor hvis det er stor forskjell mellom populasjonsgjennomsnittene dvs. stor SS(factor) tyder på at H 0 skal forkastes. SS(factor) fortolkes som variasjon mellom populasjoner. Regneformel fra boka: SS(factor) = ( ) C1 2 + C2 2 + C2 3 + ( x) 2 k 1 k 2 k 3 n der C i er kolonnesummer og n og x gjelder observasjonene i alle utvalgene. Sum of Squares Due to Error SS(error) =(k 1 1) s 2 1 +(k 2 1) s 2 2 +(k 3 1) s 2 3 + der k i er antall i utvalg nr. i s 2 i er utvalgsvarians i utvalg nr. i. Fortolkning: SS(error) fortolkes som variasjon innen populasjoner. Hvis den divideres med n c er den et punktestimat for populasjonsvariansen σ 2. Regneformel fra boka: SS(error) = (x 2 ) ( ) C1 2 + C2 2 + C2 3 + k 1 k 2 k 3 der C i er kolonnesummer og (x 2 ) gjelder observasjonene i alle utvalgene.
Frihetsgrader for kvadratsummene: Generelle sammenhenger: Mean Squares: df(total) = n 1 df(factor) = c 1 df(error) = n c SS(total) = SS(factor) + SS(error) df(total) = df(factor) + df(error) MS(factor) = SS(factor) df(factor) MS(error) = SS(error) df(error) (Mean Square for Factor) (Mean Square for Error) 30 Testobservator for ANOVA F = MS(factor) MS(error) Hvis H 0 gjelder har F en F -fordeling med df 1 = c 1og df 2 = n c frihetsgrader. ANOVA-tabell: Kilde df SS MS F P Factor df(factor) SS(factor) MS(factor) F p-value Error df(error) SS(error) MS(error) Total df(total) SS(total) Merk at MS(error) er et punktestimat for σ 2. Eksempel 12.1 (forts): Effekt av temperatur på produsert antall. Her er (x 2 )=10 2 + 12 2 + 10 2 + 9 2 + 7 2 + = 731 og x = 10 + 12 + 10 + 9 + 7 + = 91 slik at SS(total) = (x 2 ) ( x) 2 = 731 912 = 731 637 = 94 ( n ) 13 C1 2 SS(factor) = + C2 2 + C2 3 + ( x) 2 k 1 k 2 k 3 n = ( ) 41 2 4 + 352 5 + 152 912 4 13 = 84.5 SS(error) = SS(total) SS(factor) = 94 84.5 = 9.5 (eller bruk egen formel) ANOVA-tabell: Kilde df SS MS F P Temperatur 2 84.5 42.25 44.47 0.00001 Error 10 9.5 0.95 Total 12 94.0 F = MS(factor) MS(error) = 42.25 0.95 = 44.47 Hvis H 0 gjelder har F en F -fordeling med df 1 = 3 1 = 2og df 2 = 13 3 = 10 frihetsgrader. Tabell 9A: Med α = 0.05 forkastes H 0 hvis F > F (2 10 0.05) =4.10 dvs. klar forkastning. p-verdi: P(F > 44.47) =0.00001 (fra CD).
Eksempel: Sammenligning av slaglengde for ulike typer golfballer. Type 1 2 3 4 5 Utvalg 286 279 270 284 281 276 277 262 271 293 281 284 277 269 276 274 288 280 275 292 Sum C i 1117 1128 1083 1099 1142 Gj. snitt x i 279.25 282 272.25 274.75 285.5 Populasjons- μ 1 μ 2 μ 3 μ 4 μ 5 gjennomsnitt Idé bak ANOVA (12.3) MS(factor) er et mål for variasjonen mellom populasjonene MS(error) er et mål for variasjonen innen populasjonene F er forholdet mellom disse og vi forkaster H 0 hvis dette blir for stort. Vil teste: H 0 : μ 1 = μ 2 = μ 3 = μ 4 = μ 5 ANOVA-tabell: (x 2 ) = 286 2 + + 292 2 = 1555185 x = 286 + + 292 = 5575 SS(total) = (x 2 ) ( x) 2 = 1555185 55752 = 1153.75 ( n ) 20 C1 2 SS(factor) = + C2 2 + C2 3 + C2 4 + C2 5 ( x) 2 k 1 k 2 k 3 k 4 k 5 n = 11172 + 11282 + 10892 + 10992 + 11422 55752 4 4 4 4 4 20 = 458.5 SS(error) = SS(total) SS(factor) = 1153.75 458.5 = 695.25 Kilde df SS MS F P Balltype 4 458.5 114.625 2.47 0.0894 Error 15 695.25 46.35 Total 19 1153.75 F = MS(factor) MS(error) = 114.625 46.35 = 2.47 Hvis H 0 gjelder har F en F -fordeling med df 1 = 5 1 = 4og df 2 = 20 5 = 15 frihetsgrader. Tabell 9A: Med α = 0.05 forkastes H 0 hvis F > F (4 15 0.05) =3.06 dvs. vi forkaster ikke H 0. p-verdi: P(F > 2.47) =0.0894 (fra CD).
~ ˆ } ~ ~ Œ } ~ ˆ ~ ~ ˆ } ~ ˆ } ~ ~ ~ ˆ ~ ~ } ~ } ~ ˆ ~ ~ } Œ ~ ~ Š ~ } ˆ } ~ ˆ ˆ } ƒ ˆ ~ } ~ Œ š ~ } ƒ ~ ƒ } } ƒ ~ } ~ ~ ˆ ~ œ ˆ ƒ ˆ ƒ ~ ƒ ƒ ~ ~ ƒ ~ } ƒ ~ ƒ } ž Œ ~ } ~ Œ ~ ~ ˆ ƒ } ~ } } ~ ƒ ƒ ~ Œ ƒ } ƒ } ƒ ƒ ƒ ~ ~ } ~ } } ~ ƒ ~ } Ÿ ƒ ~ Š ~ } ~ ~ } } ~ } ƒ ~ } ~ ƒ ~ ƒ } } ƒ ~ ~ } ~ ˆ } ~ } ~ Œ ~ ˆ Š ~ ƒ ƒ ~ } ˆ ~ ˆ ˆ } Ÿ Ò Ó Ô Õ Ö Ø Ö Ù Ú Ö Ø Õ Û Ø Ö Ü Ö Û Ö Ý Þ Ú Ù ß Ø Ö à á Õ Ù â ã ã Ö Õ Ü Ü Ö Õ Û Ù Õ ä Ö Ü Ý Ö Û Ö ä å Þ Ù â Ô Õ â Õ Û Ý Õ Û Õ Ü ß Ý Ö Û Ñ Ô Ö Ö Þ à à æ ß Ü Ù ç Þ Ò Ö Ù Õ ã Ù ê Ù Ô Õ Ü ä Ö Ù æ Þ Ý Ú Õ ã Ü ë Ý Ü Þ ã ã Ö Ú Õ Ù Þ ä ê Ù Ô Õ Ü ä Ö Ù æ Þ Ü Þ ã ã Ö Ú Õ Ù Ú Ö Ø Ô Õ Û â Ü å Ö Ý Ú Õ ã í é ì è Ö Ù Þ ê Ù Ô Õ Ü ä Ö Û Ö ê Õ Ô î Ö Û ä â ä Ö ç ï Ö Ý Ù Þ Ú æ Þ Ô Ö Û Ù Û â Û ä Ö Û Ö Ö Ü â ã Ö æ Þ Ø Ö Ù Þ ê Ù Ô Õ Ü ä Ö Û Ö Ô Ö Ø ð ñ Ø â ä Û â ò ã Õ Û Ý Û â Ô á Ý ì ì ª ª é Õ Ý Ö Ù à á Õ Û Õ Ü ß Ý Ö Û Þ Ô Ö î Ô â Ü ã Ö Ï ý þ ÿ ÿ ÿ ÿ ü ý ÿ ÿ ÿ ý ÿ ý ü ÿ ÿ þ þ ÿ û ü ÿ ÿ þ ÿ þ ÿ þ ÿ ÿ 2 + ) " # $ " 3 # ' ( $ # ' + / # " 0 $ & : > ( " % & + # - 6 : 4 9 @ A + " " + + ( ) ( " # % & # + 0 " % & " % & # ' + # " # "? @ $ ) " # 1 # & & # 3 + & ' ( $ & % & # + 0 " 0 & ' # " ' & ' $ & ) & ) C # 0 & + " # " " * + D Fra eksamen 16. desember 2006 t u u v w x y z } } ~ } ƒ ƒ ˆ ƒ ~ } ~ Š ƒ ~ } ~ Œ ~ ~ ƒ Ž Š ~ ƒ ~ } } } ~ ~ { } ~ ~ } ˆ ~ ~ } ~ ~ Œ ~ ~ ƒ ˆ ƒ } } ~ ƒ } ƒ ˆ ~ Š } ƒ ˆ ~ } Løsning: } ~ } ˆ ˆ ~ ƒ ƒ ~ } } ~ } } ~ ~ ~ ~ } } ƒ ~ ~ ~ ~ } } } ± ² ³ µ ˆ } ~ ƒ ƒ ~ } ~ ˆ Œ ~ ƒ } } ˆ ˆ } Œ ~ { ~ ˆ ƒ } } ~ ~ ˆ ~ } ~ ˆ ~ } ² ¹ º» ¼ ½ ¾ ½ ½ À ¼ ½ ¼ º Á ¼ ½ Â Ã Ä Ä ¼ Å ¹ º Á ¼ Æ Ç ¹ Ç È É Ã Â Ê ¹ ½ ¼ ½ ¼ Ë H Ì 0 ½  ¾ ¼ ½ Ç ¹ Ç È É Ã Â Ê ¹ ½ Í Ã º Å ¹ º Â Î Ê ¼ É É À Å ¹ º» ¼ ½ ¾ ½ ½ À Ë H 1 Š ~ ˆ ƒ ˆ ƒ ~ } } ª Ÿ Ÿ Ÿ ª ª Ÿ F = MS(factor) MS(error) Á»  ΠΠ¼ À º È ½ ½ É Ã À Å ¹ º Ð Å ¹ º Î Ã Â ¾ ¼ SS(factor)/(4 1) = =0.757 <F(3 16 0.05) = 3.24 SS(error)/(20 4) H 0 Ë Ÿ ª SS(factor)=68.082 SS(error) = 479.636 ~ } ~ } } } w «} ~ ˆ ƒ ˆ ~ Š } ~ ˆ } ~ ~ } ~ ˆ ~ ƒ ƒ ~ ƒ ƒ ƒ ~ ˆ ˆ } ƒ ˆ ~ } ~ ˆ ˆ Š Ÿ Løsning (forts.): ý ÿ ü ÿ ÿ ÿ ÿ ü ø ù ú û ü ý þ þ ÿ ý þ ÿ ÿ ÿ ÿ ü ÿ þ ý ü ÿ û ü ÿ Fra eksamen 16. desember 2006 (forts. Oppgave 3) H 0-. & # ) " # $ $ # ' ' % & # ' + / # & + + ' & & + + ' ' $ " 0 1! " # " $ $! % # & ' ( $ # ) # " * + " % $ " ' ' + #. & " " + + " + H 1-4 4 5 6 4 7 8 9 ; 4 ; : 4 < 8 5 5 ; = : ; : 6 5 7 4 6 9 ; 5 4 = ; = = 4 = ó Ò ô Þ Ú Ú Ö Û Ù Ö Ö Ý ê Ü Ù Õ Ù Ö Ù â õ ö â æ Þ î Þ Ü Ø Ù â Ü Ö Ý ê Ü Ù Õ Ù Ö Ù â Õ ö ; ; 9 t = d s D / n = 3.74 1.698/ =4.93 >t(4 0.025) = 2.78 5 Ý Ü ê Ù Û â Û ä Ö Ô â Ü Ø ê Ù Ö ã ã Ö ç H 0 @ B A * " # " " * + % & # + 0 ' & ' # ' + / # & " 0 # ' + " + + + # C " $ % & # + 0 ' & ' # ' + # " # " E & " $ ( F " # # ' + G % + # " 0 # ' + A + / + $ & + + ' # & ' D " # ) " #