ST0202 Statistikk for samfunnsvitere Kapittel 11: Anvendelser av kjikvadratfordelingen Kapittel 12: Variansanalyse (ANOVA)

Transkript

1 ST0202 Statistikk for samfunnsvitere Kapittel 11: Anvendelser av kjikvadratfordelingen Kapittel 12: Variansanalyse (ANOVA) Bo Lindqvist Institutt for matematiske fag Bo Lindqvist, ST0202

2 2 Skittles (oppgave 11.16) Skittles er flerfarget sukkertøy med fruktsmak, med salgsmotto Taste the Rainbow. Det er fem farger: grønn (lime), lilla (drue), gul (sitron), oransje (appelsin), rød (jordbær). Skittles påstår at frekvensen til hver av fargene i en pose er den samme, dvs. 1/5 for hver farge. Noen er skeptiske og vil teste dette ved å telle antallet Skittles av hver farge i en pose. Rød Orange Gul Grønn Lilla Basert på dataene, tror du påstanden til Skittles holder?

3 3 Kap. 11: Anvendelser av kjikvadratfordelingen: Kjikvadrattester Situasjon: Et tilfeldig utvalg av n individer er trukket fra en populasjon. Hvert individ kan klassifiseres ifølge en kategorisk variabel med k mulige verdier, og det telles opp hvor mange (O) som faller i hver kategori (observerte frekvenser). Disse skal så sammenlignes med forventede frekvenser (E) ifølge den teori som skal testes. Kategorier kalles ofte celler i tabeller som den nedenfor. k kategorier k Totalt Observerte frekvenser O 1 O 2 O 3 O k n Forventede frekvenser E 1 E 2 E 3 E k n

4 4 Testobservator for kjikvadrattester k celler k Totalt Observerte frekvenser O 1 O 2 O 3 O k n Forventede frekvenser E 1 E 2 E 3 E k n χ 2 (O E) 2 = E alle celler Hvis (null)hypotesen som svarer til de forventede frekvenser er sann, vil χ 2 være kjikvadratfordelt med df frihetsgrader, som avhenger av situasjonen. Hvis χ 2 blir for stor vil vi forkaste nullhypotesen.

5 Eksempel med terningkast: Kast en terning 60 ganger, observer antall 1 ere, 2 ere... osv. Vi vil teste nullhypotesen at terningen er korrekt, dvs. at sannsynlighetene er 1/6 for hvert antall øyne. Forventede frekvenser under denne hypotesen er = 10. Antall øyne Observerte frekvenser Forventede frekvenser

6 Beregning av testobservator: χ 2 (O E) 2 = E alle celler Øyne O E O-E (O E) 2 (O E) 2 /E Totalt n=60 n= dvs. at χ 2 = 2.2. Er dette et stort tall? Vi kommer tilbake til dette, siden vi her har et spesialtilfelle av multinomiske eksperimenter - se neste side:

7 7 Multinomiske eksperimenter (11.2) 1. n identiske uavhengige forsøk. 2. Utfallet av hvert forsøk havner i en av k mulige kategorier (celler) 3. Sannsynlighetene for å havne i hver kategori er de samme i hvert forsøk. p 1 er sannsynligheten for å falle i kategori 1, osv. Vi må ha at p 1 + p p k = 1 4. Eksperimentet resulterer i et sett av observerte frekvenser O 1, O 2,, O k ( med sum lik n)

8 Vi sier at (O 1, O 2,..., O k ) er multinomisk fordelt med n forsøk og sannsynligheter p 1, p 2,, p k Vi tester nullhypoteser av formen H 0 : p 1, p 2,..., p k har gitte verdier mot alternativet H a at minst en av p-ene har en annen verdi. De forventede frekvenser når H 0 gjelder er: E 1 = np 1, E 2 = np 2,..., E k = np k ( med sum lik n) Det grunnleggende fordelingsresultat er at hvis H 0 gjelder, er testobservatoren χ 2 (O E) 2 = E alle celler kjikvadratfordelt med df = k 1 frihetsgrader.

9 Analyse av terningeksemplet Vi hadde n = 60, k = 6, og testet nullhypotesen at alle p ene er lik 1/6, dvs. at alle E-ene er lik 60 1/6 = 10. Hypotestetest ved bruk av p-verdi: p verdi = P(χ 2 > χ 2 ) = P(χ 2 > 2.2) = der χ 2 er kjikvadratfordelt med 6 1 = 5 frihetsgrader. (Vi har ikke tabell for dette, men Tabell 8 gir at p-verdien er mellom 0.75 og 0.90). p-verdien er altså større enn signifikansnivå α=0.05, og nullhypotesen forkastes ikke.

10 Analyse av terningeksemplet Hypotetsetest ved bruk av kritisk verdi: H 0 forkastes med signifikansnivå α hvis χ 2 > χ 2 (k 1, α). Vi har fra Tabell 8 at χ 2 (5, 0.05) = 11.1 og siden χ 2 = 2.2 < 11.1 kan vi ikke forkaste nullhypotesen.

11 11 Skittles (oppgave 11.16) Skittles er flerfarget sukkertøy med fruktsmak, med salgsmotto Taste the Rainbow. Det er fem farger: grønn (lime), lilla (drue), gul (sitron), oransje (appelsin), rød (jordbær). Skittles påstår at frekvensen til hver av fargene i en pose er den samme, dvs. 1/5 for hver farge. Noen er skeptiske og vil teste dette ved å telle antallet Skittles av hver farge i en pose. Rød Orange Gul Grønn Lilla Basert på dataene, gjør hypotesetest med α = 0.05.

12 12 Inferens i kontingenstabeller (krysstabeller) (11.3) Individene klassifiseres nå etter to faktorer (kjennetegn). Ønsker å undersøke om faktorene er uavhengige.

13 13 Uavhengighetstesten Hypoteser i uavhengighetstesten: H 0 : Fagpreferanse (MS, SS eller H) er uavhengig av kjønn. H a : Fagpreferanse er avhengig av kjønn. Bruker igjen kjikvadratobservatoren χ 2 (O E) 2 = E alle celler med forventede frekvenser E beregnet for hver celle ved: E = radsum kolonnesum totalt antall i utvalg

14 Begrunnelse for forventede responser: Ved uavhengighet skulle vi forvente at sannsynligheten for at en uttrukket er Male med område MS er lik sannsyligheten for Male multiplisert med sannsynligheten for MS, dvs Forventet antall uttrukne med denne kombinasjonen ville i så fall være = =

15

16 16 Kjønn vs. fag (forts)

17 Frihetsgrader ved kontingenstabeller: df = (r 1) (c 1) der r er antall rader og c er antall kolonner i tabellen. I eksempel: df = (2 1) (3 1) = 1 2 = 2.

18 18 Klassisk metode Signifikansnivå 5%: Forkast H 0 hvis χ 2 > χ 2 (2, 0.05) = 5.99, dvs. ikke forkast.

19 19 Metode med p-verdi p-verdi = P(χ 2 > 4.61) = 0.10 i Tabell 8, så p-verdi er ca

20 20 Hands-on: er øyenfarge og hårfarge uavhengige? Cross tabulation of eye and hair colour in a randomly selected sample of 80 persons from a population. Light blond Dark blond Dark Total Blue Brown Total

21 21 Homogenitetstesten Tilfeldige utvalg fra r = 3 populasjoner, klassifisert i c = 2 kategorier. H 0 : Andelen stemmeberettigede som er for lovforslaget er den samme i alle de tre bostedsgruppene H a :... er ikke den samme i alle de tre bostedsgruppene

22

23 Beregner forventede frekvenser som for uavhengighetstesten, f.eks. for øverste venstre celle: = Antall frihetsgrader er som for uavhengighetstesten, dvs. df = (r 1) (c 1) = (3 1) (2 1) = 2

24 Klassisk metode gir forkastning hvis χ 2 > p-value = P(χ 2 > 91.72) = , så H 0 forkastes klart med alle tenkelige signifikansnivå!

25 25 Har disse tre populasjonene samme blodtypefrekvens? Take random samples of sizes n 1 = 400, n 2 = 200 and n 3 = 100 from three different populations to compare blood type frequencies. A B AB 0 Total Population Population Population Total

26 26 Blood type in MINITAB Rows: Population Columns: Blood Type All ,00 37,14 16,57 154,29 400, ,00 18,57 8,29 77,14 200, ,00 9,29 4,14 38,57 100,00 All ,00 65,00 29,00 270,00 700,00 Pearson Chi-Square = 8,200; DF = 6; P-Value = 0,224 * NOTE * 1 cells with expected counts less than 5

27 27 Hands-on: Mørkeredd? Oppg Vi spør 200 personer i fem aldersgrupper om de har hatt serious fears of darkness. Er det like vanlig å være mørkeredd i hver av disse aldersgruppene? Age grp Elementary Jr. High Sr. High College Adult Fear

28 2 Kapittel 12: Variansanalyse Situasjon: c populasjoner, hver med sitt populasjonsgjennomsnitt µ i. Vi tester H 0 : Alle populasjonene har samme gjennomsnitt, dvs. µ 1 = µ 2 =... = µ c H a : Ikke alle populasjonsgjennomsnittene er like. (Tilfellet med to populasjoner ble behandlet i kapittel 10.)

29 Eksempel 12.1: Effekt av temperatur på produsert antall. Temperaturnivå 68 o F 72 o F 76 o F Populasjon nr. i = 1 i = 2 i = 3 Utvalg Populasjons- µ 1 µ 2 µ 3 gjennomsnitt Populasjons- σ σ σ standardavvik Vil teste: H 0 : µ 1 = µ 2 = µ 3

30 Fra kapittel 10: Testet H 0 : µ 1 = µ 2 mot µ 1 µ 2 t = x 1 x 2 (µ 1 µ 2 ) Med flere enn to populasjoner, dvs. H 0 :µ 1 = µ 2 =... = µ c vs. s 2 1 n 1 + s2 2 n 2 H a : Ikke alle populasjonsgjennomsnittene er like. kunne man teste to og to µ-er, men det ville bli mange tester å utføre. Isteden testes ved såkalt variansanalyse (ANOVA), der det regnes ut én testobservator som kombinerer informasjon fra alle utvalgene.

31 5 ANOVA Antagelser: c populasjoner skal sammenlignes populasjonsgjennomsnittene er µ 1, µ 2,..., µ c populasjonsvariansene σ 2 er de samme for alle populasjonene populasjonene antas normalfordelte populasjonene svarer ofte til ulike nivåer av en faktor, f.eks. temperatur vi har tilfeldige og uavhengige utvalg fra hver populasjon, av størrelse henholdsvis k 1, k 2,..., k c

32 Eksempel 12.1: Effekt av temperatur på produsert antall. Temperaturnivå 68 o F 72 o F 76 o F Utvalg nr. i = 1 i = 2 i = Utvalgsstørrelse k 1 = 4 k 2 = 5 k 3 = 4 Kolonnesum C 1 = 41 C 2 = 35 C 3 = 15 Utvalgs- x 1 = x 2 = 7.0 x 3 = 3.75 observatorer s1 2 = s2 2 = s2 3 = Populasjons- µ 1 µ 2 µ 3 parametre σ σ σ Intuitivt: Forkast H 0 : µ 1 = µ 2 = µ 3 dersom x 1, x 2, x 3 er tilstrekkelig forskjellige.

33 7 Kvadratsummer ( Sums of Squares ) Total Sum of Squares SS(total) = (x x) 2 = (x 2 ) ( x) 2 n der n er det totale antall observasjoner i alle utvalgene x er gjennomsnittet av alle observasjonene ( grand mean ) det summeres over alle de n observasjonene (Merk: Hvis dette divideres med n 1 får vi den vanlige s 2.)

34 Sum of Squares Due to Factor SS(factor) = k 1 ( x 1 x) 2 + k 2 ( x 2 x) 2 + k 3 ( x 3 x) 2 + der k i er antall i utvalg nr. i, x i er gjennomsnitt i utvalg nr. i og x er grand mean. Fortolkning: SS(factor) blir stor hvis det er stor forskjell mellom populasjonsgjennomsnittene, dvs. stor SS(factor) tyder på at H 0 skal forkastes. SS(factor) fortolkes som variasjon mellom populasjoner. Regneformel fra boka: SS(factor) = ( C 2 1 k 1 + C2 2 k 2 + C2 3 k 3 + ) ( x) 2 n der C i er kolonnesummer, og n og x gjelder observasjonene i alle utvalgene.

35 Sum of Squares Due to Error SS(error) = (k 1 1) s (k 2 1) s (k 3 1) s der k i er antall i utvalg nr. i, s 2 i er utvalgsvarians i utvalg nr. i. Fortolkning: SS(error) fortolkes som variasjon innen populasjoner. Hvis den divideres med n c er den et punktestimat for populasjonsvariansen σ 2. Regneformel fra boka: SS(error) = (x 2 ) ( C 2 1 k 1 + C2 2 k 2 + C2 3 k 3 + der C i er kolonnesummer, og (x 2 ) gjelder observasjonene i alle utvalgene. )

36 Frihetsgrader for kvadratsummene: df(total) = n 1 df(factor) = c 1 df(error) = n c Generelle sammenhenger: SS(total) = SS(factor) + SS(error) df(total) = df(factor) + df(error) Mean Squares: MS(factor) = SS(factor) df(factor) MS(error) = SS(error) df(error) (Mean Square for Factor) (Mean Square for Error) Merk at MS(error) er et punktestimat for σ 2.

37 11 Testobservator for ANOVA F = MS(factor) MS(error) Hvis H 0 gjelder har F en F-fordeling med df 1 = c 1 og df 2 = n c frihetsgrader. ANOVA-tabell: Kilde df SS MS F P Factor df(factor) SS(factor) MS(factor) F p-value Error df(error) SS(error) MS(error) Total df(total) SS(total)

38 Eksempel 12.1 (forts): Effekt av temperatur på produsert antall. Her er (x 2 ) = = 731 og x = = 91 slik at SS(total) = (x 2 ) ( x) 2 = = = 94 ( n ) 13 C 2 SS(factor) = 1 + C2 2 + C2 3 + ( x) 2 k 1 k 2 k 3 n ( ) 41 2 = = 84.5 SS(error) = SS(total) SS(factor) = = 9.5 (eller bruk egen formel)

39 ANOVA-tabell: Kilde df SS MS F P Temperatur Error Total F = MS(factor) MS(error) = = Hvis H 0 gjelder har F en F-fordeling med df 1 = 3 1 = 2 og df 2 = 13 3 = 10 frihetsgrader. Tabell 9A: Med α = 0.05 forkastes H 0 hvis F > F(2, 10, 0.05) = 4.10, dvs. klar forkastning. p-verdi: P(F > 44.47) = (fra CD).

40 Eksempel: Sammenligning av slaglengde for ulike typer golfballer. Type Utvalg Sum C i Gj. snitt x i Populasjons- µ 1 µ 2 µ 3 µ 4 µ 5 gjennomsnitt Vil teste: H 0 : µ 1 = µ 2 = µ 3 = µ 4 = µ 5

41 Idé bak ANOVA (12.2) MS(factor) er et mål for variasjonen mellom populasjonene MS(error) er et mål for variasjonen innen populasjonene F er forholdet mellom disse, og vi forkaster H 0 hvis dette blir for stort.

42 (x 2 ) = = x = = 5575 SS(total) = (x 2 ) ( x) 2 = = ( n ) 20 C 2 SS(factor) = 1 + C2 2 + C2 3 + C2 4 + C2 5 ( x) 2 k 1 k 2 k 3 k 4 k 5 n = = SS(error) = SS(total) SS(factor) = =

43 ANOVA-tabell: Kilde df SS MS F P Balltype Error Total F = MS(factor) MS(error) = = 2.47 Hvis H 0 gjelder har F en F-fordeling med df 1 = 5 1 = 4 og df 2 = 20 5 = 15 frihetsgrader. Tabell 9A: Med α = 0.05 forkastes H 0 hvis F > F(4, 15, 0.05) = 3.06, dvs. vi forkaster ikke H 0. p-verdi: P(F > 2.47) = (fra CD).

44 Fra eksamen 16. desember 2006

45 Løsning:

46 Fra eksamen 16. desember 2006 (forts. Oppgave 3)

47 Løsning (forts.):

48 Løsning (forts.):