ST0202 Statistikk for samfunnsvitere Kapittel 9: Inferens om én populasjon Bo Lindqvist Institutt for matematiske fag
2 Kap. 9: Inferens om én populasjon Statistisk inferens har som mål å tolke/analysere resultater fra utvalget for å finne ut mest mulig om populasjonen. Konkret: Å analysere en utvalgsobservator for å trekke slutninger om den tilhørende populasjonsparameter. 1) Estimering. Hva er størrelsen på parameteren? Punktestimering: Gitt ved ett enkelt tall Intervallestimering: Gitt ved et intervall der parameteren antas å ligge med høy sannsynlighet. 2) Hypotesetesting: Velger mellom to konkurrerende påstander om størrelsen på parameteren, for eksempel om den er større eller mindre enn en gitt verdi.
3 Inferens om µ når σ er ukjent Hvis σ er ukjent bytter vi ut σ med s i Ny observator blir t = x µ s/ n z = x µ σ/ n der s = Σx 2 (Σx) 2 /n n 1 t kalles for Students t-observator Fordelingen til t kalles t-fordelingen og er avhengig av utvalgsstørrelsen n via antall frihetsgrader som er df = n 1 (df = degrees of freedom ).
1. t-fordelingen er symmetrisk rundt 0. 2. t-fordelingen har en form som avhenger av antall df (som er n 1). 3. t-fordelingen nærmer seg standard normalfordelingen når df øker 4. t-fordelingen har lavere topp og tykkere haler enn standard normalfordeling
5 Tabell 6: Kritiske verdier for t-fordelingen t(df, α) er t-verdien slik at areal α ligger til høyre, dvs. P(t > t(df, α)) = α der t er t-fordelt med df frihetsgrader.
6 Tabell 7: p-verdier for t-fordelingen Tabellen inneholder arealer av typen nedenfor for ulike df.
7 Inferens om µ når σ er ukjent (9.1) Antagelse: x er tilnærmet normalfordelt, dvs. populasjonen er normalfordelt eller n er stor. Vi bruker at t = x µ s/ n er t-fordelt med df = n 1 frihetsgrader.
8 Konfidensintervall for µ når σ er ukjent Vi husker fra kapittel 8, der σ var kjent at et 1 α konfidensintervall for µ var: x ± E = x ± z(α/2) σ n der vi kalte E for maksimal feil. For å gå fra kjent til ukjent σ bytter vi ut σ med s z(α/2) med (det alltid noe større) t(n 1, α/2) F.eks. er z(0.025) = 1.96 mens t(9, 0.025) = 2.26, t(19, 0.025) = 2.09 og t(29, 0.025) = 2.05 og t(1000, 0.025) = 1.96.
9 Konfidensintervall for µ når σ er ukjent Et 1 α konfidensintervall for µ når σ er ukjent er gitt ved x ± E = x ± t(n 1, α/2) s n
10 Hands-on Vi skal studere IQ i en spesiell populasjon. Vi antar at IQ for en tilfeldig valgt person i populasjonen er normalfordelt med ukjent populasjonsgjennomsnitt µ og ukjent populasjonsstandardavvik σ. Vi har trukket et tilfeldig utvalg av 10 personer fra populasjonen og disse har gjennomført en IQ-test, med følgende resultater 105.74 116.95 137.09 98.98 115.83 98.74 106.18 110.35 133.29 104.11 Vi har med utvalgsgjennomsnitt x = 112.73 og utvalgsstandardavvik s = 13.33 Finn et punktestimat for populasjonsparameteren µ Finn et intervallestimat for populasjonsparameteren µ. Bruk 90% konfidensnivå.
11 Hypotesetesting om µ (σ ukjent) Eksempel: Språktest for ungdomsskoleelever. Anta at score på spåktest for en tilfeldig valgt elev fra en skole er normalfordelt med populasjonsgjennomsnitt µ og populasjonsstandardavvik σ. Vi vil teste H 0 : µ = 125 mot H a : µ > 125. Fra populasjonen trekker vi et utvalg av n = 22 elever. Vi observerer x = 128.5. Vi skal gjennomføre en hypotesetest og velger signifikansnivå 5%. Merk at populasjonsstandardavviket σ ikke er kjent. Vi må da regne ut utvalgsstandardavviket s som viser seg å bli s = 15.2.
Vi bruker testobservatoren t = x 125 s/ n Store verdier av t tyder på at H a gjelder. Poenget med å bruke t er at når H 0 er riktig, er t t-fordelt med antall frihetsgrader df = 22 1 = 21. Vi kan derfor forkaste H 0 hvis den beregnede verdi for t er så stor at den er urimelig for en t-fordeling med df = 21. Her blir t = 128.5 125 15.2/ 22 = 1.08 så spørsmålet er om dette er for høyt til rimeligvis å kunne komme fra en t-fordeling med df = 21.
13 Metode med p-verdi med ukjent σ Vi finner fra Tabell 7 i kolonnen med df = 21 P(t > 1.08) er mellom 0.142 og 0.164 og kan beregnes til 0.15. Da dette er større enn signifikansnivået α = 0.05, forkaster vi ikke H 0. Den beregnede sannsynlighet P(t > 1.08) kan generelt skrives P(t > t ) og er nå p-verdien for testen.
14 Klassisk metode med ukjent σ Situasjonen er som før og vi bruker samme testobservator, nemlig t = x 125 s/ n Å velge signifikansnivå α betyr at vi krever P(forkaste H 0 ) = α hvis H 0 er sann Dette får vi til ved å forkaste H 0 hvis t > t(n 1, α), der t(df, α) er den kritiske verdi) og finnes i Tabell 6.
Vi forkaster da H 0 dersom t = x 125 s/ n > t(n 1, α) Med α = 0.05 og n = 22 får vi fra Tabell 6: t(21, 0.05) = 1.72 mens vi beregner t 128.5 125 = 15.2/ = 1.08 < 1.72 22 så vi forkaster ikke H 0 med signifikansnivå α = 0.05.
16 Hands-on fortsettelse av IQ oppgaven Vi skal studere IQ i en spesiell populasjon. Vi antar at IQ for en tilfeldig valgt person i populasjonen er normalfordelt med ukjent populasjonsgjennomsnitt µ og ukjent populasjonsstandardavvik σ. Vi har trukket et tilfeldig utvalg av 10 personer fra populasjonen og disse har gjennomført en IQ-test. Jeg påstår at µ = 100 for populasjonen. Ta stilling til dette utsagnet med en hypotesetest. Bruk signifikansnivå α = 0.1. Hva blir de kritiske verdier? Finn også p-verdien. Utvalget gav: 105.74 116.95 137.09 98.98 115.83 98.74 106.18 110.35 133.29 104.11 med utvalgsgjennomsnitt x = 112.73 og utvalgsstandardavvik s = 13.33
19 Inferens om andelen p Eksempel: Det har vært antatt at 60% av studentene på et universitet har deltidsjobb utenom studiene. Etter at Kvalitetsreformen har virket en stund, tror studieledelsen at tallet er lavere og ønsker å undersøke dette ved å spørre et utvalg på n = 500 studenter. Det viser seg at x = 260 av disse har deltidsjobb. Populasjonen er nå alle studenter ved universitetet, mens parameteren som er av interesse er p, andelen av studenter som har deltidsjobb. Fra utvalget på n = 500 ønsker man å gjøre inferens om p. Spesielt vil man teste hypotesen H 0 : p = 0.60 mot H a : p < 0.60
20 Binomisk sannsynlighetsfordeling Et binomisk eksperiment består av gjentatte forsøk med følgende egenskaper: 1. Det er n uavhengige forsøk. 2. Hvert forsøk har to mulige utfall, ofte kalt suksess og fiasko. 3. P(suksess)=p, P(fiasko)=q, p + q = 1. 4. Den binomiske tilfeldige variabelen x er antallet suksessfulle utfall som inntreffer, og x kan anta enhver heltallsverdi fra 0 til n. Videre er forventning til x lik µ x = np og standardavvik for x er σ x = npq.
21 Inferens om den binomiske sannsynlighet for suksess p (9.2) p fortolkes som andelen med egenskapen suksess i populasjonen, slik at p er sannsynligheten for å trekke en enhet med suksess. Utvalget består i å gjøre n forsøk, dvs. tilfeldige trekninger fra populasjonen, og registrere antallet x med suksess. Andel med suksess i utvalget er da p = x n som kan kalles utvalgs-suksess-sannsynligheten ( sample binomial probability ). p er punktestimatet for p basert på vårt utvalg.
22 Forventning µ p og standardfeil σ p for p :
23 Utvalgsfordeling for p Hvis et utvalg av størrelse n trekkes fra en populasjon med p = P( suksess ), så vil utvalgsfordelingen for p ha: 1. forventning µ p = p (dvs. punktestimatet p er forventningsrett) 2. standardfeil (dvs. standardavvik for punktestimatet) σ p = pq n 3. tilnærmet normalfordeling (hvis både np og nq er større enn 5)
Statistisk inferens om p kan derfor bygges på den (tilnærmet) standard normalfordelte z = p p pq n Merk analogien med z = x µ σ n
Et konfidensintervall for p med konfidensnivå 1 α er da gitt ved ( ) pq pq p z(α/2) n, p + z(α/2) n som er analogt med ( x z(α/2) σ n, x + z(α/2) σ n ) MEN siden konfidensintervallet for p ovenfor inneholder den ukjente p (og q), vil vi bruke konfidensintervallet: p z(α/2) p q n, p + z(α/2) der q = 1 p er utvalgs-fiasko-sannsynligheten. p q n
26 Eksempel: Deltidsjobbing Av et utvalg på n = 500 hadde x = 260 deltidsjobb. Et punktestimat for andelen p i populasjonen som har deltidsjobb er da p = 260/500 = 0.52. Et konfidensintervall for p med konfidensnivå 0.90 er 0.52 1.65 dvs. (0.483,0.557) 0.52 0.48 500, 0.52 + 1.65 0.52 0.48 500
27 Utvalgsstørrelse 1 α-konfidensintervallet for suksess-sannsynligheten p i populasjonen er altså definert ved p p z(α/2) q n, p p + z(α/2) q n der maksimal feil for estimatet er E = z(α/2) p q n Hvor stor må vi velge n for å få en bestemt maksimal feil E? n = [z(α/2)]2 p q E 2 der p og q er foreløpige verdier for p og q som brukes under planleggingen.
28 Utvalgsstørrelse (forts.) Formel: n = [z(α/2)]2 p q E 2 Det viser seg at n i formelen blir størst hvis p og q begge er 0.5. Så hvis vi ikke har forhåndskjennskap til p, og ønsker å være på den sikre siden, regner vi ut n med p = q = 0.5.
Eksempel: Hva må n være for at feilen E skal være mindre enn eller lik 0.01 med konfidensnivå 0.95? Hvis vi ikke har forhåndsviten om p: n = [z(α/2)]2 p q E 2 = [z(0.025)]2 0.5 0.5 0.01 2 = 1.962 0.25 0.0001 = 9604 Hvis vi har forhåndsviten om at p er i størrelesorden 0.15, setter vi p = 0.15 og q = 0.85 og får n = 1.962 0.15 0.85 0.0001 = 4898
30 Testobservator for å teste en andel p Vi vil teste H 0 : p = p 0 for et spesifisert tall p 0. Bruk da z = p p 0 p0 q 0 n I eksempel med deltidsjobbing: med p = x n H 0 : p = 0.60 mot H a : p < 0.60 og n = 500: z = p 0.60 0.60 0.40 500 som hvis H 0 gjelder er standard normalfordelt, og som i vårt eksempel blir lik z = 0.52 0.60 0.60 0.40 500 = 3.65
p-verdi blir dermed (som for testene om µ) p verdi = P(z < 3.65) = P(z > 3.65) = 0.0001 fra Tabell 5 (som vi ikke har brukt til nå). Dette er svært lavt, og fører til forkastning av H 0 for f.eks. α =0.01 eller 0.05. Klassisk metode er også som for testene om µ: H 0 skal forkastes med signifikansnivå α hvis z < z(α). Med α = 0.01 blir det å forkaste om z < z(0.01) = 2.33 dvs. vi forkaster H 0.
32 Merknad om konfidensintervall og testing av hypoteser om p Anta vi skal teste nullhypotesen H 0 : p = p 0 der p 0 er et gitt tall, f.eks. 0.60 i vårt eksempel. I testobservatoren brukes da p 0 og q 0 = 1 p 0 i uttrykket for standardfeilen til p i nevneren z = p p 0 p0 q 0 n med p = x n Til sammenligning, i et (1 α) konfidensintervall for p basert på p, dvs. p z(α/2) p q n, p + z(α/2) p q n brukes uttrykket p q n for å representere standardfeilen for p
33 Hands-on: bilkjøring Populasjon: studenter på NTNU. Spørsmål: Er du flinkere enn gjennomsnittet (i Norge) til å kjøre bil? Ja (suksess) eller nei (fiasko). Populasjonsparameter: p =P(en student synes han/hun er flinkere enn gjsn. til å kjøre bil)= suksess-sannsynligheten. Utvalget: n = 139 studenter som tok faget TMA4245 våren 2006. Av disse svarte x = 59 ja. Svar på: Tyder dataene på at færre enn 50% av studenten ved NTNU synes at de er flinkere til å kjøre bil enn Norges-gjennomsnittet? Sett opp H 0 og H a, regn ut p-verdi. Konkluder. I en landsomfattende undersøkelse blant norske bilførere i 2009 mente 67% av de spurte at de er bedre sjafører enn gjennomsnittet.
34 Keramiske gulvfliser Keramiske gulvfliser skal gjerne se ut som naturlig stein, og dermed må overflaten ikke være helt flat - men må variere.
35 Keramiske gulvfliser Vi ønsker at variasjonen i overflatehøyde er stor nok til at flisen ser ut som naturlig stein, men liten nok til at det ikke medfører et sikkerhetsproblem.
36 Keramiske gulvfliser Spesifikasjonen for en type keramiske gulvfliser sier: Gjennomsnittlig overflatehøyde må ikke være større enn 0.025 inch (0.064 cm = 0.64 mm). Produksjonsprosessen sies å være under kontroll hvis standardavviket til overflatehøyden ikke er større enn 0.01 inch (0.0254 cm = 0.254 mm). Data fra 26 tilfeldig valgte punkter: Oppgaver: 9.145, 9.146.
37 Keramiske gulvfliser Min. 1st Qu. Median Mean SD 3rd Qu. Max.
38 Inferens om varians og standardavvik for ett normalfordelt utvalg (9.3) Inferens om variansen til en normalfordelt populasjon bruker kjikvadrat-fordelingen ( chi-square distribution ) (der kji er den greske bokstaven χ. Fordelingen kan også skrives χ 2 -fordelingen.)
39 Kjikvadrat-fordelingen 1. χ 2 er positiv 2. χ 2 er ikke symmetrisk, men skjev mot høyre. 3. En bestemt χ 2 -fordeling identifiseres ved en parameter df som kalles antall frihetsgrader ( degrees of freedom ). 4. Forventning µ = df 5. Varians σ 2 = 2df
40 Kjikvadratfordelinger med ulik df
41 Tabell 8 χ 2 (df, α) er χ 2 -verdien slik at areal α ligger til høyre, dvs P(χ 2 > χ 2 (df, α)) = α der χ 2 er χ 2 -fordelt med df frihetsgrader.
42 Hands-on: Tabell 8 Finn kritisk verdi: χ 2 (9, 0.05) χ 2 (9, 0.95) Hva er α: χ 2 (9, α) = 3.92 χ 2 (9, α) = 16.9
43 Inferens om σ Antagelse: Utvalget er trukket fra en populasjon som er normalfordelt. Vi skal teste hypoteser om σ. (Punktestimat er s). Vi bruker testobservatoren χ 2 = (n 1)s2 σ 2 som kan vises å være χ 2 -fordelt med df=n-1 frihetsgrader når σ har den korrekte verdien. Merk: Dette er analogt med at vi ved inferens om µ har brukt observatorer z = x µ σ/ n fordelinger. og t = x µ s/ n som har kjente, tabellerte
Eksempel: Jeg har trukket 10 tall fra en populasjon som er normalfordelt med forventning µ og standardavvik σ. Tallene ble 52.61 49.36 48.47 55.39 48.49 52.19 48.15 47.30 52.13 52.47 med s=2.64. Finn et punktestimat for σ Jeg sier at σ = 4 for populasjonen. Ta stilling til utsagnet gjennom en hypotesetest. Bruk signifikansnivå α = 0.1. Finn p-verdien.
Punktestimat for σ er s = 2.64. Nullhypotesten H 0 er at σ = 4 mens alternativ hypotese H a er at σ 4. Testobservatoren blir da χ 2 = (n 1)s2 (n 1)s2 σ 2 = 4 2 som er χ 2 -fordelt med df=n-1=9 frihetsgrader under nullhypotesen. Her blir χ 2 (n 1)s2 (10 1)2.642 = σ 2 = 4 2 = 3.92 Spørsmålet er om dette er en urimelig størrelse for en variabel som er kjikvadrat-fordelt med df = 9. Vi vil forkaste H 0 hvis testobservatoren χ 2 blir enten for liten eller for stor.
Klassisk metode: Finn kritiske verdier slik at vi forkaster hvis χ 2 ligger utenfor et sentralt område av kjikvadratfordelingen. Vi har at P(χ 2 < χ 2 (df, 1 α/2)) = α/2 P(χ 2 > χ 2 (df, α/2)) = α/2 I eksempel, med α = 0.10, blir disse kritiske verdiene (Tabell 8) χ 2 (9, 0.95) = 3.33 χ 2 (9, 0.05) = 16.9 dvs. vi skal forkaste hvis χ 2 < 3.33 eller χ 2 > 16.9. Dermed forkaster vi ikke H 0, siden vi beregnet testobservatoren χ 2 = 3.92.
Metode med p-verdi: Beregner først P(χ 2 9 < 3.92) = 1 P(χ2 9 > 3.92) = 1 0.92 = 0.08 Her har vi først brukt Tabell 8 til å finne P(χ 2 9 > 3.33) = 0.95 og P(χ 2 9 > 4.17) = 0.90. Dermed vet vi at P(χ2 9 > 3.92) er mellom 0.90 og 0.95. På øyemål har vi da anslått at P(χ 2 9 > 3.92) = 0.92 (som vi også ville få ved formell interpolasjon). Siden alternativ hypotese er at σ 4 er p-verdien lik arealet av begge halene, dvs p-verdi=2 0.08 = 0.16. Siden p-verdi>α=0.1 kan vi ikke forkaste nullhypotesen. (σ for populasjonen som jeg trakk fra var σ = 2, med andre ord beholdt vi feilaktig nullhypotesen, dvs. gjorde en feil av type II.)
48 Hands-on: keramiske fliser Vi ser på måling av overflatehøyde for keramiske fliser. Et tilfeldig utvalg av 26 målepunkter ble valgt, med følgende måleresultater. Vi oppgir at utvalgsgjennomsnittet er x = 0.0198 og utvalgets standardavvik er s = 0.0107. Er det statistisk bevis for at prosessen brukt i tilvirkningen av flisene har et standardavvik som er større enn 0.01 inch?