Kapittel 10: Hypotesetesting

Transkript

1 Kapittel 10: Hypotesetesting TMA445 Statistikk 10.1, 10., 10.3: Introduksjon, 10.5, 10.6, 10.7: Test for µ i normalfordeling, 10.4: p-verdi Turid.Follestad@math.ntnu.no p.1/19 Estimering og hypotesetesting Situasjon: Eks 1: Studentar si oppfatning av køyreeigenskapar Eks : Høgda til studentar Problemstilling Synest studentar dei er flinkare enn gj.snittet til å køyre bil? Kor høge er studentane? Populasjon Vil observere Alle studentar, (evt. menn og kvinner som to pop.) Om dei synest dei er "bedre enn gj.snittet" eller ikkje Alle studentar, (evt. menn og kvinner som to pop.) Høgda Fordeling Binomisk Normal Parameter θ Utvalg, storleik n Data: observert verdi av X 1,..., X n u.i.f. SV Andelen p som synest dei er flinkare enn gj.snittet Alle studentar som svarte på spørreundersøking "Bedre enn gj.snittet" eller ikkje. X = X X n = antall "bedre" Forventa høgde, µ. Alle studentar som svarte på spørreundersøking Høgda, X 1,..., X n TMA445: Kap.10, del 1- p./19

2 Estimering og hypotesetesting (forts) Spørsmål, estimering: Eks 1: Studentar si oppfatning av køyreeigenskapar Kor stor andel av studentane synest dei er flinkare enn gj.snittet til å køyre bil? Estimator ˆp = X, andel "betre" blant n dei n spurte ˆp p Storleik med kjent fordeling Z = pˆp(1 ˆp)/n N(0, 1) for stor n, og p ikkje nær 0 eller 1. Konfidensintervall: Spørsmål, hypotesetesting: Eks : Høgda til studentar Kva er forventa høgde for ein student? ˆµ = X, gjennomsnittleg høgde i utvalget. T = X µ S/ er t-fordelt n med n 1 fridomsgrader. [ˆp z α/ q ˆp(1 ˆp) n, [ x t α/,(n 1)) s n, ˆp + z α/ q ˆp(1 ˆp) n ] x + t α/,(n 1)) s n ] Synest fleire enn 50% av studentene at dei er betre enn gj.snittet til å køyre bil? Trur fleire menn enn kvinner at dei er betre enn gj.snittet? Er forventa høgde på kvinnelige studentar mindre enn 170 cm? TMA445: Kap.10, del 1- p.3/19 Eks: Kvalitetskontroll av skruar Ser på produksjon av skruar, der lengda på ein skrue skal vere 15 mm. I praksis er det små variasjonar, og lengda på skruane har standardavvik σ = 0.1 mm. Skruane vert antatt å følgje spesifikasjonen dersom forventa lengde er 15 mm. Tar jamnlig stikkprøver frå prosessen, for å sjekke om skruane svarer til spesifikasjonen. Dersom stikkprøva tyder på at dei produserte skruane ikkje er 15 mm, må maskina som lagar skruane kalibrerast på nytt. Vil bruke hypotesetesting basert på stikkprøva til å avgjere om maskina må kalibrerast. Figur frå p.4/19

3 Hypotese DEF 10.1: Ein statistisk hypotese er ein antakelse eller påstand om eigenskapar ved ein eller fleire populasjonar. Nullhypotese (H 0 ): Hypotesen vi vil undersøke om vi har grunnlag frå data for å forkaste. Ein bestemt verdi for ein parameter. Alternativ hypotese (H 1 ): Hypotesen vi aksepterer dersom vi forkastar nullhypotesen. Ofte meir enn ein verdi for ein parameter. Eks: Bilkøyring: H 0 : p 1 p = 0, H 1 : p 1 p > 0 Høgde: H 0 : µ = 170, H 1 : µ < 170 Skruar: H 0 : µ = 15, H 1 : µ 15 Figur frå p.5/19 Statistisk hypotesetesting Undersøke om dataene gir tilstrekkelig "bevis" for at den alternative hypotesen er sann. Sml. rettssak: Tiltalte er uskuldig inntil det motsette er bevist. To typer testar: To-sidig test: H 0 : θ = θ 0 mot H 1 : θ θ 0 Ein-sidig test: H 0 : θ = θ 0 mot H 1 : θ < θ 0, eller H 0 : θ = θ 0 mot H 1 : θ > θ 0 TMA445: Kap.10, del 1- p.6/19

4 To typer feil Type I-feil: Forkasting av nullhypotesen når denne er sann (DEF 10.) Eks, skruar: Type I-feil kan føre til unødvendig produksjonsstans. Vil ikkje stoppe produksjonen for å kalibrere utan at vi er sikre på at skruane ikkje er 15 mm. Type II-feil: Ikkje forkaste nullhypotesen når denne er usann (DEF 10.3). Eks, skruar: Type-II-feil kan føre til mangel på nødvendig kalibrering. noko som er ugunstig overfor kundar. For lange og for korte skruar påfører kjøpar problem. Signifikansnivået for ein test = P (Type I-feil) = α TMA445: Kap.10, del 1- p.7/19 Type-I og type-ii-feil H 0 sann H 0 falsk Aksepter H 0 Korrekt Type-II feil Forkast H 0 Type-I feil Korrekt Analogi, rettssak: H 0 sann H 0 falsk Aksepter H 0 Uskyldig, frikjent Skyldig, går fri Forkast H 0 Uskyldig, dømt Skyldig, dømt TMA445: Kap.10, del 1- p.8/19

5 Eitt utvalg: to-sidig test for µ med σ kjent La X 1, X,..., X n vere u.i.f., X i N(µ, σ ), der σ er kjent. 1. Sett opp hypoteser: H 0 : µ = µ 0 mot H 1 : µ µ 0. Bestem signifikansnivå α. 3. Velg testobservator: Z = X µ σ/ n Under H 0 er Z 0 = X µ 0 σ/ n N(0, 1) Finn forkastningsområde: Forkast H 0 dersom z 0 > z α, der z 0 er observert verdi for Z Berekn x frå utvalget, og vidare observert verdi for Z 0 : z 0 = x µ 0 σ/ n. Samanlikn z 0 med z α, og forkast H 0 dersom z 0 > z α. TMA445: Kap.10, del 1- p.9/19 Eks, test for µ, σ kjent: Skruar Vil undersøke om det er grunn til å tru at skruane som blir produserte ikkje er 15 mm lange i forventning. Generell framgangsmåte Utvalg: X 1, X,..., X n uavhengige, med X i N(µ, σ ), der σ er kjent. 1. Hypoteser: Kvalitetskontroll av skruar Stikkprøve med n = 10 skruar, antar normalfordeling, kjent σ = 0.1mm. H 0 : µ = µ 0 vs. H 1 : µ µ 0 H 0 : µ = 15 vs. H 1 : µ 15. Bestem signifikansnivå α Velger α = Testobservator Z = X µ σ/ n, Z 0 = X µ 0 σ/ n N(0,1) under H 0 Forkastingsområde: Forkast H 0 dersom z 0 > z α eller z 0 < z α. 4. Observerer x frå utvalget x = mm. Bereknar z 0 = x µ 0 σ/ n z 0 = / 10 = 1.58 Finn z α z 0.05 = z 0.05 = 1.96 Samanliknar z α, z 0 og z α -1.96<1.58<1.96 Forkast H 0 og konkluder med H 1, eller hald på H 0. Forkastar ikkje H 0. Har ikkje sterke nok bevis for at µ 15 mm. TMA445: Kap.10, del 1- p.10/19

6 Hypotesetesting, generell prosedyre 1. Spesifisér nullhypotese og alternativ hypotese.. Bestem signifikansnivå α. 3. Velg passande testobservator, med kjent fordeling, og etablér forkastningsområde (kritisk område) basert på denne og α. 4. Berekn observert verdi av testobservatoren. Forkast H 0 dersom denne verdien ligg i forkastningsområdet, og behald H 0 dersom ikkje. 5. Trekk konklusjonar. TMA445: Kap.10, del 1- p.11/ : p-verdi DEF 10.5: Ein p-verdi er det lavaste (signifikans-)nivået som gjer at den observerte verdien for testobservatoren er signifikant. Alternativ def: Ein p-verdi er sannsynet for å få det vi har observert eller noko meir ekstremt, gitt at H 0 er sann. Generell prosedyre, hypotesetest ved bruk av p-verdi: Bestem null- og alternativ hypotese. Velg passande testobservator. Berekn p-verdien basert på observert verdi av testobservatoren. Bestem om vi vil forkaste eller behalde nullhypotesen på grunnlag av p-verdien og kunnskap om systemet. TMA445: Kap.10, del 1- p.1/19

7 10.6: Hypotesetest og konfidensintervall Anta X 1, X,..., X n u.i.f., X i N(µ, σ ) der σ er kjent. To-sidig test: H 0 : µ = µ 0 mot H 1 : µ µ 0 Signifikansnivå α. Testobservator Z 0 = X µ 0 σ/ n N(0,1) under H 0 Konfidensintervall for µ: Forkastingsområde: Forkast H 0 dersom z 0 > z α eller z 0 < z α Under H 0 har vi P( z α < Z 0 < z α ) = 1 α x z α σ n < µ 0 < x + z α σ n Dersom eit (1 α)100% konfidensintervall inneheld µ 0 vil vi ved hypotesetesting ikkje forkaste H 0 på nivå α. Dersom eit (1 α)100% konfidensintervall ikkje inneheld µ 0 vil vi ved hypotesetesting forkaste H 0 på nivå α. TMA445: Kap.10, del 1- p.13/ : Eitt utvalg, to-sidig test for µ med σ ukjent La X 1, X,..., X n vere u.i.f., X i N(µ, σ ), der σ er ukjent. Estimator for σ : S = 1 n 1 n i=1 (X i X). 1. Sett opp hypoteser: H 0 : µ = µ 0 mot H 1 : µ µ 0. Bestem signifikansnivå α. 3. Testobservator: T = X µ S/ n Under H 0 er T 0 = X µ 0 S/ t-fordelt med n 1 fridomsgrader. n Forkastingsområde: Forkast H 0 dersom t 0 > t α,n 1, der t 0 er observert verdi for T Berekn x og s frå utvalget, og vidare observert verdi for T 0 : t 0 = x µ 0 s/ n. Samanlikn t 0 med t α,n 1, og forkast H 0 dersom t 0 > t α,n 1. TMA445: Kap.10, del 1- p.14/19

8 Rep: Viktige begrep, hypotesetesting Hypoteser: Nullhypotese (H 0 ): Hypotesen vi vil undersøke om vi har grunnlag frå data for å forkaste. Ein bestemt verdi for ein parameter. Alternativ hypotese (H 1 ): Hypotesen vi aksepterer dersom vi forkastar nullhypotesen. Ofte meir enn ein verdi for ein parameter. Statistisk hypotesetesting: hypotesen er sann. Undersøke om dataene gir tilstrekkelig "bevis" for at den alternative To typer testar: To-sidig test: H 0 : θ = θ 0 mot H 1 : θ θ 0 Ein-sidig test: H 0 : θ = θ 0 mot H 1 : θ < θ 0, eller H 0 : θ = θ 0 mot H 1 : θ > θ 0 To typer feil: Type-I og type-ii-feil. H 0 sann H 0 falsk Aksepter H 0 Korrekt Type-II feil Forkast H 0 Type-I feil Korrekt TMA445: Kap.10, del 1- p.15/19 Signifikansnivå og teststyrke Definerer α = P(Type I-feil) β = P(Type II-feil) Har at Signifikansnivået for ein test = P(Type I-feil) = α. Styrken for ein test er sannsynet for å forkaste H 0 når eit bestemt alternativ er sant (DEF 10.4), dvs. Styrken = 1 P(Type II-feil, bestemt alternativ) = 1 β. Reduserer α β aukar og 1 β (styrken) minkar (og omvendt). Aukar n α minkar og 1 β (styrken) aukar. TMA445: Kap.10, del 1- p.16/19

9 Teststyrke, illustrasjon Testar hypotesen H 0 : µ = µ 0 mot H 1 : µ < µ 0. Forkastar H 0 dersom z 0 < z α, eller ekvivalent x < a, der a = µ 0 z α σ/ n. Anta sann verdi µ = µ 1, kva er β = P(Type II-feil, µ = µ 1 ) og teststyrken 1 β? Areal: α Areal: β a Forkast H0 Aksepter H0 µ 1 µ 0 TMA445: Kap.10, del 1- p.17/19 Teststyrke, illustrasjon (forts) Testar hypotesen H 0 : µ = µ 0 mot H 1 : µ < µ 0. Forkastar H 0 dersom z 0 < z α, eller ekvivalent x < a, der a = µ 0 z α σ/ n. La α = Teststyrke 1 β for µ = µ 1 (n høgre = n venstre ): Areal: α Areal: β Areal: α Areal: β Forkast H0 a Aksepter H0 µ 1 µ 0 Forkast H0 a Aksepter H0 µ 1 µ 0 TMA445: Kap.10, del 1- p.18/19

10 Valg av utvalgsstorleik Einsidig test for µ, σ kjent. H 0 : µ = µ 0 mot H 1 : µ > µ 0 (eller H 1 : µ < µ 0 ) Dersom vi vil ha sannsyn (1 β) for å oppdage µ = µ 0 + δ (for gitt δ), og ønskjer signifikansnivå α, må storleiken n på utvalget vere minst n = (z α + z β ) σ δ Tosidig test for µ, σ kjent. H 0 : µ = µ 0 mot H 1 : µ µ 0 Med tilsvarande situasjon som over, blir minste utvalgsstorleik (tilnærma) n = (z α + z β) σ δ TMA445: Kap.10, del 1- p.19/19