Econ 213 uke 16 (HG) Hypotesetesting I Løvås: 6.4.1 6, 6.5.1-2 1
Testing av µ i uid modellen (situasjon I Z-test ). Grunnbegreper. Eksempel. En lege står overfor følgende problemstilling. Standardbehandling (B) for en litt mindre lidelse gir gjennomsnittlig helbredelsestid 15 dager (regner man med). La Y være helbredelsestid (behandling B) for en vilkårlig pasient. Antakelse basert på erfaring: E( Y ) = 15 og SD( Y ) = var( Y ) = 3. Ny behandling (BNY) foreligger. Legen ønsker å teste BNY. La X være helbredelsestid (BNY) for en vilkårlig pasient. Legen antar: E( X) = µ ( ukjent) SD( X ) = σ = 3 (kjent) DATA: BNY brukt på n = 71 pasienter: x1, x2,, xn x = 14.5 PROBLEM: Tyder dette på at vi kan påstå " µ < 15" med sterk evidens? 2
MODELL: X1, X2,, Xn uavhengige og identisk normalfordelte ( N ( µσ, ) ) med E X = ukjent X = = = k t i = 2,, n 2 2 ( i) µ ( ) og var( i) σ 9 3 ( jen ), 1, σ Estimator: ˆ µ = X ˆ µ forventningsrett ( E( ˆ µ ) = µ ) og normalfordelt ( X ~ N( µ, )) n Estimat: ˆ µ = X = x = 14.5 obs obs To hypoteser om den ukjente er aktuelle: H µ H 1 : µ 15 ("null-hypotesen") : µ < 15 ("alternativ hypotese") Vi vet at x µ, men vi vet ikke hvor langt vekk fra µ x er! Merk at µ = 15 er en kjent hypotetisk verdi bestemt av problemstillingen. 3
Sett fra et vitenskapelig ståsted: Hypotesene H og H inngår ikke symmetrisk i problemstillingen. 1 Hensiktsmessig valg av mulige konklusjoner: i) Det er sterk evidens i data for å påstå at H : µ < 15 1 er sann. ii) Det er ikke nok informasjon i data til å kunne skille mellom H1 og H med sterk evidens. For å uttrykke dette brukes ofte formuleringer som, Si ingen ting eller Uavklart problem e.l. Eksempel på en beslutningsregel (forkastningsregel): Forkast H, dvs. påstå H1 : µ < 15 dersom X k, der k er kritisk verdi. Ikke si noe hvis X k. Bestem den kritiske verdien k hensiktsmessig. Hvis x faller her, "Ikke si noe" påstå µ < 15 med sterk evidens. PROBLEM: Hvordan bestemme k? 4
Bestemme kritisk verdi k Forkastningsregel (= testkriterium): Forkast H hvis X k Ikke si noe hvis X > k X kalles testobservator k kalles kritisk verdi Feiloversikt: Konklusjon Ikke forkast ikke si noe Forkast (påstå ) H 1 H H Den ukjente sannheten H : 15 H : 15 1 feil Feil av type II (ikke så alvorlig) Feil av type I (anses alvorlig) feil Velg k slik at i) og ii) er oppfylt: i) Velg k slik at P(feil I) α der α er liten og subjektivt valgt. Vanlige valg er.5,.1,.1. α kalles signifikansnivå. ii) Velg k slik at P(feil II) blir minst mulig. 5
Et viktig hjelpemiddel: Styrkefunksjonen. Definisjon. En (statistisk) test består av et (observerbart) forkastningskriterium som (i prinsippet) formuleres før (a priori) data er kjent. Styrkefunksjonen for en gitt test er definert som P(forkast H) - tolket som en funksjon av de ukjente parameterene i modellen. I eksemplet. Test: Forkast H hvis X k. Styrkefunksjon: P(forkast H) = PX ( k) Utledning: σ X µ X ~ N µ, Z = ~ N(,1) n σ n La som før tabell E.3(D.3) Gx ( ) = PZ ( x) X µ k µ k µ k µ P(forkast H) = PX ( k) = P = P Z = G σ n σ n σ n σ n som er en funksjon av µ ( σ kjent), som vi skriver γ ( µ ) ( γ er "gamma" - gresk g) k µ Styrkefunksjonen i eksemplet: γ ( µ ) = PX ( k) = G σ n 6
Det er styrkefunksjonen vi bruker til å vurdere egenskapene til en test. Sammenhengen mellom styrkefunksjonen og feil av type I og II. hvis µ < 15 ( H1) P(feil I) = P(forkast H) = γ ( µ ) hvis µ 15 ( H) P(ikke forkast H) = P(feil II) = 1 γ ( µ ) hvis µ < 15 ( H1) hvis µ 15 ( H) Konklusjon Ikke forkast ikke si noe Forkast H (påstå ) H 1 H Den ukjente sannheten H : µ 15 H : µ < 15 1 feil Feil av type I (anses alvorlig) Feil av type II (ikke så alvorlig) feil Kravene i) og ii) uttrykt ved styrkefunksjonen. i) Velg k slik at P(feil I ) α Velg k slik at γ ( µ ) α hvis µ 15 ( H ) ii) Velg k slik at P(feil II) blir minst mulig Velg k slik at 1 γ ( µ ) blir minst mulig når µ < 15 ( H ) Velg k slik at γ ( µ ) blir størst mulig når µ < 15 ( H ) 1 1 Løsning: Kravene i) og ii) Velg k som løsningen av ligningen γ( 15) = α 7
Vi trenger å vite: k µ Styrkefunksjonen i eksemplet γ ( µ ) = G er en avtagende funksjon av µ σ n Fordi: Gz ( ) = PZ ( z) er en stigende funksjon av z. Så, hvis µ øker, vil k σ µ n avta ( ) k µ γ µ = G avtar når µ øker. σ n 8
γ ( µ ) To tester med kritisk verdi k = 14.2 og k=14.6 h.h.v. γ ( µ ) for k = 14.2 γ ( µ ) for k = 14.6 γ ( µ ) = P (forkast H ) µ Krav: γ ( µ ) størst mulig her for µ < 15 α α Krav: γ ( µ ) α her µ H 1 H 9
Optimal løsning m.h.p. i) og ii) (15) k 14.41 γ ( µ ) γ = α = γ ( µ ) for k = 14.41 γ ( µ ) = P (forkast H ) µ γ ( µ ) størst mulig her for µ < 15 14 α γ (15) H 1 α γ ( µ ) α her H µ 1
Kritisk verdi for testen som best oppfyller kravene i) og ii) Bestem k slik at γ (15) = α k 15 k 15 G = P Z = α σ n σ n k 15 = zα σ n k = 15 z α σ n Signifikansnivå 5%.5 tabell E.4(D.4) α =.5 og z = z = 1.645 α Siden σ = 3 er forutsatt kjent, får vi kritisk verdi 3 k = 15 (1.645) = 14.41 71 Styrkefunksjonen for denne testen er γ ( µ ) 14.41 µ = G 3 71 11
Gjennomføring. Skal teste H: µ 15 ( µ ) mot H1: µ < 15 ( µ ) En test med signifikansnivå 5% er Forkast H hvis (forkastningskriterium) X 14.41 (formulert før data) 14.41 µ Styrkefunksjon: γ ( µ ) = Pµ (forkast H) = G 3 71 Gjennomføring: Data: n = 71 og X obs = 14.5 Konklusjon: Ikke forkast H dvs. Ikke si noe dvs. Det er ikke nok informasjon i data til å forkaste H. 12
Noen egenskaper ved testen. ( kan bestemmes før data er kjent) hvis µ < 15 ( H1) P(feil I) = γ ( µ ) hvis µ 15 ( H) Styrkefunksjonen: γ ( µ ) 14.41 µ = G 3 71 1 γ ( µ ) hvis µ < 15 ( H1) P(feil II) = hvis µ 15 ( H) Sann µ γ ( µ ) P (feil I) P(feil II) 15.5.1.1 H 15.5.5 14.5.4.6 14.87.13 H 1 13.5.995.5 13
Reformulering av testen (mest brukt i praksis). Problemet er å teste H: µ µ mot H1: µ < µ ( µ = 15 i eksemplet) Modell (situasjon I): X, X,, X er uid og X ~ N( µσ, ), der E( X ) = µ er ukjent og SD( X ) = σer kjent. 1 2 n i i i Test A med signifikansnivå : σ α " Forkast H hvis X µ zα " n σ testobservator X, kritisk verdi k = µ zα n Har: σ X µ zα X µ zα zα Test B med signifikansnivå : α testobservator n n σ n X µ ˆ µ µ σ n SE( ˆ µ ) σ X µ " Forkast H hvis Z = zα " X σ µ Z = =, kritisk verdi k = zα n Merk. (i) Test A og B er samme test (!), men med forskjellig testobservator og kritisk verdi. (ii) Det er test B som brukes i praksis ( B-kriteriet er mer generaliserbart) 14
Gjennomføring med test B i eksemplet: n = 71, α =.5 z = z = 1.645 α.5 Testkriterium: 15 " Forkast hvis X µ X H Z = = 1.645 " σ n 3 71 Observert: X obs Konklusjon: Ikke forkast H. 14.5 15 = 14.5 Zobs = = 1.44 3 71 Typiske konsekvenser (tolkninger) av ikke-forkastning: (Kalles et ikke-signifikant resultat.) (1) Legen vil antakelig fortsette å bruke standardbehandlingen (B). Legen opprettholder antakelsen µ = 15 som arbeidshypotese. (2) Produsenten av BNY tror kanskje fortsatt på H : µ < 15 1, men mener (kanskje) at det ikke var mange nok observasjoner til å avsløre det. Disse to tolkningene motsier hverandre og er avhengig av interessene til ulike aktører. M.a.o., tolkningene er avhengige av konteksten for undersøkelsen som ligger utenfor data. Hva som velges som null-hypotese i en undersøkelse er derfor ikke 15 likegyldig.
Egenskaper ved test B (Z-test i situasjon I): X µ Fra før: W = ~ N(,1) uansett µ. σ n Dette brukte vi for å utlede et konfidensintervall for µ. W er ingen observator! Testobservatoren Z X µ X µ + µ µ = = = W σ n σ n µ µ + σ n ~ N µ = µ! (,1) bare hvis Kritisk verdi k = z α bestemt som løsningen av ligningen P (forkast H ) = P ( Z k) = α k = z µ = µ µ = µ α Fordeling for hvis µ < µ Z N (,1) : Fordeling for Z hvis µ = µ 16
Vanlige problemstillinger (uid modellen situasjon I). Problem (i): Testobservator H : µ µ mot H : µ < µ 1 Z µ X µ ˆ µ µ = =. α-nivå : Forkast H hvis σ Ensidig problem n SE( ˆ µ ) Problem (ii) H: µ µ mot H1: µ > µ Ensidig problem α-nivå test: " Forkast H hvis Z z " Problem (iii) H: µ = µ mot H1: µ µ α H 1 H test " Z z " H H 1 µ α µ µ `Tosidig problem µ α-nivå test : " Forkast s Z z eller Z z " H hvi α 2 α 2 α = P (forkast H ) = P ( Z z ) + P ( Z z ) = α 2 + α 2 µ = µ µ α 2 µ α 2 Ford. for Z hvis µ = µ H 1 H µ H 1 Ford. for Z hvis µ < µ N (,1) Ford. for Z hvis µ > µ 17
Z-testen for µ i uid modellen kan også brukes i den mer generelle situasjonen der σ er ukjent (situasjon II) hvis n er stor ( n 3 ca.) MODELL: X1, X2,, Xn uavhengige og identisk fordelte (vilkårlig fordeling) med E X = ukjent X = ukjent i = 1,2,, n der n 3. 2 ( i) µ ( ) og var( i) σ ( ), Vi kan fremdeles bruke Z- testen for alle tre problemene side 18 der den eneste 2 forskjellen er å bytte ut σ med estimatoren S = Σ( X X) ( n 1) PÅ grunn av sentralgrenseteoremet (bl.a.) har vi som for konfidensintervall (se forelesn. uke 12), at X µ tilnærmet W = ~ N(,1) uansett µ. S n X µ tilnærmet Testobservatoren Z = ~ N(,1) hvis og bare hvis µ = µ, S n som er det eneste vi trenger for å bestemme den kritiske verdien ved i Pµ = µ (forkast H ) = α Dermed kan vi bruke de samme Z testene side 17 med σ erstattet med S. Signifikansnivået er tilnærmet α med disse Z-testene. 18
Eksempel. Er feltet drivverdig for utvinning av kadmium? Data stammer fra n = 3 steinprøver. La X være % kadmium i prøve i, i = 1,2,,3 i 2 MODELL: X1, X2,, Xn er uid med E( Xi) = µ ( ukjent), var( Xi) = σ ( ukjent), der µ er gjennomsnittlig % kadmium i feltet. Feltet regnes drivverdig hvis µ > 8. Vi ønsker å teste H : µ 8( µ ) mot H : µ > 8( µ ) 1 X µ = µ = S n tilnærmet Testobservator Z ~ N(,1) hvis 8..1 tabell E4(D4) Velg nivå α =.1 z = 2.326 1%-nivå test: " Forkast H hvis Z z = 2.326"..1 DATA: n = 3, X = 9.6, S = 3.1 obs obs Z obs X obs 8 9.6 8 = = = S 3 3.1 3 obs 2.827 Konklusjon: Forkast H. (dvs. feltet drivverdig). 19
T-test for µ i uid-modellen (situasjon III) Hvis vi i tillegg til forutsetningene under situasjon II, kan forutsette at enkeltobservasjonene kommer fra en normalfordeling, kan vi bruke T-test, som gjelder eksakt for alle n. MODELL: X uavhengige og identisk normalfordelte ( ) der 1, X2,, Xn Xi ~ N ( µσ, ) både µ og σ er ukjente. n er vilkårlig. X µ Som før (for konfidensintervall), W= ~ tn ( 1) fordelt uansett µ. S n X µ Testobservator: T =, som er lik W hvis µ = µ S n T~ tn ( 1) hvis µ = µ (som er nok til å bestemme kritisk verdi). Hvis, f.eks. problemet er H: µ µ mot H1: µ > µ, skal vi forkaste for store verdier av T, dvs. for T k der den kritiske verdien k bestemmes av ligningen P ( T k) k t = = α = µ µ α Eksakt α-nivå test: "Forkast hvis " H T t α (Tilsvarende for de andre problemene side 17 - se regel 6.19 (6.16)). Les eksempel 6.28 ( 6.26) - (uten setningen om p-verdi ) 2