Verdens statistikk-dag http://unstats.un.org/unsd/wsd/ Signifikanstester Ønsker å teste hypotese om populasjon Bruker data til å teste hypotese Typisk prosedyre Beregn sannsynlighet for utfall av observator under antatt hypotese Hvis sannsynlighet liten, forkast hypotese Eksempel studentlån Gjennomsnittelig lån studenter : x 1=$21200 ved private skoler x 2=$17100 ved offentlige skoler Forskjell $4100, reell eller tilfeldig? P( x 1-x 2 4100 Lik)=0.17 Ikke så overraskende resultat, data gir ikke grunnlag for å si at det er forskjeller i lånenivå 1
Studentlån Gjennomsnittelig lån i 1997 er x 1=$11400 i 2002 er x 2=$18900 Forskjell $7500 P( x 1-x 2 7500 Lik)=0.00004 Data gir grunnlag for å forkaste hypotese om at det er forskjeller i lånenivå 2
Hovedtrinn Spørsmål: Forskjell mellom nivåer (forventninger) Ser om data er kompatibel med ingen forskjell Hvis overraskende stor forskjell Forkast antagelse om ingen forskjell Hvis ikke overraskende forskjell Ikke grunnlag i data for å si det er forskjell Hypoteser Null-hypotese H 0 Påstand som ønskes testes Typisk: Ingen effekt/forskjell H 0 : μ=0 eventuelt μ 1 =μ 2 Signifikanstest Designet for å angi bevisstyrke mot H 0 Alternativ hypotese H a Det er en effekt/forskjell H a : μ 0 eventuelt μ 1 μ 2 Test observator Baserer test på en observator som estimerer parameteren vi er interessert i x 1 -x 2 estimerer μ 1 -μ 2 Verdier langt fra parameterverdi under H 0 gir bevis mot H 0 H a angir hvilken retning som teller: H a > μ 2 angir at vi må ha stor x 1 -x 2 H a < μ 2 angir at vi må ha liten x 1 -x 2 H a μ 2 angir at vi må ha stor x 1 -x 2 3
Standardisert test-observator Starter med estimat parameterverdi under H 0 Følsom for skala, bedre med z = estimat parameterverdiunderh 0 standardavvikforestimat Eksempel studielån H 0 = μ 2 mot H a :μ 1 μ 2 H 0 - μ 2 =0 mot H a :μ 1 -μ 2 0 Estimat for μ 1 - μ 2 : x 1 -x 2 (= 4100) Eksempel: σ x 1-x 2 =3000 z=(4000-0)/3000 = 1.37 z tilnærmet N(0,1): P( z >1.37)=P(z<-1.37)+P(z>1.37)=0.0853+0.0853=0.1706 4
P-verdi Signifikanstest Sannsynlighet for utfall like ekstremt eller mer ekstremt enn faktisk utfall Kalles P-verdi Ekstremt: I forhold til H 0 Liten P-verdi: Sterk bevis mot H 0 Statistisk signifikans Hvordan konkludere? Forkaster H 0 når P-verdi er liten nok Signifikansnivå α: Grenseverdi for når vi forkaster Forkaster når P-verdi α Resultatene er signifikante (P<0.01) Ikke grunnlag for å forkaste når P-verdi>α Typisk: α=0.05 (0.01) Signifikanstest Formuler H 0 og H a Beregn test-observator Finn P-verdi Formuler en konklusjon 5
Tester på populasjonsforventning H 0 :μ=μ 0 Data: x 1,...,x n Estimator for μ: x Testobservator: z=(x - μ 0 )/σ x =(x - μ 0 )/(σ n) Eksempel: Blodtrykk National Center for Health Statistics Menn (35-44): μ=128, σ=15 72 målinger fra en bedrift x =126.07 H 0 :μ=128, H a :μ 128 z=(126.07-128)/(15/ 72)=-1.09 P = 2P(Z -1.09 )=2(1-0.8621)=0.2758 Ingen grunn til å forkaste H 0 6
To-sidige tester og konfidensintervall Konfidensintervall med konfidens C: [x -z*σ/ n, x +z*σ/ n] Verdier av μ utenfor intervall ikke kompatibel med data Mulig test-prosedyre: Forkaste H 0 hvis μ 0 ikke i konfidensintervall Kan vises: Ekvivalent med signifikanstest En tosidig signifikanstest med nivå α for H 0 :μ=μ 0 er ekvivalent med at μ 0 faller utenfor konfidensintervallet for μ med nivå C=1-α Noen ganger enklere å konstruere konfidensintervaller Konfidensintervall: [x -z*σ/ n, x +z*σ/ n] Verdier av 7
P-verdier mot fast nivå α To mulige måter å rapportere: Hvis P-verdi < α, H 0 er forkastet på nivå α Angi P-verdi direkte Testing farmasøytisk produkt Konsentrasjon N(μ,σ=0.0068) H 0 :μ=0.86 H a : μ 0.86 Observasjoner 0.8403, 0.8363, 0.8447 x =0.8404 z=(0.8404-0.86)/(0.0068/ 3)=-4.99 P=2P(Z> -4.99 )=0.0004 Signifikant på 0.05 nivå, 0.01 nivå, 0.001 nivå P-verdi: Laveste signifikantnivå som gir forkastning. Bruk og misbruk av tester Utføre test enkelt (software) Bruke test vanskeligere Kun gyldig under visse forutsetninger Konfidensnivå: Ingen klar grense, vanlig å rapportere P-verdi Forkastning H 0 : Forskjell statistisk signifikant Forskjell kan være liten (hvis n stor) Ingen forkastning behøver ikke bety H 0 er sann Ofte mulig å gjøre mange mulige tester P-verdi relatert til å gjøre en test Hvis mange tester må justeringer gjøres 8
Testing av korrelasjon To variable, H 0 : Ingen korrelasjon 400 observasjoner, r=0.1 Statistisk signifikant med α=0.05 Variasjon forklart av annen variabel: r 2 =0.01 Hiv-behandling Behandlingsgruppe og kontrollgruppe Insidensrateforhold I: Forhold mellom rate i behandlingsgruppe i forhold til kontrollgruppe H 0 : I=1 95% konfidensintervall [0.63,1.58] Ikke nok data til å konkludere Kan både gi forbedringer og forverre! Genomiske eksperimenter Ønsker å finne gen som forklarer sykdom Mange ti-tusner av mulige gen Kan utføre test på hvert gen 10 000 tester, α=0.01 Forventer 100 tester vil være signifikante! Forskning: Hvordan behandle mange tester simultant 9