Verdens statistikk-dag. Signifikanstester. Eksempel studentlån.

Transkript

1 Verdens statistikk-dag Signifikanstester Ønsker å teste hypotese om populasjon Bruker data til å teste hypotese Typisk prosedyre Beregn sannsynlighet for utfall av observator under antatt hypotese Hvis sannsynlighet liten, forkast hypotese Eksempel studentlån Gjennomsnittelig lån studenter : x 1=$21200 ved private skoler x 2=$17100 ved offentlige skoler Forskjell $4100, reell eller tilfeldig? P( x 1-x Lik)=0.17 Ikke så overraskende resultat, data gir ikke grunnlag for å si at det er forskjeller i lånenivå 1

2 Studentlån Gjennomsnittelig lån i 1997 er x 1=$11400 i 2002 er x 2=$18900 Forskjell $7500 P( x 1-x Lik)= Data gir grunnlag for å forkaste hypotese om at det er forskjeller i lånenivå 2

3 Hovedtrinn Spørsmål: Forskjell mellom nivåer (forventninger) Ser om data er kompatibel med ingen forskjell Hvis overraskende stor forskjell Forkast antagelse om ingen forskjell Hvis ikke overraskende forskjell Ikke grunnlag i data for å si det er forskjell Hypoteser Null-hypotese H 0 Påstand som ønskes testes Typisk: Ingen effekt/forskjell H 0 : μ=0 eventuelt μ 1 =μ 2 Signifikanstest Designet for å angi bevisstyrke mot H 0 Alternativ hypotese H a Det er en effekt/forskjell H a : μ 0 eventuelt μ 1 μ 2 Test observator Baserer test på en observator som estimerer parameteren vi er interessert i x 1 -x 2 estimerer μ 1 -μ 2 Verdier langt fra parameterverdi under H 0 gir bevis mot H 0 H a angir hvilken retning som teller: H a > μ 2 angir at vi må ha stor x 1 -x 2 H a < μ 2 angir at vi må ha liten x 1 -x 2 H a μ 2 angir at vi må ha stor x 1 -x 2 3

4 Standardisert test-observator Starter med estimat parameterverdi under H 0 Følsom for skala, bedre med z = estimat parameterverdiunderh 0 standardavvikforestimat Eksempel studielån H 0 = μ 2 mot H a :μ 1 μ 2 H 0 - μ 2 =0 mot H a :μ 1 -μ 2 0 Estimat for μ 1 - μ 2 : x 1 -x 2 (= 4100) Eksempel: σ x 1-x 2 =3000 z=(4000-0)/3000 = 1.37 z tilnærmet N(0,1): P( z >1.37)=P(z<-1.37)+P(z>1.37)= =

5 P-verdi Signifikanstest Sannsynlighet for utfall like ekstremt eller mer ekstremt enn faktisk utfall Kalles P-verdi Ekstremt: I forhold til H 0 Liten P-verdi: Sterk bevis mot H 0 Statistisk signifikans Hvordan konkludere? Forkaster H 0 når P-verdi er liten nok Signifikansnivå α: Grenseverdi for når vi forkaster Forkaster når P-verdi α Resultatene er signifikante (P<0.01) Ikke grunnlag for å forkaste når P-verdi>α Typisk: α=0.05 (0.01) Signifikanstest Formuler H 0 og H a Beregn test-observator Finn P-verdi Formuler en konklusjon 5

6 Tester på populasjonsforventning H 0 :μ=μ 0 Data: x 1,...,x n Estimator for μ: x Testobservator: z=(x - μ 0 )/σ x =(x - μ 0 )/(σ n) Eksempel: Blodtrykk National Center for Health Statistics Menn (35-44): μ=128, σ=15 72 målinger fra en bedrift x = H 0 :μ=128, H a :μ 128 z=( )/(15/ 72)=-1.09 P = 2P(Z )=2( )= Ingen grunn til å forkaste H 0 6

7 To-sidige tester og konfidensintervall Konfidensintervall med konfidens C: [x -z*σ/ n, x +z*σ/ n] Verdier av μ utenfor intervall ikke kompatibel med data Mulig test-prosedyre: Forkaste H 0 hvis μ 0 ikke i konfidensintervall Kan vises: Ekvivalent med signifikanstest En tosidig signifikanstest med nivå α for H 0 :μ=μ 0 er ekvivalent med at μ 0 faller utenfor konfidensintervallet for μ med nivå C=1-α Noen ganger enklere å konstruere konfidensintervaller Konfidensintervall: [x -z*σ/ n, x +z*σ/ n] Verdier av 7

8 P-verdier mot fast nivå α To mulige måter å rapportere: Hvis P-verdi < α, H 0 er forkastet på nivå α Angi P-verdi direkte Testing farmasøytisk produkt Konsentrasjon N(μ,σ=0.0068) H 0 :μ=0.86 H a : μ 0.86 Observasjoner , , x = z=( )/(0.0068/ 3)=-4.99 P=2P(Z> )= Signifikant på 0.05 nivå, 0.01 nivå, nivå P-verdi: Laveste signifikantnivå som gir forkastning. Bruk og misbruk av tester Utføre test enkelt (software) Bruke test vanskeligere Kun gyldig under visse forutsetninger Konfidensnivå: Ingen klar grense, vanlig å rapportere P-verdi Forkastning H 0 : Forskjell statistisk signifikant Forskjell kan være liten (hvis n stor) Ingen forkastning behøver ikke bety H 0 er sann Ofte mulig å gjøre mange mulige tester P-verdi relatert til å gjøre en test Hvis mange tester må justeringer gjøres 8

9 Testing av korrelasjon To variable, H 0 : Ingen korrelasjon 400 observasjoner, r=0.1 Statistisk signifikant med α=0.05 Variasjon forklart av annen variabel: r 2 =0.01 Hiv-behandling Behandlingsgruppe og kontrollgruppe Insidensrateforhold I: Forhold mellom rate i behandlingsgruppe i forhold til kontrollgruppe H 0 : I=1 95% konfidensintervall [0.63,1.58] Ikke nok data til å konkludere Kan både gi forbedringer og forverre! Genomiske eksperimenter Ønsker å finne gen som forklarer sykdom Mange ti-tusner av mulige gen Kan utføre test på hvert gen tester, α=0.01 Forventer 100 tester vil være signifikante! Forskning: Hvordan behandle mange tester simultant 9