Hypotesetesting av λ og p. p verdi.

Transkript

1 Forelesning 7, kapittel 6 Hypotesetesting av λ og p. p verdi. Det som gjøres i denne forelesningen er nær opptil det vi gjorde da vi konstruerte z test for µ, og styrkefunksjon for denne. I tillegg til at det er et nytt anvendelsesområde er det derfor en anledning til å få bedre tak på argumentasjonen og begrepene derfra. Her introduseres også begrepet p verdi, som det er nyttig å kjenne til med tanke på seinere anvendelser av statistikk ved hjelp av dataprogrammer. Eksempel På en vegstrekning hadde det i lengre tid vært i gjennomsnitt 15 kollisjoner i året mellom bil og elg. Så gjorde man forsøk med "viltspeil" for å forsøke å redusere antall ulykker. De 2 første årene etter dette registrerte de tilsammen 22 slike viltkollisjoner. Modellen vi skal gå ut fra er at antall kollisjoner i t år er Poissonfordelt, X~Po( λ. t ), der λ er gjennomsnittlig antall ulykker per år. Opplysningen i første linje tolkes da som at tidligere var λ =15. Det vegmyndighetene håper å påvise er at de to siste årene er denne redusert, dvs. at λ<15. Det vil si at de skal utføre hypotesetesten H 0 : λ=15 mot H 1 : λ<15, med signifikansnivå α=5%. Her formuleres dette som en oppgave, med noen "eksamensliknende" spørsmål: 1) Sett opp en hypotesetest for dette, med testobservator x = antall ulykker på to år. 2) Hva blir testens konklusjon når vi observerte x=22? 3) Hva er p verdien for utfallet x=22? 4) Hva er teststyrken γ (7.5)? Plott grafen til styrkefunksjonen γ ( λ) til denne testen. 1

2 Oppgave 1: Siden vegmyndighetene vil "bevise" at λ er liten ( λ<15), vil selvfølgelig H 0 forkastes hvis x er tilstrekkelig liten. Det vil si at testprosedyren blir på formen Forkast H 0 hvis x k der tallet k må bestemmes ut fra kravet om at sannsynligheten for at X k er (høyst) α = 5% hvis H 0 er sann. Vi tar altså, som alltid, utgangspunkt i at H 0 er sann, det vil si at λ = 15. Siden X~Po( λt) med t = 2 år, er altså X~Po(30) hvis H 0 er sann. Det er mulig å finne k med eksakt formel for Poissonfordeling, men her skal jeg demonstrere den labgt mer vanlige metoden via tilnærming til normalfordeling. For store verdier av λt er Poissonfordelingen tilnærmet normalfordelt (fra sentralgrenseteoremet). Med "stor λt" mener vi ofte λt>15, og det er oppfyllt her. Forventningsverdien i Poissonfordeling er λt, så vi setter µ = 30 hvis H0 er sann. Standardavviket i Poissonfordeling er λt 1/2, så vi setter σ = 30 1/2 = Det vil si at X~N(30,5.48) (tilnærmet) hvis H 0 er sann. Det vil igjen si at Z=( X 30)/5.48~N(0,1) (hvis H 0 er sann). H 0 forkastes om z blir tilstrekkelig liten, det vil si mindre enn z α ( z α er αfraktilen i standard normalfordeling,se fig.). Fra tabell 5.2 finner vi z 0.05 =1.645, så testprosedyren er: Forkast H 0 hvis ( x 30)/5.48< som omformes til. Forkast H 0 hvis x = α z α z α α Dette må være et heltall, og 21 ser naturlig ut, men strengt tatt må vi avrunde nedover så α blir mindre eller lik 0.05=5%. Dessuten har jeg ikke tatt med halvkorreksjon, egentlig er k +0.5=20.98 så k = Testprosedyren blir dermed: Forkast H 0 hvis antall ulykker på to å er mindre eller lik 20. Kommentar: Hvis du vil bruke formelen for venstresidetest ( z test) fra formelsamlinga, så fungerer denne. Da må du velge n = 1, vi har jo bare en observasjon av x. Gjennomsnittet av en verdi er selvfølgelig verdien selv. 2

3 Oppgave 2: Siden observasjonen var x = 22 ulykker på to år, er ikke x 20. Det vil si at H 0 beholdes. Vegmyndighetene har dermed ikke klart å påvise at viltspeilene virker. Kommentar: Merk at dette ikke betyr at det er bevist at viltspeilene ikke virker. Det har jo vært færre ulykker de to siste årene enn gjennomsnittlig tidligere. Denne nedgangen kan forklares med naturlig tilfeldig variasjon, selv om det også er mulig at den skyldes at viltspeilene virker. Det kan være at teststyrken er for dårlig for den forbedringen av λ de nå eventuelt har klart å få til. For å øke teststyrken kan de øke t, det vil si utvide perioden de observerer ulykker på. Hvis λ faktisk er mindre enn 15 vil det nok bli påvist etter noen år. Hvis nedgangen derimot bare var en tilfeldighet vil den nok ikke fortsette, gjennomsnittet i framtiden vil være omtrent 15 ulykker per år og H 0 vil antagelig beholdes også om vi gjennomfører en ny test over for eksempel t =5 år. 3

4 Oppgave 3: En måte å returnere utfallet av en test på som særlig brukes i ferdige rutiner for hypotesetesting i dataprogrammer (f.eks. Excel) er p verdien. Dette er sannsynligheten for å få minst så liten verdi av testobservatoren som vi faktisk fikk, hvis H Hvis det er høyresidetest må dette selvfølgelig justeres til "minst så stor verdi", og for tosidige tester til "minst så lang fra parameterverdien når H 0 er sann. 0 er sann på begge sider" I dette eksemplet er p verdien dermed sannsynligheten for å få 22 eller færre viltkollisjoner hvis λ=15. Det vil si I dette tilfellet hadde det ikke vært uoverkommelig, og mer nøuaktig, å regne ut sannsynligheten uten å gå om tilnærming til normalfordeling: Tolkningen av p verdien kommer på neste side. 4

5 Oppgave 3 (forts), tolkning av p verdi: Sannsynligheten for å forkaste H0 selv om H0 er sann er signifikansnivået. Det vil si at om testobservatoren blir nøyaktig lik den kritiske verdien blir p verdien signifikansnivået. I dette eksemplet vil dette bety at p verdien til 20 er nokså nær 5%=0.05 (egentlig så liten som 0.035, mens den er for x=21). Hvis x blir mindre enn k blir det enda mindre sannsynlig at vi har fått dette resultatet om H 0 var sann. I dette eksemplet ble x=22 med p verdi som er større enn 0.05=5%. Det betyr at H 0 ikke kan forkastes med signifikansnivå 5%, altså konklusjonen fra oppgave 2 på en annen måte. Tolkning av p verdier: p > 0.05=5% H 0 kan ikke forkastes < p 0.05 H 0 forkastes med signifikansnivå 5% (H 1 er signifikant ). p < 0.01 H 0 forkastes med signifikansnivå 1% (H 1 er meget signifikant ). Av og til sier vi at H 1 er svakt signifikant hvis 0.05 < p Vi kan ikke forkaste H0, men blir kanskje oppmuntret til å teste videre. Kanskje vil vi i rapporten kommentere at vi nesten har vist H 1, og at det er godt mulig dette ville blitt konklusjonen hvis vi hadde hatt større teststyrke (større n eller større t ). Dette er for eksempel ofte hva som skjer med relativt små utvalg i Bacheloroppgaver, for eksempel med analyser av spørreundersøkelser. Studentene ønsker jo gjerne å vise H 1, og det må være legitimt å påpeke at dataene indikerer dette selv om de ikke helt har klart å vise det. 5

6 Oppgave 4: 6

7 Hypotesetesting av p. Vanligvis brukes også z tester på hypotesetester om sannsynligheten p i binomisk fordeling. Det vil si vi går ut fra at vi har en Bernoulli forsøksrekke med n gjentagelser, og X er antall gunstige utfall av disse. Da er For binomisk fordeling har vi forventningsverdi og standardavvik For store n er X tilnærmermet normalfordelt: Dette resultatet bruker vi på samme måte som for Poissonfordeling. Det vil si at prosedyren for hypotesetesting av λ i denne forelesningen kan kopieres med noen små justeringer. Dette overlater jeg til deg å gjøre selv i en av oppgavene. 7