Forelesning 23 og 24 Wilcoxon test, Bivariate Normal fordeling Wilcoxon Signed-Rank Test I uke, bruker vi Z test eller t-test for hypotesen H:, og begge tester er basert på forutsetningen om normalfordeling eller tilnærmet normalitet av populasjon Men i noen situasjoner, er størrelsen på et utvalg veldig lite og vi kan ikke få nyttig informasjon for å se hvilke fordelingen de kommer fra, deretter en fordeling-fritt eller ikke-parametrisk prosedyren er nødvendig, (Bootstrap er en type ikke-parametrisk metode) Her introduseres en ikkeparametrisk test for H: : Wilcoxon signed-rank test Denne testen kan brukes til tilfellet av symmetriske kontinuerlige fordelinger uten antagelser om fordelingen av den underliggende populasjon Antagelse (assumption):, 2, 3,, n er uavhengige stokastiske variabler fra en kontinuerlig og symmetrisk fordeling med forventning (under symmetrisk antagelse, forventning = median) Vi begynner med enklest tilfellet H : Eks En kjemiker gjentar et bestemt eksperiment totalt ganger og fikk følgende verdier av reaksjonstemperatur i stigende rekkefølge: -57, -9, -5, 76, 3, 22, 27, 246, 268, 32 Anta at fordelingen av reaksjonstemperaturen er symmetrisk Vi vil bruke Wilcoxon signed-rank test for å se om forventning til reaksjonstemperaturen er : H : Trinn Ranger de absolutte størrelsene (absolute magnitude) av observasjonene fra til (vi har observasjon her), med den minste (5) får rang og høyeste (32) få rang Trinn 2 Bruk tegn (+ eller -) fra hver opprinnelig observasjon til tilsvarende rangering Trinn 3 Beregn verdi til test statistikk S = summen av de positivt signerte rangeringene ( S er SV før vi har fått observasjon, med tilsvarende verdi s etter vi har fått observasjonene) Tabell Trinn, 2, 3 i Wilcoxon signed-rank test
Prinsippet i Wilcoxon signed-rank test er følgende: Hvis H : er sann, bør utfallet fordele seg jevnt under eller opp Det fører til at positivt signerte rangeringer skal være blandet jevnt med de negativt signerte rangeringene, og s skal ikke være meget stor eller meget liten a H : Når er signifikant større enn, skal de fleste utfall med større absolutte størrelsene være positive, og resulterer i mange store positiv signerte rangeringer i Trinn 2 og en stor verdi av s I Trinn 3 Vi forkaster H når s er større en kritisk verdi c b H : Når er signifikant mindre enn, skal de fleste utfall med større absolutte størrelsene være negative, noe som resulterer i mange store negativ signerte rangering i Trinn 2 og en liten verdi av s I Trinn 3, så vi forkaster H når s er mindre enn kritisk verdi c 2 c H : Vi forkaster H når s er meget stor eller meget liten: vi forkaster H når s < en kritisk verdi c l eller s > en kritisk verdi c o De kritiske verdiene er valgt til å kontrollere = P(type I feil) = P(forkaster H når H er sann) For å finne kritisk verdier, må vi finne fordeling av test statistikken S under H La oss ta n = 5 som eksempel for å se fordeling av S Fordi hver rangering kan ha en - tegn eller et + tegn, når vi har 5 rangeringer, er det 5 2 32 måter (kombinasjoner) å tildele tegn til de 5 rangeringene, 2, 3, 4 og 5 Når H er sann, har enhver kombinasjon av de 5 signerte rangeringene den samme sjansen som noe annen kombinasjon, med sannsynlighet 32 : Tabell 2 32 kombinasjoner av alle mulige rangeringene
Fra verdiene av s i Tabell 2, kan vi få fordeling av S, for eksempel, P( S = 3)= P(vi får kombinasjonene (-, -2, 3,-4,-5) og (,2,-3,-4,-5) = 2 Se Tabell 3 32 32 32 Tabell 3 Fordeling av S under H Verdiene av S er fra til 5, og symmetrisk fordelt rundt median 7,5 Mer generelt, for utvalgsstørrelse n Verdiene av S er fra (alle observasjoner er negative) til + 2+ + n = n(n + ) / 2 (alle observasjoner er positive), og er symmetrisk fordelt rundt n (n + ) / 4 (fordi positivt signerte rangeringer er blandet jevnt med negativt signerte rangeringer under H ) Når n = 5, kan vi da velge kritiske verdier og beregne tilsvarende sannsynlighet for type I feil = P(forkaster H når H er sann), basert på fordelingen i Tabell 3 Eks 2 n = 5, beregne sannsynlighet for type I-feil i de følgende tilfellene a H :, sett c = 3 og vi forkaster H når s c b H :, sett c2 3 og vi forkaster H når s c2 c H :, sett cl, co 4 Vi forkaster H når s < c l eller s > c o (MPF) Vi ser at fordi S har en diskret fordeling, vil det ikke alltid eksistere en kritisk verdi som svarer nøyaktig til en av de vanlige signifikantnivåer (Type I feil), slik som,5,, Men vi kan finne kritisk verdi slik som kan gi ut sannsynlighet for type I feil tilnærmer,5 (Eks 2 a, c) eller, (Eks 2 b) Generelt, for et utvalg med størrelse n, er det 2 n kombinasjoner å tildele tegn til de n rangeringene Når H er sann, har enhver kombinasjon sammen sannsynlighet / 2 n og fordelingen av S kan lett skaffes Vedlegg Tabell A 2 gir kritisk verdier for n opp til 25 Enda mer generelt, nullhypotesen H: håndteres ved å trekke fra hver i og bruker ( i ) 's som i ble tidligere brukt Og nå kan vi få følgende testprosedyre i Wilcoxon signed-rank test ( H er samme som H ):
Eks 3 En produsent av frokostblandinger ønsker å bekrefte at en filler maskin er riktig kalibrert Maskinen er ment å fylle ett boks med 46g på gjennomsnitt Vi når veier 5 full bokser, og får følgende vekter: 454,4 47,8 447,5 453,2 462,6 445, 455,9 458,2, 46,6 457,3 452, 464,3 459,2 453,5 465,8 Det antas at avvikelse fra 46g er like sannsynlig å være positiv som negativ (i samsvar med symmetri antagelsen), men fordelingen kan ikke være normal Derfor vil Wilcoxon signed-rank test anvendes for å se om filler maskinen er riktig kalibrert Signifikantnivå er satt som rundt 5 Hypotesene er H : 46 versus H : 46, hvor er forventet vekt Trekke 46 fra hver observasjoner gir: a -56 8-25 -68 26-5 -4-8 6-27 -8 43-8 -65 58 Basert på de ovennevnte 3 trinnene, kan vi få følgende tabell: Tabell 4 Rangeringene og tilsvarende tegner i Eks3 (MPF) 2 The Wilcoxon Rank-Sum Test Nå antar vi har to uavhengige tilfeldige variabler og med forventningene henholdsvis og Når vi bruker Z-test eller t-test for å sammenligne og i uke, krever vi forutsetningen om normalitet (minst ca) Men når minst en av utvalgsstørrelser fra og er liten og vi kan ikke si mye om fordelingene basert på observasjonene, må vi slå til ikkeparametrisk metode igjen Den Wilcoxon rank-sum testen kan være ikke-parametrisk alternativ til Z eller t-test I likhet med Wilcoxon signed-rank test, er Wilcoxon rank-sum test basert bare på rangeringene av observasjonene fra de to sett av utvalg fra og
Antagelse:, 2, 3, m og, 2, 3, n ( m kontinuerlige variabler og med forventningene n) er uavhengige SV fra to og henholdsvis Fordelingene til og har samme form og spredning, den eneste mulige forskjellen mellom de to variablene er og Når H: er sann, er det fordelingen forskyves med til høyre for -fordeling Vi begynner med enkleste tilfellet med H : og kommer fra samme fordeling, og vi kan bygge statistisk hypotesetest i tre ulike situasjoner: () H : fordelingen av er forskjøvet til høyre for fordeling av (2) H : fordelingen av er forskjøvet til venstre for fordeling av (3) H : tosidig-alternative Anta at vi har observasjonene x, x 2,, x m og y, y 2,, y n, m testen: Trinn Bland x-ene og y-ene i en kombinasjon av størrelse m + n n Vi kan følge 3 trinn i Trinn 2 Ranger observasjonene i kombinasjonen fra minste til største, med den minste få rangering og den største få rangering m + n Trinn 3 Beregn verdien av følgende test statistikk W = summen av de m rangeringene som er forbundet med -ene (W er SV, og vi bruker w etter vi har fått observasjonene og regnet verdien til W) Hvis H : er sann, blir alle m + n observasjoner trekkes faktisk fra den samme fordelingen og w skal ikke være før stor eller for liten Testen prosedyre basert på W er å avvise H dersom den beregnede verdien w er "for ekstrem" () Anta at H : er sann, observasjonene fra vil inneholde flere av de større rangeringene og w vil være stor Vi forkaster H for uvanlig stor w (2) H : vil resultere i en liten w, og vi forkaster H for uvanlig liten w (3) For tosidig test H :, en w som enten er for stor eller for liten gir bevis mot H
Vi tar m = 3, n = 4 som eksempel I dette tilfellet er w summen av de 3 rangeringene (en rangering trippel) forbundet med de tre observert x-ene i Trinn 2 For eksempel, x 3, x 67, x 2 ; y 527, y2 89, y3 386, y4 9 2 3 Trinn Bland x-ene og y-ene i en kombinasjon av størrelse 7 x 3, x2 67, x3 2 y 527 y2 89, y3 386, y4 9 Trinn 2 Ranger observasjonene i kombinasjonen fra minste til største Observasjon: -3 (x), 9(y), 67(x), 89 (y), 2(x), 386(y), 527(y) Rangering: 2 3 4 5 6 7 Trinn 3 Beregn verdien av summen for de 3 rangeringene som er forbundet med - ene: w = + 3 +5 =9 Generelt, når vi har totalt 7 observasjonene, har vi C (Vi har 7 3 7 = 35 mulige rangeringstrippel 3 7 C 3 måter for å velge 3 rangeringer fra totalt 7 rangeringer) Når H er sann, alle syv observasjoner kommer faktisk fra samme populasjon og hver rangeringstrippel som er forbundet med de tre x- ene har den samme sannsynlighet Slik som den rangeringstrippel 35 for de tre x- ene kan være (, 4, 5), w = ; eller (3, 5, 6), w = 5; eller (4, 5, 6), w = 5, med samme sannsynlighet Hvis vi lister opp alle 35 tripler og den tilsvarende w verdi, kan 35 sannsynlighetsfordelingen av W beregnes og vises i Tabell 5 nedenfor: Tabell 5 Fordeling av W under H Den minste mulige verdien av W er w = + 2 + 3 = 6 (hvis alle tre x-ene er mindre enn alle fire y-ene), og den største mulig verdien er w = 5 + 6 + 7 = 8 (hvis alle tre x-ene er større enn alle fire y-ene) Fordelingen er symmetrisk om (6 + 8) / 2 = 2 Vi vil H hvis vi har fått ekstrem verdi om w Basert på fordelingen i Tabell 5, kan vi da regne = sannsynlighet for type I feil = P(forkaster H når H er sann) for et valgt forkast område:
Eks 4 Når m =3, n =4, Beregn for følgende tilfeller a H :, og forkast område er {7, 8} b H :, og forkast område er {6, 7} c H :, og forkast område er {6, 8} (MPF) Samme som den Wilcoxon signed-rank test, på grunn av at W er diskret fordelt, vil det ikke alltid eksistere en kritisk verdi som tilsvarer nøyaktig en av de vanlige signifikantnivåer, slik som,5,, Men vi kan finne kritisk verdi slik som kan gi som tilnærmer,5 eller, For generell m og n ( m n), bli den minst mulige verdi av statistikken W være + 2 + + m = m (m + ) / 2 og størst mulig verdi av statistikken W er + 2 + + (n + m) - ( + 2 + + n) = m (m + 2n + ) / 2 Fordelingen av W er symmetrisk om m (m + n + ) / 2 Enda mer generelt, H: håndteres ved å trekke fra hver i, i,, m og bruker ( i ) 's som i Wilcoxon signed-rank test: i ble tidligere brukt Og nå kan vi bruke følgende testprosedyre Vedlegg Tabell A3 gir kritisk verdier for signifikantnivå nærmer,5,,25,, og,5 Tabellen gir informasjon kun for m = 3, 4,, 8 og n = m, m +,, 8 For m og n som overstiger 8, en normal tilnærming kan benyttes (Gruppe øvelse)
Eks 5 Urin-fluor-konsentrasjon (deler per million) ble målt både for et utvalg (n =7) av husdyr på beite som er tidligere utsatt for fluor forurensning og for et annet utvalg (m =5) av husdyr på beite i et ikke-forurenset område, se Tabell 6 Urin-fluorkonsentrasjon av husdyr fra forurenset beite er, fra ikke-forrenset beite er Tabell 6 Urin-fluor-konsentrasjon fra 2 utvalgte husdyr Vi rangerer observasjonene og få resultat I Tabell7: Tabell 7 Rangering av alle observasjonene Har dataene indikert sterkt at forventet fluor konsentrasjon for husdyr fra beite i forurenset regionen er større enn ikke-forurenset regionen? Bruk den Wilcoxon ranksum test og signifikantnivå er satt som, (MPF) Noen kommentarer: ) Wilcoxon test er mye mindre følsom for «outliers» enn t-test 2) Wilcoxon test har den ulempen at den er følsom på andre forskjeller (foruten forventning forskjell) mellom fordelinger 3) Når forutsetningene i t-test er oppfylt, har Wilcoxon test mindre sannsynlighet for å avsløre en lokasjon forskyvning enn t-test Imidlertid tapene i denne forbindelsen er vanligvis ganske liten 4) Wilcoxon test kan anvendes for kategoriske data hvor det er mulig å rangere observasjonene 5) I en praktisk situasjon hvor vi er ikke helt sikker på om t test eller Wilcoxon test ska anvendes, bruker vi begge og gleder oss når de to føre til like konklusjoner
3 Bivariat normalfordeling ) I mange tilfeller, har vi flere variabler som hver for seg er normalfordelt og avhengige av hverandre Da snakker vi om at variablene er multinomalt fordelte Det enkleste tilfellet: bivariat normalfordeling med to normalfordelte variabler og fesk, Vekt og høyde på en tilfeldig person Varighet og kostnad av et prosjekt Inntekt og formue for en tilfeldig industriarbeider Def Den simultane sannsynlighetsfordelingen for og som er bivariat normalt fordelte er Vi har 5 parameter ligning (): Cov(, ) E( ), E( ), Var( ), Var( ), For at forenkler regningen, kan vi gjennomføre variabelskiftene slik: Da har vi, og den simultane sannsynlighetsfordelingen for ny og ny er slik: 2) Formen på den simultane sannsynlighetsfordelingen har sterk forbindelse med Se på den følgende grafen: i alle figurene har vi ; 35, men er forskjellige:
8 97 8 *Hvis og er bivariat normalt fordelte, da er og uavhengige if and only if!! Dette er en matematisk fordel for normal fordelt variablene betyr ikke bare lineære uavhengige, det betyr totalt uavhengige!! 3) Vi kan også regne ut marginalfordelinger f ( x ) og f ( y ) er henholdsvis: *Hvor er? Hvis vi omskriver ligningen (2) slik i ligningen (3): Vi har også: Da kan vi få den betinget fordeling, feks, f : f er fortsatt en normalfordeling med forventningsverdi og varians:
4) Lineær kombinasjon av bivariat normalfordelte variabler Hvis og er bivariat normalt fordelte, da er hver eneste lineær kombinasjonen Z a b er normal fordelt med E( Z) E( a b ) a b 2 2 2 2 Var( Z) Var( a b) a b 2ab Eks 6 Anta at høyder av ektepar er bivariat normalfordelt Dersom koner har en forventet høyde på 66,8 inches, og standardavvik på 2 inches mens høydene av ektemenn har en forventning på 7 inches, og et standardavvik på 2 inches Korrelasjonen av høydene til menn og koner er 68 Hva er sannsynligheten for at en tilfeldig valgt kone er høyere enn sin mann? (MPF)