Hypotesetestig / iferes (kap ) Itroduksjo Populasjo og utvalg Statistisk iferes Utvalgsfordelig (samplig distributio) Utvalgsfordelige til gjeomsittet «The hardest thig to teach i ay itroductory statistics courses is the samplig distributio of the sample mea» Utvalgsvariase til gjeomsittet, Var(Y) Itroduksjo Vi øsker å få iformasjo om størrelsee i populasjoe, som forvetig og varias Må ofte øye oss med utvalg (tilfeldig trukket observasjoer) Hva ka vi trekke ut av iformasjo fra datasettet om Statistisk sigifikas Økoomisk sigifikas Sigifikat = forkaster ullhypotese om ige effekt Ikke-sigifikat = forkaster ikke ullhypotese om ige effekt Populasjo og utvalg Ata e tilfeldig variabel som bestemmes ut fra følgede sasylighetsfordelig X 5 6 8 p(x),,,, Vi har bare utfall i dee fordelige, me vi ka ha milliovis av observasjoer av dee variabele Det vi ka si er at % av observasjoee vil være lik, % vil være lik 5, etc., i svært store utvalg. E populasjo ka karakteriseres av oe parametere (populasjosparametere) Populasjosgjeomsittet (forvetigsverdie), μ, er e populasjosparameter Populasjo og utvalg Sasylighetsfordelig X 5 6 8 p(x),,,, Populasjosgjeomsittet i x p( x ) x p( x ) x p( x ) x p( x ) x p( x ) i i, 5, 6, 8, 6, Populasjosvarias E( X ) E( X ) x p( x ) i x p( x ) x p( x ) x p( x ) x p( x ) i i, 5, 6, 8, E( X ) (6,),, Når vi samler i data for et utvalg så er det ikke sikkert vi får X =6, eller s=, Kaskje vi får 6,5 og,5? Ofte kjeer vi ikke populasjos-gjeomsittet eller -variase Da er 6,5 eller,5 det eeste vi har å forholde oss til Er aslagee/estimatee på X og s vi har fått fra datasettet gode (er vi ærme populasjosparametere?) 5 6
Figur. i Thomas: 5, X 6,, s,56 5, X 6,, s,5 5, X 6,, s, Utvalgsvariasjo Laoss tagjeomsittet fradisse tre dataisamligee 5, X 6,, s, Ved tilfeldige trekiger viløkt gibedre aslag påpopulasjosparameteree Store Talls Lov (STL) 7 8 Fordelig av gjeomsittee:.....5 % % % % % Nå er vi iteressert i et aslag på forvetigsverdier/ populasjosgjeomsittet...6.8. 6. 6. 6. 6.5 6.6 Fordelig av gjeomsittee fra trekigee...6.8. 6. 6. 6. 6.5 6.6 Fordelig av gjeomsittee fra trekigee 6. 6. 6. 6.5 6.6 Fordelig av gjeomsittee fra trekigee 9 La oss gjøre «uedelig» mage trekiger hvor vi ved hver trekig bereger gjeomsitt. Lager deretter ett histogram av gjeomsittee. Legger så e fordelig på histogrammet. Utvalgsfordelige (samplig distributio) for gjeomsittee: 6 8 Utvalgsfordelige Vi ka utlede utvalgsfordelige ved å teke oss at vi ka gjøre eksperimetet svært mage gager Vi har jo bare tilgag på ett datasett (og ikke uedelig mage) Me vi ka basert på teoretiske resultat si mye om estimatee være for gjeomsitt og varias (og mage adre størrelser) Utvalgsfordelige er svært viktig for hypotesetestig 6. 6. 6. 6.5 6.6 x
Teorem Dersom et tilfeldig utvalg av data på størrelse hetes fra e uedelig stor populasjo med forvetig μ og varias σ, vil utvalgsfordelige til utvalgsgjeomsittet (X ) ha gjeomsitt og varias lik E( X) ( E( X)) Implikasjoer Gjeomsitt fra utvalget (X ) er det beste aslaget på populasjosgjeomsittet Variase til variabele vår delt på vil være det beste aslaget på variase til gjeomsittee, Var(X ), som bestemmer utformige til utvalgsfordelige Var( X) Var( X) ( ) For variase til gjeomsittee, Var(X ), vil dee bli midre desto høyere Hvorda vil utvalgsfordelige se ut Utvalgsfordelige (til X ) vil bli tilærmet ormalfordelt dersom er stor, uavhegig av hvorda X er fordelt i utgagspuktet Setral-Grese-Teoremet (SGT) Utvalgsgjeomsittet (X ) er vært beste ESTIMAT for populasjosgjeomsittet (μ) Hvorda oppfører ESTIMATET seg? Det vil ha forvetig lik populasjosverdie, E(X )= μ Estimatet vil være ormalfordelt, E(X ) ~ N(.) Variase til estimatet vil bli midre jo høyere 5 6 Setralgreseteoremet år vi starter med uiform fordelig 7 8
Atall berege gjeomsitt = Atall berege gjeomsitt = Atall berege gjeomsitt =...6.5..5..5.5..5 5 5 55 Gjeomsitt fra et visst atall trekiger Atall berege gjeomsitt = 5 5 5 55 6 Gjeomsitt fra et visst atall trekiger.5..5...6.8....6.8. 5 5 5 55 6 Gjeomsitt fra et visst atall trekiger X er her e uiform fordelt variabel, og vi ser på Xbar Atall berege gjeomsitt = 5 5 5 55 6 Gjeomsitt fra et visst atall trekiger 5 5 5 55 6 Gjeomsitt fra et visst atall trekiger Atall berege gjeomsitt = 5 6 7 Gjeomsitt fra et visst atall trekiger.....5 Atall beregede gjeomsitt = 6 8 5 5 Gjeomsitt fra et visst atall trekiger X er her e ormalfordelt variabel, og vi ser på X... Atall beregede gjeomsitt = 6 8 5 5 5 Gjeomsitt fra et visst atall trekiger... Atall beregede gjeomsitt = 6 8 5 5 5 Gjeomsitt fra et visst atall trekiger 9...6.8. Atall beregede gjeomsitt = 5, st.dev= - - Gjeomsitt fra et visst atall trekiger Har este ige observasjoer (på gjeomsittet) som er legre e stadardavvik vekke fra gjeomsittet av gjeomsittee. Example. Thomas Tilfeldig variabel X med E(X)=75 og V(X)=σ =5, =8. Fi A. P(7 < X < 76) B. P(X > ) C. P(X = 75) For å berege disse sasylighetee gjør vi om X til e stadard ormalfordelt variabel, Z, side vi har lett tilgjegelig tabell for beregig av areal og sasyligheter ( X ) ( X 75) ( X 75) Z / 5/8,56 (7 75) ( X 75) (76 75) Pr7 X 76 Pr 5/8 5/8 5/8 ( X 75) Pr 5/8 5/8 Pr,789 Z,789,6,96 5/8 ( X ) ( X 75) ( X 75) Z / 5/8,56 ( 75) ( X 75) Pr X Pr 5/8 5/8 5 Pr Z 5/8 Pr,6 Z Pr( Z,79),6 Pr(,79 Z,79),6,96 Ekeltobservasjoer av X ka godt være, me gjeomsittet fra e trekig (X ) ka ikke være (populasjosgjeomsittet er 75). Sasylighete for det er tilærmet ull. Det maksimale tallet vi fier igje i tabelle for z-fordelige (stadard ormalfordelige) er eller.
Oppsummerig så lagt Hvorda tolker vi Pr(X =75)? Dersom Pr(X =75) = Pr(X =75,), så er Pr(X =75) = Dersom Pr(X =75) = Pr(75, X < 76,): Z ( X ) / - Populasjo og utvalg - Populasjosgjeomsitt og estimat på dee ( X 75) ( X 75),56 5 / 8 - Var(X) er ikke det samme som Var(X)! - Var(X) Var(X)/ (75 75) ( X 75) (76 75) Pr 75, X 76, Pr 5 / 8 5 / 8 5 / 8 Var(X) stadardsavvik (stadard deviatio) ( X 75) Pr 5 / 8 5 / 8 Pr Z,789 Var(X) stadardfeil (stadard error), hvor Var( X ) - Utvalgsfordelige til gjeomsittet 6. 5 Var(X) SD, dvs SE Tetthet / desity.. Er ikke utekelig at økoomee rudt om i verde ikke vil edre si oppfatige av hva kosumtilbøyelighete er basert på mitt estimat på,8 65%. 5% Estimatet vil ha støy (spesielt side vi har gaske få observasjoer) og e skal være forsiktig med å dra for bastate koklusjoer basert på e studie -.5 - -.5 - -.5 - -.5 Z.5.5.5.5 7 8 Estimerig og testig av populasjosparametere Oppgaver: Motivasjo Puktestimat Kofidesitervall Testig hypoteser om populasjosgjeomsitt 9 5
Har brukt SGT til å berege sasyligheter rudt utvalgsgjeomsittet, år vi atar at populasjosgjeomsittet og variase, μ og σ, er kjet Valigvis er populasjosparametere ukjete Vi må derfor estimere (komme med aslag på) populasjosparametere fra data Vi skal se på puktestimat og kofidesitervall for populasjosgjeomsittet, μ De åpebare estimatore for μ er utvalgsgjeomsittet X X er e god estimator for μ, side vi vet at E(X )= μ I gjetatt forsøk (eller store utvalg) vil X i gjeomsitt være lik μ X vil sjelde være øyaktig lik μ, me vi gjør ige systematisk feil ved å bruke X Når E(X )= μ sier vi at det ikke er oe skjevhet (bias) i estimatore vår, og vi har e forvetigsrett estimator Estimat på populasjosvariase Vi kjeer heller ikke σ, som må estimeres med v. E aturlig estimator er i( Xi X) v I dette tilfellet har vi at estimatore er forvetigsskjev, fordi E(v ) σ Skjevhete er ikke stor og ka ordes ved å bruke ( X ) i i X s sx hvor (-) er atall frihetsgrader (df), hvor df = atall allerede estimerte størrelser (i dette tilfellet utvalgsgjeomsittet) 5 Gjeomsitt og varias for utvalget Side aslagee på populasjosparametere (PP) våre er usikre (side de er basert gjeomsitt og varias fra et utvalg), ka vi lage et kofidesitervall? Itervallet må ikke være for vidt (for da har det ige iformasjo) Itervallet må ikke være for smalt (for da ka vi risikere at PP ikke ligger i itervallet) Lager et itervall hvor vi teoretisk sett er 95% sikre på at PP ligger i dette itervallet. Vi fier E, slik at Pr(X -E < μ < X +E) =,95 Utvalgsgjeomsitt vil være seter i itervallet, slik at CI = X ±E 7 8 Sasyligheter for itervall Vi ka slå opp i tabelle vår for stadardisert tilfeldig variabel Setralgreseteoremet sier X X ~ N, Z ~ N(,) / Vi treger da å fie Pr( k Z k),95 Som gir,5% i hver hale i N(,) Pr( k Z k),95 Pr(,96 Z,96),95 Tetthet / desity.... 95% -.5%,5% 9 - -.5 - -.5 - -.5 - -.5.5.5.5.5 Z 6
99% kofidesitervall 95% kofidesitervall Pr(-k < Z < k) =,99 Pr(-,575 < Z <,575) =,99 Pr(,96 Z,96),95. X,96),95 / CI X,96 X,96 ),95 99%. -.5%,5% Pr( X,96 Tetthet / desity.. Pr(,96 s Bruker s slik at CI X,96 - -.5 - -.5 - -.5 - -.5 Z.5.5.5.5 Oppgaver: Tolkig av CI Må ha stort utvalg for at resultatet (SGT) skal gjelde Normalfordelt utvalgsfuksjo CI gir sasylighete for at vi skal kokludere rett agåede μ i det lage løp Gir ikke iformasjo om e ekelt test som såda I de fleste tilfeller ligger μ i CI, me vi ka ikke være helt sikre Ete så kokluderer vi rett eller så kokluderer vi galt 95% kofidesitervall (CI) Ata at vi gjeomfører forsøk, hvor vi bereger e parameter (for eksempel gjeomsittet) for hvert av trekigee/forsøkee Ata at vi for hver av de forsøkee/trekigee lager et kofidesitervall (CI) Tolkig av 95% CI: De sae populasjosparametere vil være i kofidesitervallet i 95 av tilfeller Korrekt tolkig: «Når vi lager et 95% CI vil populasjosparametere være ikludert i dette itervallet i 95% av tilfellee» «Et 95% CI vil i 95% av tilfellee ieholde populasjosparametere.» 5 Hypotesetestig Terigkast med gjeomsitt,5:... Throughout, we use the term statistically sigificat i the covetioal way, to mea that a estimate is at least two stadard errors (.96) away from some ull hypothesis or prespecified value that would idicate o effect preset. A estimate is statistically isigificat if the observed value could reasoably be explaied by simple chace variatio, much i the way that a sequece of coi tosses might happe to come up 8 heads ad tails; we would say that this result is ot statistically sigificatly differet from chace. More precisely, the observed proportio of heads is percet but with a stadard error of percet thus, the data are less tha two stadard errors away from the ull hypothesis of 5 percet, ad the outcome could clearly have occurred by chace. Stadard error is a measure of the variatio i a estimate ad gets smaller as a sample size gets larger, covergig o zero as the sample icreases i size. 95%. Vi gjør hypotesetestig om populasjosparametere, f.eks. μ Er μ=? H: μ= (ullhypotese) HA: μ (alterativ hypotese) Ata først at X ~ N(,) Fier X = - fra datasettet vårt Det er støy i data, så hvis μ=, så er det likevel ikke utekelig at X = - Er X tilstrekkelig lagt vekke fra μ, så må vi forkaste ullhypotese om at μ= Hvor lagt fra μ må X være for at vi skal forkaste H? Valig: 5% forkastigsområdet Dvs dersom X < -,96 eller X >,96 så forkaster vi H om μ= -.5%,5% - -.5 - -.5 - -.5 - -.5 Z.5.5.5.5 Sier da at μ er sigifikat forskjellig fra Dvs dersom X > -,96 eller X <,96 så forkaster vi ikke H om μ= I vårt tilfelle med X = - ka vi ikke forkaste H 8 9 7
95% kofidesitervall esidig test Treger ikke å begrese oss til å teste μ= Itektsfordelig H : μ = 7 67 H A : μ > 7 67 Fier X =7 89, s=8, = Tetthet / desity.... Pr( Z k),95 Pr( Z,65),95 95% 5% - -.5 - -.5 - -.5 - -.5.5.5.5.5 Z 5 5 Pr( Z,65),95 Ivårt tilfelle : X Pr,65,95 / X 789 767 TS,5 s / 8/ X Kaller testobservator / X TS / Forkaster H dersom TS kritisk verdi(,65) 5 Forkaster H fordi TS Er ikludert ici? kritisk verdi(,65) Kofidesitervall for tosidig test : CI X,96 5 Hypotesetestig Oppgaver: «Testobservatore er større e kritisk verdi, og vi forkaster derfor ullhypotese om at populasjosparametere er lik 6» «De estimerte størrelse er statistisk forskjellig fra 6 på 5%-ivået» Kritiske verdier (to-hale-test, ormalfordelige) %-ivået:,575 5%-ivået:,96 %-ivået:,65 Kritiske verdier (e-hale-test, ormalfordelige) %-ivået:, 5%-ivået:,65 5 55 8
Hypotesetestig I (kap.-.) Oversikt «To typer feil» E alterativ tilærmig Ulike test-prosedyrer Repetisjo E test utføres ved å berege e testobservator (test statistic), TS Forkaster H dersom TS > kritisk verdi for teste (typisk,96) Kritisk verdi blir bestemt av sigifikasivået (α), (typisk α=,5) Sigifikasivået sier oe om hvor strege vi er mhp ikke å forkaste H α = Pr(forkaste H H er sa) β = α = Pr(ikke forkaste H H er sa) «To typer feil vi ka gjøre ved hypotesetestig H : «ige effekt» Type I feil Forkaster ullhypotese år dee er riktig Vi kokluderer da feilaktig med at vi har e sigifikat effekt år vi korrekt sett ikke har oe effekt Falsk positiv, dvs vi fier et positivt resultat me dee er ikke reell «Prøve viser at du er gravid, me det viser seg at dette ikke er riktig» «Dømmer e perso som er uskyldig» Falsk avslørig Type II feil Forkaster ikke (beholder) ullhypotese år det riktige ville vært å forkaste dee Vi kokluderer da feilaktig med at vi ikke har e sigifikat effekt år vi korrekt sett har e positiv/egativ Falsk egativ «Prøve viser at du ikke er gravid, me det viser seg at dette ikke er riktig» «Frikjeer e perso som er skyldig» I ormale tilfeller vil vi ikke vite om vi gjør e Type I eller Type II feil 6 Begrepsbruk Forkaster eller forkaster ikke Ugå å erstatte «forkaster ikke» med «beholde/accept» (jfr kap.) Beholde er e mye sterkere koklusjo/påstad Hvem skal bestemme hvor dee skal sette? «Forkaster ikke teorie» vs «Teorie er sa/riktig - beholder teorie» (basert på e studie) Empiriske studier er «abduktiv» Kvalitet på data og empirisk forskigsdesig Målefeil, omvedt kausalitet, utelatte variabler («cofouders»), publiserigsskjevhet, «garde for forkig paths», p-hackig, etc Type II feil Type I feil 9
- -.5 - -.5 - -.5 - -.5.5.5.5.5 b (estimert regresjoskoeffisiet i gjetatt trekiger) Itektsfordelig H : μ = 7 67 H A : μ 7 67 To-hale-test med α=,5 => kritisk verdi=,96 Fier X =7 89, s=8, = X X TS / s X X / Forkaster H dersom TS > kritisk verdi Forkaster ikke H dersom TS < kritisk verdi 66 Uder H er TS ~ N(,) Vi ka dermed «lett» fie ulike sasyligheter Pr(Type I feil) = Pr(forkaste H H er riktig) = Pr( TS >,96 TS ~ N(,)) = Pr( Z >,96) =,5 = α Høyere kritisk verdi gir lavere α Pr(Type II feil) = Pr(ikke forkaste H H er ikke riktig) μ = μ* 767 (=, σ X =7) (767 *) (767 *) PrType II feil Pr,96 Z,96 85 85 Type II feil Problemet er at vi å ikke vet hva μ er Det eeste vi vet at vi gjør e feil Hva om μ*= 85 (767 *) (767 *) PrType II feil Pr,96 Z,96 85 85 (767 85) (767 85) Pr,96 Z,96 85 85 8 8 Pr,96 Z,96 85 85 Pr(,7 Z 7,8) Som er bra Type II feil I dette tilfellet er X lagt fra μ* at sasylighete for at vi skal beholde hypotese om at de er like er tilærmet ull, år de faktisk er forskjellige Jo ærmere X og μ* er, desto større sasylighet for å beholde H gitt at H ikke er riktig Oppgave basert på Example.5: 6 steg for hypotesetestig ved store utvalg (z-test). Skriv opp ullhypotese og de alterative hypotese E gjør alltid hypoteser om populasjosparametere H : μ=, eller mer geerelt μ=q, hvor q er et gitt tall H A: μ ved tosidig hypotese, eller H A: μ> eller H A: μ< ved esidig hypotese. Sett opp de riktige testobservatore som gjelder uder H. De ka typisk være TS = (X-q)/(σ/ ) ~ N(,) Agi hvilke fordelig TS har uder H : I dette tilfellet bruker vi stadard ormalfordelige N(,), og da blir teste kalt e z-test. Agi sigifikasivået Typisk bruker e 5% ivået, dvs. α=,5 Kritisk ivå (Z ) på 5% ivået ved tohaletest og mage observasjoer er,96 Illustrer forkastigsområdet for testobservatore (TS) i e figur (grått areal i halee):. Agi testkriteriet Forkast H dersom TS > Z Forkast ikke H dersom TS < Z 5. Bereg X og s fra datasettet, hvor du bruker s som e estimator for σ i formele TS = (X-q)/(σ/ ) 6. Bereg TS og sammelig med kritisk verdi for teste Kokluder om du forkaster eller ikke forkaster ullhypotese Tetthet / desity....