Forelesning 7: Store talls lov, sentralgrenseteoremet. Jo Thori Lind

Transkript

1 Forelesning 7: Store talls lov, sentralgrenseteoremet Jo Thori Lind

2 Oversikt 1. Estimering av variansen 2. Asymptotisk teori 3. Store talls lov 4. Sentralgrenseteoremet

3 1.Estimering av variansen

4 Hvorfor estimere variansen Vanligvis kjenner vi ikke variansen i universet Så at variansen til estimatoren avhenger av denne variansen Derfor trenger vi ofte å kjenne variansen i universet Hvordan kan vi estimereden? Bruker den empiriske variansen s 2 = σ N i=1 X i തX N 1

5 Forventningsrettestimering Kan vise at når vi deler på N-1 er dette en forventningsrett estimator Det vil si at E(s 2 ) = E σ i=1 N X i തX N 1 = σ 2 NB Hvis vi bare deler på N får vi en skjev estimator Dette er en skjevhetskorrigering

6 Illustrasjon Definerer den skjeve varians-estimatoren feil.var<-function(x){ return(sum((x-mean(x))^2)/length(x)) } Trekker: vx.10<-replicate(1e4,var(rnorm(10,mean=5,sd=sqrt(10)))) fvx.10<-replicate(1e4,feil.var(rnorm(10,mean=5,sd=sqrt(10))))

7 2.Asymptotisk teori

8 Usikkerhet ved estimering Har sett at når vi trekker et utvalg fra et univers vil vi få et estimat som generelt ikke er helt riktig Hvis estimatoren er forventningsrett treffer vi «i snitt» Men vil bomme litt hver gang Hvis variansen er lav vil vi stort sett ikke bomme så mye Men vi bommer alltid litt!

9 Når utvalget blir stort Hva skjer når størrelsen på utvalget vokser? Så at variansen til gjennomsnittsestimatoren var Var തX = σ2 N For en gitt verdi på σ 2 vil variansen krympe når N øker Når N går mot uendelig går variansen mot 0 Det betyr at med store utvalg blir den typiske feilen liten

10 Asymptoter 1/x f x = 1 x lim x + f x = x

11 Asymptotiske egenskaper Asymptotiske egenskaper er egenskaper ved estimatorer når utvalgsstørrelsen går mot uendelig stor Kan ofte si mye mer generelle ting enn når utvalgsstørrelsen er endelig Men ikke så opplagt hvordan vi skal tolke resultatene I en del situasjoner er det bare mulig å si noe når utvalget er stort

12 3.Store talls lov

13 Sannsynligheten for feil La X 1,, X n være trukket fra en fordeling med forventning μ, la ഥX n = 1 σ n i=1 n X i være gjennomsnittet Da er ഥX n μ feilen vi begår Ofte nyttig å ta bort minus; se på ഥX n μ Store talls lov sier at når n går mote uendelig går sannsynligheten for enhver feil mot 0

14 «Test»av store tall slov Store talls lov er et teoretisk resultat kan ikke testes Men kan ta gjennomsnitt av veldig store utvalg John Edmund Kerrich var internert i Danmark under Andre Verdenskrig Eksperimenterte med å kaste kron og mynt ganger tilfeller av kron veldig nært det teoretiske

15 Illustrere store talls lov i R Datamaskiner er gode til å illustrere store datasett Se på gjennomsnittet av n = 100 normalfordelte variable med μ = 5 og σ = 3: mean(rnorm(100,mean = 5,sd=3)) Hyppigheten av feil større enn 1 mean(replicate(1000,abs(mean(rnorm(100,mean = 5,sd=3))-5)>1)) Hyppigheten av feil større enn 0.1 mean(replicate(1000,abs(mean(rnorm(100,mean = 5,sd=3))-5)>0.1)) For enhver størrelse på feilen ser det ut til at vi kan får sannsynligheten ned ved å øke n

16 Konvergens i sannsynlighet Se på et følge av stokastiske variable Z n For eksempel gjennomsnitt med utvalgsstørrelse n Ser på et «mål» μ Typisk den sanne forventningen Da er feilen Z n μ Z n konvergerer i sannsynlighet til μ, skrevet Z n P μ, hvis for enhver feilmargin ε vi har at sannsynligheten Pr Z n μ > ε 0 når n

17 Store talls lov La X 1,, X n være trukket uavhengig fra en fordeling med forventning μ La ഥX n = 1 σ n i=1 n X i være gjennomsnittet med utvalgsstørrelse n Da har vi at gjennomsnittet ഥX n konvergerer i sannsynlighet til den sanne forventningen μ ഥX n P μ For enhver feil fra gjennomsnittet blir sannsynligheten liten når n er tilstrekkelig stor

18 Hvor generell er store talls lov? Ingen restriksjoner på fordelingen til X i Ikke nødvendig at alle har lik varians Men ingen enkeltobservasjon kan dominere Behøver ikke å være uavhengige Men det må være en del uavhengighet

19 Når er store talls lov raskest? Hvor «raskt» går gjennomsnittet mot den sanne verdien? Dvs. når er sannsynligheten for store feil stor? Generelt når variansen til X i er høy

20 Anvendelse: Monte Carlo analyse Vi har ofte illustrert ting med simulering i R Dette kalles Monte Carlo analyse (etter spille-casinoene) Har sagt løst at med mange simuleringer kommer vi nær sannheten Store talls lov viser at det argumentet stemmer Når n blir stor blir sannsynligheten for alle feil liten

21 Viktig resultat Da vi skulle beregne μ 2 fant vi at തX 2 ikke var forventningsrett Men kan vise at dersom തX n P μ vil også തX 2 n P μ 2 Mer generelt, for enhver kontinuerlig funksjon f vil f( തX n ) P f(μ)

22 4.Sentralgrenseteoremet

23 Trenger vi å vite noe mer? Store talls lov sier at en estimator vil treffe når utvalget er stort nok Men så lenge vi ikke virkelig har uendelig mange observasjoner vil vi gjøre feil Da er det er spørsmål om hvor store feil vi gjør Hvordan feilen oppfører seg Sentralgrenseteoremet sier at når utvalget er stort vil feilen bli normalfordelt

24 Illustrere sentralgrenseteoremet i R Trekke fra en uniform fordeling på [0,1] mean(runif(10)) Tegne histogram hist(replicate(5000,mean(runif(1))),breaks=50) Se på eksponensialfordelingen hist(replicate(5000,mean(rexp(1))),breaks=50)

25 Sentralgrenseteoremet La X 1,, X n være trukket uavhengig fra en fordeling med forventning μ og varians σ 2 La ഥX n = 1 σ n i=1 n X i være gjennomsnittet med utvalgsstørrelse n Når utvalgsstørrelse n vil ഥ X n μ σ/ n N(0,1)

26 Eksempel: Binomisk fordeling Den binomiske fordelingen er en sum av mange Bernoulli-forsøk La X n binomisk(n, p) med n stor Da er X n n et gjennomsnitt av mange identisk fordelte variable Forventning np = p n np 1 p Varians = p(1 p) n Fra sentralgrenseteoremet får vi X n n p p(1 p) n N(0,1) X n N[np, np 1 p ]

27 Anvendelse: Brownsk bevegelse En aksje starter på et tidspunkt på 100 kr Hvert øyeblikk kan den gå opp eller ned, anta med lik sannsynlighet Verdien et år senere er summen av veldig mange veldig små opp eller ned Det betyr at endringen over et tidsrom er normalfordelt Variansen proporsjonal med lengden på tidsrommet Dette gir en Brownsk bevegelse Viktig byggestein i mye moderne finansteori Verdi Tid

28 Hvorfor holder sentralgrenseteoremet? Hver verdi kan være liten, stor, eller midt i mellom Kan få 2 små etter hverandre men lite sannsynlig Også mulig å få 10 små etter hverandre men veldig usannsynlig Tilsvarende for store Derfor vil de kansellere hverandre ut, lage en fordeling med mye masse i midten og liten masse i endene

29 Hvordan bevise sentralgrenseteoremet? Trenger momentgenererende funksjon (mgf) For en stokastisk variabel X er den M t = E e tx Finne mgf en til X n Vise at den går mot mgf en til normalfordelingen når n Utvikling med Taylor-rekker

30 Hvor generelt er sentralgrenseteoremet? Ikke nødvendig at alle X i har samme forventning eller varians Men ingen kan dominere Alle må ha varians σ 2 < + Ikke nødvendig at alle X i er uavhengige Men de kan ikke være for avhengige

31 Når er sentralgrenseteoremet sterkt? Når går gjennomsnittet raskt mot normalfordelingen og når går det tregt? Høy varians ikke noe problem Går sakte hvis X i har Skjev fordeling Tunge haler

32 Hva blir normalfordelt? Vi har sett a gjennomsnitt går mot normalfordeling når N blir stor Men mange estimatorer kan skrives som et gjennomsnitt F.eks. medianen hist(replicate(5000,median(runif(500))),breaks=50) Kan bruke sentralgrenseteoremet på stort sett alle estimatorer vi kommer over Noen unntak Estimatet på a når X i uniform(0, a)

33 Når er N stor nok? Hvis utvalget er lite kan vi ikke bruke asymptotisk teori Mår er N stor nok til å bruke det? Finnes ikke entydig svar Hvordan er fordelingene i universet Hvor nøyaktig skal svaret være Ofte kommer vi langt med N 100 For mange ting er N 40 også greit Kan sjekke med Monte Carlo simuleringer