Inferens. STK Repetisjon av relevant stoff fra STK1100. Eksempler. Punktestimering - "Fornuftig verdi"

Transkript

1 Inferens STK Repetisjon av relevant stoff fra STK1100 Geir Storvik 12. august 2015 Data x 1,..., x n evt også y 1,..., y n Ukjente parametre θ kan være flere Vi ønsker å si noe om θ basert på data. Punkt estimat: Et tall som kan betraktes som en fornuftig verdi av θ som er beregnet fra data. Koinfidensintervall: Intervall som med stor sannsynlighet inneholder θ Hypotesetesting: Teste utsagn om θ nytt Eksempler Punktestimering - "Fornuftig verdi" Meningsmåling: X Binn, p Parameter: θ = p = Andel som stemmer på Ap. Estimator: ˆp = X n Vektøkning av rotter: X i Nµ 1, σ 1, Y i Nµ 2, σ 2 Parametre: θ1 = µ 1, θ 2 = µ 2 evt også σ 1, σ 2 Estimatorer: ˆµ1 = X, ˆµ 2 = Y Antall drukningsulykker: X y Poissonλ y Parametre: θy = λ y Estimatorer: ˆλ y = X y Fødselsvekter: Y i = Nα + βx i, σ, x i = u i 40 Parametre: θ1 = α, θ 2 = β. Estimatorer: ˆβ = i X i XY i Y, ˆα = Y ˆβX i X i X 2 Billedød: y i Bin60, px i, px = expβ 0+β 1 x 1+expβ 0 +β 1 x Parametre: θ1 = β 0, θ 2 = β 1 Estimatorer:?? Hva slags egenskaper bør en estimator ˆθ for θ ha? En estimator er en tilfeldig eller stokastisk variabel. Den har tilordnet en forventing, E[ˆθ] og en varians V ˆθ Den bør ligge så nærme θ som mulig. Mål på avvik: ˆθ θ 2, ikke mulig å beregne MSE: E[ˆθ θ 2 ] = V ˆθ + [Eˆθ θ 2 ] Ønsker både liten forventingsskjevhet og liten varians Angir gjennomsnittelig kvadratisk feil hvis vi gjentar eksperiment

2 Forventningsrette estimatorer Standard feilen til et punkt estimat Forventingsrett estimator: Eˆθ = θ MSE= V ˆθ Hvis flere mulige estimatorer: Velg den med minst varians Gir en MVUE minimum variance unbiased estimator estimator Eksempel: La X1,..., X n være hvor X i Nµ, σ 2. Forventningsrett estimator: ˆµ = X n Kan vise: ˆµ er en MVUE estimator for µ. Hvis ikke forventningsrett estimator: Velg estimator med minst MSE Kan rapportere MSE som presisjonsestimat. Standard feilen til en estimator er gitt ved σˆθ = V ˆθ. Kan brukes som mål på presisjonen til en estimator Merk: Fra Chebyshev s ulikhet husker vi at { ˆθ θ kσˆθ } 1 1 k 2, =0.75 for k = 2 =0.89 for k = 3 som betyr at vi forventer med høy sannsynlighet at ˆθ vil være innenfor 2-3 standardfeil unna sann θ. I mange tilfeller er det vanskelig å beregne standardfeilen analytisk. En løsning er å bruke bootstrapping. Bootstrapping - normalfordelte data og θ = µ Anta X 1,...X n Nµ, σ = f x Estimator: ˆµ = X Standardfeil: σ x = V X Tolkning av varians: Variabilitet hvis vi gjentar eksperimentet Bootstrap idé 1: Gjenta eksperiment mange ganger vha datamaskin: Simuler X 1 = x 1,..., X n = x n fra f x, beregn ˆµ = x Gjenta mange ganger som gir ˆµ 1,..., ˆµ N der N er et stort tall Estimer 1 σx ved ˆσ x = N N j=1 ˆµ j µ 2, µ = 1 N N j=1 ˆµ j oblem: Vil trekke X i Nµ, σ, men µ, σ ukjente Bootstrap idé 2: Bruk et estimat ˆf x istedet Parametrisk boostrapping: Trekk X i Nˆµ, ˆσ Ikke-parametrisk bootstrapping: Trekk X i med tilbakelegging fra x 1,..., x n Svarer til å estimere F x = x F x = n 1 n i=1 Ix i x f udu med Eksempel: Estimering av lysets hastighet Basert på 100 repeterte målinger skal vi prøve å gi et anslag på lysets hastighet i vakum. En normalfordeling ser ut til å beskrive data bra og vi skal undersøke presisjonen til ĉ air = X n via parametrisk og ikke-parametrisk bootstrap.

3 Eksempel: Estimering av lysets hastighet Parametrisk bootstrapping N = 1000 gir ˆσĉair = 8.04 Ikke-parametrisk bootstrapping N = 1000 gir ˆσĉair = 7.61 Direkte σĉair = σ/ n: ˆσĉair = 7.90 Bootstrapping generelt Anta X 1,...X n f x Estimator: ˆθX 1,..., X n for θ Standardfeil: σˆθ = V ˆθ Tolkning av varians: Variabilitet hvis vi gjentar eksperimentet Bootstrap idé 1: Gjenta eksperiment mange ganger vha datamaskin: Simuler X 1,..., Xn fra f x, beregn ˆθ = ˆθx 1,..., xn Gjenta mange ganger som gir ˆθ 1,..., ˆθ N der N er et stort tall Estimer σ ˆθ ved ˆσ ˆθ = 1 N N j=1 ˆθ j θ 2, θ = 1 N ˆθ N j=1 j oblem: Vil trekke X i f x men f ukjente Bootstrap idé 2: Bruk et estimat ˆf x istedet Parametrisk boostrapping: Anta f x = f x; θ, trekk X i f x; ˆθ Ikke-parametrisk bootstrapping: Trekk X i med tilbakelegging fra x 1,..., x n Svarer til estimere F x = x F x = n 1 n i=1 Ix i x f udu med Konfidensintervaller Samme utgangspunkt Data x 1,..., x n Ukjente parametre θ kan være flere Ønsker nå lage et intervall som med stor sikkerhet inneholder θ. Hvis intervallet inneholder θ med sannsynlighet 1001 α, så sier vi at det er et 1001 α% konfidensintervall Merk: Intervallgrensene blir tilfeldige stokastiske variable beregnet fra data

4 Eksempel Generell fremgangsmåte X 1, X 2,..., X n Nµ, σ, σ kjent Vi har at Z = X µ σ/ n z α/2 X µ σ/ n z α/2 N0, 1 =1 α z α/2 σ/ n X µ z α/2 σ/ n =1 α X z α/2 σ/ n µ X + z α/2 σ/ n =1 α Data x 1,..., x n Ukjente parametre θ kan være flere Ønsker nå lage et 1001 α% konfidensintervall Observator hx 1,..., X n, θ med fordeling som ikke avhenger av θ I eksempel: hx1,..., X n, θ = Z = X µ σ/ N0, 1 n Bestem a, b slik at a hx 1,..., X n, θ b = 1 α. Anta a hx 1,..., X n, θ b kan omformes til LX 1,..., X n θ UX 1,..., X n I eksempel: X zα/2 σ/ n µ X + z α/2 σ/ n Da er [Lx 1,..., x n, Ux 1,..., x n ] et 1001 α% konfidensintervall [x ± z α/2 σ/ n] er et 1001 α% konfidensintervall Eksempel Anta X 1,..., X n Expλ Da er hx 1,..., X n, λ = 2λnX χ 2 2n Så χ 2 2n; λnX χ2 2n;0.025 = Gir χ2 2n; nX λ χ2 2n; nX = 0.95 Gir at [ χ2 2n;0.975, χ2 2n;0.025 ] er et 95% konfidensintervall for λ. 2nx 2nx Bruk av sentralgrenseteoremet X 1, X 2,..., X n uavhengig og identisk fordelte med forventning µ og standard avvik σ men ikke nødvendigvis normalfordelte Vi har at hvis n er stor er Z = X µ S/ n z α/2 X µ S/ n z α/2 N0, 1 z α/2 S/ n X µ z α/2 S/ n X z α/2 S/ n µ X + z α/2 S/ n [x ± z α/2 s/ n] er et tilnærmet 1001 α% konfidensintervall

5 Mer generelle settinger Anta ˆθ er en estimator for θ. Veldig ofte i statistikk: ˆθ er tilnærmet normalfordelt ˆθ er tilnærmet forventningsrett Et uttrykk for σ ˆθ er tilgjengelig Da er Z = ˆθ θ σ ˆθ Dermed N0, 1 z α/2 ˆθ θ σˆθ z α/2 z α/2 σˆθ ˆθ θ z α/2 rtn ˆθ zα/2 σˆθ θ ˆθ + z α/2 σˆθ [ˆθ ± z α/2 σˆθ] er et tilnærmet 1001 α% konfidensintervall