1 Litt deskriptiv statistikk TALM1005 høsten 2018

Transkript

1 Litt deskriptiv statistikk TALM5 høsten 8 Sentralmål Jeg har skrevet et dataprram i python som triller en terning for meg. Det ser slik ut import numpy as np import random y=np. z e r o s (, dtype=i n t ) for x in range(): y[x]=random.randint(,6) print y[x] print print np. average(y) np. std(y) Jeg kjørte dette prrammet i forelesning, fikk x 3 x x 3 5 x 4 6 x 5 x 6 4 x 7 4 x 8 3 x 9 5 x 4 Dette var en litt vittig kjøring, for om vi lager histrammet 4 3 Gjennomsnittet er et eksempel på sentralmål, et mål som skal fortelle noe om hva som er typisk verdi i et datasett. Andre typer er median, typetall, osv. men de skal ikke vi ha voldsom bruk for. Spredning Vi definerer standardavvik som v u = t NX (x i µ) N. Dette er et mål på spredningen i datasettet - formelen summerer opp målingenes avstand fra gjennomsnittet. Jeg kjørte terningkastprrammet ganske mange ganger på kontoret, etter 73 kjøringer fikk jeg x x 5 x 3 5 x 4 5 x 5 6 x 6 5 x 7 5 x 8 4 x 9 5 x 6 som har gjennomsnittlig antall øyne 4.8. Eksempel. Spredningen i det første datasettet er p ((3 3.7) +( 3.7) + +(4 3.7) ) /9.4, mens spredningen i det andre datasettet er p (( 4.8) +(5 4.8) + +(6 4.8) ) /9.7. Histrammet til det andre datasettet er kan vi bli forledet til å tro at terningkast er normalfordelt rundt verdien 4. Det er det jo selvfølgelig ikke. Dette illustrerer er en klassisk tabbe blant konspirasjonsteoretikere paranoide - å se mønstre der mønstre ikke finnes. 4 Vi definerer gjennomsnittet av målingene som µ = N NX x i. Dette tallet forteller oss gjennomsnittlig antall øyne per kast. Eksempel. Gjennomsnittlig øyne pr kast i eksperimentet over er ( )/ = Som du ser, er disse dataene bedre sentrert rundt gjennomsnittsverdien, det reflekteres i standardavviket:.4 mot.7. Lavt standardavvik betyr liten spredning. Et dagligdags eksempel på spredning, er innskyting av jaktrifle. En god riflekule har lav spredning; den tre er omtrent på samme sted hver gang dersom riflen er montert i et stativ det er vindstille.

2 Grunnleggende sannsynlighetsregning TALM5 høsten 8 Mengdelære Uttrykket A = {a,a,,a n } kalles en mengde, a,a,,a n kalles mengdens elementer. To eksempler på mengder er A = {, } B = {, 3, 4}. Vi kan kombinere mengder til nye mengder. De viktigste operasjonene er union, snitt komplement. A[B : Alt som er i enten A eller B eller begge. A \ B : Alt som er i både A B. A : Alt som ikke er i A. Eksempel. Hvis A = {, } B = {, 3, 4}, er A [ B = {,, 3, 4}, A \ B = {} B = {, 5, 6}. 4 Mengdeoperasjonene kan igjen kombineres, slik som A [ B = {5, 6}, det finnes en haug regneregler, for eksempel A [ B = A \ B A \ B = A [ B. Jeg vet ikke om vi får bruk for dem, men skal fylle ut litt her om det trengs. Union snitt av n utfall A i,skrivervi n[ n\ A i. A i Tegnet ; betyr den tomme mengden. Dette er en mengde uten elementer. Utfall Vi bruker mengder til å definere utfallene i et tilfeldig forsøk. Vi triller en terning, definerer utfallene A = {, } B = {, 3, 4}. Vi sier at A inntre er dersom terningen lander på eller, at B inntre er dersom terningen lander på, 3 eller 4. Utfall sies å være disjunkte dersom de ikke kan kan inntre e samtidig. La C = {3, 4}. Utfallene A = {, } B = {, 3, 4} er ikke disjunkte, for hvis terningen lander på, inntre er både A B. Utfallene A C er disjunkte. Vi skriver A \ C = ;. Utfallsrom En mengde der alt som kan skje i det tilfeldige forsøket er representert ved disjunkte utfall, kalles et utfallsrom. Hvis vi triller en terning, er to eksempler på utfallsrom {,, 3, 4, 5, 6} Mengden {oddetall, partall}. {,, 3, 4, 5} er ikke et utfallsrom, for terningen kan lande på 6, som ikke er tatt med, mens {oddetall,,, 3, 4, 5, 6}. er heller ikke et utfallsrom, for terningkast, 3 5 er representert ved to elementer i mengden. Sannsynlighetsfunksjonen Hvert utfall i vårt tilfeldige forsøk har en sannsynlighet for å inntre e. Sannsynlighetsfunksjonen er en benevningsløs funksjon P som tilordner en sannsynlighet p til hvert utfall A P (A) =p. For en sannsynlighetsfunksjon setter vi opp tre krav. La S være et utfallsrom. apple P (A) apple for alle A S P (A \ B) =P (A)+P (B) for alle A, B S P (S) =P ( S n A i)= P n P (A i)= Disse tre kravene sier at sannsynligheter må være mellom null en, at de kan legges sammen, at alle sannsynlighetene må summere til en (noe må skje). Eksempel. Vi triller terningen. La S = {,, 3, 4, 5, 6}. Da er P (i) =/6 for alle i i S. For A = {, } B = {, 3, 4} får vi P (A) =P ( [ ) = P () + P () = /6 P (B) =P ( [ 3 [ 4) = P () + P (3) + P (4) = 3/6 Vi ser så at P (A [ B) =4/6, P (A \ B) =/6 P (A) =4/6. 4

3 To regneregler for sannsynlighetsfunksjonen Den første regneregelen er lett å bevise. La A være en hendelse. Det er temmelig innlysende at S = A [ A er et utfallsrom, for enten A eller A må inntre e. Hvis P er en sannsynlighetsfunksjon, kan vi beregne =P (S) =P (A [ A) =P (A)+P (A), Av denne følger en ny regneregel som kalles Bayes lov. Siden A \ B = B \ A, følger at P (A B)P (B) =P (A\B) =P (B\A) =P (B A)P (A), eller P (A B) = P (B A)P (A). P (B) Eksempel. Her er en gammel eksamensoppgave fra Høgskolen i Bergen. den første regneregelen er på plass, P (A) = P (A). Dersom A B ikke er disjunkte, finnes en variant av addisjonsegenskapen i definisjonen av sannsynlighetsfunksjonen, nemlig P (A [ B) =P (A)+P (B) P (A \ B). Beviset for denne er litt mer komplisert. Det kan være jeg skriver det ut senere. Eksempel. La igjen Siden A = {, } B = {, 3, 4}. A [ B = {,, 3, 4}, må P (A [ B) =4/6. Men hvis vi tar P (A)+P (B) =/6+3/6 =5/6. får vi litt for høy sannsynlighet. Det er fordi utfallet A \ B = {} telles to ganger, vi må altså trekke det fra igjen for å få rett sannsynlighet, P (A [ B) =P (A)+P (B) P (A \ B) =4/6. 4 Betinget sannsynlighet I noen tilfeller vil sannsynligheten for en hendelse avhenge av hva som er skjedd tidligere. Vi definerer et nytt type utfall A B som leses A gitt B. Eksempel. Hvis du trekker to kort fra en stokk, vil hvorvidt du trekker ruter på andre kort avhenge om du trakk ruter på første kort. Vi setter opp utfallene A = andre kort ruter, B = første kort ruter, beregner P (A B) = 5 P (A B) = I eksemplet over, fortalte sunt bondevett oss hva sannsynlighetene var. Men vi må nesten sette opp en presis definisjon for betinget sannsynlighet. Vi definerer P (A B) = P (A \ B). P (B) For å løse oppgaven må man være nøyaktig med å definere utfallene, så bruke regnereglene. Vi definerer A : Alarmen går I :Innbrudd Oppgaveteksten gir at P (A I) =., P (A I) =. P (I) =.. Nå er det et par andre sannsynligheter vi kan regne ut uten videre. Enten er det innbrudd, eller så er det ikke innbrudd: P (I) = P (I) =.98. Hvis innbrudd vil alarmen enten gåa av eller ikke gå av: P (A I) = P (A I) =.99. Når det ikke er innbrudd, vil alarmen enten gå av eller ikke gå av: P (A I) = P (A I) =.999. Nå har vi funnet to av sannsynlighetene som etterspørres i oppgave a. Den tredje, P (I A), kan vi ikke regne ut helt ennå, men den etterspørres så i oppgave c. (Denne eksamenen er nok laget i en fei. Det var mye greier på Høgskolen i Bergen.) Nå bruker vi et klassisk triks, nemlig å splitte utfallet A ito A =(A \ I) [ (A \ I) Denne ligningen sier at dersom alarmen går (A), er det enten innbrudd (A \ I), eller så er det ikke innbrudd (A\I). Siden utfallene A\I A\I åpenbart er disjunkte (enten er det innbrudd, eller så er det ikke innbrudd), kan vi skrive P (A) =P (A \ I)+P (A \ I) = P (I)P (A I)+P (I)P (A I) = =.78.

4 I oppgave c) skal vi ha tak i sannsynligheten P (I A). Den kan vi nå regne ut ved Bayes lov P (I A) = Uavhengighet P (I)P (A I) P (A) = =.476. To utfall A B sies å være uavhengige dersom P (A \ B) =P (A)P (B) Sammenligner vi med definisjonen på betinget sannsynighet, ser vi at for uavhengige hendelser er P (A B) =P (A). Dette forklarer hvorfor det kalles uavhengighet; sannsynligheten for at A inntre er er den samme, uavhengig av hvorvidt B har inntru et. Eksempel. Et enkelt eksempel på uavhengige utfall er å kaste en terning to ganger. Vi definerer 4 alle styrer med de samme menneskene i forskjellige verv ble telt med. Vi omdanner nå de seks personene i avsnittet til lottokuler, slik at rekkefølgen på uttrekket ikke har noe å si; alle vet at lottokuler trekkes ut organiseres i stigende rekkefølge til slutt. Seks nummererte kuler kan ordnes i rekkefølge på 6! = 7 forskjellige måter. Dersom vi ikke er interessert i rekkefølgen, må denne interne organiseringen deles ut, det finnes derfor = 3! 7! 3! forskjellige utvalg. Dette tallet kalles binomialkoeffisient, har en spesiell notasjon. Vi definerer n n! = r (n r)! r! som altså er antall måter å plukke ut r elementer av en samling på n elementer når rekkefølgen ikke spiller noen rolle. A i = i øyne i kast nr. B i = i øyne i kast nr. er utfallene A i uavhengige utfallene B i. Vi beregner sannsynligheten for først så 3 P (A \ B 3 )=P (A )P (B 3 )= 6 6 = Litt kombinatorikk Ordnet utvalg uten tilbakelegg: Først kaster vi en terning mange ganger. Når du kaster første gang, har du seks utfall. Kaster du engang til, har du seks utfall for hvert utfall i forrige kast, altså trettiseks. Kaster du enda en gang, har du seks nye utfall for hvert av de trettiseks forrige, altså 6. Hvis terningen har n sider, du kaster r ganger, får du n r utfall. Ordnet utvalg med tilbakelegg: Sett at man skal velge et styre på tre mennesker fra en forsamling med 3 medlemmer. Når man først velger lederen, kan man velge blant alle de 3 medlemmene i forsamlingen. Nestleder kan så velges blant de 9 resterende medlemmene. For hvert valg av leder har man altså 9 muligheter for å velge nestleder. Det blir 3 9 mulige kombinasjoner. For hver av disse 3 9 kombinasjonene har man så 8 muligheter til å velge sekretær. Så da er vi oppe i mulige kombinasjoner. Dersom man skal velge et styre på 6 mennesker av en forsamling på 34, har man = 34! 8! = 34! (34 6)! forskjellige kombinasjoner. Husk at n! =n (n ) 4 3. Uttales n fakultet. Uordnet utvalg uten tilbakelegg: I forrige avsnitt hadde rekkefølgen på uttrekket noe å si, siden 3

5 3 Diskrete stokastiske variable TALM5 høsten 8 Stokastiske variable Ordet stokastisk er avledet av det greske ordet for å sikte. Når man sikter på noe, vet man ikke helt hvor man tre er. En stokastisk variabel X er en funksjon som tilordner en tallverdi x til hvert utfall A X(A) =x. Eksempel. Vi triller to terninger. La A ij = i øyne på den ene, j øyne på den andre Det er nå trettiseks utfall som alle har sannsynlighet 36. Et eksempel på en stokastisk variabel er summen av øynene på terningen X(A ij )=i + j. 4 Det er vanlig å enten operere med et noe di ust skille mellom utfall stokastisk variabel. To grunner er De kan de være til forveksling like. Vi kan bruke den stokastiske variabelen til å definere utfall. Eksempel. Vi triller to terninger igjen. La A ij X være som i forrige eksempel. Vi kan sette opp en sannsynlighetsfordeling på utfallsrommet definert av verdiene til den stokastiske variabelen. x P (X = x) /36 3 /36 4 3/36 5 4/36 6 5/36 7 6/36 8 5/36 9 4/36 3/36 /36 /36 Du bør sjekke at apple X apple definerer et utfallsrom at tabellen er en sannsynlighetsfordeling. 4 Sannsynligheter på formen P (X < a) kalles kumulative sannsynligheter. Eksempel. Vi triller to terninger igjen for tredje gang idag. De kumulative sannsynlighetene er x P (X apple x) /36 3 3/36 4 6/36 5 /36 6 5/36 7 /36 8 6/36 9 3/36 33/36 35/36 4 Forventningsverdi Forventningsverdi er, som navnet tilsier, det man forventer skal skje i tilfeldige forsøk. Anta at vi har et tilfeldig forsøk med n utfall A i, sannsynlighetsfunksjon P, stokastisk variabel X. Daer µ = E(X) = nx X(A i )P (A i ). Hvis vi bruker den stokastiske variabelens verdier x i = X(A i ) til å definere utfallene, blir formelen µ = E(X) = nx x i P (X = x i ). Eksempel. Vi triller nok en gang to terninger. Forventet antall øyne er: X E(X) = xp (X = x) x= = =7 4 Noen ganger er det nødvendig å definere forskjellige stokastiske variable på et samme utfallsrom. Eksempel. Dusjanlegg på campingplass: en person kan dusje om gangen, det kan stå inntil 3 personer i kø utenfor dusjen. Vi definerer følgende utfall: A = ingen folk i dusjen A = en person i dusjen A = en person i dusjen en i kø A 3 = en person i dusjen to i kø A 4 = en person i dusjen tre i kø med sannsynlighet Utfall A A A A 3 A 4 P (A i ) 5/3 8/3 4/3 /3 /3 I dette eksemplet skal vi finne forventet antall personer i dusjanlegget forventet antall personer i kø. Vi setter først opp en stokastisk funksjon som måler antall personer i dusjanlegget: X(A i )=i, Forventet antall personer i anlegget er: E(X) = 4X X(A i )P (A i ) i= = = 6 3 Vi definerer så en ny stokastisk variabel Y, som måler antall personer i kø, gitt ved Y (A )=Y (A ) =,

6 Y (A ) =, Y (A ) = 3 Y (A 4 ) = 3. Forventningen til denne variabelen blir E(Y )= 4X Y (A i )P (A i ) i= = = 3. 4 Eksempel. Et annet vittig eksempel på forventning kalles St. Petersburgparadokset. Anta at du spiller et spill der man kaster mynt kron. Man kaster til man får den første kron, dersom man får den første kron i kast nr k, får man premien k kr. Vi lar A k være første kron i kast k X(A k )= k være premien i dette utfallet. Sannsynlighetstabellen blir A i X(A i ) P (A i ) K / MK 4 /4 MMK 8 /8 MMMK 6 /6... M MK k / k Vi beregner forventningen E(X) = X k k = X =++++ =. k= k= Som du ser er det lurt å spille dette spillet uansett hva prisen er for å delta. 4 Varians standardavvik Anta igjen at vi har et tilfeldig forsøk med n utfall A i, sannsynlighetsfunksjon P, stokastisk variabel X. Variansen til en stokastisk funksjon er Var(X) = nx (X(A i ) E(X)) P (A i ). Vi kan nok en gang bruke den stokastiske variabelens verdier x i som utfallsrom, skrive Var(X) = nx (x i µ) P (X = x i ). Standardavviket er kvadratroten av variansen. = p Var(X). Standardavviket er mest relevant i praktisk bruk, for det har samme benevning som X µ. Deter derimot lettere å skrive opp regneregler for variansen enn for standardavviket. Eksempel. Vi ser på variabelen X for dusjanlegget. Variansen blir (husk at X(A i )=i) Var(X) = 4X (i µ) P (X = i) i= =( +( +(4 =.6 standardavviket 6 3 ) 5 3 +( ) ) 6 3 ) (3 6 3 ) 3 = p Var(X) =.. 4 Eksempel. Forvnentet antall øyne når du kaster en terning er E(X) = ( ) = Standardavviket er v u = t 6 Binomisk fordeling 6X [i µ] =.7. 4 Anta at du har n innbyrdes uavhengige helt identiske forsøk. Hvert forsøk har to utfall med sannsynligheter p p, kalt suksess ikke suksess. La X = r, apple r apple n være en stokastisk variabel som teller antall suksesser på de n forsøkene. Merk at verdiene til X definerer et gyldig utfallsrom. Sannsynligheten for r suksesser er n P (X = r) = p r ( p) n r. r Eksempel. Av til når du skal ta av vinterdekkene sitter de fast etter at boltene er løsnet. Da må du dælje løs på felgen med en slegge, hvis du bryr deg om utseendet på felgen, er det i så fall bare å kaste den etter du har fått den av. Anta at sannsynligheten for at en felg må dæljes løs er., at du bytter alle seks hjul på din Mercedes-Benz G63 AMG 6x6 Geländewagen. Sannsynligheten for at to felger blir ødelagt er = Eksempel. Anta at du har tre transistorradioer, kalt A, B C, alle fra 7-tallet. På et gitt tidspunkt virker hver av dem med uavhengig av hverandre med sannsynlighet p. Vi kan sette opp et utfallsrom ved å d e fi n e r e A, B C som at radio A, B C virker. Siden P (A [ B [ C) =P (A)P (B)P (C) får vi

7 Utfall Sannsynlighet A [ B [ C p 3 A [ B [ C p ( p) A [ B [ C p ( p) A [ B [ C p ( p) A [ B [ C p( p) A [ B [ C p( p) A [ B [ C p( p) A [ B [ C ( p) 3 La nå X være antall radioer som virker. Hvis du ønsker sannsynligheten for at X =, ser du at det er de tre utfallene A [ B [ C, A [ B [ C A [ B [ C som må telles med. Siden alle tre utfall har sannsynlighet p ( p), blir P (X = ) = 3 p ( p) 4 Eksempel. Anta at en fyr som skal ta jegerprøven, ikke har lest på sto et, blir nødt til å gjette på alle spørsmålene. Vi antar at det er 5 spørsmål, at det er fire svaralternativer på hver. Hvis vill gjetting er fyrens metode for å bestå prøven, er det 5% sannsynlighet for å tre e på hvert enkelt spørsmål. Dette kan er et binomisk forsøk med n = 5, p =.5. Sannsynligheten for rette svar er 5 P (A )= =.98. Sannsynligheten for mindre enn 3 rette er P (A [ A [ A )=P(A )+P(A )+P(A ) X 5 =.5 r.75 5 r =.87. r r= Så noen rette svar får han nok. 4 Det er ikke uvanlig å skrive = t,der er antall forekomster per enhet (tid, lengde, areal, osv.) t er hvor mange enheter. Eksempel. Ballspark IL spiller kamper, forventet antall mål pr minutt er = 45. Forventet antall mål i en kamp er = 45 9 =. 4 Oppgaver : Vis at den binomiske fordelingen tilfredsstiller aksiomene for sannsynlighetsfordelingen, at den har forventning np. : Vis at den poissonfordelingen tilfredsstiller aksiomene for en sannsynlighetsfordeling, at den har forventning. Poissonfordelingen Anta at du har en stokastisk variabel X som kan ta alle ikkenegative heltallsverdier. Dersom sannsynlighetsfordelingen er gitt ved P (X = n) =e sier vi at X er poissonfordelt. Poissonfordelingen brukes gjerne i situasjoner der et visst antall forekomster av noe kan inntre e, dette antallet ikke har noen øvre begrensning. Et eksempel er antall sms du mottar pr time, antall punkteringer i et fylke på en dag, eller antall konsumerte fuglefrø på en typisk kveld på Omega Verksted. Eksempel. Vi antar at antall mål Brann scorer på en typisk kamp er poissonfordelt med forventet antall mål =. Vi kan beregne sannsynligheten for at de scorer to mål: P (X = ) = e n n!.! Sannsynligheten for at de i det hele tatt scorer mål, er P (X = ) = e = e!. 4 3

8 4 Kontinuerlige stokastiske variable TALM5 høsten 8 Kontinuerlige sannsynlighetsmodeller En terning har seks sider, må lande på en av dem. Hvis vi derimot måler høyden på rekrutter eller vekten på lofottorsk, er det uendelig mange utfall. En torsk veier aldri akkurat 7.3 kg, men hvis den veier mellom kg, sier vi gjerne at den veier 7.3 kg. I slike tilfeller bruker vi kontinuerlige sannsynlighetsmodeller. Utfallene den stokastiske variabelen er umulige å se forskjell på: et typisk utfall er A = torsken veier mellom 7 9 kg. mens en typisk stokastisk variabel er X = torskens vekt, så fra nå av vil vi utelukkende definere utfall basert på verdiene til den stokastiske variabelen, skrive 7 <X<9 for utfallet at X lander på mellom 7 9 kg.. Sannsynlighetsfunksjon er gitt som sannsynlighetstetthetsfunksjon f. Har vi sannsynlighetstettheten f for variabelen X beregner vi sannsynligheten for utfallet 7 <X<9ved P (7 <X<9) = 9 7 f(x) dx. Aksiomene for sannsynlighetsfunksjoner impliserer at apple f(x) apple, at f(x) dx =. Utfallsrommet til de vanligste stokastiske variablene er ubegrensede, men det vil allikevel være et begrenset intervall som inneholder de realistiske verdiene. Det finnes lofottorsk på 9 kg, 6 kg, 5 kg, men ikke på 5 kg. Eksempel. Når jeg holder på med en arbeidsoppgave, for eksempel rette eksamener eller snekre panel, går jeg som regel fort lei må ha pause. Den stokastiske variabelen X teller antall minutter fra jeg startet, sannsynlighetstettheten er gitt ved f(x) = x/, der x måles i minutter. Utfallsrommet er intervallet [, ]. Sannsynsynligheten for at jeg gir opp innen det første minuttet er P (X <) = x dx = 4. Merk at f er gangbar som sannsynlighetstetthet, siden apple x/ apple på[, ], x dx =. Dette så er sannsynligheten for at jeg ikke holder ut mer enn to minutter. 4 Forventning varians Forventningen til kontinuerlige stokastiske variable beregnes slik µ = E(X) = xf(x) dx, variansen slik Var(X) = (x µ x ) f(x) dx. Standardavviket er = p Var(X). Eksempel. Forventet tid jeg holder ut med en arbeidsoppgave er E(X) = x dx = 4 3 minutter. 4 Normalfordelingen Normalfordelingen er en kontinuerlig sannsynlighetsfordeling som dukker opp overalt. Fordelingsfunksjonen er gitt ved f(x) = p (x µ) e, der µ er gjennomsnittet standardavviket i populasjonen. Ikke uventet blir E[X] = Var[X] = (x µ) xp e dx = µ, (x µ) (x µ) p e dx =, men dette skal vi ikke vise. Normalfordelingen er entydig bestemt dersom man kjenner µ. Nå er det slik at P (x <µ+ a )= µ+a (x µ) p e dx er uavhengig av µ. Derfor er det aldri nødvendig å beregne sannsynlighetene i normalfordelingen; man kan bare slå dem opp i en tabell. Uansett går det ikke an integrere sannsynlighetstettheten, den må beregnes til en viss presisjon ved numeriske metoder. Normalfordelingstabellen er gitt for en normalfordeling med µ = =. Alle elementene i tabellen er sannsynligheter på formen P (X <a), der a>. Så dersom man lurer på sannsynligheten P (X <.5) er det bare å finne.5 på venstre kant, hoppe bort til -kolonnen (dette betyr at vi slår opp.5) så så gir tallet der at P (X <.5) =.933

9 Dersom vi ønsker å finne sannsynligheter på formen P (X >µ+ a ), kan vi bruke at P (X >µ+ a )= P (X <µ+ a ), symmetrien gir at så P (X <µ a )= P (X <µ+ a ). Det er lurt å tegne opp normalfordelingen skravere opp arealene. Husk at P (X <µ+ a ) er et integral; det er bare det at vi slår opp i tabell isteden for å regne det ut. Eksponensialfordelingen Dersom en positiv stokastisk variabel er eksponensialfordelt, har den sannsynlighetstetthet f(x) = e x. Den kumulative sannsynligheten er lett å beregne: Eksempel. Dette betyr så at dersom lofottorsken er normalfordelt med µ = 7 kg =.5 kg, er P (X <9.5) = P (X <µ+.5 )= mens a Var(X) = E(X) = e x dx = e a, x xe x dx = e x dx =. For å finne flere sannsynligheter, trenger vi å vite litt mer om sannsynlighetstettheten. Funksjonen (x µ) p e er symmetrisk om x = µ. Det betyr at P (X <µ)= µ (x µ) p e dx =.5 P (X >µ)= µ (x µ) p e dx =.5. Dersom vi ønsker å finne en sannsynlighet på formen P (µ <X<µ+ a ), kan vi bruke at P (µ <X<µ+ a )=P (X <µ+ a ).5 Sannsynligheter på formen P (µ b < X < µ + a ) finner vi ved å først skrive P (µ b < X < µ + a )= P (µ b <X < µ)+p (µ <X<µ+ a ) så utnytte symmetrien i sannsynlighetstettheten: P (µ b < X < µ + a )= P (X <µ+ b )+P (X <µ+ a ).

10 5 Sammenhenger mellom stokastiske variable TALM5 høsten 8 Diskrete kontinuerlige variable Det er egentlig ikke nødvendig med noe skille mellom diskrete kontinuerlige stokastiske variable, men man gjør det allikevel av pedagiske grunner. Hvis du triller en terning, må den lande på en av de seks sidene, alle barn i barnehagen forstår at sannsynligheten er /6 for at den lander på en bestemt side. Hvis man derimot skulle starte med den kontinuerlige stokastiske variabelen X, definerti / <X< i +/ =i øyne, sannsynlighetstetthetsfunksjonen f(x) =/6, definert P (i øyne) = P (i = i+/ i / / <X<i+/) f(x) dx = 6, ville mange falt av lasset ganske fort. Men får fint å gjøre det, således er diskrete variable kun spesialtilfeller av de kontinuerlige. Regneregler for forventning varians Vi kommer til å trenge noen viktige regneregler for forventning varians. Dersom X er en stokastisk variabel, a b reelle tall, gjelder. E(aX + b) = ae(x)+ b. Dersom X Y er identisk fordelte stokastiske variable, gjelder E(X + Y )=E(X)+E(Y ). Bevisene for disse ligningene er trivielle, både for diskrete kontinuerlige variable. For variansen gjelder at Var(aX + b) =a Var(X), Var(X + Y )=Var(X)+Var(Y ) dersom X Y er uavhengige. Vi beviser den første. La µ = E(X). Da blir aµ + b = E(aX + b), Var(aX + b) = (ax + b aµ b) f(x) dx = a (x µ) f(x) dx = a Var(X). Til slutt en formel som kan være grei å bruke i blant Eksempel. Jeg har en gammel strekk i foten. Modellen for hvor lenge jeg holder ut med en arbeidsoppgave kan så brukes til å beskrive antall kilometer jeg holder ut på løpetur før foten blir vond å løpe på. Torkil er mye sprekere enn meg, så han løper dobbelt så fort, men han har den samme skaden, så han holder ikke på så lenge han heller. Så om vi skal på løpetur gir vi meg et forsprang på en kilometer. En stokastisk variabel som beskriver hvor langt han løper dersom jeg løper X km, er Y =X. Hans forventede løpslengde blir E(Y )=E(X ) = E(X) = 4 3 Sentralgrenseteoremet Pythonkoden import numpy as np import matplotlib. pyplot as plt p=.3 n=4 x=np. random. b i n o m i a l ( n,. 3, ) plt. hist(x, bins=np.arange(n+)) plt.show() = kjører hundre binomiske forsøk med n = 4 p =.3. Her er et histram av alle utfallene. Kjører vi det binomiske eksperimentet tusen ganger, får vi histrammet Var(X) =(E(X µ) )=E(X ) µ. Vi beviser denne så. Husk at R f(x) dx =. Var(X) = (x µ) f(x) dx = (x xµ + µ )f(x) dx = x f(x) dx µ xf(x) dx + µ = E(X ) µ + µ = E(X ) µ. f(x) dx

11 For moro skyld kjører vi det binomiske eksperimentet ti tusen ganger, får Poisson eksponensialfordelingen Ventetiden mellom hendelser i en poissonprosess er eksponesialfordelt. La X være en poissonfordelt variabel med forventning = t, T en eksponensialfordelt variabel med parameter. Parameteren beskriver antall forekomster per tidsenhet i poissonprossesen, dette er da enheten på tidsaksen i eksponensialfordelingen. En lett måte å huske dette på, er å huske at P (X = ) = e t = P (T >t). Merk hvordan utfallene fordeler seg på en måte som ligner mistenkelig på normalfordelingskurven. Sentralgrenseteoremet forteller oss at dette alltid skjer. Teorem. Dersom X, X,...,X n er identisk fordelte variable med forventning µ standardavvik, er X = n nx X n tilnærmet normalfordelt med forventning µ standardavvik / p n. Eksempel. Ballspark IL scorer vanligvis to mål per kamp. Sannsynligheten for at de scorer ett mål på en kamp er: P (X = ) = e =.7. Sannsynligheten for at de ikke scorer mål i første omgang er: P T> = e =.37. Denne sannsynligheten kan man så få ut ved å huske at = 45,skrive = =, bruke poissonfordelingen til å beregne P (X = ) = e = Beviset skal vi ikke ta, det tar minst en A4-side å skrive opp. Merk at X i ikke trenger være normalfordelt, jf. eksemplet over. Binomisk normal Følgende plot viser sannsynlighetene for et binomisk forsøk med n = 4 p =.3. Merk at µ = 4.3 = = = 8.4. Dersom n er stor, er binomisk fordeling tilnærmet normalfordelt med µ = np = np( p). Dette er nyttig dersom du ønsker å finne kumulative binomiske sannsynligheter, ikke kan prrammere. Binomisk poisson Hvis man lar p! n!mens np er konstant, vil binomisk fordeling! poissonfordelingen.

12 6 Estimering TMA4 høsten 8 Hvis du fisker torsk på Vestfjorden ligger det en en stor sannsynlighetsmodell i bånn, ofte normalfordelingen, som forteller hva slags torsk du kan få. Normalfordelingen er bestemt av µ.dissekjenner vi gjerne ikke, men ved å veie noen lofottorsk, kan vi gjennom statistiske metoder estimere dem. Utvalg Anta at en lofottorskstamme er normalfordelt med µ = 7 kg =.5 kg. Vi plukker ut ni tilfeldige lofottorsk. De veier (i kg) Hva sier disse tallene oss om torskestammen? Gjennomsnittsvekten er 7.6 kg. Dersom torskestammen er normalfordelt med µ =7. kg, betyr det at hvis vi veier alle torskene i stammen deler på antall veide torsk, skal vi få akkurat 7 kg. Dette settet med ni torsk veide ikke nøyaktig 7 kg i gjennomsnitt, det vil vi heller ikke få med mindre vi veier alle torsk i stammen. Disse ni torskene kalles et utvalg. Det er som sagt naturlig at torskene i et utvalg ikke har gjennomsnittsvekt på nøyaktig 7 kg. Men om et tilfeldig utvalg har betydelig høyere eller lavere gjennomsnitt enn 7 kg, kan det være grunn til å tvile på om normalfordelingen til torskevekten virkelig virkelig er sentrert rundt µ = 7 kg. Sannsynlighetsmodellen for hvor mye gjennomsnittsvekten på utvalget avviker fra µ, kan nemlig bestemmes nøyaktig, dette benytter vi oss av i statistikk. Estimator for µ Som regel estimerer vi µ, estimatoren kalles ˆµ. En klassisk estimator er P n ˆµ = X = X i, n gjennomsnittet av n målinger fra den samme fordelingen. Eksempel. Gjennomsnittsvekten X = 7.6 kg på utvalget ovenfor er et estimat ˆµ for forventningsverdien µ. 4 Nå er så X en stokastisk variabel, siden den er en sum av stokastiske variable. Hvis vi regner ut forventningen til X, får vi P n E(X) =E X P n i = E(X i) = nµ n n n = µ. Likningen E(X) =µ forteller oss at dersom vi veier mange lofottorsk, vil forventet gjennomsnittsvekt i utvalget være µ, vi sier at estimatoren ˆµ er forventningsrett. Eksempel. En jeg kjenner, er overtroisk. Han legger ekstra vekt på den første målingen, derfor beregner han gjennomsnitt med formelen ˆµ = n (X + X X n ). Dette er ikke en forventningsrett estimator, for E(ˆµ) = n + n µ. Den skyter konsekvent litt over. 4 Estimator for Hvis vi skal estimere ˆ = s Pn må vi bruke formelen (X i ˆµ). n Det går an å vise at denne formelen er forventningsrett, men det skal ikke vi gjøre. Dersom man deler på n istedet for n, får man ikke en forventningsrett estimator. Konfidensintervall - kjent La oss tenke at du måler en parameter µ med et måleapparat som er grundig testet i laboratorium, slik at avviket er kjent - dersom du gjør en måling ˆµ med apparatet, kan fabrikanten fortelle deg nøyaktig hvor presis denne målingen er. Som oftest er målingen ˆµ normalfordelt rundt den faktiske verdien µ. Eksempel. Promillen til en person med promille på µ =.8 måles med et normalfordelt måleinstrument der =.. Sannsynligheten for at måleapparatet estimerer en promille på mellom er P (.64 < ˆµ <.996) = P (µ.96 <ˆµ <µ+.96 ) = Det er mulig å vise at den faktiske verdien µ så er normalfordelt rundt målingen ˆµ. Eksempel. Vi måler promillen til samme person som i sted, får ˆµ =.9. Sannsynligheten for at µ ligger mellom er P (.74 <µ<.96) = P (µ.96 <ˆµ <µ+.96 ) = Man skal tenke at estimatet gir et intervall der det er en viss sannsynlighet for at den faktiske parameteren befinner seg - et konfidensintervall. Teorem 6.. Dersom µ estimeres med gjennomsnittet ˆµ = X av n målinger, er kjent for hver måling, er det 95% sannsynlighet for at ˆµ.96p n <µ<ˆµ +.96p n Eksempel. Vi måler promillen en gang, får ˆµ =.9. Et 95% konfidensintervall for µ blir (ˆµ.96, ˆµ +.96 )=(.74,.96) 4

13 Dersom vi gjør flere målinger, får vi et trangere konfidensintervall. Eksempel. Vi måler promillen til samme person som i sted fem ganger, får ˆµ = X = =.9. Et 95% konfidensintervall for µ blir ˆµ.96p5, ˆµ +.96p5 =(.855,.945) 4 Konfidensintervall - ukjent Dersom µ skal estimeres uten at er kjent, må estimeres. Da bruker man t-fordelingen istedet for normalfordelingen. Denne fordelingen ligner på normalfordelingen, oppfører seg likt, men er litt flatere. Dersom vi har gjort n målinger, gir tabellens venstre Eksempel. Vi kaster en terning ti ganger. Gjennomsnittlig antall øyne på de ti kastene er ˆµ = X =3.7, estimert standardavvik er ˆ =.4. Siden det er n = kast, må vi slå opp på m =9it-fordelingen, der står det at P (T >.6) =.5 Siden t-fordelingen er symmetrisk om µ, blir et 95% konfidensintervall p <µ< p 4 Sannsynlighetstettheten til t-fordelingen er der f(t) = K K = n/ + t, n n/ + t dx. n Denne skal vi ikke bruke til noe, men det er jo artig å vite. Her er et plot. Som du ser, ligner den ganske bra på normalfordelingen. kolonne av tekniske grunner m = n. Raden på toppen er forskjellige sannsynligheter på formen = P (T >a) så gir tabellen antall estimerte standardavvik a. Følgende teorem gir et eksempel på hvordan tabellen brukes. Teorem 6.. Dersom µ estimeres med gjennomsnittet ˆµ = X av n = målinger, er estimert med ˆ, er det 95% sannsynlighet for at ˆµ.93 ˆ p n <µ<ˆµ +.93 ˆ p n

14 7 Hypotesetesting TMA4 høsten 8 En generell oppskrift Hypotesetest er en viktig statistisk metode for å analysere store sannsynlighetsmodeller. Her er oppskriften.. Sett opp en hypotese.. Ta noen målinger beregn ˆµ. 3. Beregn sannsynligheten for ˆµ, gitt din hypotese. Hvis ˆµ er et veldig usannsynlig utfall, kan du forkaste hypotesen. p-verdi Vi illustrerer hypotesetestingsprosessen med et par eksempler der vi måler igjen promillen til en båtfører. Det normalfordelte måleinstrumentets standardavvik =. erkjent. Eksempel. Dersom personen har lovlig promille på.8, kan vi beregne sannsynligheten for at vedkommende blåser.8 eller høyere: P (ˆµ>.8) = P ( >) =.5. 4 Eksemplet over illustrerer at dersom noen skal dømmes for promillekjøring, er det ikke nok at de blåser en gang over.8. Da vil femti prosent av de med lovlig promille bli uskyldig dømt. Eksempel. Vi målte promillen fem ganger, fikk ˆµ =.86. Dersom personen har lovlig promille på.8, er sannsynligheten for at vedkommende blåser.86 eller høyere: P (ˆµ>.86) = P ( >.33) =.9. 4 Dette eksemplet illustrerer at dersom noen skal dømmes for promillekjøring, er det kanskje ikke nok at de blåser fem ganger får gjennomsnitt på.86 heller. Da vil ni prosent av de med lovlig promille bli uskyldig dømt. Eksempel. Vi målte promillen fem ganger, fikk ˆµ =.88. Dersom personen har lovlig promille på.8, er sannsynligheten for at vedkommende blåser.88 eller høyere: P (ˆµ>.88) = P ( >.78) =.4. 4 Nå nærmer vi oss noe. Dersom vi krever at personen skal blåse over.88 i gjennomsnitt på fem blås, vil kun fire prosent av de lovlige bli uskyldig dømt. Er dette akseptabelt? De tre punktene i oppskriften for hypotesetesting, illustreres av disse eksemplene. Det første består i å sette opp en hypotese, den såkalte nullhypotesen. I eksemplene har vi antatt at personen har lovlig promille på.8 når vi har beregnet sannsynligheter. Da skriver vi H : µ =.8 Spørsmålet er: er nullhypotesen riktig? Steg to er å gjøre målingen ˆµ, finne sannsynligheten for at dette skal inntre e gitt at nullhypotesen er riktig. Sannsynlighetene.5,.9.4 er eksempler på p-verdi eller siginifikanssannsynlighet. Det tredje punktet i oppskriften består i å vurdere om den inntrufne ˆµ er så usannsynlig at nullhypotesen ikke er plausibel. Å blåse en gang over.8 er temmelig sannsynlig om du har promille på.8, så vi kan ikke forkaste H på grunnlag av den målingen. Å blåse fem ganger med gjennomsnitt på over.86 er ikke veldig sannsynlig, men vil jo skje ca. en av ti ganger. Å blåse fem ganger med gjennomsnitt på over.88 er ganske usannsynlig, så her begynner det å bli rimelig å anta at personen har høyere promille enn.8 - vi kan tenke på å forkaste nullhypotesen. Men hvor skal grensen gå? Hvor lav må p-verdien være for at nullhypotesen skal forkastes? Det mest vanlige er kanskje fem prosent. Vi sier da at vi kjører hypotesetest med fem prosent signifikans, forkaster nullhypotesen dersom p-verdien til ˆµ er lavere enn fem prosent. Forkastningsområde Hvis man har bestemt seg for fem prosent signifikans, kan man snu spørsmålet på hodet, spørre: hvor høyt må man blåse for at man skal bli dømt på fem prosent signifikans? Eksempel. Vi målte promillen fem ganger, fikk akkurat ˆµ =.874. Dersom personen har lovlig promillepå.8, er sannsynligheten for at vedkommende blåser.874 eller høyere: P (ˆµ>.874) = P ( >.78) =.5. 4 Dersom vi setter signifikansnivået til fem prosent, må personen i eksemplet blåse over.874 for å bli dømt. Vi sier at.874 er hypotesetestens kritiske verdi, at ˆµ >.874 er hypotesetestens forkastningsområde - vi forkaster nullhypotesen dersom man blåser over.874. Styrkefunksjon Til nå har vi snakket om sannsynligheten for å bli dømt dersom man har lovlig promille - dette kalles type I-feil. Motsatt kan man stille seg spørsmålet: hva er sannsynligheten for slippe unna for forskjellige promillenivåer - om man slipper unna når promillen er for høy, kalles det type II-feil. Vi begynner vi å anta nullhypotesen, nemlig at promillen er.8. Så bestemmer vi oss for fem prosent signifikans, slik at forkastningsområdet er ˆµ >.874. Så regner vi ut sannsynligheten for å blåse over.874 for forskjellige verdier av den faktiske promillen µ. Eksempel. Vi blåser igjen fem ganger. Men nå beregner sannsynligheten for å blåse over.874 for et

15 par verdier av den faktiske promillen: P (ˆµ>.874 µ =.7) = P ( >3.87) = P (ˆµ>.874 µ =.75) = P ( >.76) =.3 P (ˆµ>.874 µ =.8) = P ( >.65) =.5 P (ˆµ>.874 µ =.85) = P ( >.53) =.3 P (ˆµ>.874 µ =.9) = P ( >.58) =.7 P (ˆµ>.874 µ =.) = P ( >.8) = Hvis promillen er høy nok, begynner det å bli usannsynlig at du slipper unna. 4 Funksjonen i eksemplet over kalles styrkefunksjonen. (a) =P (ˆµ>.874 µ = a) Hva hvis ikke er kjent? Da bruker man t-fordelingen istedet. Oppskriften på hypotesetest er ellers identisk.