Obligatorisk oppgave 1 MAT1120 HØSTEN 2008

Transkript

1 Obligatorisk oppgave 1 MAT1120 HØSTEN 2008 Innleveringsfrist: fredag 26/ , innen kl Besvarelsen leveres på Matematisk institutt, Ekspedisjonskontoret, 7. etasje i N.H. Abels hus. Husk å bruke forsiden som du nner på hjemmesiden. Det er ofte lange køer både ved skriveren og utenfor ekspedisjonskontoret rett før innleveringsfristen, så det er lurt å levere tidligere. Dersom du på grunn av sykdom eller andre tungtveiende grunner har behov for å utsette innleveringen, må du i god tid før innleveringsfristen sende søknad til : studieinfo@math.uio.no Husk at sykdom må dokumenteres ved legeattest. For å få godkjent oppgavesettet må ingen av de 16 obligatoriske punktene leveres helt blankt og det må komme klart frem fra besvarelsen at du har gjort et seriøst forsøk på å løse alle disse punktene. Videre må minst 10 av de obligatoriske punktene være besvart på en tilfredstillende måte, med en ryddig fremstilling og gode begrunnelser. Det vil også bli lagt vekt på at Matlab-delene i oppgavesettet er rimelig godt besvart besvarelser som viser mangelfulle Matlab-ferdigheter kan bli underkjent selv om disse tilfredstiller de andre kravene. Der det står at Matlab skal brukes, må det vedlegges passende utskrifter med kommentarer. Studenter som ikke får sin opprinnelige besvarelse godkjent, men som har gjort et reelt forsøk på å løse oppgavesettet, vil få en mulighet til å levere en revidert besvarelse. Studenter som ikke får godkjent begge sine besvarelser til oblig. 1 og oblig. 2 vil ikke få adgang til avsluttende eksamen. Det er lov å samarbeide om oppgavene. Men alle må levere sin egen personlig besvarelse og selv ha gjennomført alle Matlab-kjøringer. Er vi i tvil om at du virkelig ha forstått det du har levert inn, kan vi be deg om en muntlig redegjørelse. Det vises ellers til regelverket for obligatoriske oppgaver, som du nner via en lenke på hjemmesiden til emnet. 1

2 1 Om Markov kjeder Avsnitt 4.9 i Lays bok gir en innføring i Markov kjeder. Vi minner om at en Markov kjede i R n er en følge av sannsynlighetsvektorer x 0, x 1, x 2,... i R n som er slik at x k+1 = P x k, k = 0, 1, 2,... der P er en n n stokastisk matrise. Vi har da at x k = P k x 0, k 0. Markov kjeder brukes ofte til å modellere "tilfeldige" prosesser med "diskret" tidsskala. Anta at vi studerer et system som kan veksle mellom et endelig antall tilstander, la oss si n. Hva som menes med tilstander i en konkret situasjon er gjerne en del av selve modelleringen av systemet. Er det f.eks. været i Oslo vi ønsker å modellere som en tilfeldig prosess kan vi innskrenke oss til en grov inndeling i tre tilstander (f.eks. sol, skyer og regn), eller vi kan innføre ere tilstander (f.eks. sol, delvis skyet, jevnt overskyet, periodevis regn, regn). Vi tenker oss at overgang mellom tilstander skjer ved tidspunktene 1, 2,... og styres i henhold til bestemte sannsynligheter (som gjerne anslås ved eksperimenter). Vi antar her at disse sannsynlighetene ikke forandrer seg med tiden (i mer naturtro modeller vil disse ofte gjøre det). Mengden S = {s 1, s 2,..., s n } av alle de n ulike tilstandene systemet kan være i kalles gjerne tilstandsrommet til systemet. Sannsynligheten for at systemet går fra tilstand s j til tilstand s i i ett tidsskritt angis ved et tall p ij i intervallet [0, 1]. Disse sannsynlighetene, som kalles overgangssannsynligheter, tilfredstiller da at n i=1 p ij = 1 for enhver j, slik at n n matrisen P = [p ij ] er en stokastisk matrise. Matrisen P kalles overgangsmatrisen til systemet. Vanligvis er vi gitt en startvektor x 0 R n som er en sannsynlighetsvektor; poenget er at i-te komponent a i til x 0 angir da sannsynligheten for at systemet er i tilstand s i ved starttidspunktet t = 0. Hvis vi f.eks. vet med 100 prosents sikkerhet (altså med sannsynlighet 1) at systemet er i tilstand s j for en bestemt j ved t = 0, betyr det at a i = 0 når i j, mens a j = 1, altså at x 0 = e j (= standardbasisvektor nr. j i R n ). I denne obligen skal vi stort sett tenke oss Markov kjeder der startvektoren er en av e j -ene, dvs at prosessen begynner i en av tilstandene ("starttilstanden") ved t = 0. Vektoren x 1 = P x 0 blir en ny sannsynlighetsvektor (dette følger av oppgave i Lay). Denne vektoren er slik at dens i-te 2

3 komponent angir sannsynligheten for at systemet er i tilstand s i ved tidspunktet t = 1. De neste vektorene i den assosierte Markov kjeden, gitt ved x k+1 = P x k, k 0, har en tilsvarende tolkning. Ofte fremstiller man et system som ovenfor ved hjelp av en gur der alle tilstandene angis med piler seg i mellom, og der overgangssansynlighetene mellom tilstander angis over/under/ved siden av pilene. Det er da vanlig å sløyfe å tegne en pil mellom tilstandene s j og s i dersom p ij = 0. Eksempel. La n = 5. Et system er angitt ved følgende gur: 1 s s s s s 5 1 Den tilhørende overgangsmatrisen blir P = (1) Her er f.eks. p 32 = 0.3, så sannsynligheten for å gå fra tilstand s 2 til tilstand s 3 i ett tidsskritt er 0.3. Produktet av to overgangssannsynligheter har en naturlig tolkning som sannsynligheten for at en bestemt begivenhet inntreer. Anta f.eks. at vi vet at prosessen ovenfor starter i tilstand s 3. Hva er da sannsynligheten for at prosessen går slik i løpet av to tidsskritt : s 3 s 2 s 1? Jo, en elementær sannsynlighetsbetraktning gir at denne begivenheten har sannsynlighet lik produktet av de to aktuelle overgangssannsynlighetene, nemlig p 12 p 23 = = Vi kan her tenke oss at en "partikkel" starter i s 3, hopper derfra til en tilstand s l med sannsynlighet p l3 ved t = 1, at den hopper videre derfra til en tilstand s i med sannsynlighet p il ved t = 2, osv. Sannsynligheten for at partikkelen vandrer langs "veien" s 3 s 2 s 1 i løpet av to tidsskritt (blant alle mulige "veier" fra s 3 i løpet av to tidsskritt) er da nettopp p 12 p 23 = = I avsnitt 4.9 i Lays bok er mye av fokus rettet mot Markov kjeder der overgangsmatrisen er såkalt regulær. Dette skyldes at det nnes da en entydig bestemt likevektsvektor, som vektorene i Markov kjeden vil konvergere mot (jf. Teorem 18, s. 294). Regularitetet er et sterkt krav, som mange stokastiske matriser ikke oppfyller. 3

4 Oppgave 1 La P være en n n stokastisk matrise. a) La k være et naturlig tall. Vis ved induksjon på k at P k er en stokastisk matrise : for k=1 er dette opplagt sant; så du skal anta at P k er en stokastisk matrise for en k 1 og begrunne at da er også P k+1 en stokastisk matrise. b) Bruk Matlab til å beregne P k for k {2, 3, 4, 50, 100} der P er matrisen i (1). Kan du konkludere med at P ikke er regulær på grunnlag av disse beregningene? c) Igjen, la P være matrisen i (1). Bestem en basis for Nul (P I n ). Begrunn deretter at P ikke er regulær (Hint : Har P en entydig likevektsvektor?). Tilbake til en Markov kjede med overgangsmatrise P. Elementene i potensmatrisen P k vil også være sannsynligheter. Vi innfører litt notasjon først. Hvis A = [a ij ] er en n n matrise og k er et naturlig tall eller 0, lar vi a (k) ij være elementet i posisjon (i, j) i matrisen A k. Husk her at A 0 = I n (n n identitetsmatrisen). Da vil p (k) ij være sannsynligheten for at systemet går fra tilstand s j til tilstand s i i løpet av k tidsskritt. Vi begrunner dette for k = 2. Rad-kolonne-regelen for matriseproduktet P 2 = P P gir at p (2) ij = n p il p lj l=1 Nå er p il p lj sannsynligheten for å gå fra s j til s l og videre derfra til s i i h.h.v. første og andre tidsskritt. Ved å summere over alle mulige mellomtilstander s l får vi sannsynligheten for å gå fra s j til s i i løpet av 2 tidsskritt. 2 Absorberende Markov kjeder Det nnes en type Markov kjeder som dukker opp i en del praktiske situasjoner og som dere skal få litt innsikt i i denne obligen. Her vil overgangsmatrisen ikke være regulær, og oppførselen til slike Markov kjeder i det lange løp blir da ganske annerledes enn i det regulære tilfellet. Prosessene som modelleres er de der det nnes tilstander som fanger vandrende partikler i det lange løp. De som gjerne vil ha et konkret eksempel i tankene bør ta en titt på neste avsnitt allerede nå. Vi betrakter en Markov kjede assosiert med et system med tilstandsrom S = {s 1, s 2,..., s n } og overgangsmatrise P. 4

5 Hvis en tilstand s j er slik at p jj = 1 (og dermed p ij = 0 for i j), så kalles s j absorberende. Grunnen er at hvis prosessen kommer til en slik tilstand, så vil den aldri forlate denne tilstanden. En måte å si at tilstanden s j er absorberende er at kolonne nr. j i P er lik e j. Selve Markov kjeden kalles potensielt absorberende dersom det nnes minst én absorberede tilstand; den kalles absorberende dersom det nnes minst én absorberede tilstand, og det er mulig å komme fra enhver tilstand s j til minst én absorberende tilstand s i i løpet av ett eller ere tidsskritt. Hvis vi bruker bemerkningen på slutten av forrige avsnitt kan det siste kravet uttrykkes slik : For enhver gitt j, så nnes det en absorberende tilstand s i og et naturlig tall k slik at p (k) ij > 0. (Merk her at både s i og k kan variere med j). Betrakt nå en potensielt absorberende Markov kjede som denert ovenfor, og anta at det nnes m absorberende tilstander (der 1 m n). Dersom m = n er P lik identitetsmatrisen I n og systemet er trivielt, det skjer jo ingen utvikling. Så vi antar likegodt at m < n. Videre antar vi at de m aborberende tilstandene er de "siste" tilstandene s n m+1, s n m+2,..., s n ; dette kan vi alltid gjøre etter en evt. renummerering av tilstandene. Da kan vi skrive overgangsmatrisen P slik : [ ] Q O P = (2) R 1 Her er Q en (n m) (n m) matrise som gir overgangssannsynlighetene mellom de tilstandene som ikke er absorberende, O er nullmatrisen av dimensjon (n m) m, R 1 er m (n m) matrisen som gir overgangssannsynlighetene fra ikke-absorberende tilstander til absorberende tilstander. Oppgave 2 Betrakt en Markov kjede med overgangsmatrise P gitt ved (1). a) Sjekk at Markov kjeden er potensielt absorberende og angi de absorberende tilstandene. Lag en ny nummerering av tilstandene slik at overgangsmatrisen blir på formen (2). Angi da Q og R 1. Hva er kolonnesummene i Q? b) Bruk oppgave 1b) til å begrunne at Markov kjeden er absorberende. c) Bruk Matlab til å bestemme Q k for noen "store" verdier av k. Sjekk at lim k Q k ser ut til å bli nullmatrisen når k er stor nok. I m 5

6 [Grenseverdien for en følge av matriser er denert komponentvis, dvs. ut fra grenseverdien for hver av komponentene.] Oppgave 3 La P være overgangsmatrisen til en potensielt absorberende Markov kjede, der P er skrevet på formen (2). a) La k være et naturlig tall. Vis ved induksjon på k at [ Q k ] P k O = R k der R k betegner en m (n m) matrise (som du ikke skal angi et uttrykk for). Merk: Formelen er opplagt sann for k = 1. Du skal derfor vise at når k 1, så gjelder formelen for P k+1 når du antar at den gjelder for P k. Du må da bruke rad-kolonne-regelen for produktet av partisjonerte matriser (cf. avsnitt 2.4 i Lay). Merk ellers at det følger av denne formelen at P ikke er regulær. b) Begrunn at det at Markov kjeden er absorberende kan uttrykkes ved at for enhver gitt ikke-absorberende tilstand s j, så nnes det en k slik at kolonne nr. j i R k ikke er nullvektoren (mao inneholder minst et positivt element). c) Begrunn at dim Nul (P I n ) m. d) Anta nå at Markov kjeden er absorberende. Det kan da vises at I m lim k Qk = O (3) der O er nullmatrisen med samme størrelse som Q. Forklar ved hjelp av dette at det fra en gitt starttilstand er sannsynlighet lik 1 for absorpsjon i en eller annen absorberende tilstand i det lange løp. Vi antar fra nå av at vi betrakter en absorberende Markov kjede, med overgangsmatrise P angitt på formen (2). Vi skal se nærmere på matrisen I Q der Q er som i (2) og I = I n m. Oppgave 4 a) Vis at I Q er invertibel. Hint: Se på systemet (I Q)x = 0, gang ut og bruk etterhvert at (3) holder. b) Begrunn at P har en entydig likevektsvektor q hvis og bare hvis m = 1. Hva er da q? Den inverse til I Q vil derfor eksistere, og vi denerer N = (I Q) 1. Matrisen N kalles gjerne fundamentalmatrisen til overgangsmatrisen P. Vi kan si litt mer om denne matrisen. 6

7 Oppgave 5 Vis at N = I + Q + Q Q k + (4) der konvergens av denne rekken igjen betyr konvergens komponentvis. Hint: Beregn først (I Q)(I + Q + Q Q k ); multipliser så begge sider med N og la k gå mot uendelig. Koesientene til N = [n ij ] gir verdigfull informasjon. Betrakt nemlig to ikke-absorberende tilstander s i og s j. Det kan da vises at n ij er lik det forventede antall 1 ganger prosessen er i s i når den starter i s j. Vi har sett at når prosessen starter i en ikke-absorberende tilstand, så vil den i det lange løp absorberes i en absorberende tilstand. Et naturlig spørsmålet er da: Hvor lang tid kan vi forvente at dette tar? La f j være det forventede antall skritt fram til absorpsjon i en eller annen absorberende tilstand når prosessen starter i en ikke-absorberende tilstand s j. Dette gir en kolonnevektor f i R n m med j-te komponent lik f j. Oppgave 6 La e betegner kolonnevektoren i R n m med bare 1-ere. Forklar ved hjelp av resultatet om n ij -ene nevnt ovenfor at følgende likhet holder : f = N T e mao at f T = [1 1 1] N. Et annet interessant spørsmål for en absorberende Markov kjede er: Hva er sannsynligheten for å absorberes i en viss absorberende tilstand s i? La b ij være sannsynligheten for absorpsjon i absorberende tilstand s i gitt at man starter i en ikke-absorberende tilstand s j. La B være m (n m) matrisen gitt ved B = [b ij ]. 1 Når det gjelder forventet antall, her og ellers i obligen, er det nok med en intuitiv forståelse av begrepet. Det kan formelt deneres som forventningen til den aktuelle stokastiske variabelen (de som har noe bakgrunn i sannsynlighetsregning vil forstå hva som menes med dette). Her kan vi likegodt tenke oss at vi foretar en serie med N eksperimenter, der vi lar en partikkel starte i s j og teller antall ganger partikkelen er innom s i før den absorberes. Hvis a k angir dette antallet for eksperiment nr. k, så vil gjennomsnittet 1 N N k=1 a k konvergere (med sannsynlighet 1) mot et ikke-negativt tall a når N går mot uendelig. Tallet a kan da taes som denisjonen av det forventede antallet i denne situasjon. Hvis vi f.eks. observerer gjennomgående at partikkelen er innom s i en gang i halvparten av eksperimentene og 2 ganger ellers, så blir a =

8 Matrisen B kan beregnes ut fra fundamentalmatrisen N og matrisen R 1 i P, se (2), ved følgende enkle formel: B = R 1 N. Oppgave 7 (NB: denne oppgaven er ikke obligatorisk; den er bare for de som har tid, lyst og interesse!) Begrunn formelen for B ovenfor. Hint: Ved en passende sannsynlighetsbetraktning kan du først forklare at b ij = n m k 0 l=1 (R 1) il (Q k ) lj. Bytt så rekkefølgen på summasjonene (dette får du lov å gjøre uten å begrunne at det faktisk er lov her). 3 Tennis Til slutt skal vi bruke resultatene over til å analysere en viktig situasjon i tennis (du behøver ikke kunne noe om tennis!). Tellingen i tennis kan virke komplisert, men består i at de to spillerne spiller en rekke games. Litt mer om tellingen, selv om dette ikke er nødvendig for å løse oppgaven, nner du her 2. Vi skal se på en Markov kjede som har med avslutningen av et game å gjøre. La oss tenke oss en kamp mellom Roger Federer (Sveits) og Raphael Nadal (Spania); disse er ranket som henholdsvis nummer 2 og 1 i verden idag. La oss si at de spiller et game der de er kommet til stillingen (som betyr at begge spillerne har vunnet tre ballvekslinger); dette kalles deuce, eller like på norsk. Resten av gamet består i at de spiller ere ballvekslinger (minst to) og at stillingen endrer seg mellom følgende muligheter, som er tilstandene i vår Markov kjede : FW ("Federer wins") : betyr at Federer har vunnet gamet. AF ("advantage Federer") : betyr at Federer har vunnet én ballveksling mer enn Nadal, og hvis Federer også vinner neste, så vinner han gamet. deuce : spillerne har vunnet like mange ballvekslinger. 2 For å vinne kampen må man (normalt) vinne 2 sett, og ett sett består i å vinne 6 game. Imidlertid må man vinne med to games overvekt, men hvis det blir 6-6 i et sett spilles et avgjørende tiebreak (som er et game med fortløpende telling til 7, der man må vinne med minst to poengs overvekt) 8

9 AN ("advantage Nadal") : betyr at Nadal har vunnet én ballveksling mer enn Federer, og hvis Nadal også vinner neste, så vinner han gamet. NW ("Nadal wins") : betyr at Nadal har vunnet gamet. Det er altså 5 tilstander (s 1 = FW, s 2 = AF, s 3 = deuce, s 4 = AN og s 5 = NW). To av dem er absorberende, nemlig FW og NW, for da er gamet over. For enkelhets skyld antar vi at overgangssannsynlighetene mellom disse tilstandene er gitt ved matrisen P fra (1) her også, mao at vi har følgende situasjon: 1 FW 0.7 AF deuce AN 0.35 NW 1 Sannsynlighetene er konstruert med tanke på at det er Roger Federer som har serven i dette gamet. I tennis har man en stor fordel av å ha egen serve. Det kan du se ved at pilene som går mot venstre er representert ved større sannsynligheter enn pilene som går til høyre. Piler som går til venstre representerer ballvekslinger Federer vinner, piler som går til høyre representerer ballvekslinger Nadal vinner. Oppgave 8 a) For hver av stillingene AF, deuce og AN, beregn ved hjelp av Matlab sannsynligheten for at Federer vinner gamet (FW). Hva blir tilsvarende sannsynligheter for Nadal? Merk: Et tilsvarende problem er faktisk gitt som en oppgave i MAT1110. Oppgaven løses der ved å sette opp et passende likningssytem med tre lineære likninger i de tre ukjentene (disse likningene baserer seg på den såkalte loven om total sannsynlighet). Her ber vi deg om å beregne disse tre sannsynlighetene ved hjelp av det du har lært i forrige avsnitt. b) For hver av stillingene AF, deuce og AN, beregn ved hjelp av Matlab det forventede antall ballvekslinger som gjenstår i gamet. Det er forøvrig mange interessante matematiske problemstillinger i tennis, som i de este andre idretter! Noe er kjent eller gjort, men trolig er det mange utfordringer igjen! 9