Innleveringsfrist MAT20 Obligatorisk oppgave av 2 Torsdag 20. september 208, klokken 4:30 i Devilry (devilry.ifi.uio.no). Instruksjoner Du velger selv om du skriver besvarelsen for hånd og scanner besvarelsen eller om du skriver løsningen direkte inn på datamaskin (for eksempel ved bruk av L A TEX). Besvarelsen skal leveres som én PDF-fil. Scannede ark må være godt lesbare. Besvarelsen skal inneholde navn, emne og oblignummer. Oppgavesettet består av tilsammen ni oppgaver/deloppgaver. For å få godkjent Oblig kan høyst ett av disse ni punktene leveres blankt og minst seks av de ni punktene må være besvart på en tilfredstillende måte. Det forventes at man har en klar og ryddig besvarelse med tydelige begrunnelser. Husk å inkludere alle relevante plott og figurer. Studenter som ikke får sin opprinnelige besvarelse godkjent, men som har gjort et reelt forsøk på å løse oppgavene, vil få én mulighet til å levere en revidert besvarelse. Samarbeid og alle slags hjelpemidler er tillatt, men den innleverte besvarelsen skal være skrevet av deg og reflektere din forståelse av stoffet. Er vi i tvil om du virkelig har forstått det du har levert inn, kan vi be deg om en muntlig redegjørelse. I oppgaver der du blir bedt om å programmere må du legge ved programkoden og levere den sammen med resten av besvarelsen. Det er viktig at programkoden du leverer inneholder et kjøreeksempel, slik at det er lett å se hvilket resultat programmet gir. Det vil bli lagt vekt på at Matlab-delene i oppgavesettet er rimelig godt besvart. Det er tillatt å bruke Python i stedet for Matlab, men husk at det vil kunne bli stilt spørsmål som krever kjennskap til Matlab ved slutteksamen. Søknad om utsettelse av innleveringsfrist Hvis du blir syk eller av andre grunner trenger å søke om utsettelse av innleveringsfristen, må du ta kontakt med studieadministrasjonen ved Matematisk institutt (e-post: studieinfo@math.uio.no) i god tid før innleveringsfristen. For å få adgang til avsluttende eksamen i dette emnet, må man bestå alle obligatoriske oppgaver i ett og samme semester. For fullstendige retningslinjer for innlevering av obligatoriske oppgaver, se her: www.uio.no/studier/admin/obligatoriske-aktiviteter/mn-math-oblig.html LYKKE TIL!
Om Markov kjeder og absorpsjonssannsynligheter Avsnitt 4.9 i læreboka gir en innføring i Markov kjeder. Vi minner om at en Markov kjede i R n er en følge av sannsynlighetsvektorer x 0, x, x 2,... i R n som er slik at x k+ = P x k, k = 0,, 2,... der P er en n n stokastisk matrise. Vi har da at x k = P k x 0 for alle k = 0,, 2,... Husk her at P 0 = I n (= n n identitetsmatrisen). Markov kjeder brukes ofte til å modellere tilfeldige prosesser med diskret tidsskala. Anta at vi studerer et system som kan veksle mellom et endelig antall tilstander, la oss si n. Hva som menes med tilstander i en konkret situasjon er gjerne en del av selve modelleringen av systemet. Er det f.eks. været i Oslo vi ønsker å modellere som en tilfeldig prosess kan vi innskrenke oss til en grov inndeling i tre tilstander (f.eks. sol, skyet og regn), eller vi kan innføre flere tilstander (f.eks. sol, delvis skyet, jevnt overskyet, periodevis regn, regn). Vi tenker oss at overgang mellom tilstander skjer ved tidspunktene, 2,... og styres i henhold til bestemte sannsynligheter (som gjerne anslås ved eksperimenter). Vi antar her at disse sannsynlighetene ikke forandrer seg med tiden (i mer naturtro modeller vil disse ofte gjøre det). Mengden S = {s, s 2,..., s n } av alle de n ulike tilstandene systemet kan være i kalles gjerne tilstandsrommet til systemet. Sannsynligheten for at systemet går fra tilstand s j til tilstand s i i ett tidsskritt angis ved et tall p ij i intervallet [0, ]. Disse sannsynlighetene, som kalles overgangssannsynligheter, tilfredstiller da at n i= p ij = for enhver j, slik at n n matrisen P = [p ij ] er en stokastisk matrise. Matrisen P kalles overgangsmatrisen til systemet. Vanligvis er vi gitt en startvektor x 0 R n som er en sannsynlighetsvektor; den i-te komponenten a i til x 0 angir da sannsynligheten for at systemet er i tilstand s i ved starttidspunktet t = 0. Hvis vi f.eks. vet med 00 prosents sikkerhet (altså med sannsynlighet ) at systemet er i tilstand s j for en bestemt j ved t = 0, betyr det at a j =, mens a i = 0 når i j, altså at x 0 = e j (som betegner standardbasisvektor nr. j i R n ). I denne obligen skal vi stort sett tenke oss Markov kjeder der startvektoren er en av e j -ene, dvs at prosessen begynner i en av tilstandene ( starttilstanden ) ved t = 0. Vektoren x = P x 0 blir en ny sannsynlighetsvektor (dette følger av oppgave 4.9.9 i boka). Denne vektoren er slik at dens i-te komponent angir sannsynligheten for at systemet er i tilstand s i ved tidspunktet t =. De neste vektorene i den assosierte Markov kjeden, gitt ved x k+ = P x k, k 0, har en tilsvarende tolkning.
Ofte blir et system som ovenfor fremstilt ved hjelp av en figur som viser alle tilstandene og de positive overgangssannsynlighetene, angitt ved piler. (Vi sløyfer altså pil fra tilstanden s j til tilstanden s i dersom p ij = 0.) Eksempel. La n = 5. Et system er angitt ved følgende figur: s 0.7 s 2 0.3 0.5 s 3 0.5 0.6 s 4 0.4 s 5 Den tilhørende overgangsmatrisen blir P = 0.7 0 0 0 0 0 0.5 0 0 0 0.3 0 0.6 0 0 0 0.5 0 0 0 0 0 0.4 () Her er f.eks. p 32 = 0.3, så sannsynligheten for å gå fra tilstand s 2 til tilstand s 3 i ett tidsskritt er 0.3. Produktet av to overgangssannsynligheter har en naturlig tolk-ning som sannsynligheten for at en bestemt begivenhet inntreffer. Anta f.eks. at prosessen ovenfor starter i tilstand s 3. Hva er da sannsynligheten for at prosessen går slik: s 3 s 2 s i løpet av to tidsskritt? Jo, denne begivenheten har sannsynlighet lik produktet av de to aktuelle overgangssannsynlighetene, nemlig p 2 p 23 = 0.7 0.5 = 0.35. Vi kan her tenke oss at en partikkel starter i s 3, hopper derfra til en tilstand s l med sannsynlighet p l3 ved t =, at den hopper videre derfra til en tilstand s i med sannsynlighet p il ved t = 2, osv. Sannsynligheten for at partikkelen vandrer langs veien s 3 s 2 s i løpet av to tidsskritt (blant alle mulige veier fra s 3 i løpet av to tidsskritt) er da nettopp p 2 p 23 = 0.7 0.5 = 0.35. 2
Vi betrakter igjen et system med tilstandsrom S = {s,..., s n } og overgangsmatrise P = [p ij ]. Vi vil bruke følgende notasjon: hvis k {0,, 2,...} lar vi p (k) ij elementet i posisjon (i, j) i matrisen P k. Elementene i matrisen P k kan også tolkes som sannsynligheter: betegne Elementet p (k) ij angir sannsynligheten for at systemet går fra tilstand s j til tilstand s i i løpet av k tidsskritt. Vi begrunner dette for k = 2. Rad-kolonne-regelen for matriseproduktet P 2 = P P gir at n p (2) ij = p il p lj l= Nå er p il p lj sannsynligheten for å gå fra s j til s l og videre derfra til s i i h.h.v. første og andre tidsskritt. Ved å summere over alle mulige mellomtilstander s l får vi sannsynligheten for å gå fra s j til s i i løpet av 2 tidsskritt. Oppgave. Betrakt systemet med overgangsmatrise P angitt i (). Bruk Matlab til å beregne P k for k {2, 3, 4, 50, 00}. Angi deretter sannsynlighetene for at systemet går fra tilstand s 4 til tilstand s 2 i løpet av henholdsvis 2, 3, 4, 50 og 00 tidsskritt. I avsnitt 4.9 i boka er mye av fokus rettet mot Markov kjeder der overgangsmatrisen er såkalt regulær. Dette skyldes at det slike stokastiske matriser har en entydig bestemt likevektsvektor, som vektorene i enhver Markov kjede vil konvergere mot (se Teorem 8 i avsnitt 4.9). Regularitetet er et sterkt krav, som mange stokastiske matriser ikke oppfyller, noe vi skal se eksempler på i denne obligen. Oppgave 2. La igjen P være den stokastiske matrisen angitt i (). Bestem en basis for Nul(P I 5 ). Begrunn deretter at P ikke er regulær. (Hint: Har P en entydig likevektsvektor?). Kunne du ha konkludert med at P ikke er regulær på grunnlag av beregningene du utførte i Oppgave? 3
Vi går tilbake til et system med tilstandsrom S = {s,..., s n } og overgangsmatrise P = [p ij ]. Betrakt tilstander s j og s i. Dersom p (k) ij > 0 for en k 0 sier vi at tilstand s j leder til tilstand s i og skriver da s j s i. Merk at vi alltid har s j s j (siden p (0) jj = ). At vi har p (k) ij > 0 for en k svarer til at det er en positiv sannsynlighet for å gå fra s j til s i i løpet av k tidsskritt: det finnes da (minst) en vei s j s j s j2 s jk s i der sannsynlighetene p j j, p j2 j,..., p ijk alle er positive. Hvis vi har at s j s i og s i s j, sier vi at s i og s j kommuniserer (med hverandre), og skriver s j s i. Eksempel 2. La n = 3 og betrakt systemet: s 0.7 Her ser vi f.eks. at s 2 s 3, s 2 s og s 3 s, mens s ikke kommuniserer med s 2 og heller ikke med s 3 : det fins jo ingen vei som leder fra s til en annen tilstand (enn s selv). Hvis s k er en tilstand, kalles mengden som består av alle tilstandene i S som kommuniserer med s k for en (kommunikasjons)klasse. Det kan begrunnes at tilstandsrommet S kan alltid oppdeles i et endelig antall parvis disjunkte klasser. I Eksempel 2 er det f.eks. klart at det fins bare to forskjellige klasser, nemlig K = {s } og K 2 = {s 2, s 3 }. En klasse K kalles lukket dersom s j K og s j s i medfører at s i K. Dette betyr at så snart prosessen (tenk på en partikkel som vandrer, som nederst på side 2) kommer inn i klassen K, så vil den aldri komme ut av denne igjen. I Eksempel 2 er K lukket, mens K 2 ikke er lukket (siden vi f.eks. har at s 2 K 2 og s 2 s, samtidig som s K 2 ). Dersom en tilstand s i er slik at {s i } er en lukket klasse kalles s i for en absorberende tilstand (fordi prosessen kommer aldri ut av denne tilstanden hvis den kommer dit en gang). I Eksempel 2 er s absorberende. 4 s 2 0.3 s 3
Oppgave 3. a) Bestem klassene for systemet beskrevet i Eksempel. Angi hvilke klasser som er lukket, og hvilke tilstander som er absorberende. b) Betrakt et system der overgangsmatrisen P er regulær. Begrunn at det fins da bare én klasse, med andre ord at alle tilstandene kommuniserer med hverandre. Gitt en starttilstand s j og en lukket klasse K, kan vi stille oss følgende grunnleggende spørsmål: Hva er sannsynligheten for at prosessen før eller siden havner i K? Vi setter derfor: for j =, 2,..., n. x K j = sannsynligheten for at prosessen før eller siden kommer til en tilstand i K, gitt starttilstand s j (2) Neste oppgave handler om hvordan vi kan bestemme alle disse absorpsjonssannsynlighetene x K j. Det kan nemlig vises at absorpsjonssannsynlighetene oppfyller følgende lineære likningssystem: x K j = for hver s j K x K j = n i= p ij x K i for hver s j K der j n. (De som ønsker det kan forsøke å begrunne dette ut fra elementær sannsynlighetsregning.) Oppgave 4. Betrakt igjen systemet beskrevet i Eksempel. Beregn x K 2 og x K 3 for hver av de lukkede klassene du fant i Oppgave 3 a). Vi skal til slutt se på en mer generell situasjon enn den fra Eksempel. Igjen er tilstandsrommet S = {s, s 2,..., s 5 }, men vi antar nå at systemets overgangsmatrise P er gitt ved P = p 2 0 0 0 0 0 p 3 0 0 0 q 2 0 p 4 0 0 0 q 3 0 0 0 0 0 q 4 der 0 < p i < og q i = p i for i = 2, 3, 4. 5 (3) (4)
Oppgave 5. a) Begrunn at s er en absorberende tilstand. Finnes det andre absorberende tilstander? b) La x j være sannsynligheten for at prosessen før eller siden kommer til tilstand s (med andre ord, at den absorberes i tilstanden s ) når den starter i tilstand s j (j =, 2,..., 5). Videre, la A være 3 3 matrisen gitt ved A = q 2 0 p 3 q 3 0 p 4 Forklar ut fra (3) at vektoren y = (x 2, x 3, x 4 ) (som består av de ikke-trivielle absorpsjonssannsynlighetene) er løsning av systemet A y = b for en viss vektor b R 3 som du skal bestemme. (Hint: Bestem først de trivielle absorpsjonssannsynlighetene x og x 5 ). c) Begrunn at A kan omformes ved hjelp av to elementære radoperasjoner til en øvre triangulær matrise. Forklar deretter hvorfor A er invertibel. Hva kan du si om løsningen til systemet A y = b? d) Lag en Matlab-funksjon Walk som for en inputvektor (p 2, p 3, p 4 ) gjør følgende sjekker at 0 < p j < og beregner q j = p j for j = 2, 3, 4, setter opp matrisen A og vektoren b, løser systemet A y = b og returnerer vektoren y = (x 2, x 3, x 4 ). Kjør programmet med (p 2, p 3, p 4 ) = (0.5, 0.5, 0.35) som inputvektor og rapporter løsningen (x 2, x 3, x 4 ). Legg ved utskrift av koden. Sluttkommentarer: a) Et system med en overgangsmatrise angitt ved (4) kan f.eks. oppstå ved at to personer E og G konkurrerer mot hverandre. Tilstandene s 2, s 3 og s 4 beskriver da at de spiller et bestemt spill for j = 2, 3, 4 (spillene kan være forskjellige), mens tallet p j angir sannsynligheten for at E vinner spillet s j. Videre tolkes tilstanden s som at E har vunnet hele konkurransen, mens s 5 tolkes som at G har vunnet den. Et naturlig valg av starttilstand vil være at de begynner med spill s 3 ; tallet x 3 vil da angi sannsynligheten for at E vinner konkurransen. b) Oppsettet for Oppgave 5 kan generaliseres til situasjonen der tilstandsrommet består av n tilstander og inputvektoren består av sannsynligheter (p 2, p 3,..., p n ). Det overlates til spesielt interesserte å tenke over hvordan Oppgave 5 kan da reformuleres (og løses). 6