Obligatorisk oppgave MAT20 H5 Innleveringsfrist: torsdag 24/09-205, innen kl 4.30. Besvarelsen leveres på Matematisk institutt, 7. etasje i N.H. Abels hus. Husk å bruke forsiden som du finner via hjemmesiden. Dersom du på grunn av sykdom eller andre tungtveiende grunner har behov for å utsette innleveringen, må du i god tid før innleveringsfristen sende søknad til: studieinfo@math.uio.no Husk at sykdom må dokumenteres ved legeattest. Oppgavesettet består av tilsammen 9 oppgaver/deloppgaver. For å få godkjent Oblig kan høyst ett av disse 9 punktene leveres blankt og det må komme klart frem fra din besvarelse at du har gjort et seriøst forsøk på å løse alle de andre punktene. Videre må minst 6 av de 9 punktene være besvart på en tilfredstillende måte, med en ryddig fremstilling og gode begrunnelser. Det vil også bli lagt vekt på at Matlab-delene i oppgavesettet er rimelig godt besvart en besvarelse som viser mangelfulle Matlab-ferdigheter kan bli underkjent selv om den tilfredstiller de andre kravene. Der det står at Matlab skal brukes, må det vedlegges passende utskrifter med kommentarer. Det er tillatt å bruke Python (eller en annen programpakke enn Matlab), men husk at det vil kunne bli stilt spørsmål som kreves kjennskap til Matlab ved slutteksamen. Studenter som ikke får sin opprinnelige besvarelse godkjent, men som har gjort et reelt forsøk på å løse oppgavesettet, vil få en mulighet til å levere en revidert besvarelse. Studenter som ikke får godkjent begge sine besvarelser til Oblig og Oblig 2 vil ikke få adgang til avsluttende eksamen. Det er lov å samarbeide om oppgavene. Men alle må levere sin egen personlige besvarelse og selv ha gjennomført alle Matlabkjøringer. Er vi i tvil om at du virkelig ha forstått det du har levert inn, kan vi be deg om en muntlig redegjørelse. Det vises ellers til regelverket for obligatoriske oppgaver, som du finner via hjemmesiden til emnet.
Om Markov kjeder og absorpsjonssannsynligheter Avsnitt 4.9 i læreboka gir en innføring i Markov kjeder. Vi minner om at en Markov kjede i R n er en følge av sannsynlighetsvektorer x 0, x, x 2,... i R n som er slik at x k+ = P x k, k = 0,, 2,... der P er en n n stokastisk matrise. Vi har da at x k = P k x 0 for alle k = 0,, 2,... Husk her at P 0 = I n (= n n identitetsmatrisen). Markov kjeder brukes ofte til å modellere tilfeldige prosesser med diskret tidsskala. Anta at vi studerer et system som kan veksle mellom et endelig antall tilstander, la oss si n. Hva som menes med tilstander i en konkret situasjon er gjerne en del av selve modelleringen av systemet. Er det f.eks. været i Oslo vi ønsker å modellere som en tilfeldig prosess kan vi innskrenke oss til en grov inndeling i tre tilstander (f.eks. sol, skyet og regn), eller vi kan innføre flere tilstander (f.eks. sol, delvis skyet, jevnt overskyet, periodevis regn, regn). Vi tenker oss at overgang mellom tilstander skjer ved tidspunktene, 2,... og styres i henhold til bestemte sannsynligheter (som gjerne anslås ved eksperimenter). Vi antar her at disse sannsynlighetene ikke forandrer seg med tiden (i mer naturtro modeller vil disse ofte gjøre det). Mengden S = {s, s 2,..., s n } av alle de n ulike tilstandene systemet kan være i kalles gjerne tilstandsrommet til systemet. Sannsynligheten for at systemet går fra tilstand s j til tilstand s i i ett tidsskritt angis ved et tall p ij i intervallet [0, ]. Disse sannsynlighetene, som kalles overgangssannsynligheter, tilfredstiller da at n i= p ij = for enhver j, slik at n n matrisen P = [p ij ] er en stokastisk matrise. Matrisen P kalles overgangsmatrisen til systemet. Vanligvis er vi gitt en startvektor x 0 R n som er en sannsynlighetsvektor; den i-te komponenten a i til x 0 angir da sannsynligheten for at systemet er i tilstand s i ved starttidspunktet t = 0. Hvis vi f.eks. vet med 00 prosents sikkerhet (altså med sannsynlighet ) at systemet er i tilstand s j for en bestemt j ved t = 0, betyr det at a j =, mens a i = 0 når i j, altså at x 0 = e j (som betegner standardbasisvektor nr. j i R n ). I denne obligen skal vi stort sett tenke oss Markov kjeder der startvektoren er en av e j -ene, dvs at prosessen begynner i en av tilstandene ( starttilstanden ) ved t = 0. Vektoren x = P x 0 blir en ny sannsynlighetsvektor (dette følger av oppgave 4.9.9 i boka). Denne vektoren er slik at dens i-te 2
komponent angir sannsynligheten for at systemet er i tilstand s i ved tidspunktet t =. De neste vektorene i den assosierte Markov kjeden, gitt ved x k+ = P x k, k 0, har en tilsvarende tolkning. Ofte blir et system som ovenfor fremstilt ved hjelp av en figur som viser alle tilstandene og de positive overgangssannsynlighetene, angitt ved piler. (Vi sløyfer altså pil fra tilstanden s j til tilstanden s i dersom p ij = 0.) Eksempel. La n = 5. Et system er angitt ved følgende figur: s 0.7 s 2 0.3 0.5 s 3 0.5 0.65 s 4 0.35 s 5 Den tilhørende overgangsmatrisen blir 0.7 0 0 0 0 0 0.5 0 0 P = 0 0.3 0 0.65 0. () 0 0 0.5 0 0 0 0 0 0.35 Her er f.eks. p 32 = 0.3, så sannsynligheten for å gå fra tilstand s 2 til tilstand s 3 i ett tidsskritt er 0.3. Produktet av to overgangssannsynligheter har en naturlig tolkning som sannsynligheten for at en bestemt begivenhet inntreffer. Anta f.eks. at prosessen ovenfor starter i tilstand s 3. Hva er da sannsynligheten for at prosessen går slik: i løpet av to tidsskritt? s 3 s 2 s Jo, denne begivenheten har sannsynlighet lik produktet av de to aktuelle overgangssannsynlighetene, nemlig p 2 p 23 = 0.7 0.5 = 0.35. Vi kan her tenke oss at en partikkel starter i s 3, hopper derfra til en tilstand s l med sannsynlighet p l3 ved t =, at den hopper videre derfra til en tilstand s i med sannsynlighet p il ved t = 2, osv. Sannsynligheten for at partikkelen vandrer langs veien s 3 s 2 s i løpet av to tidsskritt (blant alle mulige veier fra s 3 i løpet av to tidsskritt) er da nettopp p 2 p 23 = 0.7 0.5 = 0.35. 3
Vi betrakter igjen et system med tilstandsrom S = {s,..., s n } og overgangsmatrise P = [p ij ]. Vi vil bruke følgende notasjon: hvis k {0,, 2,...} lar vi p (k) ij betegne elementet i posisjon (i, j) i matrisen P k. Elementene i matrisen P k kan også tolkes som sannsynligheter: Elementet p (k) ij angir sannsynligheten for at systemet går fra tilstand s j til tilstand s i i løpet av k tidsskritt. Vi begrunner dette for k = 2. Rad-kolonne-regelen for matriseproduktet P 2 = P P gir at p (2) ij = n p il p lj l= Nå er p il p lj sannsynligheten for å gå fra s j til s l og videre derfra til s i i h.h.v. første og andre tidsskritt. Ved å summere over alle mulige mellomtilstander s l får vi sannsynligheten for å gå fra s j til s i i løpet av 2 tidsskritt. Oppgave Betrakt systemet med overgangsmatrise P angitt i (). Bruk Matlab til å beregne P k for k {2, 3, 4, 40, 80}. Angi deretter sannsynlighetene for at systemet går fra tilstand s 4 til tilstand s 2 i løpet av henholdsvis 2, 3, 4, 40 og 80 tidsskritt. I avsnitt 4.9 i boka er mye av fokus rettet mot Markov kjeder der overgangsmatrisen er såkalt regulær. Dette skyldes at det slike stokastiske matriser har en entydig bestemt likevektsvektor, som vektorene i enhver Markov kjede vil konvergere mot (se Teorem 8 i avsnitt 4.9). Regularitetet er et sterkt krav, som mange stokastiske matriser ikke oppfyller, noe vi skal se eksempler på i denne obligen. Oppgave 2 La igjen P være den stokastiske matrisen angitt i (). Bestem en basis for Nul(P I 5 ). Begrunn deretter at P ikke er regulær. (Hint: Har P en entydig likevektsvektor?). Kunne du ha konkludert med at P ikke er regulær på grunnlag av beregningene du utførte i Oppgave? Vi går tilbake til et system med tilstandsrom S = {s,..., s n } og overgangsmatrise P = [p ij ]. Betrakt tilstander s j og s i. Dersom p (k) ij > 0 for en k 0 sier vi at tilstand s j leder til tilstand s i og skriver da s j s i. 4
Merk at vi alltid har s j s j (siden p (0) jj = ). At vi har p (k) ij > 0 for en k svarer til at det er en positiv sannsynlighet for å gå fra s j til s i i løpet av k tidsskritt: det finnes da (minst) en vei s j s j s j2 s jk s i der sannsynlighetene p j j, p j2 j,..., p ijk alle er positive. Hvis vi har at s j s i og s i s j, sier vi at s i og s j kommuniserer (med hverandre), og skriver s j s i. Eksempel 2. La n = 3 og betrakt systemet: s 0.7 Her ser vi f.eks. at s 2 s 3, s 2 s og s 3 s, mens s ikke kommuniserer med s 2 og heller ikke med s 3 : det fins jo ingen vei som leder fra s til en annen tilstand (enn s selv). s 2 Hvis s k er en tilstand, kalles mengden som består av alle tilstandene i S som kommuniserer med s k for en (kommunikasjons)klasse. Det kan begrunnes at tilstandsrommet S kan alltid oppdeles i et endelig antall parvis disjunkte klasser. I Eksempel 2 er det f.eks. klart at det fins bare to forskjellige klasser, nemlig K = {s } og K 2 = {s 2, s 3 }. En klasse K kalles lukket dersom s j K og s j s i medfører at s i K. Dette betyr at så snart prosessen (tenk på en partikkel som vandrer, som nederst på side 3) kommer inn i klassen K, så vil den aldri komme ut av denne igjen. I Eksempel 2 er K lukket, mens K 2 ikke er lukket (siden vi f.eks. har at s 2 K 2 og s 2 s, samtidig som s K 2 ). Dersom en tilstand s i er slik at {s i } er en lukket klasse kalles s i for en absorberende tilstand (fordi prosessen kommer aldri ut av denne tilstanden hvis den kommer dit en gang). I Eksempel 2 er s absorberende. Oppgave 3 a) Bestem klassene for systemet beskrevet i Eksempel. Angi hvilke klasser som er lukket, og hvilke tilstander som er absorberende. b) Betrakt et system der overgangsmatrisen P er regulær. Begrunn at det fins da bare én klasse, med andre ord at alle tilstandene kommuniserer med hverandre. 0.3 s 3 5
Gitt en starttilstand s j og en lukket klasse K, kan vi stille oss følgende grunnleggende spørsmål: hva er sannsynligheten for at prosessen før eller siden havner i K? Vi setter derfor: x K j = sannsynligheten for at prosessen før eller siden kommer til en tilstand i K, gitt starttilstand s j (2) for j =, 2,..., n. Neste oppgave handler om hvordan vi kan bestemme alle disse absorpsjonssannsynlighetene x K j. Det kan nemlig vises at absorpsjonssannsynlighetene oppfyller følgende lineære likningssystem: x K j = for hver s j K x K j = n i= p ij x K i for hver s j K der j n. (De som ønsker det kan forsøke å begrunne dette ut fra elementær sannsynlighetsregning.) Oppgave 4 (3) Betrakt igjen systemet beskrevet i Eksempel. Beregn x K 2 og x K 3 for hver av de lukkede klassene du fant i Oppgave 3 a). Vi skal til slutt se på en noe mer generell situasjon enn den fra Eksempel. Igjen er tilstandsrommet S = {s, s 2,..., s 5 }, men vi antar nå at systemets overgangsmatrise P er gitt ved P = p 2 0 0 0 0 0 p 3 0 0 0 q 2 0 p 4 0 0 0 q 3 0 0 0 0 0 q 4 der 0 < p i < og q i = p i for i = 2, 3, 4. Oppgave 5 a) Begrunn at s er en absorberende tilstand. Finnes det andre absorberende tilstander? b) La x j være sannsynligheten for at prosessen før eller siden kommer til tilstand s (med andre ord, at den absorberes i tilstanden s ) når den starter i tilstand s j (j =, 2,..., 5). Videre, la A være 3 3 matrisen gitt ved (4) 6
A = q 2 0 p 3 q 3 0 p 4 Forklar ut fra (3) at vektoren y = (x 2, x 3, x 4 ) (som består av de ikke-trivielle absorpsjonssannsynlighetene) er løsning av systemet A y = b for en viss vektor b R 3 som du skal bestemme. (Hint: Bestem først de trivielle absorpsjonssannsynlighetene x og x 5 ). c) Begrunn at A kan omformes ved hjelp av to elementære radoperasjoner til en øvre triangulær matrise. Forklar deretter hvorfor A er invertibel. Hva kan du si om løsningen til systemet A y = b? d) Lag en Matlab funksjon Walk som for en inputvektor (p 2, p 3, p 4 ) gjør følgende sjekker at 0 < p j < og beregner q j = p j for j = 2, 3, 4, setter opp matrisen A og vektoren b, løser systemet A y = b og returnerer vektoren y = (x 2, x 3, x 4 ). Kjør programmet med (p 2, p 3, p 4 ) = (0.2, 0.5, 0.3) som inputvektor og rapporter løsningen (x 2, x 3, x 4 ). Legg ved utskrift av koden. Sluttkommentarer: a) Et system med en overgangsmatrise angitt ved (4) kan f.eks. oppstå ved at to personer E og G konkurrerer mot hverandre. Tilstandene s 2, s 3 og s 4 beskriver da at de spiller et bestemt spill for j = 2, 3, 4 (spillene kan være forskjellige), mens tallet p j angir sannsynligheten for at E vinner spillet s j. Videre tolkes tilstanden s som at E har vunnet hele konkurransen, mens s 5 tolkes som at G har vunnet den. Et naturlig valg av starttilstand vil være at de begynner med spill s 3 ; tallet x 3 vil da angi sannsynligheten for at E vinner konkurransen. b) Denne oppgaven kan utvides til en enda mer generell situasjon der tilstandsrommet består av n tilstander og inputvektoren består av sannsynligheter (p 2, p 3,..., p n ). Det overlates til spesielt interesserte å tenke over hvordan Oppgave 5 kan da reformuleres (og løses!). Lykke til! 7