4.9 Anvendelser: Markovkjeder

Transkript

1 4.9 Anvendelser: Markovkjeder Markov kjeder er en spesiell type diskret dynamisk system. Stokastisk modell: grunnleggende i sannsynlighetsregning. Vinner av Abelprisen 2007, S. Varadhan, jobber i dette feltet! Brukes bl.a. i finans, fysikk, biologi, økonomi, demografiske modeller (populasjonsmodeller),... Les om Andrey Markov ( ) (og Markov chains) på f.eks. Wikipedia, eller MacTutor Hist. of Mathematics Lære mer om Markovkjeder: stokastiske prosesser STK Modellering av 1 / 12

2 Eksempel: Markovkjede en gruppe videregående skole elever vandrer på nettet bare tre nettsider er tilgjengelige, nemlig uio.no, ntnu.no og vg.no. i hvert tidskritt bytter noen nettsider med følgende andeler: Fra: uio.no ntnu.no vg.no uio.no Til: ntnu.no vg.no Vi starter med jevn fordeling på sidene x = ( 1 3, 1 3, 1 3 ). Hvordan blir fordelingen etterhvert? Matlab eksempel Overgangsmatrisen: P = / 12

3 Eksempel: Populasjonsmodell. Land inndelt i n områder. Tilstandsvektor x IR n der x i angir andelen som bor i område i (i n). Da er komponentene ikkenegative og j x j = 1. En slik vektor kalles ofte en stokastisk vektor. Antar at hvert år (eller ved angitt tidspunkt) vil en viss andel flytte fra en region til en annen region. Dette beskrives ved andeler (sannsynligheter). p ij er andelen av befolkningen i region j som flytter til region i i løpet av ett år. Vi antar at denne andelen er den samme for hvert år. 3 / 12

4 En matrise kalles (kolonne)stokastisk dersom den er komponentvis ikkenegativ og hver kolonnesum er lik 1, dvs. hver kolonne er en stokastisk vektor. Slike matriser kalles også Markovmatriser. En liten Markovmatrise: P 1 = [ Og en litt større Markovmatrise: P 2 = Brukes i sannsynlighetsregning: Markov kjede, p ij er da overgangssannsynlighet fra tilstand j til tilstand i. Tavle: forklar tilfeldig vandring på 1, 2,..., 5 ut fra P 2. ] 4 / 12

5 Tilbake til populasjonsmodell: Hvis x k er tilstandsvektor ved starten av tidsperiode k, så blir tilstandsvektor ved neste periode k + 1 gitt ved x k+1 = Px k Eks. Hvis x 0 = (0.5, 0.5) og P er som foran, så blir [ ] [ ] [ x 1 = Px 0 = = som gir fordelingen etter 1 år. ] 5 / 12

6 Hva skjer langt fram i tid? x k = Px k 1 = P(Px k 2 ) = P 2 x k 2 = = P k x 0 Så den asymptotiske fordelingen blir bestemt av matrisen P k. Elementet i posisjon (i, j) i denne matrisen P k kan tolkes som sannsynligheten for at en person flytter fra region j til region i i løpet av k tidsperioder. P k er også en stokastisk matrise. Oppgave: vis at produktet av to stokastiske matriser er en stokastisk matrise. I Matlab skriver man bare x=p x i en for-løkke. I eksemplet foran får vi konvergens etter 5 iterasjoner og x = (0.5714, ). Matlab demo! 6 / 12

7 Definisjon. Hvis P er en stokastisk matrise og q er en stokastisk vektor slik at q = Pq så kalles q en likevektsvektor (equilibrium, steady-state, stasjonær fordeling). Perron-Frobenius teori for ikkenegative matriser. Teorem: Enhver stokastisk matrise har en likevektsvektor. Skal senere knytte dette til egenvektorer (som behandles i neste kapittel). Vi kan finne en likevektsvektor ved å løse det lineære likningssystemet. (P I )x = O 7 / 12

8 Numerisk (for store matriser) finner man gjerne likevektsvektor ved iterasjonen x=p x. Men det er da viktig å utnytte sparsity i matrisen. I stor-skala problemer representeres matrisen ved en rettet graf, og matrisemultiplikasjonen effektiviseres betydelig. Samme type beregning ligger bak Google og PageRank algoritmen! Faktisk, hele forretningsidéen var her å tenke på weben som en Markovkjede og basere rangering på beregning av en likevektsvektor. 8 / 12

9 Definisjon. En stokastisk matrise P kalles regulær dersom, for en viss k, er alle elementene i P k positive. I så fall vil alle elementene være positive også i P k+1, P k+2,.... Dette svarer til at man kan komme seg fra enhver tilstand til enhver annen tilstand ved passende mange tilstandsoverganger. F.eks. hvis p ij > 0 for alle i, j, så er P regulær. TEOREM 18. Hvis P er en regulær stokastisk matrise, så har P en entydig likevektsvektor q. Videre, hvis x 0 er en vilkårlig startvektor og x k+1 = Px k for k = 0, 1,..., så vil Markovkjeden {x k } konvergere mot q når k. 9 / 12

10 Oppgave : La S = [ ]. a Forklar hvorfor x = (x 1, x 2,..., x n ) R n er en stokastisk vektor (sannsynlighetsvektor) hvis og bare hvis x i 0 for alle i og Sx = 1. Hvis x er stokastisk, er j x j = 1 og derfor Sx = n i=1 1 x i = n i=1 x i = 1. Omvendt (ved samme regning): hvis Sx = 1, er j x j = 1. b La P være en n n stokastisk matrise. Forklar hvorfor SP = S. La p j være j te kolonne i P; dette er en stokastisk vektor. Da er ved matrisemultiplikasjon (og ut fra a)) SP = S [ p 1 p 2 p n ] = [ Sp 1 Sp 2 Sp n ] = [ ] = S 10 / 12

11 Oppgave , forts. c La P være en n n stokastisk matrise, og la x være en stokastisk vektor. Vis at Px også er en stokastisk vektor. Klart at Px er (komponentvis) ikkenegativ fordi både P og x er det. Videre er (ved b)) S(Px) = (SP)x = Sx = 1 så (ved a)) er da Px en stokastisk vektor. Denne oppgaven viser at regning med matriser, og bruk av matrisealgebra, kan være enklere enn å regne på komponentform. 11 / 12

12 Ekstraoppgave: La a 1, a 2,..., a n IR og betrakt n n matrisen 0 a a 2 0 A = a n 1 a n Når er A invertibel (dette avhenger av a i -ene)? Og, i så fall, hva er den inverse til A? (Hint: se på AB = I ) NESTE KAPITTEL: egenverdier og egenvektorer! 12 / 12