FORELESNING I STK1130

Transkript

1 FORELESNING I STK30 STEFFEN GRØNNEBERG (STEFFENG@MATHUIONO) Sammendrag Det anbefales at man TEX er den kommende obligen, og her er et lite eksempel på relevant TEX-kode TEX er uten tvil det fremtidige masteroppgaver og STK200/MAT-STK200-prosjekter kommer til å skrives i, så det er lurt å hoppe i det så fort som mulig Her brukes amstex-pakken, som er en macropakke for TEX og L A TEX, og er vanlig å bruke i mange matematiske publikasjoner Temaer for dagen To viktige definisjoner Generatormatriser Innebygde kjeder Klassifikasjon av Markovprosesser 2 To viktige definisjoner Minner om følgende En funksjon f er o() hvis f() 0 altså går f fortere mot null enn = 0, Videre er Kroneckers deltasymbol δ ji =, i = j 0, i j 3 Generatormatriser La Date: March 07, 2007 X = X(t) : 0 t < }

2 2 STEFFEN GRØNNEBERG være en Markovprosess som tar verdier i et diskret (dvs tellbart) indekssett I Feks I = 0,, 2,, N}, I = 0,, 2, }, I = 0,,, 2, 2, }, I = Z 2, I = Q Husk at p ji (t) = P rx(t) = j X(0) = i} er overgangssannsynlighetene for prosessen og P (t) = (p ji (t)) er overgangsmatrisen (av størrelse I I) Mer at p ji er funksjoner! En generatormatrise Q er et slags differensial av P (t) Den er en I I-matrise (q ji ) (av tall!) hvor q ij representerer overgangsintensiteten fra j til i når j i Definisjon Generatormatrisen Q er gitt ved q ji = p p ji () p ji (0) ji(0) = def For å komme til passende generelle resultater gjør vi følgende antagelser Standardantagelser La s, t > 0 a) p ji (t) 0 b) j I p ji(t) = c) k I p jk(s)p ki (t) = p ji (s + t) (Chapman-Kolmogorov) d) p ji er kontinuerlig for t > 0 og p ji(t) = δ ji = t 0 +, i = j 0, i j Teorem 2 Under standardantagelsene finnes Q (hvor diagonalelementene har lov til å være ) Bevis Ikke pensum Bruker noe analyse, men kun definisjonen av sup og inf trengs! Finnes i Karlin & Taylor (98, Chap 4) Merk at definisjonen til p ji (t) gir Anta så i j Har q ji = def p ji(0) = def p ji (0) = δ ji =, i = j 0, i j p ji () p ji (0) = 0 + p ji ()

3 FORELESNING I STK30 3 og q ii = def p ii(0) = def p ii () p ii (0) = 0 + p ii () La i j Merk så at hvis vi definerer r ji () slik at p ji () = q ji + r ji () er det en slags rest Har at r ji () = o() siden som gir p ji () = q ji r ji () r ji () = 0 Altså kan vi gå litt videre med utregningen av q ii Har q ii = 0 + p ii () Hvis = j i p ii () = p ji () = = j i r ji () = o() j i (feks hvis indekssettet I er endelig), får vi altså q ii = j i q ji q ji q ji +r ji () j i j i r ji() 3 Oppsummering Hvis q ii er endelig kan man oppsummere de foregående resultatene ved p ji () = δ ji + q ji + o() fra samme logikk som argumentet der r ji ble brukt (Husk at q ii 0!) Dette gjør det er lett å finne Q hvis fordelingen av en prosess er gitt på infinitdesimalform!

4 4 STEFFEN GRØNNEBERG 32 Eksempel med Poisson-prosessen Har λ + o(), j = i + λ + o(), j = i p ji () = o(), j i + 2 0, ellers Ser at q ii = p ii(0) = e λt t t=0 = λ >, så fra oppsummerende kommentar ser man at λ, i = j q ji = λ, j = i + = ( )δ ji λ (Poenget er at dette ikke blir noe vanskelig når man har en infinitdesimalbeskrivelse av prosessen) 4 Innebygde kjeder En Markovprosess X som tar verdier på en diskret mengde (feks 0,, 2, }) ser typisk slik ut 2 0 W W 2 W 3 Figur En stokastisk prosess X Definér Y n = X(W n ), som er en diskret Markovkjede! (Markovegenskapen overføres fra den kontinuerlige prosessen) Har at W 0 = 0, W n+ = inft W n : X(t) X(W n )} På eksemplet er Y 0 = 0, Y =, Y 2 = 2, Y 3 =

5 FORELESNING I STK30 5 Dette er den innebygde kjeden til X Ved å kjenne simultantettheten til Y n } og W n } kan man svare på alle spørsmål av passende detaljnivå (hvis definisjon krever noe mer matte) Dessuten kan mange spørsmål svares på ved hjelp av Y alene! Altså kan vi overføre kapittel 2-kunnskaper til den nåværende settingen uten avansert matematikk! Eksempel 3 La oss finne overgangsmatrisen til den innebygde kjeden for Poissonprosessen Merk: Poisson-prosessen virker kanskje litt kjedelig, men faktisk kan alle de kontinuerlig-tid Markovprosessene vi skal se på konstueres utifra nettopp denne prosessen Den er den kanoniske Markovprosessen med diskret tilstandsrom og kan generaliseres i mange interessante retninger Siden Poissonprosessen går opp ett og ett skritt etter en viss (endelig!) tid, får vi 0 0 T = 0 Vi gir nå definisjonen av den innebygde kjeden Kaller overgangsmatrisen til den innebygde kjeden T = (t ji ) Først, merk at t ii = 0, qii 0, q ii = 0 fra vår definisjon av den innebygde kjeden (Fra at den kun blir værende i i hvis den tilstanden er absorberende: Husk at q ji tolkes som intensiteter!) Videre lar vi t ji = 0 + p ji () p ii (), motivert fra at p ji ()/( p ii ()) er sannsynligheten for bevege seg fra i til j, betinget på at man beveger seg Dette er videre lik p ji ()/ 0 + (p ii () )/ = q ji q ii Merk at hvis q ii = j i q ji

6 6 STEFFEN GRØNNEBERG er den innebygde kjedens overgangsmatrise T bare en renormalisering av Q for å få den til å bli en stokastisk matrise! Man kan vise at dette er den passende definisjonen, og at man kan gå fra å kjenne fordelingsaspekter til ventetider og den innebygde kjeden til å kjenne fordelingsaspekter til Markovprosessen og den andre veien 5 Klassifikasjon av Markovprosesser Først gis litt grunnleggende definisjoner, så oppsummerer vi resultater for å overføre vår diskret-markovkjede kunnskap til denne settingen helt uten bevis Bevis finnes i Norris (997) og krever ikke veldig mye matte (spesifikt kreves ikke målteori for de aller fleste resultatene) Definisjon 4 En tilstand j I kan nå en tilstand i I, (skriver i j) hvis p ji (t) > 0 for en t 0 To tilstander i, j I kommuniserer hvis i j og j i Skriver i j Kommunikasjonsklasser, irredusiblitet og lukkede klasser er identisk definert som for Markovkjeder når man bytter ut definisjonen av i j med den over Lemma 5 (Teorem 32 i Norris (997) p ji (t) > 0 for alle t > 0 er ekvivalent med at p ji (t) > 0 for en t > 0 Hvis p ji () = δ ji + q ji + o() ser vi at to klasser kommuniserer hvis deres tilhørende tilstander i den innebygde kjeden kommuniserer! Dette gjelder også generelt, selv når p ji ikke kan skrives på den gitte måten La T ii = inft > W, X(t) = i X(0) = i} være første tilbakekomsttid for tilstand i I Hvis P rt ii < X(0) = i} = kalles tilstanden rekurent, ellers er den transient (Merk at dette er en dikotomi!) Teorem 6 En tilstand i i Markovprosessen X er rekurent hvis og bare hvis den er rekurent i den innebygde kjeden Dette medfører at rekurens (og dermed transiens) er en klasseegenskap også for Markovprosesser

7 FORELESNING I STK30 7 Hvis en tilstand er rekurent (dvs har en endelig første tilbakekomst-tid med sannsynlighet ) er vi interessert i om forventet første tilbakekomst-tid er endelig Da forventet lengde til tilbakekomst avhenger av ventetidene, trenger man mer enn kjennskap til den innebygde Markovkjeden Teorem 7 Anta Markovprosessen X er ikke-eksplosiv med overgangsmatrise P (t) = (p ij (t)) og generatormatrise Q Hvis Q er irredusibel og positivt rekurent, vil () p ji (t) =, t q jj µ jj hvor µ ii = E T ii = E [ inft > W, X(t) X(0) = i}] Spesifikt, hvis tilstandsrommet er endelig er prosessen ikke-eksplosiv og grensen i likning () finnes Hvis grensen er positiv er Q irredusibel Merk at per definisjon av den innebygde kjedens overgangsmatrise T har samme redusibilitetsegenskaper som Q, og at man kan lett se om Q er irredusibel ved å tegne opp overgangsdynamikken til den innebygde kjeden Korollar 8 En Markovprosess på et endelig tilstandsrom med en irredusibel generatormatrise er positivt rekurent Referanser Karlin, S & Taylor, H (98) A second course in stochastic processes Academic Press Norris, J R (997) Markov Chains Cambridge University Press