orges teknsk-naturvtenskapelge unverstet Insttutt for matematske fag TMA4265 Stokastske prosesser Våren 2004 Løsnngsforslag - Øvng 6 Oppgaver fra læreboka 4.56 X n Antallet hvte baller urna Trekk tlf. ball og med sans p Erstatt med en hvt -p Erstatt med en svart Fgur : baller totalt a Sannsynlghetsfordelngen tl neste tlstand er fullt t bestemt av antallet hvte baller nåværende tlstand: P r {X n a n X 0 a 0,..., X n a n } P r {X n X n a n } 6. januar 2004 Sde
b Markovkjeden er rekurrent og aperodsk c d 2 P 0. P kk k n p + k P k,k k ( p n P k,k+ k (p n ( p p p 0 p ( p + ( p p...... P p p 0 2 ( p 2 2 p 0 p p Andel td hver tlstand Grensefordelng Stasjonærfordelng ( p p Π 0 Π 0 ( p + Π ( p 2 Π Π 0 p + Π 2 + Π 2( p Π 0 Π + Π 2 Det gr Π 0 ( p 2 Π 2p( p Π 2 p 2 6. januar 2004 Sde 2
e år tden vl hver ball med sannsynlghet P være hvt og sannsynlghet ( P være svart, uavhengg av hverandre. Med baller totalt gr dette bnomsk fordelng: ( Π k P k ( P k k f Kontrollerer at stasjonærfordelngsbetngelsene holder g Defnerer Har at 2 Π k k0 OK Π P k Π k P k,k + Π k P k,k + Π k+ P k+,k 0 ( k ( + k ( + k + p k ( p (k (k p ( k p k ( p k p + k p k+ ( p (k+ (k... ( p ( p [ k ( p + k p + k ( p + k ] ( p k Π k T mn { n : X n } P µ E [ T X 0 ] T ( der T j antall steg for å gå fra j tl j+ geometr. j Dermed blr j T j j, T 0 p k ( p k E[T X 0 ] j j E[T X 0 0] + E[T ] j j j j j 6. januar 2004 Sde 3
Eks. Ma 02, oppg a 0 0.8 0. 0.6 0.2 0.3 0.2 2 0.8 Fgur 2: odeskjema over markovkjeden P {X 2 2 X 0 2} P 2 P 2 + P 22 P 22 0.2 0.3 + 0.8 0.8 0.7 P {X 2, X 2 2, X 3 2, X 4 2 X 0 2} P 2 [ P P P 2 + P P 0 P 02 + P 0 P 0 P 2 ] 0.2 [ 0.6 0.6 0.3 + 0.6 0. 0.2 + 0. 0.8 0.3 ] 0.8 [ 0.08 + 0.02 + 0.024 ] 0.0288 6. januar 2004 Sde 4
b Dersom v ser på overgangsmatrsen eller node-skjemaet, ser v at alle tlstandene kommunserer. Det vl altså s at alle tlstandene er samme ekvvalensklasse (0 2 0. Sden v har endelg mange tlstander, må mnst en tlstand være rekurrent. Vdere, sden v kun har en ekvvalensklasse, må alle tlstandene være rekurrente. Sden P > 0 må d(. V har kun en ekvvalensklasse, så då må d(0 d( d(2. Markovkjeden har en grensefordelng sden den er rredusbel (kun en ekvvalensklasse, postv rekurrent (rekurrent og endelg antall tlstander og aperodsk. π 0 0.π ( π 0.8π 0 + 0.6π + 0.2π 2 (2 π 2 0.2π 0 + 0.3π + 0.8π 2 (3 π 0 + π + π 2 (4 Løser v ( - (4, får v π 0 0.037, π 0.370, π 2 0.593 c La T mn{n > 0 : X n 0} For å fnne tykkelsen av en sone med ren/skfrg sandsten, må v fnne E[T X 0 0]. Dette ford X 0 0 defnerer slutten på en skfersone, mens X T 0 defnerer begynnelsen på en ny. V har at E[T X 0 0] E[T X 0 0], dermed trenger v å regne ut E[T X 0 0]. E[T X 0 0] E[T X 0 0, X ] P [X X 0 0] + E[T X 0 0, X 2] P [X 2 X 0 0] 0.8 (E[T X 0 ] + + 0.2 (E[T X 0 2] + 0.8 ν + 0.2 ν 2 +, der ν E[T X 0 ]. V har altså at ν 0 0.8 ν + 0.2 ν 2 +. (5 Tlsvarende utregnnger for ν og ν 2 gr oss følgende lgnnger ν 0. + 0.6( + ν + 0.3( + ν 2 + 0.6 ν + 0.3 ν 2 (6 ν 2 0.2( + ν + 0.8( + ν 2 + 0.2 ν + 0.8 ν 2 (7 6. januar 2004 Sde 5
Løser v (?? og (?? får v at og Ved å sette ν og ν 2 nn (?? får v ν 2 30 ν 25. ν 0 E[T X 0 0] + 0.8 25 + 0.2 30 27, som betyr at tykkelsen er E[T X 0 0] 27 26 d Algortme: Sett ntalverd X 0 o For, 2, 3,.... Trekk u U[0, ] 2. Dersom u < P X,0 sett X 0 3. Dersom P X,0 u < P X,0 + P X, sett X 4. Dersom u P X,0 + P X, sett X 2 Fra realsasjonen x 0, x, x 2,... fnner man først tykkelsen tl hvert av de smulerte lagene mellom skfer. Det vl s å fnne T, T 2, T 3,.... En realsasjon kan se f.eks. slk ut: 2 0 } {{ 2 2 0} 2}{{ 0} 2} 2{{ 0} } 2{{ 0} 2} {{ 2 2 0} T T 2 T 3 T 4 T 5 Et estmat av P {T d} vl då være gtt som: P {T d} der er antall smulerte lag, og I{ } er ndkatorfunksjonen. I{T d}, (8 En alternatv algortme kan vere å starte mange smulernger på X 0 0 og smulere kun fram tl neste skfer (altså neste X 0. Ved å ta vare på de T -ene man da får, kan man regne ut estmatet (??. Eks. Aug 0, oppg a Sannsynsfordelnga tl antal kuler urna neste tlstand er fullt ut bestemt av antal kuler urna noverande tlstand. Altså: P {X n a n X 0 a 0, X a,..., X n a n } P {X n a n X n a n } 6. januar 2004 Sde 6
b E markovkjede er rredusbel dersom den kun har e ekvvalensklasse, det vl see at alle tlstandane kommunserer med kvarandre. Det er tlfelle for markovkjeda denne oppgåva. Dersom markovkjeda er tlstand n ved tdspunkt t 0, kan den kun komme tlbake tl tlstanden n ved tdspunkta t 0 + 2, t 0 + 4, t 0 + 6,... Det betyr at alle tlstandane markovkjeda har perode 2. Den er altså kkje aperodsk. c Sdan alle tlstandane har perode 2, er det kun tlstandane og 3 som er tlgjengelge på 3 steg frå tlstand 0. V får dermed at: M P0j 3 M + M 2 M 3M 2 for j M 2 M M 2 M M M 2 3M+2 for j 3 M 2 0 ellers d Venstre sde: Høyre sde: ( M P,+ M!!(M! ( /M ( M P +, + M!!(M! M M (M!!(M! M! ( +!(M! + (M! M!(M! V ser at de to sdene er lke. For at en markovkjede skal være tdsreversbel, må lkheten π P j π j P j for alle, j gjelde. La (x 0, x,..., x M være postve slk at π x k0 x k for alle Da vl kravet om reversbltet bl redusert tl π P j π j P j x k0 x k P j for alle, j x j k0 x k P j x P j x j P j for alle, j I vårt tlfelle er det nok at x P,+ x + P +, for alle (9 sden P j 0 ellers. V ser at x ( M oppfyller lgnng (??. 6. januar 2004 Sde 7
e P.g.a. tdsreversbltet må v ha π x k0 x k ( M ( M k0 k ( M 2 M dvs bnomsk(m, /2 fordelng. Intutv tolknng: Etter et stort antall treknnger vl hver kule med sannsynlghet /2 være en av de to urnene, uavhengg av hverandre. f Iflg. vnk ser v først på m n+ E(X n+ X 0 M E(X n+ X 0, X n jp (X n j X 0 j0 M E(X n+ X n jp (X n j X 0 j0 M [(j j M + (j + ( j M ]P n j0 M [ + ( 2 M j]p n j0 + ( 2 M E(X n X 0 j j + ( 2 M mn Løser ved hjelp av rekursjon. For n 0: m 0 M 2 + ( 2 M 0 ( M 2 M 2 + ( M 2, (0 som stemmer med det v forventer. Antar nå at formelen gjelder for n. Skal vse at den også gjelder for n +. m n+ + ( 2 M mn + ( 2 M M 2 + ( 2 M n ( M 2 + ( M 2 + ( 2 M n+ ( M 2 M 2 + ( 2 M n+ ( M 2 6. januar 2004 Sde 8