e) Gjenta b-d for døgnvannføring også (finnes på Hvis

Transkript

1 Oppgave 1: Utfør R-koden på Denne koden skal gi svar på følgende: a Ta en titt på årsvannføringer snitt fra Hølen. b Se på histogram sammen med en normalfordeling med samme snitt forventing og varians som data momentestimat. Se om dataene ser noenlunde normalfordelt ut. c Gjør et QQ-plott for også å sjekke data mot normalfordelingen. d Gjør det samme som i b og c, men bruk lognormalfordelingen i stedet, der log-snitt og logvarians er den samme som i data log-momentestimat. e Gjenta b-d for døgnvannføring også finnes på Hvis konklusjonene blir litt ulike, hva er grunnen?

2 Oppgave : Er forventingsverdien til årsvannføringer fra Hølen 10m 3 /s? a Estimer forventningsverdien. b Sjekk om forventingen er 10m 3 /s ved en t-test tar hensn til usikkerheten i estimert varians. Bruk gjerne 5% signifikansnivå konfidens 95%. c Vis data sammen med konfidensintervallet. Er det en bekmring at såpass masse års-snitt ligger utenfor konfidensintervallet? Er det 95% sannsnlighet for at egentlig forventingsverdi ligger innefor det spesifikke konfidensintervallet? d Kunne vi gjort a-c for døgndata også? e Skal nå foreta samme analse der vi bruker lognormalfordelingen hellers enn normalfordelingen. Kjør en bootstrap-analse som angir 95% konfidensintervall. Hva sier dette om antagelsen forventing=10m 3 /s?

3 Ekstraoppgave 1: Terningsutfall På en kubisk terning er det 1/6 sannsnlighet for hver tpe utfall fra 1 til 6. Ved to terninger, er utfallene antatt uavhengig. a Hva er sannsnligheten for å få et spesifikt utfall på to terninger, f.eks. sannsnligheten for å få 5 på første terning og på andre? b Hva blir da sannsnligheten for å få sum= på de to terningene? Gjenta for sum=3, sum=4, sum=5, sum=6, sum=7, sum=8. c Hva er sannsnligheten for å få sum<=4? d Hva er sannsnligheten for to like? e Hva er sannsnligheten for å få to like og sum<=4? f Hva er sannsnligheten for enten å få sum<=4 eller to like terninger? Du kan bruke svaret fra c, d og e. g Både fra regelen for betinget sannsnlighet og fra listen av utfall der sum<=4, hva blir sannsnligheten for to like gitt sum<=4? h Regn ut sannsnligheten for sum<=4 gitt to like, både fra liste av mulige utfall og fra Baes formel.

4 Ekstraoppgave : På Blindern er det slik at det er 33.9% sjanse for at det regner en dag, hvis det regnet gårsdagen, og 1.9% sjanse for at det regner en dag hvis det ikke regnet gårsdagen. PS: Antar stasjonaritet, altså at alle sannsnligheter er de samme uavhengig av tidspunkt, under de samme forutsetningene. a Hva er sannsnligheten for at det regner en tilfeldig dag? I.e. hva er marginalsannsnligheten for regn? Tips: Pregn i dag=pregn i dag og regn i går+pregn i dag men ikke i går. b Hvorfor er sjansen for at det regnet i går gitt at det regner i dag også 33.9%? Tips: Baes formel

5 Ekstraoppgave 3 betingete sannsnligheter Hobbitun-rådet har avgjort at man skal ekspandere hobbit-landen vestover. Dessverre viser det seg at landene vestover er infisert av drager! Av de 10km10km arealene som er studert så langt, var 70% av dem drage-infisert. En standard-protokoll for område-undersøkelse ble lagt. Et standardisert testområde av mindre størrelse, inne i området man undersøker, blir finkjemmet av feltbiologer. Hobbitun biologiske avdeling har funnet at sannsnligheten for å finne drager i et testområde hvis området det er i er infisert av drager, er 50% Hvis det ikke er noen drage i området, blir det selvfølgelig ingen deteksjon i testområdet. Dragon Here be dragons?? Hobbit o dragons

6 Ekstraoppgave 3 forts. Modell: Områdets drage-status L Sanns. for drage detektert i testområde D Hva er marginal sannsnlighet for å finne en drage, hvis du ikke vet om området er infisert eller ikke? eller Hint: Loven om total sannsnlighet Vis med Baes formel at sannsnligheten for å at et område er infisert av drager, gitt at du fant en drage i testområdet, er 100%. Drager i området Drager funnet Ingen drager Drager funnet og er i området Finn sannsnligheten for at det er drager i området gitt at du ikke fant noen. Kunne du forvente at sannsnligheten minsket fra originalsannsnligheten 70% selv uten å vite deteksjonssannsnligheten? Drager i området Drager funnet Ingen drager Drager i området Ingen drager

7 Oppgave 3: Uavhengighet, Markov-kjeder og nedbør på Blindern Skal sjekke om tersklet døgnnedbøren på Blindern er uavhengig eller ikke. Alternativet er at den er en Markov-kjede. Angir nedbørstilstanden 0 eller 1 med i, der i angir dagen. Siden vi trenger å betinge på foregående tilstand setter vi til side den første tilstanden som 0. Antall dager bortsett fra dette betegnes n. ull-hpotese: edbørstilstanden 0 eller 1 er uavhengig fra dag til dag. Vi kan derfor spesifisere modellen med en parameter, p=sannsnligheten for regn en dag. Sannsnligheten for en gitt kombinasjon slike tilstander er da k nk P 1,, der k=antall dager med regn. Dette blir altså n p 1 p likelihood en til denne modellen. ML-estimatet til p blir da kan også tas direkte fra store talls lov: p ˆ k / n Alternativ hpotese: edbørstilstanden 0 eller 1 er en Markov-kjede. Har en overgangssannsnlighet fra ikke nedbør til nedbør på p R og en sannsnlighet for å at det regner neste dag hvis det regner nå på p RR. De to andre sannsnligheten er bare negasjonen av de foregående. Sannsnligheten for 1-p RR en gitt kombinasjon av tilstander er da: P 1,, n kr nr kr k p 1 p p 1 p RR RR R der k R og n R er antall regndager og dager totalt der det regnet foregående dag, og k og n er tilsvarende der det ikke regnet foregående dag. ML-estimatet på de to parametrene blir da p ˆ k / n, pˆ k / n RR R R R R n k p RR R p R 1-p R

8 Oppgave 3: Uavhengighet, Markov-kjeder og nedbør på Blindern forts. Skal sjekke om tersklet døgnnedbøren på Blindern er uavhengig eller ikke. Kode: Data: a For Blindern-data, hva blir estimatet på p null-hpotese og p R og p RR alternativ hpotese. Hvordan ser det ut til at sammenhengen mellom regn en dag og den neste er? b Fra ekstraoppgave a har man at marginalfordelingen for regn gitt p R og p RR alternativ hpotese er p =p R /1-p RR +p R vis evt. det. Sammenlign dette med p fra null-hpotesen. c Likelihood-ratio testen sjekker opp en mer avansert modell mot en nullhpotese ved: l der l a og l 0 er logaritmen av maksimal a l0 ~ k likelihood for alternativ og null-hpotese henholdsvis og er den såkalte kji-kvadratfordelingen fordelingen til kvadratet av noe standard normalfordelt og k er forskjellen i antall parametre. Beregn p-verdien og sjekk om man kan forkaste uavhengighet med 95% konfidens. I.e. er regntilstanden på Blindern uavhengig fra dag til dag? d Anta at ML-estimatorene for p R og p RR er ca normalfordelt asmptotisk teori og var p ˆ RR prr 1 prr / nrog tilsvarende for p R. Hva blir da 95% konfidensintervall for disse to parametrene? e Kjør parametrisk bootstrap for å se usikkerheten 95% konfidensintervall i p null-hpotese og p Markov-kjede. Sammenlign 95% konfidensintervall for p fra bootstrap og metodikken i d. 1-p RR p RR R p R 1-p R

9 Oppgave 4: Medisinsk eksempel oversatt til språkbruken i Baesiansk statistikk. Her må man oversette sannsnlighetstettheter tilbake til sannsnligheter og integral til summer. Det er 0.1% av befolkningen som har en gitt skdom. En test gir alltid positivt utslag hvis du har skdommen men kun 1% sannsnlighet for positivt utslag hvis du ikke har den. a Hva er a priori-fordelingen? b Hva er likelihood en for ulike utfall? c Beskriv og beregn via loven om total sannsnlighet a priori prediksjonsfordeling marginalfordeling. d Hva blir a posteriori-fordelingen, gitt positiv test eller negativ test? e Øvelse i avledet størrelse risikoanalse: Samfunnskostnaden K ved en helbredende operasjon er kr, mens ntte-effekten er kr hvis man er sk, 0kr hvis man er frisk. Hvis man har testet positiv, er det da samfunnssnttig å starte en operasjon med en gang? Beregn forventet samfunnsntte, E-K positiv test. f Den første testen var positiv. Hva blir a posteriori prediksjonsfordeling for en n test nå? g En n test foretas og gir også positivt utfall. Hva blir nå a posteriori sannsnlighet for at man er sk? Lønner det seg nå å foreta operasjonen?

10 Oppgave 5: Forventingsverdien til årsvannføringer fra Hølen Baesiansk analse Antar at data er normalfordelt. Har en vag men informativ prior for vannføringsforventningen, 0 ==10, se slide Antar vi kjenner =.83. Minner om formlene når alt er normalt: Likelihood: A priorifordeling, velger: A posteriori-fordeling: /, ~, n f, ~ 0 f, / /, / / ~ 0 n n n n f a Hvordan blir a posteriorifordelingen i dette tilfelle? Estimer vannføringsforventningen fra dette. Er dette veldig forskjellig fra det du fikk i oppgave 5a? b Lag et 95% troverdighetsintervall for vannførings-forventningen Tips: 95% av sannsnlighetsmassen befinner seg innenfor +/-1.96 standardavvik fra forventningsverdien i en normalfordeling. Ble dette me forskjellig fra 5b? Kan du fra dette konkludere noe angående antagelsen vannføringsforventning=10m 3 /s.

11 Oppgave 5 forts: Forventingsverdien til årsvannføringer fra Hølen Baesiansk analse Antar at data er normalfordelt. Har en vag men informativ prior for vannførings-forventningen, 0 ==10, se slide Antar vi kjenner =.83. Marginal sanns.-tetthet: f ~ 0, / n c Skal nå teste antagelsen vannførings-forventning=10m 3 /s Baesiansk. Sammenlign marginalsannsnlighetstettheten for de data vi fikk vs sannsnlighetstettheten når =10. Hva antder dette? d Skal nå bruke resultatet fra c til å regne på modellsannsnligheter. Modell 0 har =10 mens modell 1 er slik som spesifisert ovenfor. f D M Pr M Bruk Pr M D f D M ' Pr M ' og anta at a priori-sannsnligheten for hver modell er 50%. Hva blir konklusjonen? e Lag et plott over marginalfordelingen gitt ulike utfall og sammenlign med sannsnlighetstettheten nå =10 likelihood under modell 0. Hva sier dette om hvilke utfall som ville være evidens for modell 0 og 1?

12 Oppgave 6: Gjentaksanalse for bestemt nivå i kontinuerlig tid. Skal se på faren for å overgå en spesifikk vannførings-verdi. Stasjonen Grta har hatt vannføring>1.5m 3 /s =7 ganger i løpet av t=44 år. Antar slike hendelser foregår uavhengig i tid. Altså at antall hendelser innefor en tidsperiode er Poissonfordelt. Bruker gjentaks-intervall, T, som parameter i denne fordelingen. år man har data over en tidsperiode t, vil sannsnligheten for hendelser bli: L T P hendelser i løpet av tid Denne likelihood en maksimeres med optimerings-erfaring, vis dette. a Hva blir ML-estimatet? t T t / T! b Fra asmptotisk teori har man som nevnt at ˆ ~,I -1. For de med analtisk Bruk dette til å konstruere et 95% konfidensintervall når det opplses at I T t / T 3 og at normalfordelingen har 95% av sannsnlighetsmassen innenfor +/-1.96 standardavvik Sett in ML-estimatet for T. e t / T Tˆ l der I E er Fisher's informasjonsmatrise. t

13 Oppgave 7: Baesiansk gjentaksanalse for bestemt nivå i kontinuerlig tid. Skal se på faren for å overgå en spesifikk vannførings-verdi. Antar slike hendelser foregår uavhengig i tid. Altså at antall hendelser innefor en tidsperiode er Poissonfordelt. Bruker gjentaks-intervall, T, som parameter i denne fordelingen. Da får vi Antar invers-gamma-fordeling siden det er matematisk behagelig å gjøre det for gjentaksintervallet Får da at marginalfordelingen blir: dette er den såkalte negativ binomiske fordelingen. T t e T t T t P /! / tid løpet av hendelser i T e T T f / 1 t t p p p t P der 1 1 tid løpet av hendelser i

14 Oppgave 7 forts.: Kode finnes på t / T t / T P hendelser i løpet av tid t T e! 1 P hendelser i løpet av tid t p 1 p f T T t der p t Stasjonen Grta har hatt vannføring>1.5m 3 /s =7 ganger i løpet av t=44 år. a Plott a priori-fordeling og marginalfordeling hvis du bruker ==1 som førkunnskap. b Hva blir det generelle uttrkket for a posteriori-fordelingen til T? Plott den for Grta for ==1 sammen med a priori-fordelingen. Forsøk også ==0.5 og til og med ==0 ikkeinformativt. Ble det noen stor forskjell i a posteriori-fordelingen? Sammenlign med klassisk estimat: T ML =t/=1.63 år. c Finn 95% troverdighetsintervall ved å finne.5%- og 97.5%-kvantilen til a posteriorifordelingen, når prioren ==1 brukes. R-tips:.5%-kvantilen til inverse-gamme-fordelingen er en over 97.5%-kvantilen til gammafordelingen og vise versa. Sammenlign med 95% konfidensintervall i oppgave 4. d Kan du finne prediksjons-fordelingen til antall ne flommer på Grta de neste hundre år? Plott i så tilfelle denne. Sammenlign med Poisson-fordeling hvis man tar ML-parameteren for gitt. Hvorfor er sistnevnte fordeling skarpere enn den Baesianske prediksjonsfordelingen? e Kjør en enkel MCMC-algoritme fra a posteriori-fordelingen. Se etter når trekningen stabiliserer seg burn-in og hvor mange trekninger som trenges før du få en trekning som er ca. uavhengig spacing. f Hent 1000 uavhengige trekninger etter burn-in. Sammenlign med teoretisk a posteriorifordeling histogram og qq-plott. g Foreta n MCMC-trekning men bruk nå a priori som er ft=lognormal=0,=. Dette kan ikke løses analtisk. Sammenlign med de trekningene du fikk i d. 1 e / T

15 Oppgave 8: Ekstremverdi-analse på Bulken rundt 10 år med data. Kode: Data: : Skal bruke Gumbel-fordelingen som fordelings-kandidat her: f, 1 e / e / a Foreta et ekstremplott, det vil si sorter vannføringene og plott dem mot estimert n 0.1 gjentakintervall t i i der n er antall år og i er en løpe-indeks fra n til b Foreta en ekstremverditilpasning via første to l-momenter, 1 og. Ekstra: Sammenlign med det du får fra DAGUT. Parameterne forholder seg til l- momentene som = /log, = Estimater for 1 og fås som n n Sorterte data ˆ 1 ˆ 1 j, j 1 n j n j1 n n 1 j1 1 c Plott flomstørrelse som funksjon av gjentaksintervall gitt l-moment-estimatene sammen med data a. d Foreta ML-estimering av parameterne. e Plott flomstørrelse som funksjon av gjentaksintervall gitt ML-estimatene. f Foreta Baesiansk analse med flat prior. Foreta 1000 MCMC-trekninger burnin=1000, spacing=10. Sammenlign. Se på usikkerheten i parametrene fordelingen av parametre gitt data, a posteriorifordelingen altså. Se også på forløpet til trekningene. Har kjeden stabilisert seg er burn-in lang nok og er det avhengighet i trekningene kunne spacing med fordel settes høere? g Bruk også prediksjonsfordelingen altså der du tar parameterusikkerheten med i betraktningen til å foreta samme plott som i a, c og e. j

16 Oppgave 9: Ekstremverdi-analse på Bulken 10 år med data. Kode: Data: Ekstrakode: Skal bruke GEV-fordelingen som fordelings-kandidat her: 1 1 1/ f,, 1 e a Foreta ML-estimering av parameterne. Start med optimeringen fra tilfeldige start-parametre standardnormalfordelt. Gjør dette multiple ganger for å finne den globalt maksimale likelihood en. Plott ekstremverdier og tilpasning. b La t være en tids-indikator som løper fra 1:10. Tilpass via ML en modell der hver av parametrene i tur er lineært tidsavhengig, for eksempel om t= 0 + t. c Bruk AIC=-*logma likelihood+s*k, der k=antall parametre, til å avgjøre hvilken av modellene som er best, den uten tidsavhengighet eller en av de tre med. Den beste modellen er den med minst AIC. d Foreta Baesiansk analse på originalmodellen. Denne gangen ikke med flat prior, men der ~log3.89, 1.7, ~log.64,1.74, ~0.035, 0.3 Et estimat på naturens prior hentet fra et sett med ML-estimat for ulike stasjoner. Foreta 1000 MCMC-trekninger burnin=10000, spacing=100. Denne gangen kan en ferdig-rutine for MCMC brukes. Sjekk trekningene, er de ok? Hva er spredningenusikkerheten til parameterne? Sammenlign med a. e Gjør det samme for den beste av de tre modellene med tidsavhengige parametre. Sammenlign spredningene til parametrene med spredningen i nullmodellen. Se også på spredningen i tidsregresjonskoeffisienten og bruk dette til å diskuter modellen =0. Beregne a posteriori modellsannsnlighet for null-modell vs tidsavhengig modell når vi anta Ptidsavhengighet=50%. marginalfordelingen beregnes via en ferdiglagd importance-sampling-rutine. Har man fått evidens for tidsavhengig modell? f Her har den beste tidsavhengige modellen blitt brukt som en stand-in for summen av tre ulike modeller. De to andre var ifølge AIC ikke spesielt bra og man kan regne med at Baesiansk metodikk vil replikere dette. Hvis man tar hensn til dette, og gir den beste tidsavhengige modellen a priori-sannsnlighet 50/3%, hva blir da a posteriori-sannsnligheten? Er det overbevisende evidens man har fått? 1/

17 Oppgave 10: Skal nå kjøre ARMA-tilpasning av døgndata fra Hølen. Kode: a Plott data b De-trend fjern lineær tids-trend og sesongvariasjon. c Se på autokorrelsjon og partiell autokorrelasjon. d Tilpass en AR1-modell PS: pacf antder at AR er bedre. Se om estimert parameter er lik noe du så i 13c. e Lag analtiske plott av residualene. Hva sier de? f Forsøk så med en ARMA1,1-modell. Se igjen på residualene. Hva sier de nå?

18 Oppgave 11: Bruk av Kalman-filter til å interpolere over hull på Farstad stasjon, år Skal bruke enkleste tpe Markov-kjede, tilfeldig gange eller mer nøaktig, Wiener-prosess. Dataene er har varierende tidsoppløsning og blir log-transformert før analsen foretas. Oppdaterings-formelen sstemligningen er i i 1 ~ i 1, t i t i 1 Observasjonsligningen er i i ~ i, Total kun to parametre, med andre ord, og. Kode: Data: a Plott data. Serien har et umarkert hull i månedskiftet mai-juni som må markeres. I tillegg, lag kunstige hull: :00: :00: :00: :00: :00: :00: :00: :00: :00: :00:00 Plott data i hullene sammen med resterende data. b Ta en titt på det implementerte Kalman-filteret og sammenlign med beskrivelsen i kurset. c Kjør en ML-optimering og sjekk resultatene. Hva kan sies om observasjonsparameteren? d Foreta en Kalman-glatting med ML-estimerte parametre. Se på total-resultatet. e Sjekk hvordan interpoleringen har fungert i hullene. Hva slags interpolasjon er dette på log-skala? Hva får man ut her i tillegg til interpolasjonen? f Kritiser modellen og se om du skjønner hvorfor tilpasningen og usikkerhetene blir slik de blir. Om du er i det kreative hjørnet, prøv å foreslå bedre modeller.

19 Oppgave 1: Bruk av Kalman-filter til å interpolere over hull på stasjonene Etna og Hølervatn, Dataene er har ekvidistant tidsoppløsning døgn og blir log-transformert før analsen foretas. Skal bruke en - dimensjonal AR1-prosess så den har en stasjonær tilstand, krsskorrelert stø slik at kompletering blir mulig lik autokorrelasjon og varians, men individuell forventing og sesong-variasjoner i denne forventningen som antas lik for de to seriene. Oppdaterings-formelen sstemligningen er i der i1 ~ a i1 e S t h S 1 a t, 1 1 sin t / 365 C1cost / 365 sin t / 365 C1cost / 365 Observasjonsligningen er i, e/ h i, e/ h ~ i,, e / h Total åtte parametre, med andre ord: a, e h,,,s 1,C 1 og. Kode: Data: a Plott data. Lag kunstige hull spesifisert i T-koden. Plott data i hullene sammen med resterende data b Ta en titt på det implementerte Kalman-filteret og sammenlign med beskrivelsen i kurset. c Kjør en ML-optimering og sjekk resultatene. Hva vil autokorrelasjonen her ha å si? Hva har krsskorrelasjonen å si? d Foreta en Kalman-glatting med ML-estimerte parametre. Se på total-resultatet. e Sjekk hvordan kompletteringen har fungert i hullene. Hva skjer når begge stasjonene har hull samtidig? Et par kompletteringer ser ut til å fungere mindre bra. Hvorfor? f Sjekk om krsskorrelasjonen er null altså at det ikke er grunn til å kompletere, via likelihoodratio-testen. og