Evaluering av Homogenitet i Hydrologiske Tidsserier ved hjelp av Bayesiansk Regresjon

Transkript

1 Evaluerng av Homogentet Hydrologske Tdsserer ved hjelp av Bayesansk Regresjon Trond Retan, Asger Petersen-Øverler R A P P O R T

2 Evaluerng av Homogentet Hydrologske Tdsserer ved hjelp av Bayesansk Regresjon Norges vassdrags- og energdrektorat 005

3 Rapport nr 5-05 Evaluerng av Homogentet Hydrologske Tdsserer ved hjelp av Bayesansk Regresjon Utgtt av: Norges vassdrags- og energdrektorat Redaktør: Forfatter: Trond Retan og Asger Petersen-Øverler Trykk: NVEs hustrykker Opplag: 100 Forsdefoto: ISSN ISBN Emneord: Homogentet, Hydrologske tdsserer, Bayesansk regresjon Norges vassdrags- og energdrektorat Mddelthunsgate 9 Postboks 5091 Majorstua 0301 OSLO Telefon: Telefaks: Internett: Jun 004

4 Innhold Forord... 4 Sammendrag Introduksjon... 6 Bayesansk statstkk En ntroduksjon tl bayesansk statstkk...7. Bayesansk lneær regresjon Modellvalg, Occhams barberblad og regresjon med kke-lneære bdrag 9.4 Bayesansk modell- og responsestmerng Et enkelt eksempel Bruk av Bayesansk regresjon for å undersøke homogentet Modellene selv og praktske hensyn A pror fordelngene Kalkulasjon og vsnng av a posteror sannsynlghet for modeller og modellparametere Vanlg bruk av check homogenety Tolknng av ulke kke-homogene resultater Eksempler på bruk Homogentet Lneær modell Ettsprangs-modell Kvadratsk trend Tosprang-modell Ltt rskoanalyse Mulge utvdelser Konklusjon Takk Referanser... 7

5 Forord Kontroll av hydrologske tdsserer er en essensell del kvaltetsskrngen av den hydrologske produksjonslnjen på NVE. For å realsere dette er det vktg med fleksble og brukervennlge dataverktøy basert på moderne statstske metoder. Frem tl 004 manglet NVE et skkkelg verktøy for å sjekke homogentet en enkelt tdssere uten bruk av en eller flere sammenlgnngsserer. For å bøte på dette ble programmet check homogenety utarbedet. Utvklngen av dette dataprogrammet ble fnansert av NVEs mdler for forsknng og utvklng. Oslo, januar 005 Sven Taksdal avdelngsdrektør 4

6 Sammendrag Bayesansk regresjonsmetodkk blr denne rapporten forsøkt brukt tl å analysere langtdshomogentet tdsserer av vannførng. Programmet check homogenety, som er basert på en slk metodkk, ble mplementert og testet. Rapporterngen, og dermed også analysen, ble bygd opp på en slk måte at det skal være enkelt for en hydrolog å kunne ta en avgjørelse knyttet tl homogenteten tl en sere basert på rapportresultatene. Avgjørelsen baserer seg normal på vurderng av homogentet versus kke-homogenteter som: (1) gldende langtdstrend; eller () sprang modeller for beskrvelse av tdsseren. Data blr hentet nn på årsbass og sannsynlgheter for de ulke modellene blr rapportert. I de fleste kjørnger programmet har bltt testet på, har modellen programmet har ansett som mest sannsynlg vært en modell som ved vsuell nspeksjon av data har sett ut tl å være et rmelg modellvalg. En del eksempler blr gtt tl sst. Det konkluderes med at metodkken fungerer godt og kan tenkes brukt også andre hydrologske sammenhenger. 5

7 1 Introduksjon Dette dokumentet nneholder tankegangen bak programmet check homogenety (heretter kalt CH). Tradsjonelt har DMASS (double-mass) analyse (L. Roald, 1981; WMO, 1994) vært mye benyttet for å teste homogenteten tl hydrologske tdsserer. CH er ment som et alternatv tl DMASS analyser. Tanken bak å lage et nytt program for homogentetstestng på hydrologske data var å teste hvor godt bayesansk regresjon passet tl et program som dette. Det rådende programmet (DMASS) tester kun frekvenststsk om det er sprang forholdet mellom en tdssere og en annen. Det er flere nnvendnger man kan ha tl en slk metodkk. For det første krever det en sammenlgnngssere som man skal føle seg skker på er homogen. For det andre er det slettes kke skkert at de som skal undersøke en tdssere og foreta beslutnngen om den er homogen eller kke, kan forstå en rapport fra en frekventstsk test. Dermed blr bare de masknelle valgene for sgnfkans/kke-sgnfkans brukt, noe som betyr at hydrologens egne erfarnger omkrng seren kke kan benyttes. Dette seg selv ansporet tl bayesansk analyse som rapporterer sannsynlgheter (noe de fleste har et forhold tl) hellers enn p-verder. Vdere var det av nteresse at bayesansk regresjon hadde regelen om sparsommelghet modellene ( Occhams barberblad ) nnebygd. Dette lovet godt for en modellfamle der homogen modell (en statstsk modell med kun en mddelverd og standardavvk) kunne sammenlgnes med mer komplserte modeller. Med bayesanske regresjons modeller er det enkelt å benytte flere ulke modeller, også modeller med gldende stedet for brå forandrnger. Dermed kunne det tenkes at et program med bayesansk regresjon kunne fange opp flere kke-homogenteter enn det en DMASS-analyse kan. Tl sst, de kke-homogene modellene som tas med kan, tllegg tl å være noenlunde utfyllende, også være enkle for en hydrolog å fortolke. I programmet henter man først en årlg statstkk fra en tdssere; eksempelvs medan, maksma, mnma, etc. Det antas at en slk tdsrekke kke har noen auto-korrelasjon, det vl f.eks. s at kjennskap tl årets mdlere vannførng kke gr noen nnskt neste års mdlere vannførng. I kke-homogene modeller trenger tdsrekka dog kke være stasjonær, det vl s at forventet årlg verd kan avhenge av året. For å kunne betrakte kkestasjonartet, må modeller som beskrver slkt eksstere som alternatv tl en modell som er stasjonær (homogen). V benytter oss her av fre ulke kke-stasjonære modeller samt en stasjonær og oppdaterer sannsynlghetene bayesansk for de ulke modellene ut fra data. Rapporten er delt nn fre. Etter ntroduksjonen følger en beskrvelse av bayesansk statstkk med speselt blkk på regresjonsmodeller. Dette kan hoppes over for de som kan dette eller er mer nteressert programmets spesfkke vrkemåte. Deretter følger et kapttel om den spesfkke anvendelsen av teoren som ble benyttet dette programmet samt beskrvelse av grensesntt, før en kommer tl et kapttel omhandlende resultater fra testeksempler. 6

8 Bayesansk statstkk.1 En ntroduksjon tl bayesansk statstkk I bayesansk statstkk beveger man seg mellom å la data anses som stokastske (tlfeldge) gtt modellen og å anse modellen som stokastsk gtt data. Dette blr gjort ved å benytte seg av Bayes formel, som bunn og grunn er å gå fra en betnget sannsynlghet tl en annen; P der ( A B) ( B A) P( A) P( B) = = n = 1 ( B A) P( A) P( B A ) P( A ) P P (1) A betyr et komplett sett dsjunkte utfall som nneholder A. A A = Ø for j n P ( A ) 1 j = 1 = A = Ak for en eller annen ndeks k Merk at summen må erstattes med et ntegral for kontnuerlge utfall. Denne formelen blr nteressant når man benytter den tl å oppdatere ens uskkerhet hva gjelder modellparametere (eller for den saks skyld modeller og modellgrupper). Man har normalt en frekventstsk modell for data gtt modell og modellparametere. En kan dermed oppdatere sannsynlghetsfordelngen tl modellparametrene Θ. V vl anse dsse modellparametrene Θ som stokastske med en ntal dstrbusjon beskrevet ved fordelngsfunksjonen π 0 (θ) der θ er en realsasjon av den stokastske varabelen, Θ. I tlfeller med mer enn en parameter vl dette være en vektor. Merk at der Θ nneholder dskrete element, kan hvert av de dskret utfallene anses som modeller. V oppdaterer parameter/modellsannsynlghetene med; π ( θ D) ( D θ ) π 0 ( θ ) f ( D) ( θ D) π 0 ( θ ) ( θ D) π ( θ ) d f L = = () L θ 0 der D står for data, f ( )for den antatte frekvensfordelng for D og L( ) for lkelhoodfunksjonen. Her har v defnert L som frekventstsk sannsynlghet for data gtt modell og modell parametere som funksjon av modell og modell parametere, L(θ D). Den ntale dstrbusjonen av Θ, nemlg π 0 (θ), blr kalt a pror dstrbusjon, mens den resulterende dstrbusjonen av Θ etter behandlng av data kalles a posteror dstrbusjon. 7

9 Merk at hvs lkelhood L har samme form som a pror dstrbusjon og dette gjen forplanter seg tl a posteror dstrbusjon, har v et mye enklere problem. V kan nå smpelthen oppdatere metaparametrene dstrbusjonsfunksjonen tl parametrene. Slke dstrbusjoner kalles naturlge konjungerte av L, og er ofte brukt for å forenkle beregnngene og mulggjøre analytsk behandlng av problemstllngen. For å benytte seg av en slk metodkk bør ens a pror- (før) kunnskap kunne kodes tlfredsstllende ved å benytte seg av en slk dstrbusjon med et gtt sett metaparametere.. Bayesansk lneær regresjon V vl denne rapporten basere oss på samme notasjon som Denson et al. (00). I en bayesansk lneær regresjon starter v med den vanlge regresjonsmodellen med p forklarngsvarable; Y p ( j B j ( x ), ) j = 1 ~ N β σ (3) Her er Y responsen (det v ønsker å forklare), x er forklarngsvarable/predktor/nputmålngene, B er funksjoner/transformasjoner av dsse nputene, og β er regresjonskoeffsentene. V får dermed følgende lkelhood for datasettet {y, x 1,... x p } for =1... n; 1 1 n p ( ) = [ ( )] ( ) 1,, β n D exp y n = β j= j B j x / 1 1 πσ σ L β K (4) Det som nå hadde være praktsk for å drve bayesansk analyse var å ha en a pror fordelng for ( β, σ ) som var naturlg konjugert tl lkelhood lg.4. Altså, v ønsker en dstrbusjon som er slk at hvs v ganger den med lkelhood og normalserer får v en ny dstrbusjon på samme formen. Dette kan oppnås med følgende fordelnger; ( β, σ ) π ( β σ ) π ( σ ) π = (5) La så ( m, V ) β σ ~ N σ (6) og ( a b) σ ~ IG, (7) der IG står for Invers Gammafordelng. Den totale fordelngen blr således skrevet som NIG m, V, a, b. Da får v; ( ) 8

10 a ( ) ( ) ( a+ p / + 1 b ) σ β; σ = 1 t 1 π exp [ β m] V [ β m] + b (8) σ p / 1/ ( π ) V Γ( a) der t symbolserer en matrse transpossjon. Selv om dette kan anses for å være en vanskelg måte å kode vår forkunnskap om problemet, har den sne fordeler. Meta parametrene a og b kan vrke ltt abstrakte, men de kan anses for å kode forventet størrelse på støyen samt uskkerheten et slkt anslag. Gtt dsse meta parameterne vl matrsen V kode vår uskkerhet koeffsentenes verder, β j. Vektoren m koder rett og slett vårt beste før-anslag på koeffsentenes verder, altså forventngen tl β. Hvs v putter en slk a pror fordelng nn Bayes formel med den gtte lkelhood, får v en ny NIG fordelng for vårt sett med regresjonskoeffsenter. Det eneste som har forandret seg er meta parametrene m,v,a,b. Hvs v defnerer B-matrsen (ofte kalt X- matrsen vanlg regresjon) som B j = B j (x ), blr oppdaterte meta parametere som følger; m ' = 1 t 1 1 t ( V + B B) ( V m + B Y ) 1 t ( V + B B) ' V = (10) ' n a = a + (11) b 1 = b + ' t [ ( ) ( ) ] 1 t ' t m V m Y Y m V ' t + m ' ' (Husk at generelt: m er a posteror og m er a pror). Merk at hvs elementene V -1 blr mye mndre enn elementene B-matrx (som betyr stor ntal uskkerhet angående koeffsentene) får v den vanlge regresjonslgnngen; m = (B t B) -1 B t Y. (9) (1).3 Modellvalg, Occhams barberblad og regresjon med kke-lneære bdrag Gtt lkelhood, a pror- og a posteror fordelng av data kan man regne ut sannsynlghetstettheten tl data gtt en regresjonsmodell (der regresjonsparametrene er ntegrert ut); f ( D M ) ( D β, σ ) π ( β, σ ) π ( β, σ D) n f 1 π = = 1 a ' V V b ' ' a ' ( b ) Γ( a ) Dette kan benyttes tl å sammenlgne ulke modeller gjennom å putte lg.13 nn Bayes formel for k ulke modeller M k, noe som gr; P ( M D) k = k = 1 ( D M k ) P( M k ) f ( D M ) P( M ) k Γ ( a) (13) f (14) 9

11 Man kan dermed for en ntal tro på hver modell, P(M k ), få oppdatert sn tro på modellen der nye data er tatt med betraktnngen. Dette kan være nteressant på flere områder. V kan ha regresjonsmodeller som er vanskelg sammenlgnbare frekventstsk sammenheng. Dessuten kan v ha at modellfamlen koder ulke verder på en kke-lneær regresjon. Tl sst kan v ha nøstede modeller, det vl s modeller som er forfnnger av en annen modell samme famle. For å undersøke slke sammenhenger nnfører v Bayes-faktoren; BF ( M M ) ( M D) ( M D) j ( M ) ( M ) j ( D M ) p p p, j = / = (15) p p p ( D M ) j Denne faktoren beskrver hvor mye sannsynlgheten for en modell har økt eller mnsket forhold tl en annen etter at data er bltt behandlet. Det kan vses at hvs M er en modell som nneholder M 1 pluss unødvendge ekstraledd vl Bayes-faktoren for M 1 mot M være større enn en, det vl s at den enklere modellen vl bl favorsert (MacKay, 1995). Sagt på mer flosofsk måte nneholder bayesansk regresjon Occhams barberblad, altså prnsppet om at man velger den enkleste modellen som beskrver ens observasjoner. En kort begrunnelse for dette kan være at en dffus teor som beskrver data vl, når en ntegrerer over de dffuse koeffsentene, g mndre sannsynlghet for data enn en mer spesfkk modell som også beskrver datasettet. Dermed vl Bayes-faktoren tl den spesfkke teoren sett forhold tl den mer dffuse bl større enn en. Når en ntroduserer en unødvendg forklarngsvarabel, vl den respektve koeffsenten ha en god del uskkerhet, samt at de andre koeffsentene også blr mer uskre. Derfor vl en slk modell være mer dffus en orgnal modellen. Det er også verd å merke seg at hvs varansmatrsen V går mot uendelg (ubegrenset stor uskkerhet) vl den enkleste modellen alltd få størst sannsynlghet (Lndley's paradoks). Dette er kke ønskelg, så varansmatrsen bør reflektere faktsk forkunnskap heller enn å kode en (forhåpentlgvs falsk) beskjedenhet hva gjelder ens uskkerhet regresjonskoeffsentene..4 Bayesansk modell- og responsestmerng Estmerng bayesansk statstkk er tett knyttet tl rskoanalyse. Man har en tapsfunksjon for felestmerng og forsøker å mnmere rsko = forventet tap. Når en a posteror fordelng for hver lneær modell er beregnet samt a posteror sannsynlghet for hver modell, er det to svært ulke tng man kan være på jakt etter. Hvs man mener at vrkelgheten er beskrevet en av modellene man har tlgjengelg, men kke vet hvlken, kan dette beskrves ved tapsfunksjonen; 10

12 0 hvs = j, j = = 1 δ j (16) 1 ellers ( d M ) l. Her står d for at man velger modell M. Velger man fel modell, får man altså et fast tap, mens man kke får noe tap ved å velge rett modell. Dette kan krtseres for å være for enkelt. Man kan synes det er verre å velge en kke-homogen modell når den homogene er korrekt enn omvendt. Merk at det kke er vanskelg å modfsere analysen hvs så var tlfelle. Skal uansett vdere anta at en slk tapsfunksjon er nteressant. Man mnmerer nå forventet tap ved å betrakte; E M ( l( d D) ) = l( d, M ) p( M D) = 1 p( M D) j = 1 (17) j j Denne tapsfunksjonen mnmeres ved å velge modellen med størst sannsynlghet. Antagelsen om at sann modell lgger nne vårt modellsett kalles ofte lukket modell perspektv. Hvs man kke er så skker på at data er beskrevet va noen av modellene man har tlgjengelg, men uansett er nteressert det beste estmatet for responsen man kan få, gtt data og nput, kan man heller betrakte en tapsfunksjon; l ( ~ y, y) ( y ~ y ) = (18) der y er egentlg respons og y ~ er den responsen man bestemmer seg for å benytte som predksjon. Dette kalles åpent modell perspektv. I dette tlfelle får v mnmert forventet tap ved å predkere; M T ' ( y x, D, M ) p( M D) = ( ( x) m ) p( M D) ~ y = β (19) M E = 1 = 1 Man får altså en vektet mdlng over predksjonene fra hver modell, der vektngen er a posteror sannsynlgheten tl hver enkelt modell. Der man drver kke-lneær regresjon va denne metodkken kan en slk type predksjon være på sn plass..5 Et enkelt eksempel V tar for oss et eksempel med en respons, y, og en forklarngsvarabel, x. Data blr generert fra x = 0 tl 1 unformt, med y =tanh(.35π(x -0.5))+0.ε. V antar v vet at sann y antagelgvs vl være nærheten av ntervallet [-1, 1] for x nnenfor [0,1] og at støyleddet har en varans på rundt 0.04, men med en uskkerhet som lgger samme området (a = 4, b = 0.08). V henter nn 30 slke observasjoner. For de ulke modellene v skal se på antar v at koeffsentene er sentrert rundt 0 med varans på rundt. V ser først på følgende tre modeller; 1) Y = β o + β1x (0a) ( x 0.5) + I( 0.5) ) Y = β oi β1 x > (0b) [.35 ( 0.5) ] 3) Y = β o + β1 tanh π x (0c) 11

13 Hvs v bruker lukket modell perspektv her, vl estmerng gå på den modellen med mest sannsynlghet. I dette tlfelle er det slk at forutsetnngene for lukket modell perspektv er tl stede, så v bør få at modell 3 tar all sannsynlgheten. For en realsasjon (se fgur 1) får v at sannsynlghetene for modell 1 og henholdsvs er 18 ppm (parts-per-mllon) og 44 ppm. Resten av sannsynlgheten (nesten 100 %) går tl modell 3, som nneholder den sammenhengen v skal ha. Dette medfører at en estmerng va modellmdlng vl g temmelg nøyaktg de samme predksjonene som estmerng va lukket modell perspektv. Hvs v kun ser på de to første modellene, fkk v for realsasjonen fgur 1 sannsynlghet 30 % og 70 % respektvt. Et lukket modellperspektv (som nneholder en antagelse som kke er korrekt dette tlfelle) vl konkludere med stegmodell, mens en estmerng med modellmdlng vl g predksjonen som er plottet fgur 1. Fgur 1 Realsasjon av modell lg.0c med modellmdlngs estmat. Det kan se ut tl at modellmdlngs estmatet gr en bedre beskrvelse av målngene enn hver av enkeltmodellene. Merk dog at eksempelet var valgt nettopp for å få noenlunde lk sannsynlghet på de to modellene. Skulle man undersøke sammenheng på formen tl det modellmdlngs estmatet v fkk, hadde det nok heller betalt seg å se på modellen = β + β I x > 0. + β. ( ) x Y

14 3 Bruk av Bayesansk regresjon for å undersøke homogentet 3.1 Modellene selv og praktske hensyn I denne sammenheng ønsker v data der all autokorrelasjon er borte. Dette kan rmelg antas å stemme for års aggregerte data. Her anbefales det at man først og fremst ser på års maksma for å avgjøre om man kan foreta flomfrekvensanalyse, års mnmum for å avgjøre om man kan foreta lavvannsanalyse og medan sammen med de to andre for å sjekke om tdsseren generelt sett er homogen. (Fra praktsk erfarng har det vst seg at års medan lettere fanger opp kkehomogenteter enn års mddel). I tllegg tl en homogen (stasjonær) modell ser v på fre kke-stasjonære modeller, der v antar at hvs v velger rett modell vl avvkene fra modellen være stasjonære og uavhengge. Fre modeller for kke-stasjonærtet kan for noen høres ltt lte ut, men en bør ha mente at det er års statstkk man jobber på og dermed sjelden har mer enn 100 'målnger' å betrakte. (Aldr så mye som 00 hva gjelder NVE's måleserer for dagens stuasjon). Komplserte modeller kan alltds komme nærmere et datasett på 100 eller færre målnger, uten at det ser oss annet enn at v kanskje bør holde oss unna slke modeller. Programmet betrakter fre modeller som forhåpentlgvs kan fange opp det meste av det en hydrolog vl mene med kke-homogentet. Dsse fre modellene skal tllegg være enkle å tolke av en hydrolog. Håpet er at en slk betraktnng samtdg kan fange opp alle relevante sgnal data, slk at man får den mer eller mndre korrekte sannsynlgheten for homogentet. Vannførnger lar seg best modellere statstsk hvs en først foretar en logartmsk transformasjon. (Vannførngene ser det store og hele ut tl å være log-normal fordelte). En slk transformasjon gjøres dermed før modellerngene, mens for vsnng av resultatene blr modellene transformert tlbake gjen. Dette kan g seg utslag at en såkalt lneær modell vl krumme ltt oppover på normalskala. (Med logartmsk vannførngsakse vl den være rettlnjet). V har følgende hovedmodeller å betrakte; 1) Homogen modell: Qt = β 0 + σε (1a) ) Lneær modell: t ( ) Q Q β 0 + β t t + σε (1b) = 1 = β 0 + β1 t t + β t t + σε (1c) 3) Kvadratsk modell: t ( ) ( ) Q 4) Ett steg modell: t ( 1 ) 1 ( ) t β 0 I t t + β I t > t + σε (1d) = 1 13

15 Q β I t t + β I t < t t + β I t > t + σε = 1 5) To steg modell: t 0 ( 1 ) 1 ( 1 ) ( ) t (1e) Her er t1 [ 1, L, n ] og [ t1 + 1,, n 1] ε ~ N( 0,1). t t L kke-lneære parametere, samt Merk at ett steg modellen gjen må deles opp n-1 lneære regresjonsmodeller, mens to stegs modellen må deles opp (n-1)(n-)=n²-3n+3 lneære modeller. Totalt har man altså n²-n+5 ulke lneære modeller. Sannsynlgheten for de n-1 ulke ett steg modellene kan summeres opp tl totalsannsynlgheten for ett steg. Det kan fort hende at sannsynlgheten for hver av enkeltstegsmodellene er mndre enn sannsynlgheten for homogen modell, men at totalsannsynlgheten for ett steg lkevel er større enn sannsynlgheten for homogentet. Tlsvarende operasjon kan gjøres for to steg modellene for å få totalsannsynlgheten for to steg modell. Merk at når en slk summerng gjøres for sannsynlgheten, er det mest naturlg å benytte seg av summerng over sannsynlgheter for ulke modeller nnen samme modellklasse for å foreta predksjoner. Programmet tllater uansett å plotte den mest sannsynlge ett stegs eller to steg modellen sammen med totalpredksjonen for en slk modellklasse. Lukket modell - perspektv Åpent modell - perspektv t=1 t=1 t= t=....t=n-1 t=-1 t1=1,t= t= t1=1, t1=1,t= t=3...t1=n-,. t1=n-,t=n-1 t=n-1 Fgur Grafsk representasjon av modellene. Lneær regresjonsmodell representert med fylte rektangler. 14

16 3. A pror fordelngene En logartmsk transformasjon er som sagt gjort før man begynner på analysen. Dette gjør at a pror kunnskap tlegnes størrelsesordenen på vannførnger stedet for vannførngene selv, noe som er behagelg og med at vannførnger små elver typsk kan være på under 1 m³/s mens store elver kan den være på flere tusen m³/s. Først ser v på fordelngen av parametrene tl støyleddet, σ ~ IG ( a, b). Setter utgangspunktet a = 4.0, b = 1.0. Dette svarer tl forventet σ lk 1/3, med noe som tlsvarer åtte målnger. Dette kan kanskje gjøre uskkerheten ltt lten, men lkevel med ganske mye slngrngsmonn. Typsk blr a posteror forventng for størrelsen på støyleddet noe rundt 1/3 det også, noe som antyder at a pror nnskten er noenlunde korrekt. Det neste v trenger å forholde oss tl er fordelngen på de ulke lneære koeffsenter. De som representerer vannførngsnvå (β 0 alle modeller samt β 1 og β for steg modellene) kan tas fra en analyse av hva man kan forvente av vannførng fra en tlfeldg valgt vannførngsstasjon. Det normale spennet av rmelge utfall her er fra -4.5 log(0.01) tl 7 (ca. lk log(1000)). Har programmet så langt benyttet meg av forventnng lk og varansmatrse lk 6/E[σ ] (som gr forventet varans lk 6²). Dette skulle kode mn spesfkke forkunnskap angående vannførngsnvå, men her kan nok bdrag fra hydrologer komme tl hjelp. Lkevel, a pror kunnskap for dsse koeffsentene burde kode hydrologsk forkunnskap omkrng vannførngsstasjoner Norge sånn noenlunde bra. For lneærleddet modell benyttes en forventnng lk null (kan lke godt ha oppadgående som nedadgående trend), mens varansen er på 0.01². Et stgnngstall på 0.01² skal g en øknng på e= løpet av hundre år. At stgnngen skal være sgnfkant større enn dette vrker for meg urealstsk, men gjen bør hydrologer kunne forbedre denne a pror nnskten. En kvkk gjennomgang av noen tdsserer som tlsynelatende hadde en lneær tdstrend så ut tl å støtte en hypotese om at β 1 ~ N(0,0.01²). Tlsvarende ble a pror for den kvadratske bten av modell 3 satt tl β ~ N(0,0.0005²). For de kke lneære komponentene av modell 4 og 5 kan det være frstende å sette hver av sub modellenes a pror sannsynlghet lke. Det er for så vdt kke noe galt dette, men for tdsserer som kke later tl å ha trend td og som får størst a posteror sannsynlghet for homogen modell later a posteror sannsynlgheten for enkeltbrudd ut tl å være fordelt som P(t 1 ) 1/t 1 (1- t 1 ). Det vrker mer rmelg å forvente at a posteror sannsynlghet skulle være lk over det hele når ngen tdstrend fnnes. For modell 4 er det nok slk at en modell der steget er satt enten helt starten eller helt slutten av tdsrekka vl ha større sannsynlghet for data gtt modell en modeller der bruddet skjer mdt nne tdsrekka. Selv om man kke får stort tlslag for ett stegs modell slke tlfeller, kan det uansett være fornuftg å vekte for hvor nteressert man er modeller med steg start/slutt av tdsrekka versus mdtre del av tdsrekka. Har derfor benyttet meg av en a pror fordelng på bruddet t 1 ; P(t 1 ) t 1 (1-t 1 ). En tlsvarende analyse av to steg modellen gav P(t1,t) t 1 t (n-t 1 - t ). 15

17 Det så kke ut tl å påvrke totalsannsynlgheten for de to sste modellene nevneverdg noen av de eksemplene jeg kjørte, samtdg som det gav mer tlforlatelg a posteror sannsynlghet for de ulke sprangene for de tdsrekkene som så ut tl å være homogene. 3.3 Kalkulasjon og vsnng av a posteror sannsynlghet for modeller og modellparametere Som sagt har v bunn og grunn n²-n+5 ulke lneære regresjonsmodeller. For hver modell kan v plugge nn data og få oppdatert fordelngen tl regresjonsparametrene. V kan så benytte oss av dsse gjen tl å beregne a posteror sannsynlghetene for hver modell. For de to steg modellene kan sannsynlghetene nnen hver modellklasse summeres ut. V får dermed sannsynlgheten for hver av de fem større modellene. Programmet vser dette en sortert lste sammen med mest sannsynlge steg modell og mest sannsynlge to steg modell. Bortsett fra de to sste, som utgjør en dobbelttellng forhold tl ett og to stegsmodellen henholdsvs, vl sannsynlghetene summere seg opp tl 100%. I tllegg vses hver modell tekstlg for seg selv. Plottemulgheter for modellene sammen med data ekssterer også. A posteror sannsynlgheten for de ulke sprangmodellene kan også plottes. DAGUT lgnende nnhentng av tdssere og spesfkasjon av metode for aggregerng samt seleksjon av år Spesfkasjon av forkunnskap. Nødvendg for å kunne g sannsynlghet for ulke modeller. En kan varere nnenfor rmelghetens grenser for å se om resultatene er stable. Presentasjon av Plottng av modeller resultatet. Lsten avmerket lsten nneholder modellene sortert på sannsynlghet. Plottng av sprangsannsynlgheter Fgur 3 Brukergrensesntt for programmet. 16

18 3.4 Vanlg bruk av check homogenety Når programmet skal benyttes for en stasjon, bør en først spørre seg selv om en er generelt nteressert homogenteten tl tdsseren eller om man kun er nteressert en spesfkk anvendelse, sånn som flomfrekvensanalyse. For en flomfrekvensanalyse er det kun nteressant om årlge maksma er stasjonære. Er de kke det, er forutsetnngene for en slk analyse brutt. Tlsvarende har en for lavvannsanalyse og års mnma. Hvs en er mer generelt nteressert hva som kan ha skjedd med stasjonen anbefales, det at man foretar en analyse på års maksma, - medan og -mnma. Dette settes enkelt menyen oppe høyre hjørne av vnduet. Når en analysemetode er gtt, kan man se over a pror sannsynlghetene tl hver av de fem hovedmodellene. Merk at sannsynlghet for ett stegs modell kke er med, sden denne kan fnnes som 1-P(homogen)-P(lneær)-P(kvadratsk)-P(tosteg). Er man fornøyd med dsse (normalt er man det), kan man kjøre analysen. Merk at hvs en ønsker å være grundg og sjekke om konklusjonene fra programmet er robuste, bør en varere på forkunnskap sannsynlghetene nnenfor det en synes er rmelg og se om dette forandrer konklusjonene en tdlgere trakk. Det første en kan merke seg er sorterngen av modeller lsta nede tl venstre. Den mest sannsynlge hovedmodellen vl lgge øverst, med den nest mest sannsynlge nest øverst etc. Mer spesfkk nformasjon omkrng hver hovedmodell blr gtt tekstboksen tl høyre for lsta. Denne er utskrvbar, se knappene tl høyre for avslutt knappen. Data kan plottes sammen med de hovedmodellene man fnner mest nteressante (default er å kun vse mest sannsynlge hovedmodell) samt mest sannsynlge ett sprangs og to sprangs modell. 95% troverdghetsntervall (altså ntervallet der det er 95% sannsynlghet for at 'sann' verd skal være) for modellene vl også kunne vses, hvs man aktvserer knappen tl venstre for plotte knappen. Datamodell plott kan være av nteresse for å sjekke at korrekt modell har fått mest sannsynlghet. Merk at data blr plottet som punkter. Hvs man vl ha en mer klasssk fremstllng av tdsseredata, kan man plottet velge sammenhengende lnjer stedet. For de som er ekstra nteressert kan man også plotte a posteror sannsynlghetene for de ulke ett sprangs eller to sprangs modellene. 3.5 Tolknng av ulke kke-homogene resultater Ikke-homogentet har man når års verder avhenger av tden. Det fnnes en uendelghet av ulke avhenggheter, men de kan grovsorteres to lere; 1) Brå, stykkvse forandrnger ) Langsomme, gldende forandrnger I dette programmet har de to enkleste modellene hver av dsse klassene bltt betraktet. 1) Brå, stykkvse forandrnger: enkelt og dobbeltsprang (se påfølgende tegnng). 17

19 ) Langsomme, gldende forandrnger; lneær og kvadratsk trend over td. Ikke-homogentet en hydrologsk tdssere kan skyldes flere faktorer: a. Forandrnger relasjonen vannførng vannstand (vannførngskurve) ved stasjonen (skyldes ofte at bestemmende profl/elvestreknng endrer geometr og/eller frksjon grunnet sedmentasjon, erosjon eller menneskeskapte nngrep) b. Større forandrnger vannførngskurven uten at det har skjedd reelle forandrnger relasjonen vannstand vannførng ved stasjonen (skyldes ofte at man har konstruert en ny vannførngskurve perode som skller seg sgnfkant fra den foregående vannførngskurve peroden, slk at mnst en av kurvene er urktge). c. Forandrnger regstrerng av vannstand (f.eks. 1) systematsk avvk grunnet at referansebolt er flyttet og/eller at ny vannstandsskala er bygget; ) bytte av vannstandssensorutstyr hvorav gammel og/eller ny sensor måler urktg; 3) hele målested for vannstandsregstrerng er flyttet hvorav nytt og/eller gammelt målested er ugunstg for regstrerng av vannstand; eller 4) endrnger kommunkasjon mellom elv og kum/stgerør). d. Fel eller forandrnger dataprosesserng (f.eks. 1) unøyaktg kompletterng eller sreduksjon av data; ) fel konverterngsfaktor på data; 3) ukorrekt nnlesnng/dgtalserng av data; eller 4) data tlknyttes fel stasjon.) e. Hydrologske forandrnger selve nedbørfeltet (typsk nn- eller utførsel av vann forbndelse med regulerng eller magasnerng som vl endre flom/lavvanns dynamkken. Store masseutskftnnger og urbanserng kan endre hydrologen betraktelg.) f. Klmaendrnger. Faktor a-d kan klassfseres som forandrnger hydraulkk og data prosesserng ved målestasjonen mens faktor e-f kan klassfseres som hydrometeorologske forandrnger feltet tlknyttet målestasjonen. Med mndre alle andre forklarnger er elmnert, kan man se bort fra (f), som skal ha en relatvt lten effekt. De ulke problemene vl g seg utslag ulke kkehomogenteter; a) Vl normalt g gldende forandrng (normalt ses dette best på 18

20 mnmumsverder og små persentler). Men man kan også få brå proflforandrnger (under flom?). b) Vl kunne g store sprang for tdspunktet den brå forandrngen skjedde, både for mnmum, medan og maksmum. c) Vl normalt g sprang hvs forandrngen vannstandsavlesnng skjedde brått, men man kan også ha gldende forandrnger (kan ses på som mange små sprang). Dette kan skje både for mnmum, medan og/eller maksmum. d) Vl også normalt g sprang for tdspunktet der metodkken endret seg, men slk metodkk kan forandres gradvs. Mest aktuelt for mnmumsverder, men man kan også få utslag for maksmumsverder. (Medan bør kke g utslag her). e) Regulernger skjer gjerne brått ( stor tdsskala), men store felt kan effekten av mange små forandrnger g seg utslag som en gldende trend. Normalt ser man slke utslag best på maksmums- og medanverder. f) Skal g en gldende trend, gjerne en lneær trend. Dette er kun dog foreløpge retnngslnjer for å utvkle et skjønn hva gjelder forklarng av kkehomogenteter. Det er hydrologens skjønn som avgjør hvlken forklarng som benyttes når en kke-homogen modell har fått størst sannsynlghet. 4 Eksempler på bruk 4.1 Homogentet I de fleste tlfeller er det homogen modell som får størst sannsynlghet etter databehandlng. Dette er godt, da de fleste av NVEs tdsserer ved øyesyn ser ut tl å være homogene for års statstkk. Når a pror sannsynlgheten lkevel er satt så lavt som 50%, er det ford en bruker har bemerket at programmet mulgens går ltt for ofte for homogen modell. Sannsynlgheten er derfor bevsst nedjustert ltt forhold tl erfarngsgrunnlaget for å kompensere for dette. Dette kan ses på som en svakhet, men merk at det her kun dreer seg om en mld justerng. Tlfeller der bruker eller DMASS-programmet har konkludert med kke-homogentet mens check_homogenty har gått for homogen modell ekssterer, men det skjer kke så ofte. Der slkt skjer og det vrkelg er slk at konklusjonen om kke-homogentet er korrekt, er det rmelg å anta at en mer kompleks regresjon hadde kunne beskrve kke-homogenteten. Under presentasjon av programmet har brukerne derfor bltt bedt om å holde øye med slke forekomster og rapportere dette samt kanskje selv undersøke hva slags kke-homogen modell som kan vrke mest rmelg. Så langt (etter ett halvårs bruk) har kke slke forekomster bltt 19

21 rapportert, men programmet kan være lte bruk for tden. Merk at hovednnholdet programmet også benyttes programmet check_ratngcurve som forhåpentlgvs blr mer brukt. Fgur 4 vser en tdssere (Notodden, ) der homogen modell fkk 98.7% sannsynlghet. Sammen med gjennomsntt og 95% troverdghetsntervall vses det samme for en summert ettsprang-modell. En ser her at mens ettsprang-estmerngen kanskje følger bedre data (det er dog lten forskjell estmerngsfelene) har den betydelg mer uskkerhet estmerngen. Dette betyr at sannsynlgheten for data når man summerer/ntegrerer over mulge koeffsenter (både lneære og ulneære) blr betydelg lavere enn med en modell med mndre uskkerhet. Homogen modell har som sagt mndre uskkerhet, noe som forklarer hvorfor den er mye mer sannsynlg enn ettsprang-modellen. Fgur 4 Data samt estmat og troverdghetsntervall for homogen- og ettsprangsmodell. 4. Lneær modell I et tlfelle der lneær modell har fått mest sannsynlghet, kan tng tyde på at tng gradvs har forandret seg. Et eksempel på dette kan være sedmenterng av elvebunnen, som gradvs vl forskyve bunn-nvået sammenhengen mellom vannstand og vannførng. Sden det er vannstander som normalt måles, vl en slk sedmenterng g seg utslag en gradvs forandrng av års statstkk hentet fra lave vannstander, sånn som års mnma. Et eksempel på dette er stasjonen Bulken (6.5.0), , der årlge mnmumsverder analyseres. En ender opp med en sannsynlghet for lneær trend på 63% (med andre kkehomogene modeller på andre- og tredjeplass). Estmerngen (samt troverdghetsntervall) er vst fgur 5. Mer at estmerngen krummer seg oppover. Det er ford modellen er lneær log-rommet mens det her er vst som vannførng. 0

22 Fgur 5 Mnmumsdata fra Bulken Vosso med sannsynlg modell. Når mnmumsvannstandene endrer seg gradvs, er det nærlggende å tro at en sedmenterng av elvebunnen har forandret reell sammenheng mellom vannstand og vannførng for små vannførnger. Ikke-homogenteten er derfor kke nødvendgvs reell, men et resultat av at naturens sammenheng mellom vannstand og vannførng gradvs har forandret seg mens NVEs beskrvelse av denne sammenhengen kke har gjennomgått samme forandrng. 4.3 Ettsprangs-modell V skal nå ta en ttt på en stasjon der man har en brå forandrng årsmedan (og årsgjennomsntt), nemlg Sta (.117.0). Data er hentet fra og ser ut tl å ha et sprang rundt starten av 1970-tallet, noe programmet bekrefter med en sannsynlghet på 99.8%. Dette skyldes nok en forandrng vassdraget (regulerng). I fgur 6 vses total ettsprang-modell (summerng over kke-lneær koeffsent), mens fgur 7 vser den mest sannsynlge enkeltmodellen (40.6% sannsynlghet). Ser at totalmodellen har en ltt myk overgang stedet for en terskel. Dette er ford det er mer enn bare en modell rundt 1970 som har en betydelg sannsynlghet, se fgur 8. 1

23 Fgur 6 Sta. Estmerng fra total ettsprang-modell med troverdghetsntervall for Fgur 7 Estmerng basert på mest sannsynlge ettprang-modell sammen med estmerngen der det summeres over den kke-lneære parameteren (total ettsprangmodell) for Sta.

24 Fgur 8 Sannsynlgheter (a posteror) for sprang på ulke år. Man ser at en kke kan konkludere bestemt på at spranget skjer 1971, men at det ganske skkert har skjedd peroden ). 4.4 Kvadratsk trend Et kvadratsk sgnal tdsutvklngen er mer sjeldent, men det fnnes eksempler på det også. Et av dem er maksmumsverdene for Vvel (50.4.0) for peroden Her ender kvadratsk modell opp med 63.9 % sannsynlghet. En kan se på plottet at dette vrker ganske rmelg, se fgur 9. Det anbefales dermed kke å foreta flomfrekvensanalyse på denne stasjonen. Fgur 9 Data med estmerngen fra kvadratsk modell for Vvel. 3

25 4.5 Tosprang-modell Heller kke tosprangsmodellen slår tl alt for ofte. Dette er for så vdt godt sden dette og tlsvarende for kvadratsk modell antyder at desto mer kompleks modellen blr, desto mndre bdrar de totalt med sannsynlghet. Lkevel, stasjonen Aursunden ser ut tl å ha nettopp en slk trend. Det første spranget skjer overgangen mens det andre skjer slutten av tdsseren, overgangen (se fgur 10). Fgur 10 Mest sannsynlge modell for Aursunden. Tosprangsmodellen ender opp med meget nær 100% sannsynlghet. Blant tosprangsmodeller ender de rapporterte sprangene opp med nesten all sannsynlgheten, mens de andre mulge sprangene har sannsynlgheter som er flere størrelsesordener unna, se fgur 11. Fgur 11 Logartmske sannsynlgheter for tosprangsmodeller. 4

26 5 Ltt rskoanalyse I lukket modellperspektv er alle felvurdernger av modeller lke lle. Dette kan beskrve hva man gjør når man leter etter den sanne modellen. Men det er kke alltd at man nødvendgvs skal avgjøre hva man skal tro, men heller hva man skal foreta seg. Selv om man kanskje tror at man kommer fra et fall på s fre meter uten store skader, så er gevnsten med et slkt hopp normalt lten og skaden hvs man tar fel ganske stor. De færreste vlle derfor være vllg tl et slkt hopp. Hvs homogentetsanalyse skal brukes beslutnnger, kan man ha tlsvarende førnger. V har generelt at forventet tap for en gtt beslutnng er sum over alle utfall av tap gtt beslutnng og modell ganger sannsynlgheten tl modellen; R M ( d ) L( d M ) P( M ) = = 1, () Har v lukket modellperspektv, der beslutnnger er å bestemme seg for en modell, får v at forventet tap er 1 sannsynlgheten for modellen, noe som mnmeres ved å fnne modellen med størst sannsynlghet (se lgnng 17). Sorterngen modell-lsta bygger på denne flosofen. La oss stedet s at v skal foreta en beslutnng om å nedlegge en stasjon pga kke-homogentet, eller fortsette å bruke den. En områdengenør kan avgjøre at det er 9 ganger verre å anta kkehomogentet når stasjonen er homogen enn motsatt. V summerer sannsynlgheten tl alle kkehomogene modeller og får at stasjonen kke nedlegges hvs P(kke-homogen)<9P(homogen), altså P(homogen)>1/10=10%. Hvs det stedet er slk at man ønsker å foreta flomfrekvensanalyse et vassdrag med s fem stasjoner, koster det lte å bestemme seg for å bruke en annen stasjon hvs en stasjon vser seg å ha kke-homogen års maksmum. Det å foreta analysen på en kke-homogen stasjon (som kan skyldes dårlg modellert sammenheng mellom vannstand og vannførng) kan dermot g gale beslutnnger som kan koste mye. En kan for eksempel avgjøre at det å anta homogentet når stasjonen er kke-homogen er fre ganger verre enn å anta at den er kke-homogen gtt at den egentlg er homogen. Dermed får man at stasjonen kan brukes tl flomfrekvensanalyse hvs 4P(kke-homogen)<P(homogen) som gr at P(homogen)>4/5=80%. Slke betraktnnger bør kanskje med programmet etter hvert, men det kan skape en større brukerterskel og de som ha et forhold tl rsko kan uansett benytte seg av de sannsynlghetene som programmet rapporterer tl egen rskoanalyse. 5

27 6 Mulge utvdelser Som sagt kan en del rskoanalyse puttes drekte nn programmet, hvs det er ønskelg. Hydrologer kan bdra med bedre a pror-sannsynlgheter. Merk også at a prorfordelngene for vannførng kke nødvendgvs er oppfylt for vannførngssere/vannstandssere. Dette bør det kompenseres for. Hydrologer kan også bdra med flere kke-homogene modeller hvs dette skulle vse seg nødvendg. Det kan også være et program skal kunne benyttes på andre datatyper enn vannførng, s temperatur, sedmentførng eller nedbør. Et ren fl-orentert versjon av programmet bør nok også lages for å mulggjøre at brukerne benytter seg av programmet for data utenfor databasen, samt for å mulggjøre ekstern testng og bruk. 7 Konklusjon Denne analysemetodkken ser ut tl å være både påltelg og brukervennlg. Dette kombnasjon med at den ser ut tl å være mer omfattende enn den rådende analysemetodkken (DMASS) nnebærer at bayesansk regresjon tl bruk homogentetsanalyse må anses som en suksess. I tllegg tl å benyttes utforsknngsprogrammet 'check homogenety' ble derfor metodkken også benyttet da et nytt kvaltetssjekkngsprogram for vannførngskurver ble mplementert, nemlg 'check ratngcurve'. En utvdelse av metodkken tl å omfatte også andre typer tdsserer og andre klder enn HydraII-databasen ser ut tl å være ønskelg. 8 Takk Forfatterne ønsker å takke André Soot, Hydrologsk avdelng NVE, for hjelp å fnne gode eksempler. Det rettes også en takk tl Prof. Bernt Natvk, Avdelng for Statstkk og Forskrngsmatematkk UIO, for hans gjennomlesnng av de første utkastene tl rapporten. 6

28 9 Referanser Berger, J. O. (1985). Statstcal Decson Theory and Bayesan Analyss, second edton, Sprnger, Ch Denson, D.G.T., Holmes, C.C., Mallck, B. K. and Smth, A. F. M. (00). Bayesan Methods for Nonlnear Classfcaton and Regresson, Wley Seres n Probablty and Statstcs. Roald, L., (1981). Kvaltetskontroll av hydrometrske data, rapport fra nordsk IHParbedsgruppe for kvaltetskontroll og databehandlngsspørsmål. World Meteorologcal Organzaton (1994). Gude to Hydrologcal Practces, second ed. WMO- No.168, Geneva. 7

29

30 Denne seren utgs av Norges vassdrags- og energdrektorat (NVE) Utgtt Rapportseren 005 Nr. 1 Nr. Nr. 3 Nr. 4 Nr. 5 Tor Arnt Johnsen (red.): Kvartalsrapport for kraftmarkedet, 4. kvartal 004 (70 s.) Hervé Colleulle, Tna Vestersager: Nasjonalt overvåkngsnett for grunnvann og markvann (Fysske parameter). Drftrapport 004. Status pr. januar 005 (75 s.) Jan Hennng L Abée-Lund: Mljøeffekter av små kraftverk (78 s.) Panagots Dmaks:Grunnvannsanalyse ved to utvalgte streknnger langs Jong-Asker tunnelen (31 s.) Trond Retan, Asger Petersen-Øverler: Evaluerng av Homogentet Hydrologske Tdsreser ved hjelp av Bayesansk Regresjon (7 s.)