Bedre kalibrerte prognoser med ensembleteknikker

Like dokumenter
I enkel lineær regresjon beskrev linja. μ y = β 0 + β 1 x

Multippel regresjon. Her utvider vi perspektivet for enkel lineær regresjon til også å omfatte flere forklaringsvariable x 1, x 2,, x p.

Statistikk og dataanalyse

Kort overblikk over kurset sålangt

(a) For regresjon brukes vanligvis kvadratisk tap: L(y, ŷ) = (y ŷ) 2. Den optimale prediktor basert på input variable x er da Ŷ = E[Y x].

Sentralverdi av dataverdi i et utvalg Vi tenker oss et utvalg med datapar. I vårt eksempel har vi 5 datapar.

TMA4245 Statistikk Eksamen desember 2016

10.1 Enkel lineær regresjon Multippel regresjon

SOS1120 Kvantitativ metode. Regresjonsanalyse. Lineær sammenheng II. Lineær sammenheng I. Forelesningsnotater 11. forelesning høsten 2005

(a) For regresjon brukes vanligvis kvadratisk tap: L(y, ŷ) = (y ŷ) 2. Den optimale prediktor basert på input variable x er da Ŷ = E[Y x].

Usikkerheit i Hydrologiske Prognoser basert på Ensemble. Kossen i hule heite skal vi gjere dette????

Utvalgsfordelinger; utvalg, populasjon, grafiske metoder, X, S 2, t-fordeling, χ 2 -fordeling

Hvordan estimere vannføring i umålte vassdrag?

UNIVERSITETET I OSLO

Inferens i regresjon

TMA4240 Statistikk H2010

MOT310 Statistiske metoder 1, høsten 2006 Løsninger til regneøving nr. 8 (s. 1) Oppgaver fra boka:

Statistisk inferens: 9.14: Sannsynlighetsmaksimeringsestimatoren 8.5: Fordeling til gjennomsnittet 9.4: Konfidensintervall for µ (σ kjent)

Tilleggsoppgaver for STK1110 Høst 2015

Eksamensoppgave i TMA4255 Anvendt statistikk

Klima i Norge i 200 år (fra 1900 til 2100)

Kapittel 3: Studieopplegg

Eksamensoppgave i TMA4240 Statistikk

Nr. 14/2017 ISSN X METEOROLOGI Bergen, MET info. Ekstremværrapport. Hendelse: Vidar 12. januar 2017

UNIVERSITETET I OSLO

Griddede atmosfære- og havprognoser Klimadataseminar, CIENS 16. oktober 2007

ST0202 Statistikk for samfunnsvitere Kapittel 13: Lineær regresjon og korrelasjon

Modellvalg ved multippel regresjon notat til STK2120

Oppgavesett nr. 5. MAT110 Statistikk 1, Et transportfirma har et varemottak for lastebiler med spesialgods, se figur 1.

MIST Meteorologisk Informasjon for Statkraft -overordnet sluttrapport

MET info. Case studie av MEPS

EKSAMEN I FAG TMA4260 INDUSTRIELL STATISTIKK

Nye kilder til meteorologidata

Eksamensoppgave i TMA4255 Anvendt statistikk

Mål på beliggenhet (2.6) Beregning av kvartilene Q 1, Q 2, Q 3. 5-tallssammendrag. ST0202 Statistikk for samfunnsvitere

Meteorologisk vurdering av planlagt luftsportsenter i Sørum kommune

Prøveeksamen STK vår 2017

ST0202 Statistikk for samfunnsvitere

Kap. 6.1: Fordelingen til en observator og stok. simulering

ST0202 Statistikk for samfunnsvitere

ØVINGER 2017 Løsninger til oppgaver. Øving 1

Godt Vann Drammen Værstasjonenes betydning i varsling

TMA4245 Statistikk Eksamen desember 2016

DESEMBER Eiendom Norges boligprisstatistikk

Forskningsresultater som brukes og synes ved Norsk Regnesentral

Eiendomsmeglerbransjens boligprisstatistikk

Generelle lineære modeller i praksis

TMA4240 Statistikk H2010

Befolkning og velferd ECON 1730, H2016. Regresjonsanalyse

Desember Eiendomsmeglerbransjens boligprisstatistikk

Forelesning 7 STK3100

UNIVERSITETET I OSLO

Forelesning 8 STK3100/4100

Foreleses onsdag 13.oktober, 2010

Beregning av kvartilen Q 1 (example 2.12) Mer repetisjon. ST0202 Statistikk for samfunnsvitere

November Eiendomsmeglerbransjens boligprisstatistikk

UNIVERSITETET I OSLO

UNIVERSITETET I OSLO

Modellering av fart for vanlig sykkel og elsykkel

Januar Eiendomsmeglerbransjens boligprisstatistikk

Februar Eiendomsmeglerbransjens boligprisstatistikk

Kapittel 2: Hendelser

Rekrutteringsfunksjoner for sild, torsk og lodde

Modellering av Customer Lifetime Value og hvordan bruke det Øystein Sørensen Data Scientist

Forelesning 17 Logistisk regresjonsanalyse

TMA4240 Statistikk H2010 (19)

Introduksjon til statistikk og dataanalyse. Arild Brandrud Næss TMA4240 Statistikk NTNU, høsten 2013

HØGSKOLEN I STAVANGER

Assimilasjon av radarobservasjoner i værvarslingsmodellen Harmonie

Hva bør gjøres når en evaluering ikke kan anvende beste metode?

2.2 Korrelasjon. Våre øyne ikke gode til å bedømme hvor sterk en sammenheng er Trenger kvantitativt mål på sammenheng Korrelasjon et slikt mål

SENSORVEILEDNING FOR EKSAMENSOPPGAVEN I SVSOS107 VÅREN 2003

JANUAR Eiendom Norges boligprisstatistikk

Utforsking av sjeldne og ukjente belastninger i ekstremt vær: Betydning av eksperimentelle studier

NOVEMBER Eiendom Norges boligprisstatistikk

Eiendomsmeglerbransjens boligprisstatistikk

Eiendomsmeglerbransjens boligprisstatistikk

Benchmarking av distribusjon alternative modeller

NORCEM A.S FoU Avd. RAPPORT NR. GRADERING Åpen 9D4/03017 OPPDRAG

Praktisk bruk av maskinlæring i vedlikehold

Eiendomsmeglerbransjens boligprisstatistikk

Tillatte hjelpemidler: C3: alle typer kalkulator, alle andre hjelpemidler

MOT 310 Statistiske metoder 1 Løsningsforslag til eksamen høst 2006, s. 1. Oppgave 1

Analyse av data relatert til friksjonsmålinger og ulykkesfrekvens ved to veistrekninger i Oslo i perioden

Eksamensoppgåve i TMA4255 Anvendt statistikk

UNIVERSITETET I OSLO

Formelsamling i medisinsk statistikk

UNIVERSITETET I OSLO

MOT310 Statistiske metoder 1, høsten 2006 Løsninger til regneøving nr. 7 (s. 1) Oppgaver fra boka: n + (x 0 x) 2 σ2

Trondheim Roar Inge Hansen Storm Weather Center

Eksamensoppgåve i TMA4240 Statistikk

Forelesning 18 SOS1002

UNIVERSITETET I OSLO Det matematisk-naturvitenskapelige fakultet

JUNI Eiendom Norges boligprisstatistikk

JULI Eiendom Norges boligprisstatistikk

OKTOBER Eiendom Norges boligprisstatistikk

AUGUST Eiendom Norges boligprisstatistikk

L12-Dataanalyse. Introduksjon. Nelson Aalen plott. Page 76 of Introduksjon til dataanalyse. Levetider og sensurerte tider

TMA4240 Statistikk Høst 2016

Noen Statistiske utfordringer ved analyse av PROM

Transkript:

Bedre kalibrerte prognoser med ensembleteknikker John Bjørnar Bremnes Kraftrelatert hydrologi, meteorologi og klima, Trondheim, 2008-11-18.

Oversikt 1. Bedre oppløsning i LAMEPS (2006) 2. Kalibrering ved hjelp av statistiske metoder (2006) 3. Hvordan kombinere prognoser fra flere værmodeller til ett kalibrert produkt (2007) 4. Nytten av lange rekjøringer av numeriske værmodeller (2007)

5. Statistisk kalibrering av multi-ensembler (2008) 6. Statistisk kalibrering av månedsvarsler (2008) 7. Statistisk kalibrering på steder uten observasjoner (2009?)

Del 2 Kalibrering ved hjelp av statistiske metoder

Statistiske metoder A. Metoder anvendt på ensemblemedlemmer (separat) 50 medlemmer => 50 nye medlemmer Ingen teoretiske grunner til kalibrert ensemble Metoder Lokal kvantil-til-kvantil transformasjon (LQQT) Regresjon etterfulgt av LQQT Skalering B. Kalibrering av hele ensemblet Statistiske modeller godt teoretisk fundament Metode Bayesian Processor of Forecast (BPF)

A. Metoder anvendt på ensemblemedlemmmer 1. Kvantil-til-kvantil transformasjon (LQQT) Idè Nye ensemblemedlemmer skal ha samme fordeling/klima som observasjonene Estimering Sortèr observasjoner og modelldata (separat) Estimèr sammenheng vha. lokal lineær regresjon

2. Kvantil-til-kvantil transformasjon med flere variable (REG+LQQT) Bakgrunn Idè LQQT kan bare brukes med en prediktor Andre prediktorer kan gi ekstra informasjon Reduser antall variable til 1 vha. regresjon Metode Multippel lineær regresjon ny predikert nedbør Anvend LQQT på de nye prediksjonene av nedbør

3. Skalering Sum observert nedbør / sum modellnedbør Værtype-avhengig skalering bedre For en gitt værsituasjon: Summèr bare over lignende historiske tilfeller Med vekting avhengig av graden av likhet Skalering anvendt på hvert medlem nytt ensemble

B. Kalibrering av hele ensembler Bayesian Processor of Forecast (BPF) Alle variable transformeres til standard normal fordeling (ala LQQT) Bayes regel anvendes: X Y og Y Y X X Y multivariabel lineær regresjon Y er standard normal fordelt Parametre estimeres for transformerte data Sannsynlighetsfordeling presenteres på ordinær skala (mm)

CRPS er relativ til ECMWF EPS (100%) Lav CRPS best (0 optimal)

Konklusjoner (del 2) Statistiske metoder er bedre enn rå EPS Store lokale variasjoner Forbedring avtar med prognoselengde Inntil 50% bedre for døgn +1 Inntil 20% bedre for døgn +9 Metoder anvendt på hvert medlem Gir god score, men ikke nødvendigvis kalibrerte prognoser BPF best Gir godt kalibrerte prognoser

Del 3 Hvordan kombinere prognoser fra flere værmodeller til ett kalibrert produkt

Utgangspunkt og idè Flere værmodeller og prognoser tilgjengelig To vinklinger 1. Hvordan kombinere all info til en prognose? α 1 EC* + α 2 EPS* + α 3 LAMEPS* EC* = statistisk modell med EC som input Vektene α avhengig av værsituasjon 2. Hvordan velge den beste? For hver dag/værsituasjon

BPF med lineær regresjon 1. For hvert modellsystem (EC, EPS, LAMEPS) Tilpass en BPF-modell Beregn score for hvert tilfelle (dag) Anvend lineær regresjon Score vs. alle prediktorer 2. To mulige prognoser Lineær kombinasjon av BPF-modeller α 1 EC* + α 2 EPS* + α 3 LAMEPS* α-ene er predikert score (normalisert) BPF-modell med best score

BPF med probabilistisk nevrale nettverk 1. For hvert modellsystem (EC, EPS, LAMEPS) Tilpass en BPF-modell Beregn score for hvert tilfelle (dag) 2. Tilpass nevralt nettverk Beste BPF-modell vs. alle prediktorer 3. To mulige prognoser Lineær kombinasjon av BPF-modeller α 1 EC* + α 2 EPS* + α 3 LAMEPS* α i er sannsynlighet for at BPF-modell nr. i er best BPF-modell med høyest sannsynlighet

BPF med optimering av kvantil-score 1. For hvert modellsystem (EC, EPS, LAMEPS) Tilpass en BPF-modell Beregn et sett av kvantiler for hvert tilfelle (dag) 2. Tilpass lineære kvantil regresjonsmodeller Observasjon vs. predikerte kvantiler fra BPF-modellene 3. Kombinert prognose Lineær kombinasjon av BPF-modeller α 1 EC* + α 2 EPS* + α 3 LAMEPS* α-ene er normaliserte koeffisienter fra regresjonsmodellene

Eksperiment Data 9 stasjoner Modeller: EC (1), EPS (51), LAMEPS (21) Prognoser: 00+30,+54t Bare nedbør brukt som prediktorer Konklusjoner (del 3) BPF med 1 modell nesten like god som med alle 3 Kombinere litt bedre enn å velge beste BPF De statistiske metodene omtrent like gode EC like informativ som ensembler

Rapporter met.no report 04/2007 Improved calibration of precipitation forecasts using ensemble techniques. Part 2: Statistical calibration methods met.no note 02/2008 Improved calibration of precipitation forecasts using ensemble techniques. Part 3: Statistical calibration of multiple ensembles met.no note 03/2008 Improved calibration of precipitation forecasts using ensemble techniques. Part 4: On the use of reforecasts in statistical calibration