Integrert klassifisering og risiko for feilklassifisering: betydningen av kombinasjonsregler og usikkerhet

Transkript

1 Integrert klassifisering og risiko for feilklassifisering: betydningen av kombinasjonsregler og usikkerhet Forskning for vannforvaltningen, Resultater basert på BIOCLASS-FRESH prosjektet, finansiert av Norges Forskningsråd, kontraktsnr. 1802/S30, med støtte fra Direktoratet for Naturforvaltning (DN), Klima- og Forurensningsdirektoratet (KLIF), NIVA og NINA. Jannicke Moe

2 Innhold Usikkerhet og betydningen for økologisk klassifisering for ett biologisk kvalitetselement Integrering av status-klasse og usikkerhet fra biologiske kvalitetselementer til en hel vannforekomst Eksempler fra norske elver og innsjøer Resultater fra BIOCLASS-Fresh Foto: Paul Akerøy (no.wikipedia.org) Foto: KEN (no.wikipedia.org) 2

3 Usikkerhet og betydningen for økologisk klassifisering: for ett biologisk kvalitetselement 3

4 Hva menes med "usikkerhet"? To typer usikkerhet for indeksverdier: "Nøyaktighet": hvor nær treffer målte verdier "sann verdi"? "Presisjon": hvor nær treffer målte verdier hverandre? (A) Høy nøyaktighet High presicion: SD low High Høy accuracy: presisjon mean OK (B) Høy nøyaktighet Low presicion: SD high High Lav accuracy: presisjon mean OK (C) Lav nøyaktighet High presicion: SD low Low Høy accuracy: presisjon mean biased (D) Lav nøyaktighet Low presicion: SD high Low Lav accuracy: presisjon mean biased "Nøyaktighet" kan ikke måles! "Sann verdi" er alltid ukjent "Presisjon" kan måles (f.eks. standard avvik) grunnlag for vurdering av risiko for feilklassifisering 4

5 Andel prøver funkcja gestosci prawdopodobienstwa Hva er "risiko for feilklassifisering"? (A) High Good Moderate Poor Bad Gjennomsnitt Std. avvik (presisjon) "Sann klasse" Prøver av et kvalitetselement Indeksverdier Sannsynlighetsfordeling for indeksverdier p=0.1% p=15.7% p=68.3% p=15.7% p=0.1% Risiko for feilklassifisering: Gjennomsnitt = 5 srednia = 5 Standard avvik = 1 SD = 1 = forventet andel prøver med "feil" statusklasse = 0.1% % % + 0.1% = 31.7% wartosc metriksa Jannicke Moe 5 Indeks-verdi

6 Andel prøver Andel prøver funkcja gestosci prawdopodobienstwa funkcja gestosci prawdopodobienstwa Lavere presisjon gir høyere risiko for feilklassifisering (A) High Good Moderate Poor Bad 0.8 p=0.1% p=15.7% p=68.3% p=15.7% p=0.1% Eksempel: - Std.av. øker fra 1.0 til Feilklassifisering øker fra 31.7% til 50.5% Gjennomsnitt = 5 srednia = 5 Standard avvik = 1 SD = 1 - Sann klasse er MODERAT % risiko for å konkludere GOD eller SVÆRT GOD (B) High Good Moderate Poor Bad p=2.3% p=23% p=49.5% p=23% p=2.2% wartosc metriksa Gjennomsnitt srednia = 5 = 5 SD = 1.5 Standard avvik = Indeks-verdi wartosc metriksa 6

7 Andel prøver Andel prøver funkcja gestosci prawdopodobienstwa funkcja gestosci prawdopodobienstwa Indeksverdier nær klassegrenser gir høyere risiko for feilklassifisering (A) High Good Moderate Poor Bad 0.8 p=0.1% p=15.7% p=68.3% p=15.7% p=0.1% Eksempel: - Gjennomsnitt synker fra 5 til Feilklassifisering øker fra 31.7% til 45.7% (C) Gjennomsnitt srednia = 5 = 5 Standard SD = avvik 1 = 1 - Sann klasse er MODERAT % risiko for å konkludere GOD eller SVÆRT GOD p=1.4% p=.7% p=54.3% p=3.6% p=0% wartosc metriksa Gjennomsnitt = 4.2 srednia = 4.2 Standard avvik = 1 SD = wartosc metriksa Indeks-verdi 7

8 Integrering av status-klasse og usikkerhet: fra biologiske kvalitetselementer til en hel vannforekomst 8

9 Kombinasjonsregel: "Det verste styrer" Problem: risiko for "underklassifisering", særlig ved høy usikkerhet 9

10 Integrering av biologiske kvalitetselementer (BQE) i BIOCLASS-Fresh 1. Hvordan integrere statusklasse for flere BQE? Gjeldende kombinasjonsregel: "Det verste styrer" Tester 3 alternative kombinasjonsregler 2. Hvordan integrere usikkerhet for flere BQE? Tester 3 nivåer av usikkerhet for alle BQE Std.av. = 0.05, 0.10, 0. Ser på konsekvenser for alle kombinasjonsregler: klassifisering og feilklassifisering 10

11 Kombinasjonsregler 1. "Det verste styrer" Vannforekomstens klasse settes lik BQE med laveste klasse 2. "Det verste styrer, ekskludert" Ekskludere det mest usikre BQE; bruk "Det verste styrer" for gjenværende BQEs. 3. "Gjennomsnitt" Konverter statusklasse for hver BQE til heltall 1-5, beregne gjennomsnitt (rundet ned). 4. "Gjennomsnitt, vektet" Som ovenfor, men det mest usikre BQE får lavere vekting (% - % - %). 11

12 funkcja gestosci prawdopodobienstwa Modell-simuleringer for integrering Framgangsmåte, for hver vannforekomst: For hver kominasjonsregel og hvert usikkerhetsnivå: 1. Avgjør "sann klasse" ifølge målte gjennomsnitt for hver BQE og valgt kombinasjonsregel. 2. For hver BQE: anta normalfordeling ~N(gj.snitt, std.av.) og simuler prøver. 3. For hver simulering: i. for hver BQE: avgjør klasse ifølge simulert indeksverdi. ii. for vannforekomsten: avgjør klasse ifølge hver BQEs (A) klasse og valgt kombinasjonsregel. Good Moderate 4. Beregn andel simulerte prøver som resulterer i hhv. "sann klasse" og andre klasser (= % feilklassifisering) High Poor Bad p=0.1% p=15.7% p=68.3% p=15.7% p=0.1% Gjennomsnitt = 5 srednia = 5 Standard avvik = 1 SD = (Etter WISERBUGS; Clarke 10) wartosc metriksa 12

13 Eksempler fra norske elver og innsjøer: Resultater fra BIOCLASS-fresh 13

14 Datagrunnlag: Indeksverdier og klassegrenser for hver BQE Eutrofiering Innsjøer 3 vannforekomster: Fytoplankton Makrofytter Fisk* Elver 18 vannforekomster: Begroingsalger Bunndyr Fisk* Forsuring 14 vannforekomster: Bunndyr Fisk 39 vannforekomster: Begroingsalger Bunndyr *) Fisk blir ekskludert / vektet ned i kombinasjonsregel 2 og 4 (NB: Vilkårlig valgt BQE!) 14

15 Misclassification (%) Misclassification (%) Classification (%) Classification (%) Eksempel 1: Longumvatnet "Sann klasse" "Overklassifisering" (A) Longum (= Longumvatn) Moderate Good Good (C) DVS DVS, ekskl. Longum (= Longumvatn) Snitt Snitt, vektet Moderate Moderate Good Good "Underklassifisering" 3 nivåer usikkerhet PP MP FI BQE Combination rule "Sann klasse" avhenger av kombinasjonsregel (B) "Det verste Moderatestyrer" Good (DVS): Good høy usikkerhet gir høy risiko for "underklassifisering" Gjennomsnitt: Longum (= Longumvatn) mer balansert risiko for under- og overklassifisering skjuler 0 at fytoplankton er MODERAT 0 og trenger tiltak (D) Longum (= Longumvatn) Moderate Moderate Good Good PP MP FI BQE Combination rule 15

16 Misclassification (%) Misclassification (%) Classification (%) Classification (%) Eksempel 2: Hobølelva ved Årås (Morsa) (A) Hobølelva Årås Moderate Moderate High (C) DVS DVS, ekskl. Hobølelva Årås Snitt Snitt, vektet Moderate Moderate Good Moderate PB MI FI BQE Combination rule Ekskludering av fisk før "Det verste styrer": (B) 0 Hobølelva Årås Kan bare gi bedre eller like god klasse Moderate Moderate High Moderate Moderate Good Moderate Nedvekting av fisk ved gjennomsnitt: Kan gi bedre, like god eller dårligere klasse Vanskelig å sammenlikne % feilklassifisering (D) 0 Hobølelva Årås Bedre å si at status er f.eks. "% GOD og % MODERAT"? PB MI FI

17 Misclassification (%) Misclassification (%) Classification (%) Classification (%) Eksempel 3: Bergsengbekken (Morsa) (A) Bergsengbekken (C) DVS DVS, ekskl. Bergsengbekken Snitt Snitt, vektet Good Good Bad Bad Good Moderate Moderate PB MI FI BQE Combination rule Ekskludering av fisk før "det verste styrer": (B) Bergsengbekken Gir GOD status, men MODERAT er like sannsynlig? Good Good Bad Vektet snitt kan gi mer konservativ status enn "Det verste styrer (ekskludert)" Kan gi bedre beskyttelse for det svakeste BQE (D) Bergsengbekken Bad Good Moderate Moderate PB MI FI

18 Konklusjoner 1. Kombinasjonsregel har stor betydning for klassifisering 2. Høyere usikkerhet (lav presisjon) gir høyere risiko for feilklassifisering 3. Feilklassifisering påvirkes også av andre faktorer Nærhet til klassegrenser, m.m. Vanskelig å sammenlikne risiko for feilklassifisering når "sann klasse" varierer med kombinasjonsregel 18

19 Konklusjoner 4. Gjennomsnitt gir lavere risiko for "underklassifisering" enn "Det verste styrer" men kan "glatte over" reelle behov for tiltak 5. Vektet gjennomsnitt kan være mer informativt enn "DVS ekskludert" men krever god begrunnelse 6. Statusklasse bør vurderes som sannsynlighet F.eks. innsjøen har status "% GOD, % MODERAT" 19

20 Takk for oppmerksomheten! Stor takk til Kollegaer ved NIVA og NINA for info om vannforekomster, indeksverdier, klassegrenser m.m.: Birger Skjelbred, Anne Lyche Solheim (fytoplankton) Susanne Schneider, Maia Røst Kile (begroingsalger) Marit Mjelde (makrofytter) Tor Erik Eriksen, Torleif Bækken (bunndyr i elver) Ann Kristin Schartau (bunndyr i elver og innsjøer) Atle Rustadbakken (fisk i innsjøer) Trygve Hesthagen, Randi Saksgård (fisk i elver) Ralph Clarke (Bournemouth University, UK) for verktøyet WISERBUGS jmo@niva.no Jannicke Moe