Nye metoder for å håndtere usikkerhet og beskrive kunnskapsgrunnlaget i risikoanalyser Roger Flage

Transkript

1 RISIKOFORSTÅELSE nøkkelen til bedre risikoanalyser og styring 30. mai, Petroleumstilsynet, Stavanger Nye metoder for å håndtere usikkerhet og beskrive kunnskapsgrunnlaget i risikoanalyser Roger Flage Førsteamanuensis, Institutt for industriell økonomi, risikostyring og planlegging / Det teknisk-naturvitenskapelige fakultet Universitetet i Stavanger uis.no

2 Hva er bidragene? Epistemisk versus aleatorisk usikkerhet Usikkerhet om sannsynlighet Modellusikkerhet Konservativisme Kompletthetsusikkerhet Usikre antagelser Nye perspektiver på eksisterende konsepter Utfordre eksisterende praksis Nye tilnærminger/metoder/teknikker 2

3 Hva gir fremheving av og fokus på kunnskapsdimensjonen? «Relatert til kunnskap» Variasjon Epistemisk versus aleatorisk usikkerhet Modellusikkerhet Modell = representasjon av fenomen (basert på begrunnede oppfatninger (= kunnskap)) Kompletthetsusikkerhet Usikkerhet om sannsynlighet Konservativisme Klassifisert som en type epistemisk (dvs. kunnskapsrelatert) usikkerhet P(A K) Legge til grunn forhold som er «verre» enn de reelle begrunnede oppfatninger (= kunnskap) Usikre antagelser Økt presisjon og nyansering Antagelser en del av K => Ny innsikt => Nye metoder 3

4 Usikkerhet i risikoanalyser Section 14.9: Uncertainty There are a number of sources of uncertainty in the risk assessment process. Uncertainties exist in most elements of the risk analysis: in top event frequencies, in branch probability models, and in consequence models/assessments The absolute accuracy of the assessment is limited

5 Usikkerhet i risikoanalyser Uklart hva «usikkerhet» er ifm. risikoanalyser

6 Usikkerhet i risikoanalyser Hva er de usikre størrelsene? C Hvem er usikker? K Hvordan representere usikkerheten? Q Aven (2010) 6

7 Trender innen kvantitativ håndtering av usikkerhet i risikoanalyser Sannsynlighet «Belief», «Plausibility», «Necessity», «Possibility», Hybride metoder Intervallsannsynlighet Semi-kvantitativ representasjon Flage, R., Aven, T., Zio, E., & Baraldi, P. (2014). Concerns, challenges, and directions of development for the issue of representing uncertainty in risk assessment. Risk Analysis, 34(7),

8 Semi-kvantitativ risikoanalyse Kvantitativ representasjon F.eks. sannsynlighet + Kvalitativ vurdering av kunnskapsstyrke

9 Vurdering av kunnskapsstyrke i risikoanalyser Sterk kunnskap: Alle følgende kriterier oppfylt [når de er relevante]: Fenomenene som er involvert er god forstått; modellene som brukes er kjent for å gi prediksjoner med tilstrekkelig nøyaktighet. Antagelsene som er gjort anses som svært rimelige. Store mengder pålitelige data er tilgjengelige. Det er bred enighet blant eksperter. Moderat kunnskap: Svak kunnskap: Flage & Aven (2009) 9

10 NUSAP notasjonssystem Utviklet for å støtte beslutninger om politikkutforming når beslutningene skal baseres på vitenskapelig informasjon Funtowicz & Ravetz (1990) Usikkerhetsrepresentasjon Kvantitativ Kvalitativ

11 NUSAP notatsjonssystem Numeral Unit Spread Assessment Pedigree Numerisk størrelse Enhet Kvantitativ representasjon av usikkerhet Grad av tillit til informasjon Kvalitativ evaluering av usikkerhet/verdilading

12 NUSAP Eksempel: Utblåsningsrate Numeral Numerisk størrelse Unit Enhet Sm 3 /døgn Spread Kvantitativ representasjon [6.500,9.500] av usikkerhet Assessment Grad av tillit til informasjon 90 % Pedigree Kvalitativ evaluering av Pedigree-matrise usikkerhet/verdilading

13 «Pedigree»-matrise Score Theoretical structures Data-input Peer-acceptance Colleague consensus 4 Established theory Experimental data Total All but cranks 3 Theoretically based model Historic / field data High All but rebels 2 Computational model Calculated data Medium Competing schools 1 Statistical processing Educated guesses Low Embryonic field 0 Definitions Uneducated guesses None No opinion Funtowicz & Ravetz (1990)

14 «Pedigree»-matrise Score Theoretical structures Data-input Peer-acceptance Colleague consensus 4 Established theory Experimental data Total All but cranks 3 Theoretically based model Historic / field data High All but rebels 2 Computational model Calculated data Medium Competing schools 1 Statistical processing Educated guesses Low Embryonic field 0 Definitions Uneducated guesses None No opinion Pedigree = (3,3,3,4)

15 NUSAP Eksempel: Utblåsningsrate Numeral Numerisk størrelse Unit Enhet kg/s Spread Kvantitativ representasjon [6.500,9.500] av usikkerhet Assessment Grad av tillit til informasjon 90 % Pedigree Kvalitativ evaluering av (3,3,3,4) usikkerhet/verdilading

16 Hva kan NUSAP bidra med til risikoanalyseområdet? Argumenter som støtter behovet for kvalitative vurderinger (av bl.a. kunnskapsstyrke) ut over kvantitativ representasjon av usikkerhet En måte å fremstille informasjon som er konsistent med risikobeskrivelsen i et usikkerhetsbasert risikoperspektiv Berner, C. L., & Flage, R. (2016). Comparing and integrating the NUSAP notational scheme with 16 an uncertainty based risk perspective. Reliability Engineering & System Safety, 156,

17 Informasjonsfremstilling i NUSAP versus risikobeskrivelsen i usikkerhetsbasert risikoperspektiv NUSAP Numeral Unit Risikobeskrivelse (C,Q,K) C Prediksjon av størrelse C Spread Intervall for størrelse C Assessment Q = P (f.eks.) Mål på usikkerhet Pedigree KS Vurdering av kunnskapsstyrke (KS)

18 Hva kan NUSAP bidra med til risikoanalyseområdet? Argumenter som støtter behovet for vurderinger av kunnskapsstyrke En måte å fremstille informasjon som er konsistent med risikobeskrivelsen i et usikkerhetsbasert risikoperspektiv Alternative (men beslektede) kriterier for å evaluere kunnskapsstyrke Berner, C. L., & Flage, R. (2016). Comparing and integrating the NUSAP notational scheme with 18 an uncertainty based risk perspective. Reliability Engineering & System Safety, 156,

19 Alternativ pedigree-matrise

20 Valg av kriterier for evaluering av kunnskapsstyrke/pedigree-matrise Ikke-modellbasert risikoanalyse Modellbasert risikoanalyse => Avhengig av type analyse Datadrevet risikoanalyse (fundert i statistisk læringsteori) Risikoanalyse basert på system-dekomponering og kombinasjon av data og ekspertvurderinger

21 Vurdering av kunnskapsstyrke i risikoanalyser av intensjonelle hendelser

22 Vurdering av kunnskapsstyrke i risikoanalyser av intensjonelle hendelser Ikke-intensjonelle hendelser (naturkatastrofer, ulykker, ) Intensjonelle hendelser (sabotasje, terror, ) P + KS P + KS

23 Vurdering av kunnskapsstyrke i risikoanalyser av intensjonelle hendelser Sterk kunnskap: Alle følgende kriterier oppfylt (dersom relevant): Fenomenene som er involvert er god forstått; o Alle risikokilder (aktører) er kjente o Både kapasitet og intensjon hos risikokildene (aktørene) anses som godt forstått o Både modeller brukt for å reflektere og predikere risikokildenes (aktørenes) kunnskap og atferd (inkludert kunnskap om og respons til tiltak) og modeller brukt for å predikere konsekvenser, er kjent for å gi prediksjoner med tilstrekkelig nøyaktighet. Store mengder pålitelige data er tilgjengelige; o Alle antagelser har blitt identifisert, dokumentert og anses som svært rimelige; o Det er bred enighet blant eksperter; o Kunnskapskomponenten K har blitt nøye gransket. Moderat-sterk kunnskap: Moderat kunnskap: Moderat-svak kunnskap: Svak kunnskap: Askeland, T., Flage, R., & Aven, T. (2017). Moving beyond probabilities Strength of knowledge characterisations applied to security. Reliability Engineering & System Safety, 159,

24 Hva kan NUSAP bidra med til risikoanalyseområdet? Argumenter som støtter behovet for vurderinger av kunnskapsstyrke En måte å fremstille informasjon som er konsistent med risikobeskrivelsen i et usikkerhetsbasert risikoperspektiv Alternative (men beslektede) kriterier for å evaluere kunnskapsstyrke Visuelle hjelpemidler for å illustrere/kommunisere kunnskapsstyrke Berner, C. L., & Flage, R. (2016). Comparing and integrating the NUSAP notational scheme with 24 an uncertainty based risk perspective. Reliability Engineering & System Safety, 156,

25 Visualisering av kunnskapsstyrke Antakelse x Fenomenforståelse Realisme i antagelser 0 Data Enighet blant eksperter

26 Visualisering av kunnskapsstyrke

27 Hva kan NUSAP bidra med til risikoanalyseområdet? Argumenter som støtter behovet for vurderinger av kunnskapsstyrke En måte å fremstille informasjon som er konsistent med risikobeskrivelsen i et usikkerhetsbasert risikoperspektiv Alternative (men beslektede) kriterier for å evaluere kunnskapsstyrke Visuelle hjelpemidler for å illustrere/kommunisere kunnskapsstyrke Et alternativt format for å presentere i) kunnskapsstyrke, og ii) risikovurdering av avvik i antagelser Berner, C. L., & Flage, R. (2016). Comparing and integrating the NUSAP notational scheme with 27 an uncertainty based risk perspective. Reliability Engineering & System Safety, 156,

28 Kunnskapsstyrke-matrise Kunnskapsstyrke Sterk = 3 Moderat = 2 Svak = 1 Fenomener Data Ekspertvurderinger Antagelser Fenomenene som er involvert er god forstått; modellene som brukes er kjent for å gi prediksjoner med tilstrekkelig nøyaktighet. Betingelser mellom sterk (3) og svak (1); for eksempel, fenomenene er godt forstått, men modellene som er brukt anses enkle/grove Fenomenene som er involvert er ikke godt forstått; modeller er ikke-eksisterende eller kjent for/trodd å gi dårlige prediksjoner Store mengder pålitelige data er tilgjengelige. Betingelser mellom sterk (3) og svak (1); for eksempel, noe pålitelig data er tilgjengelig Data er ikke tilgjengelig eller upålitelige Det er bred enighet blant eksperter. Betingelser mellom sterk (3) og svak (1) Det er mangel på enighet/konsensus blant eksperter Antagelsene som er gjort anses som svært rimelige. Betingelser mellom sterk (3) og svak (1) Antagelsene som er gjort representerer sterke forenkliger

29 Usikkerhetsanalyse Usikre størrelser «Deterministiske» størrelser Antagelser Aven (2010) 29

30 «Usikre» antagelser The number of immediate fatalities for a blowout given immediate ignition is 1 (i.e. X = d= 1). A gas leakage will be detected within 30 s (i.e. X = d= 30)

31 Antagelser i risikoanalyser Avvik fra antagelser? Størrelse på avvik Sannsynlighet for avvik Effekt av avvik på konsekvenser Kunnskapsstyrke => Risikovurdering av avvik fra antagelser Aven, T. (2013). Practical implications of the new risk perspectives. Reliability Engineering & System Safety, 115,

32 Risikovurdering av avvik fra antagelser Aven, T. (2013). Practical implications of the new risk perspectives. Reliability Engineering & System Safety, 115,

33 Integrering av NUSAP-format og risikovurdering av avvik Nr Antakelse Enhet Kunnskapsstyrke Størrelse på avvik Sannsynlighet for avvik 1 60 POB (3,NA,NA,2) - 15 Lav Moderat Moderat Moderat Effekt av avvik på konsekvenser Berner, C. L., & Flage, R. (2016). Comparing and integrating the NUSAP notational scheme with an uncertainty based risk perspective. Reliability Engineering & System Safety, 156,

34 Håndtering av usikre antagelser Risikovurdering av avvik fra antagelser Strategier for å håndtere usikre antagelser i risikoanalysen Strategier for å håndtere usikre antagelser i risikostyringen

35 Ignorering av scenarier A = {John, Filip, Frank, Lisa,, Jan} A = {slektninger, venner, kolleger, andre} Aven, T. (2016). Ignoring scenarios in risk assessments: Understanding the issue and improving current practice. Reliability Engineering & System Safety, 145,

36 Ignorering av scenarier A = {Ukontrollert utslipp av hydrokarboner, inkludert prosesslekkasjer, brønnhendelser og stigerørslekkasjer; Strukturintegritetshendelser, inkludert strukturell skade og kollisjoner; Arbeidsulykker} A = {0 omkomne, 1 omkommet, 2 omkomne, }

37 Ignorering av scenarier - Utfordringer Noen hendelser/scenarier ekskluderes fra A som et resultat av ukjente ukjente (a) og ukjente kjente (b) Noen hendelser/scenarier ekskluderes fra A og fra videre analyse grunnet lav vurdert sannsynlighet

38 Ignorering av scenarier Utfall {0 omkomne, 1 omkommet, 2 omkomne, } Avgjørende at utfallsrommet dekker alle mulige utfall Gjerne uproblematisk for en definert størrelse, men kan være utfordrende å dekke alle relevante typer utfall Hovedhendelser {Prosesslekkasjer, Ikke-prosessrelaterte branner, Strukturintegritetshendelser,, Arbeidsulykker} For veletablerte industrier vil en ofte kunne utvikle en komplett liste på dette nivået, og dermed unngå kategorien ukjente kjente => «Andre»-kategori = ukjente ukjente Risikokilder {rørseksjon X, flens Y, ventil Z, } Forenklinger i modelleringen gjør at i praksis dekkes kun et begrenset antall slike kilder

39 Ignorering av scenarier Noen retningslinjer Utfall {0 omkomne, 1 omkommet, 2 omkomne, } Analyseoppsett må ha tilstrekkelig bredde til å dekke alle relevante typer utfall Eventuelt bruk av «Andre»-kategori Hovedhendelser {Prosesslekkasjer, Ikke-prosessrelaterte branner, Strukturintegritetshendelser,, Arbeidsulykker, «Andre»} Spesiell fokus på ukjente kjente Ingen slike hendelser ekskluderes pga. lav sannsynlighet Risikokilder {rørseksjon X, flens Y, ventil Z, } Granskning av bakgrunnskunnskap for sannsynlighetsvurderinger Supplere risikoanalyse med tiltak basert på robusthet- og resilienstenkning

40 Oppsummering Sannsynlighet «Belief», «Plausibility», «Necessity», «Possibility», Hybride metoder Intervallsannsynlighet Semi-kvantitative representasjon