Tilnærminger til risikovurderinger for tilsiktede uønskede handlinger Monica Endregard og Maren Maal FFI-forum 16. juni 2015
Oppdrag Vurdere to tilnærminger til risikovurdering som FB bruker Gi en oversikt over ulike tilnærminger til risikovurdering for securityområdet. Finnes det en beste fremgangsmåte? Gi en anbefaling til FB om det er tilnærminger for security risikovurderinger FB bør vurdere å bruke, eller momenter som bør tas inn i de eksisterende modellene for å forbedre disse
Metode Dokumentanalyse Nasjonale og internasjonale standarder, veiledninger, modeller og tilnærminger Akademisk litteratur og lærebøker Eksempler på risikovurderinger Intervjuer Seminarer og møter Studiebesøk ved Centre for the Protection National Infrastructure
Hva er utfordringene? Dynamisk risiko Ikke nok ressurser til å sikre alt Stort antall mulige angrepsscenarioer og sikringsmuligheter Begrenset med historiske data, derfor store usikkerheter Å ta risikobaserte beslutninger er subjektivt Dillon et al. (2009) Risk Analysis 29 (3) 321 335
To norske standarder Norsk Standard 5814:2008 «Krav til risikovurderinger» Norsk Standard 5832:2014 «Krav til sikringsrisikoanalyse»
Definisjoner av risiko NS 5814:2008 NS 5832:2014 Uttrykk for kombinasjonen av sannsynligheten for og konsekvensen av en uønsket hendelse Uttrykk for forholdet mellom trusselen mot en gitt verdi og denne verdiens sårbarhet overfor den spesifiserte trusselen
FBs tilnærming basert på NS 5814 Sannsynlighet og konsekvenstilnærmingen Arbeidsmetode Første mellomtrinn Annet mellomtrinn Sluttresultat Objektkartlegging/ verdivurdering Oversikt over objektet og vurdering av verdiene Konsekvens = mulig tap av verdi ved et vellykket angrep Trusselvurdering/ scenariobeskrivelse Sårbarhetsvurdering Mulige scenarioer og angrepsmåter Muligheten for at en angriper kan trenge gjennom sikringstiltak Beskrive et vellykket angrep Sannsynlighet/ mulighet for et vellykket angrep Sammenstilling av konsekvens og sannsynlighet/ mulighet = risiko
Visualisering av risiko Sannsynlighet Meget høy 4 Høy 3 Moderat 2 Lav 1 K1 S1 E1 T1 Risiko 1 2 3 4 Høy Moderat Lav Ufarlig Farlig Kritisk Meget kritisk Konsekvens Gradert/sensitiv informasjon Én risikomatrise for hver verdikategori
FBs tilnærming basert på NS 5832 Trefaktormodellen Arbeidsmetode Delresultat Samleresultat Sluttresultat Verdivurdering Trusselvurdering Systematisk vurdering og rangering av de verdier virksomheten eier eller forvalter Identifisering av trusselaktører, deres intensjon og kapasitet og andre faktorer. Valg av scenarioer (trusler som kan true verdiene) Verdi (V) Trussel (T) Sikringsrisiko som en sammenstilling av V, T og S. Sårbarhetsvurdering Vurdering av i hvilken grad eksisterende barrierer kan forhindre den uønskede handling Sårbarhet (S)
Visualisering av risiko Risikotrekanten Verdi Total risiko Trussel Sårbarhet
Sammenligning Sannsynlighet og konsekvens-tilnærmingen Trefaktormodellen Delresultat Resultat Inngangsparameter Inngangsparameter Resultat Verdi Konsekvens Verdi Trussel Risiko Trussel Sikringsrisiko Sårbarhet Sannsynlighet Sårbarhet
Kontekst Hvorfor intervjuer? Hvem ble intervjuet, når og hvordan? Personer fra ulike miljøer som representerer forskjellige synspunkt Telefonintervjuer som varte mellom 30-90 minutter Kunnskapshull og behov for forskning Kvalitetssikring Gjennomsiktighet og sporbarhet
NS 5814 NS 5832
Hovedtemaer i intervjuer Bruken av sannsynlighet Språkdrakt i NS 5814 og NS 5832 Forskjellen mellom tilsiktede uønskede handlinger (security) og utilsiktede uønskede hendelser (safety) Risikovurdering basert på NS 5814 Risikovurdering basert på NS 5832 Beste fremgangsmåte og suksesskriterier
Sannsynlighetsbegrepet «Sannsynlighet ikke bare er én ting. Det er i alle fall to fundamentale forskjellige ting kunnskapsbaserte sannsynligheter som uttrykker usikkerhet og trolighet til den som gjør vurderingen og frekvenssannsynligheter. For å kunne ha en ordentlig diskusjon må denne forståelsen være på plass.»
Sannsynlighetsbegrepet «Sannsynlighet ikke bare er én ting. Det er i alle fall to fundamentale forskjellige ting kunnskapsbaserte sannsynligheter som uttrykker usikkerhet og trolighet til den som gjør vurderingen og frekvenssannsynligheter. For å kunne ha en ordentlig diskusjon må denne forståelsen være på plass.»
Sannsynlighetsbegrepet «Sannsynlighet ikke bare er én ting. Det er i alle fall to fundamentale forskjellige ting kunnskapsbaserte sannsynligheter som uttrykker usikkerhet og trolighet til den som gjør vurderingen og frekvenssannsynligheter. For å kunne ha en ordentlig diskusjon må denne forståelsen være på plass.» «Veldig mange henger fast i en naturvitenskapelig tankegang som vi i risikoanalysefaget har forlatt. Innen security-feltet har en begrenset med data og man kan ikke si noe med 100 % sannsynlighet om fremtiden. Jeg tror det er derfor vi misforstår hverandre. Jeg snakker ikke om matematisk eller statistisk sannsynlighet, jeg snakker om subjektive sannsynligheter.»
Sannsynlighetsbegrepet «Sannsynlighet ikke bare er én ting. Det er i alle fall to fundamentale forskjellige ting kunnskapsbaserte sannsynligheter som uttrykker usikkerhet og trolighet til den som gjør vurderingen og frekvenssannsynligheter. For å kunne ha en ordentlig diskusjon må denne forståelsen være på plass.» «Veldig mange henger fast i en naturvitenskapelig tankegang som vi i risikoanalysefaget har forlatt. Innen security-feltet har en begrenset med data og man kan ikke si noe med 100 % sannsynlighet om fremtiden. Jeg tror det er derfor vi misforstår hverandre. Jeg snakker ikke om matematisk eller statistisk sannsynlighet, jeg snakker om subjektive sannsynligheter.»
Sannsynlighetsbegrepet «Sannsynlighet ikke bare er én ting. Det er i alle fall to fundamentale forskjellige ting kunnskapsbaserte sannsynligheter som uttrykker usikkerhet og trolighet til den som gjør vurderingen og frekvenssannsynligheter. For å kunne ha en ordentlig diskusjon må denne forståelsen være på plass.» «Veldig mange henger fast i en naturvitenskapelig tankegang som vi i risikoanalysefaget har forlatt. Innen security-feltet har en begrenset med data og man kan ikke si noe med 100 % sannsynlighet om fremtiden. Jeg tror det er derfor vi misforstår hverandre. Jeg snakker ikke om matematisk eller statistisk sannsynlighet, jeg snakker om subjektive sannsynligheter.» Andre mente at diskusjonen om bruken av sannsynlighet er en «avsporing ettersom tilnærmingen man velger enten om det er NS 5814 eller NS 5832 består av kvalitative vurderinger hele veien og vurderinger av sannsynlighet»
Sannsynlighetsbegrepet «Sannsynlighet ikke bare er én ting. Det er i alle fall to fundamentale forskjellige ting kunnskapsbaserte sannsynligheter som uttrykker usikkerhet og trolighet til den som gjør vurderingen og frekvenssannsynligheter. For å kunne ha en ordentlig diskusjon må denne forståelsen være på plass.» «Veldig mange henger fast i en naturvitenskapelig tankegang som vi i risikoanalysefaget har forlatt. Innen security-feltet har en begrenset med data og man kan ikke si noe med 100 % sannsynlighet om fremtiden. Jeg tror det er derfor vi misforstår hverandre. Jeg snakker ikke om matematisk eller statistisk sannsynlighet, jeg snakker om subjektive sannsynligheter.» Andre mente at diskusjonen om bruken av sannsynlighet er en «avsporing ettersom tilnærmingen man velger enten om det er NS 5814 eller NS 5832 består av kvalitative vurderinger hele veien og vurderinger av sannsynlighet»
Sannsynlighetsvurderinger i NS 5832 1. Det er bare trusler man har fantasi til å tenke seg som blir tatt med. 2. Noen scenarioer er rett og slett mindre sannsynlige, og tas ikke med videre 3. Når konsekvensen utredes kan man kanskje finne at verdien likevel ikke er sårbar for det scenarioet som slapp gjennom siling nr. 2. i NS 5830 så bruker man ikke sannsynlighet som en egen parameter når man vurderer risiko. Det er sannsynligheten for at du blir utsatt for en uønsket handling slik som det fremstilles i ROSmetodikk som vi er uenig i. Det er den sannsynlighetsvurderingen vi mener det er vanskelig for sikkerhetsfolk å forholde seg til, og til dels irrelevant
Sannsynlighetsvurderinger i NS 5832 1. Det er bare trusler man har fantasi til å tenke seg som blir tatt med. 2. Noen scenarioer er rett og slett mindre sannsynlige, og tas ikke med videre 3. Når konsekvensen utredes kan man kanskje finne at verdien likevel ikke er sårbar for det scenarioet som slapp gjennom siling nr. 2. i NS 5830 så bruker man ikke sannsynlighet som en egen parameter når man vurderer risiko. Det er sannsynligheten for at du blir utsatt for en uønsket handling slik som det fremstilles i ROSmetodikk som vi er uenig i. Det er den sannsynlighetsvurderingen vi mener det er vanskelig for sikkerhetsfolk å forholde seg til, og til dels irrelevant
Forståelsen av sannsynlighet «Virkeligheten der ute er at man forstår sannsynlighet som frekvensbasert. I NS 5814 og i Sikringshåndboken står det at de tolker sannsynlighet som frekvensbasert. Det er dette folk leser, ikke artikler i vitenskapelige tidsskrifter»
Forståelsen av sannsynlighet «Virkeligheten der ute er at man forstår sannsynlighet som frekvensbasert. I NS 5814 og i Sikringshåndboken står det at de tolker sannsynlighet som frekvensbasert. Det er dette folk leser, ikke artikler i vitenskapelige tidsskrifter»
Forståelsen av sannsynlighet «Virkeligheten der ute er at man forstår sannsynlighet som frekvensbasert. I NS 5814 og i Sikringshåndboken står det at de tolker sannsynlighet som frekvensbasert. Det er dette folk leser, ikke artikler i vitenskapelige tidsskrifter» «Sannsynlighet dekker både probability (matematisk sannsynlighet jf. gambling) og likelihood (muligheten, troligheten og sjansen for). Hvis vi hadde hatt norske ord for disse to engelske begrepene så tror jeg mye kunne vært løst.»
Forståelsen av sannsynlighet «Virkeligheten der ute er at man forstår sannsynlighet som frekvensbasert. I NS 5814 og i Sikringshåndboken står det at de tolker sannsynlighet som frekvensbasert. Det er dette folk leser, ikke artikler i vitenskapelige tidsskrifter» «Sannsynlighet dekker både probability (matematisk sannsynlighet jf. gambling) og likelihood (muligheten, troligheten og sjansen for). Hvis vi hadde hatt norske ord for disse to engelske begrepene så tror jeg mye kunne vært løst.»
Nytten av sannsynlighetsbegrepet (kunnskapsbasert sannsynlighet) «Sannsynlighet er nødvendig for å kunne få et risikobilde som kan sammenlignes med de andre risikobildene [ ]» «Uten bruk av sannsynlighet som en tidsangivelse, blir risikovurderingen et øyeblikksbilde» Sannsynlighet er ett av redskapene for å kunne si noe om usikkerhet; «De tre dimensjonene verdi, trussel og sårbarhet er helt konsistent med tankemåten vår der usikkerhet beskrives med redskaper som kapasitet, intensjon, sannsynlighet og kunnskapsstyrke, uten at vi da snakker om frekvenssannsynligheter»
Språkdrakt i NS 583X-serien I NS 5830-serien har man villet være tro mot ordbokdefinisjonene av de to begrepene [analyse og vurdering]. Språkrådet støttet denne bruken. «Det er høyst unødvendig at en skal skape en språkdrakt som er inkonsistent med allmenn terminologi i Europa om hva som er en risikoanalyse og en risikovurdering» «Min erfaring er uansett at i praksis brukes disse begrepene om hverandre uten at det skaper stor forvirring»
Siste spørsmål Respondentenes avsluttende refleksjoner «Jeg har troen på at det er mulig å ha en mer enhetlig fremgangsmåte som kan dekke både safety, security og andre områder på en god måte» «Istedenfor å se på debatten om NS 583X-serien vs. NS 5814 som motpoler hadde vi kommet mye lengre ved å samarbeide og lære av hverandres fagfelt» FFI sine siste refleksjoner rundt intervjuene: (i) Manglende kommunikasjon på tvers av miljøer (ii) Manglende forståelse og at vi har snakket forbi hverandre (iii) Vi er ikke så uenig som vi tror vi er
Konklusjoner (1) FBs to tilnærminger er ganske like, men: Sannsynlighet Separat vurdering i den ene, indirekte vurdering i den andre Kommunikasjon av risiko Vitenskapelig forankring Anbefalinger Kommuniser usikkerhet i rapporter og visualisering Inkluder sensitivitetsanalyse, dvs. varier parametere og sammenlikn resultater Vurder å benytte sløyfediagram, hendelsestre- og feiltreanalyser
Konklusjoner (2) Despite a wealth of informed discussion and documented research, no single approach has emerged as a clear choice for security professionals (Communications Security Establishment 2007:51) Vår studie støtter denne konklusjonen Vi har ikke funnet en beste fremgangsmåte for security risikovurdering Kunnskap og metodeforståelse er viktigere enn hvilken tilnærming vi bruker
Hva karakteriserer en god fremgangsmåte? Strukturert tilnærming med vekt på prosessen Arbeidsgruppens sammensetning og kunnskap er viktig Forstå organisasjonen Kommunisere risiko og usikkerhet i analysen til ledelsen Godt dokumentert, være gjennomsiktig, sporbar og etterprøvbar
Takk for oppmerksomheten! Rapporten ligger ute på nett: Odd Busmundrud, Maren Maal, Jo Hagness Kiran og Monica Endregard (2015). Tilnærminger til risikovurderinger for tilsiktede uønskede handlinger. FFI-rapport 2015/00923