Politiets evaluering av hendelsene 22. juli 2011 - metodevalg og metodeutfordringer Evalueringskonferansen 4. september 2012 Avdelingsdirektør Espen Frøyland, Analyseavdelingen, Politidirektoratet
Norsk politi besto ikke prøven, verken den 22. juli eller i sin egen evaluering 1) 1) Justis- og beredskapsminister Grete Faremo, kronikk nrk.no 16. august 2012
Innhold Formål med evaluering i politiet Organisering av 22.7-evalueringsarbeidet i politiet Innhold i og forståelse av mandat Metodikk for politiets evaluering av 22.7 Intern versus ekstern evaluering Datainnsamling Evaluering og kultur Diskusjon, spørsmål og kommentarer Endres i topp-/bunntekst 21.09.2012 Side 3
Formål med evaluering i politiet Legge til rette for utvikling av en god læringskultur i etaten Sikre at både positive og negative erfaringer som gjøres i en virksomhet tilflyter hele etaten Sikre at erfaringer omsettes til læring slik at tilliten til politiet styrkes
Læringssirkelen i politiet Sette mål Nødvendige korrigeringer Analysere og implementere Monitorere og evaluere Læringskultur Endres i topp-/bunntekst 21.09.2012 Side 5
Organisering av politiets evaluering Samarbeids -partnere Andre politdistrikt Særorgan (Kripos UP, PDMT) Politidirektoratet Oslo pd Nordre Buskerud pd Sønderlandutvalget (Politiets evaluering) 6 i utvalget og 2 sekretærer Arbeidet fra august 2011 til mars 2012 Baserte seg på datafangst og vurderinger i lokale utvalg
Overordnet metodikk for politiets evaluering 22.7 1) Tolk mandat Bestem mål for evalueringen Definer evalueringstema Formuler evalueringsspørsmål Etabler sammenligningsgrunnlag (vurderingskriterier) Gjennomfør datainnsamling Beskriv funn og læringspunkter 1) I stor grad basert på «Sjekkliste for planlegging, gjennomføring og oppfølging av evalueringer», Direktoratet for økonomistyring
Mandat Sønderlandutvalget «Formålet med evalueringen er å få kunnskap om effektivitet i politiets håndtering, som følge av hendelsene i Oslo og på Utøya, den 22. juli 2011 og i de følgende dagene, for derigjennom å lære mest mulig av det som ble gjort (nasjonal læring) og følge opp forbedringsområder (utvikling og kvalitetssikring).» «Den skal ikke ha som formål å avdekke feil og finne syndebukker.» Mandat Gjørvkommisjonen «Hva skjedde 22/7? Hvorfor skjedde det? Og mer fundamentalt: Hvordan kunne vårt samfunn la dette skje?» (Gjørvkommisjonen s. 13) Et nøkternt og utilslørt bilde av hva som gikk godt, og hva som sviktet «på bakkeplanet», er etter kommisjonens vurdering en nødvendig forutsetning for at samfunnet kan ta til seg læring fra de viktige ledelsesmessige, strategiske og politiske utfordringene som springer ut av hendelsene. (Gjørvkommisjonen s.14) I politiets evaluering var hovedformålet læring, og i Gjørvkommisjonen var det både læring og kontroll. Mange av læringspunktene i Sønderland-utvalget og Gjørv-kommisjonen er sammenfallende Endres i topp-/bunntekst 21.09.2012 Side 8
Evalueringstemaer for politiets evaluering av 22.7 Varsling og situasjonsrapportering Planverk, organisering, ledelse og samordning Håndtering av evakuerte og pårørende Informasjon og mediehåndtering HMS-arbeid Stort område å evaluere på begrenset tid. Evaluering er en modningsprosess. Kreves tid for å gjøre gode vurderinger. Endres i topp-/bunntekst 21.09.2012 Side 9
Vurderingskriterier for å kunne sammenligne. Brukt i evaluering av 22. juli I. Det foreligger objektive vurderingskriterier det skal måles mot. Eksempel: Har politiet fulgt mål eller krav i Politiets beredskapssystem (PBS). II. Det etableres vurderingskriterier ut fra egne faglige vurderinger siden det ikke foreligger på forhånd fastsatte kriterier. Eksempel: Nasjonal varsling skjer hurtig, sikkert og effektivt. III. For en rekke av evalueringsspørsmålene var det ikke mulig å definere et entydig og presist sett av vurderingskriterier. I disse tilfellene mer skjønnsmessig gjort vurderinger av funn (for eksempel konsekvenser av konkrete beslutninger og konkrete hendelser). Det vil da være vanskeligere å angi hva som er god eller tilfredsstillende måloppnåelse. Eksempel: Valg av sted for å sette ut båt for innsatspersonell til Utøya.
Resultatkjede for varsling 22.7 Forutsetninger Ressurser Prosesser/ beslutninger Produkter/ tjenester Brukerkonsekvenser Samfunnskonsekvenser Tekniske varslingssystemet (Outlook) PCer i politidistrikt Kompetanse i politidistrikt, Kripos, POD,,, Planverk Testing Øvelser Organisering Prosedyrer Roller Ledelse Politidistrikt varsle Kripos Nedtegne varsel i Kripos Kripos sende varsel ut Motta varsel i politidistrikt Forstå melding Pågripelse Sperringer mv. Tillit og omdømme til politiet Formidling til mannsskaper Skjedde varsling hurtig, sikkert og effektivt?
Datainnsamling Politiets evaluering I de lokale evalueringene ble det gjennomført intervjuer og annen datafangst Sønderland-utvalget baserte seg i stor grad på innhold i de lokale evalueringene Gjørv-kommisjonen Et stort antall intervjuer GPS-data Omfattende bilde- og filmmateriale Omfattende og kvalitetssikret datainnsamling gjorde det mulig å trekke klare konklusjoner, som tilgjengelighet til båter 22.7 Endres i topp-/bunntekst 21.09.2012 Side 12
Endres i topp-/bunntekst 21.09.2012 Side 13
Intern eller ekstern evaluering Samfunns -kritisk/ politisk oppmerksomhet Læring Kontroll Endres i topp-/bunntekst 21.09.2012 Side 14
Intern versus ekstern evaluering (forts) Andre relevante aspekter i valg mellom intern/ekstern evaluator: Sakkunnskap kontra spesialkompetanse på evalueringsmetodikk Betydningen av distanse til det som evalueres Behovet for å bygge opp intern evalueringskompetanse Sønderland-utvalget og de interne evalueringsutvalgene Alle arbeider i politiet. Tung politifaglig kompetanse. Gjennomgående liten evalueringserfaring Gjørv-kommisjonen Ingen i kommisjonen eller dens sekretariat arbeider i norsk politi i dag Tung tverrfaglig kompetanse, næringslivserfaring og praktisk kunnskap fra politi i andre land
Evaluering og læringskultur Generelt: For å lære, må vi også få opp det som er vondt For at en (intern) evaluering skal få frem riktige svar, kreves det en åpenhetskultur for å innrømme feil Erkjenne hva evaluering innebærer, ikke bare forstå det på et intellektuelt plan Politiet: Takhøyde for å erkjenne feil? Det å innrømme feil i kritiske hendelser innebærer at man gjør vurderinger av forhold som kan ha hatt følger for liv og død. Endres i topp-/bunntekst 21.09.2012 Side 16
Spørsmål, kommentarer og diskusjon Endres i topp-/bunntekst 21.09.2012 Side 17
Mulige diskusjonspunkter Hva er tilstrekkelig avstand mellom evaluator og den som evalueres? Hvordan skaper vi en kultur for læring (der feil aksepteres)?
Takk for meg