Mål- og resultatstyring i staten en veileder i resultatmåling v./ellisiv Taraldset, lanseringsseminaret 13.03.07 09.03.2007 Senter for statlig økonomistyring Side 1
Formål med innlegget Gjennomgang av bakgrunnen for og hovedpunktene i SSØs veileder i resultatmåling Side 2
Disposisjon for innlegget 1. Hvorfor veileder? 2. Hva er mål- og resultatstyring? 3. Resultatkjeden 4. Utgangspunktet: mål og strategi 5. Styringsparametere 6. Resultatmåling - Måling av volum - Måling av produktivitet - Måling av kvalitet - Måling av effekter - Måling av effektivitet 7. Læring og forbedring 8. Oppsummering og noen utfordringer Side 3
1. Hvorfor veileder i resultatmåling? Suksess uansett hva som skjer. Side 4
Ambisjonsnivå, tema og målgruppe Innføring i løpende resultatmåling Fokus: styring i virksomhetene Ledere og ansatte som arbeider med mål- og resultatstyring Side 5
2. Hva er mål- og resultatstyring? - Å fastsette mål for virksomheten, -åmåle resultater og - sammenligne med målene og - bruke denne informasjonen til styring, kontroll og læring for å utvikle og forbedre virksomheten Side 6
Styringshjulet Prosess Overordnede mål og strategi Styringsparametere Læring og forbedring Lederforankring og dialog Resultatmåling og vurdering Side 7
3. Hva gjør virksomheten? Resultatkjeden Aktiviteter Produkter/ tjenester Innsatsfaktorer Brukereffekter Samfunnseffekter innenfor virksomheten i grenseland utenfor virksomheten Vi har kontroll Vi kan påvirke direkte Vi kan påvirke indirekte Verktøy Side 8
4. Utgangspunktet: overordnede mål og strategi Mål = ønsket resultat Overordnede mål og strategi Strategi = overordnede veivalg, endringer Styringsparametere Læring og forbedring Lederforankring og dialog Resultatmåling og vurdering Side 9
Strategi og resultatmåling Overordnede veivalg og viktigste satsingsområder i de nærmeste årene fremover. Steg 1 Steg 2 Steg 3 Steg 4 Steg 5 Kartlegging og analyse: hvor er vi nå? Målstruktur: hvor skal vi? Strategier og tiltak: hvordan kommer vi dit? Ressursallokering: hvilke ressurser trenger vi? Oppfølging og kontroll: hvordan vet vi at vi er kommet dit? Side 10
5. Styringsparametere Overordnede mål og strategi Styringsparametere Læring og forbedring Lederforankring og dialog Resultatmåling og vurdering Side 11
Hva er styringsparametere? Alle typer måleskalaer eller kvalitative vurderinger som brukes i styringen av virksomheten på ulike nivåer. Måler eller beskriver direkte eller indirekte i hvilken grad virksomheten når sine overordnede mål i en gitt periode (eksempelvis et budsjettår). Det kan knyttes et konkret ambisjonsnivå til resultatene som skal nås i den aktuelle perioden (resultatmål). Andre betegnelser: (resultat)indikatorer, Key Performance Indicators (KPI-er) Side 12
5 grupper av styringsparametere 5 grupper av styringsparametere: KVALITET KVALITET KVALITET Innsats- Aktiviteter Produkter/ Brukereffekter EFFEKTER effekter Samfunnsfaktorer tjenester KR/VOLUM KR/VOLUM KR/VOLUM KR/VOLUM KR/VOLUM PRODUKTIVITET EFFEKTIVITET Side 13
Styringsparametere - eksempel Tjeneste Mål Styringsparameter Registrering av selskaper Forebygging av sykdommer Registrering skjer effektivt, korrekt og med få administrative byrder for selskapene Kostnadsbevisst gjennomføring av virkningsfulle forebyggingsprosjekter Volum: antall registreringer pr. år Produktivitet: ressursforbruk pr. registrering Kvalitet: saksbehandlingstid klager tidsforbruk hos registranter feilregistrering mål ved stikkprøvekontroll Volum: antall prosjekter, prosjektkarakter og størrelse Kvalitet: Prosjektmilepæler Effekt/tilstand: Atferdsendringer hos utvalgte målgrupper Målgruppenes kjennskap til risikofaktorer Side 14
Hvordan velge styringsparametere? Økonomireglementets krav: Egenart Risiko Vesentlighet 2 grupper av kriterier Side 15
Hvordan velge styringsparametere? 1. Samlet styringsinformasjon Helhet og balanse Fokus - prioritering 2. Hver enkelt styringsparameter Påvirkbarhet Pålitelighet og verifiserbarhet Nytte-kostnad Side 16
Valg av ambisjonsnivå Konkrete forventninger til hva som skal være oppnådd når Retningslinjer for valg av ambisjonsnivå: 1. Startpunkt: sammenligne med tidligere resultater 2. Hvilke rammebetingelser gjelder 3. Tidsperspektiv for endringene 4. Avveie mulig vs ønsket ambisjonsnivå 5. Absolutt mål eller intervall? 6. Entydig definisjon SMARTE resultatmål Side 17
6. Resultatmåling Overordnede mål og strategi Styringsparametere Læring og forbedring Lederforankring og dialog Resultatmåling og vurdering Side 18
5 grupper av styringsparametere KVALITET KVALITET KVALITET Innsats- Aktiviteter Produkter/ Brukereffekter EFFEKTER effekter Samfunnsfaktorer tjenester KR/VOLUM KR/VOLUM KR/VOLUM KR/VOLUM KR/VOLUM PRODUKTIVITET EFFEKTIVITET Side 19
Måling av volum Hva er volum? Volum = omfang eller mengde. Uttrykkes i antall (meter, kilo, kroner mv.) Aktiviteter Produkter/ tjenester Innsatsfaktorer Brukereffekter Samfunnseffekter VOLUM VOLUM VOLUM VOLUM VOLUM Side 20
Måling av produktivitet Hva er produktivitet? Produktivitet = forholdet mellom antall av et produkt/en tjeneste og ressursbruk, til en gitt kvalitet. Aktiviteter Produkter/ tjenester Innsatsfaktorer Brukereffekter Samfunnseffekter KR/VOLUM VOLUM PRODUKTIVITET Side 21
Forutsetninger for måling av produktivitet 1) Entydig definisjon av tjenester og måling av volum - Likhet i sammenligningsgrunnlaget over tid 2) Måle samlet ressursbruk og knytte den til de ulike tjenestene - Bruk av innsatsfaktorer (arbeidstid, direkte- og indirekte kostnader) må fordeles 3) Sammenligne produktiviteten over tid eller mellom enheter Side 22
Entydig definisjon av tjenester Side 23
Måling av kvalitet Hva er kvalitet? Kvalitet er i hvilken grad en samling av iboende egenskaper oppfyller krav (ISO 9000:2000) (nyttesiden ved virksomheten). KVALITET KVALITET KVALITET Mange ulike dimensjoner Norm, forventninger Aktiviteter Produkter/ tjenester Innsatsfaktorer Brukereffekter Samfunnseffekter Spesielt viktig i offentlig (statlig) sektor hvor det som oftest ikke eksisterer et marked. Side 24
Måling av produksjonsorientert kvalitet Definerte egenskaper som kan registreres, telles og måles. Måling skjer på en objektiv måte. Sier kun indirekte noe om brukernes tilfredshet Eksempler: Innsatsfaktorer Aktiviteter Produkt Utøvers kompetanse, eks. andel med en gitt utdanning Andel pasienter som får enkeltrom Tidsbruk (eks. pleie/ omsorgstjeneste) Brukereffekter Samfunnseffekter I hvilken grad en gitt prosedyre følges, eks. alle saker skal kvalitetssikres av en annen saksbehandler Godkjennelse fra uavhengige eksperter Sertifisering Andel klager som får medhold i uavhengig klageinstans, antall inngrep fra ombudsmann mv. Saksbehandlingstid Ventetid Tilgjengelighet av et offentlig tilbud: dekningsgrad, åpningstider mv. Antall/andel registrerte feil/avvik, forsinkelser mv Side 25
Måling av opplevd kvalitet Tar utgangspunkt i det ferdige produktet/tjenesten og bruken av dette Måler opplevd nytteverdi med utgangspunkt i gitte forventninger Kan fange opp aspekter som det er vanskelig å måle uten å spørre brukeren direkte Gjennomføres ved å innhente informasjon fra brukerne Eksempler Innsatsfaktorer Aktiviteter Produkt Medarbeideres tilfredshet Vurdering av kompetanse, lokaler, fasiliteter Brukere eller andres oppfatning om godhet av prosessene eks. tilrettelegging (virket forberedt, versus rot ) Brukereffekter Samfunnseffekter Brukernes opplevelse av produktet svarte det til forventningene? Service/formidlingsaspektet Grad av imøtekommenhet Utvist respekt, diskresjon Én kontaktperson eller mange Vurdering av informasjonen som ble gitt (tilstrekkelig?, bruk av enkelt/forståelig språk) Opplevd trygghet Faglig innhold? Side 26
Måling av effekter Hva er en effekt? En effekt er en forandring i tilstand hos brukerne eller i samfunnet som har oppstått som følge av virksomhetens tiltak. 1. Må kunne observere en endring i ønsket retning hos en gitt brukergruppe eller i samfunnet. 2. Må kunne bevise eller sannsynliggjøre at det er et årsak-virkningsforhold mellom tiltaket og endring i tilstand Aktiviteter Produkter/ tjenester Innsatsfaktorer Bruker- Samfunnseffekter EFFEKTER effekter Oppfyller virksomheten sitt formål eller ikke? Side 27
Metoder for måling av effekter Klargjør forutsetninger for og antakelser om tiltakene bruk resultatkjeden! Effektmåling er krevende Effekter tar tid, mange forhold påvirker observert tilstand Generelle mål utfordring å finne entydige parametere Effektmåling kan gjøres med ulik grad av sikkerhet for å påvise årsakssammenheng: Måle tilstand og sannsynliggjøre effekt Eksperimentelle opplegg beviser effekt Side 28
Måling av effektivitet Hva er effektivitet? Effektivitet er et mål på effekten av en viss innsats i forhold til de ressursene som settes inn. KR Aktiviteter Produkter/ tjenester EFFEKTIVITET Innsatsfaktorer Bruker- Samfunnseffekter EFFEKTER effekter KR Side 29
7. Læring og forbedring Overordnede mål og strategi Styringsparametere Læring og forbedring Lederforankring og dialog Resultatmåling og vurdering Side 30
Rapporterings- og oppfølgingsprosessene Synliggjøre og formidle resultater og ta beslutninger Rapportenes innhold og omfang Ansvar for rapportering Behandling av rapportene Vurdering og beslutning Kommunikasjon av resultater og tiltak Ansvar for oppfølging av risiko Bruk av verktøy Involvering og medbestemmelse Side 31
Forbedringstiltak i lys av resultatkjeden Tiltak/trinn i resultatkjeden Aktiviteter Produkter/ tjenester Innsatsfaktorer Brukereffekter Samfunnseffekter Omprioritere ressurser Avstemme brukernes forventninger () () Iverksette kompetansetiltak Forbedre arbeidsprosessene/omorg. Evaluering/grundigere analyser Endre styringsparametere/ ambisjonsnivå Forbedre datagrunnlaget Side 32
Eksempel Oslo fengsel (tilpasset) Læring og forbedring Overordnede mål og strategi Lederforankring og dialog Styringsparametere Resultatmåling og vurdering Hovedmål: Samarbeid om høy kvalitet i straffegjennomføringen Kritiske suksessfaktorer: 1. Øke brukernes tillit 2. Øke kvaliteten i den målrettede gjennomføringen Risiko 1. Risiko for at brukernes tillit ikke økes 2. Risiko for at kvaliteten i fengselsoppholdet ikke er tilfredsstillende 3. Risiko for rømming Styringsparametere 1. Andel tilfredse brukere (mål: advokater 70%, politiet 80% 2. Andel innsatte med fremtidsplaner (mål: 80%) 3. Rømminger (mål: 0) Tiltak 1. Bedre informasjonsutveksling med advokater og politi 2. Utarbeide individuelle planer for den enkelte innsatte 3. Gjennomgå eksisterende sikkerhetsrutiner Styringsparametere resultater 1. Andel tilfredse brukere: advokater 60% (negativt avvik fra mål), politiet 83% (mål oppfylt 2. Andel innsatte med fremtidsplaner 75% (negativt avvik fra mål) 3. Ingen rømminger (mål oppfylt) Oppfølging av risiko og tiltak 1. Høy risiko for ikke å nå målet om tilfredshet for advokater også i fremtiden. Ytterligere tiltak besluttes etter møte med advokatforeningen. 2. Middels risiko for ikke å nå målet om fremtidsplaner. Revidert opplegg for de som mangler plan skal foreligge innen 15.02.07. Tiltak status for gjennomføring 1. Tiltaket er gjennomført som forutsatt 2. Uforutsette problemer har ført til at ikke har vært mulig å utforme fremtidsplaner for alle ansatte. 3. Gjennomgang av sikkerhetsrutiner avdekket visse svakheter. 3. Høy risiko (lav sannsynlighet, høy konsekvens) for rømming, jf. gjennomgang. Svakheter utbedres innen 30.03.07. Side 33
Kultur for læring og utvikling Gi honnør ved gode resultater Gi dårlige resultater oppmerksomhet Kommunisere og dele kunnskap i hele organisasjonen Side 34
8. Oppsummering Har vi klare mål som resultatmålingen kan ta utgangspunkt i? Har vi oversikt over de viktigste tjenestene og aktivitetene? Har vi en klar strategi? Har vi gode styringsparametere og passende ambisjonsnivå for disse? Hvor i resultatkjeden måler vi og gir det en hensiktsmessig styring? Hvordan følges styringsparameterne opp? Side 35
Noen utfordringer Uklare mål og preferanser Uklar sammenheng tiltak og virkning (effekt) Informasjonen er ikke nøytral Ikke alt er like enkelt å måle, måler det som er lett å måle kan føre til målforskyvninger Bundne ressurser Manglende insentiver/konsekvenser Regelstyring begrenser handlerom Politisk følsomt Vanskelig å tilskrive ansvar: aktiviteter vevd sammen Fokus på bruker- og samfunnseffekter kan gi press om økt ressursbruk? Side 36
Vær kreativ og pragmatisk! Side 37