Brukerundersøkelser som metode. Muligheter og begrensninger ved å måle brukereffekter. Nettverk for virksomhetsstyring,

Transkript

1 Muligheter og begrensninger ved å måle brukereffekter Nettverk for virksomhetsstyring,

2 1 Styringsinformasjon i offentlig sektor

3 Konsept for virksomhetsstyring Effektkjeder Fra bevilgninger og politiske mål til effekter Organisering av tjenester og bruk av virkemidler Politiske syringssignaler Budsjett/ bevilgninger Produksjon Målformuleringer Virkemiddelanalyse Saksbehandling Arbeidsprosesser Produkter/tjenester Beslutninger/vedtak Økonomiske ytelser Tjenester Fysisk tilrettelegging Effekter Informasjon/ kunnskap Behovsdekning/ nytte Velferd Tilbakeføringskanaler: Numerisk kanal Korporativ kanal Media Direkte kontakt, brukerdialog Evalueringer, bruker-/ omdømmeundersøkelser 3

4 Styringssløyfen tilbakemelding og oppfølging Overordnede mål, hovedmål og delmål St.prp. nr. 1. Tildelingsbrev Årsrapport Innsikt (fra kvalitative analyser) Resultatindikatorer Budsjettforslag Virksomhetsplan Kommunikasjonsplan Strategiplan/St.meld. Rolle og ansvar Tilstandsindikatorer Intern styringsdialog Dialog med overordnet myndighet Kampanjeevalueringer Atferdsanalyser Omdømme- /brukerundersøkelser 4

5 Bruk av informasjon - hva skal måles og rapporteres? Styringsinformasjon (kritiske suksessfaktorer): Kvalitetsstandarder-/indikatorer Kapasitet Kvalitet Tilgjengelighet Etterspørsel Holdninger Atferd Prioriteringer Behovsdekning/dekningsgrader Produktivitet Effektivitet Tilfredshet Innsikt, kunnskap Kjennskap Tillit Omdømme Ledelse Arbeidsmiljø Annet Resultatindikatorer eller tilstandsindikatorer? Effektkjedeanalyse Omgivelser som påvirker muligheter og resultater Interessentanalyser 5

6 Effektkjede Resultatindikatorer Tilstandsindikatorer Aktivitet / tiltak Produkter og tjenester Innsatsfaktorer Brukereffekt på kort sikt Brukereffekt på lang sikt Samfunns effekter Eksterne faktorer og aktører (påvirker resultatansvaret) 6

7 Case: Mattilsynets brukerundersøkelser Tidligere gjennomført brukerundersøkelser blant husdyrprodusenter (2015), akvakulturprodusenter (2013) og serveringsbransjen (2013). Fokus på informasjon, kommunikasjon, forståelig regelverk og tilsyn. Mattilsynet skal våren 2017 gjennomføre en ny brukerundersøkelse rettet mot serveringsbransjen med smilefjesvirksomheter som målgruppe tilsyn i serveringsbransjen (2015) - Utfordringer med hensyn til halvparten serveringsvirksomheter delvis eller helt stengt pga helsefarlige forhold - Smilefjesordningen skal gi god og lett tilgjengelig informasjon, øke regelverksetterlevelsen i virksomheten, samt forenkle og effektivisere tilsynet for virksomheten og Mattilsynet. Fokus for brukerundersøkelsen i 2017: - Brukertilfredshet: Kartlegge virksomhetenes vurderinger av hvordan Mattilsynet håndterer smilefjesordningen + informasjon, med mer. - Effekter: Skal Mattilsynet i tillegg kartlegge hvilke effekter smilefjesordningen oppleves å ha på spisestedene og kundene? 7

8 Effektkjede for Mattilsynet (serveringsbransjen) Effektmål: Færre syke etter restaurantbesøk Inspirert av DFØ (SSØ), Veileder i Resultatstyring, Nov 2006 Virkemiddelanalyse: Hvilke virkemidler disponerer vi? (økonomiske, regelverk, fysiske tiltak, opplæring, informasjon, kampanjer, med mer) Atferdsanalyse: Hva påvirke ønsket konkret atferd mest effektivt? (informasjon, kunnskap, lover og regler, normer, etikk, straff, belønning, fysiske tiltak, annet? Bevilgninger, styringssignaler, informasjon om dagens situasjon og behov Beslutning om kontrolltiltak (tilsyn, ) Gjennomføring av tilsyn og vedtak om utbedringer Restauranter med pålegg om utbedring bedrer sin hygiene Andre restauranter bedrer sin hygiene Færre gjester på restauranter blir syke Omgivelsesanalyse: Eksterne faktorer og aktører: ulovlig importerte matvarer, kontroll med hygienen ved slakteriene, transport av matvarer til restaurantene, regelverk for etablering av restaurantvirksomhet osv. Evalueringer, brukerundersøkelser, andre tilbakemeldinger 8

9 Virksomhetsstyring Styringsinformasjon og -indikatorer Inspirert av DFØ (SSØ), Veileder i Resultatstyring, Nov 2006 Antall tilsyn gjennomført i år «n», «n+1», osv. Ressursbruk per tilsyn Antall avvik fra forskrift per tilsyn / 100 tilsyn Antall avvik lukket Objektive data Antall klager på restauranter Folkehelsestatistikk Bevilgninger, styringssignaler, informasjon om dagens situasjon og behov Beslutning om kontrolltiltak (tilsyn) Gjennomføring av tilsyn og vedtak om utbedringer Restauranter med pålegg om utbedring bedrer sin hygiene Andre restauranter bedrer sin hygiene Færre gjester på restauranter blir syke Tilfredshet med Mattilsynets tilsyn Tilfredshet med informasjon fra Mattilsynet Tillit til Mattilsynet fra bransjen Tillit til Mattilsynet fra politikere, presse, andre Subjektive data Tillit til Mattilsynet fra publikum Tilfredshet med hygieneforhold ved landets restauranter 9

10 Case Mattilsynet: Anbefalinger fra arbeidsgruppe (2014) om videreutvikling av styringsinformasjon og indikatorer i tildelingsbrevet Færre indikatorer i tildelingsbrev og måltavle Tydeligere relatert til de viktigste målene Større oppmerksomhet på tjenesteproduksjon og effekter Rød tråd gjennom nivåene Balansere kvalitative og kvantitative mål Todelt inndeling av indikatorene rapportering på effektmålene rapportering på Mattilsynets produksjon Forhold i hele resultatkjeden (ressurser effekter) Flerårig perspektiv de lange linjer Størst utviklingspotensial for produksjonsindikatorene 10

11 Mattilsynet: Indikatorer i tildelingsbrevet effektmål Indikatorer brukereffekter (trygg mat - serveringsbransjen): Mattilsynet bidrar til mer seriøsitet i serveringsbransjen Mattilsynet bidrar til at serveringsbransjen følger regelverket Smilefjesordningen har bidratt til å redusere (sannsynligheten for) kritikkverdige forhold ved vår virksomhet (bransjen). Smilefjesordningen har bidratt til bedre hygiene i bransjen (vår virksomhet). Smilefjesordningen har bidratt til en bedre økonomi for bransjen (vår virksomhet). Smilefjesordningen har effektivisert vårt arbeid med Mattilsynets tilsyn. Alt i alt: Smilefjesordningen har vært nyttig for vår virksomhet (bransjen). 11

12 Mattilsynet: Indikatorer i tildelingsbrevet 2015 produksjonsprosesser, produksjonsmål Indikatorer brukertilfredshet: TILSYNSBESØK Inspektørene presenterer og legitimerer seg Inspektørene informerer om hva som skjer under tilsyn Inspektørene veileder deg om kravene i regelverket Inspektørene fokuserer på viktige områder Inspektørene har kunnskap om serveringsbransjen Lengde og omfang på inspeksjonen Nytteverdien av tilsyn for deg Lik behandling fra ulike inspektører RAPPORTEN Tiden det tar fra tilsynsbesøket til jeg får rapporten Innholdet i tilsynsrapporten er faglig nyttig for meg Tilsynsrapporten er oversiktlig Innholdet i tilsynsrapporten er skrevet med et klart og tydelig språk Vedtak i tilsynsrapporten er formulert og begrunnet på en forståelig måte Konfidensielle forhold blir behandlet korrekt REGELVERK Å få veiledning om regelverk under tilsynsbesøk Å få informasjon om regelverk som er under utvikling Å ha regelverket tilgjengelig på Mattilsynets hjemmesider Å ha veiledning om regelverket tilgjengelig på Mattilsynets hjemmesider Å bli behandlet likt med tilsvarende virksomheter 12

13 2 Muligheter og begrensninger ved brukerundersøkelser

14 Muligheter 1. Brukerne kan nås gjennom mange metoder (telefon, e-post, SMS, F2F, postalt, sosiale medier) 2. Både kvantitative og kvalitative metoder kan benyttes 3. Ekstern kompetanse finnes om det skulle skorte på intern 4. Alltid sikre forankring og analyser av informasjonsbehov gjennom effektkjeder og/eller touchpoints (brukerens berøringspunkter via «kundereisen») 5. Gjennomføre tiltak- og ressursanalyser basert på resultater 6. Kobling til atferdsforskning og virkemiddelanalyser om relevant 7. Kobling til kommunikasjonsplaner 8. Kobling til virksomhetsplan, strategiplan, dynamiske rapporteringsløsninger (virksomhetsinformasjonssystem, markedsinformasjonssystem) 9. Kobling til budsjettforslag og tildelingsbrev, dialog med andre relevante 10.Kobling til omdømmebygging 11.Kobling til interessentanalyser (eiere, samarbeidspartnere, politikere, journalister, egne ansatte/gap-/speilingsanalyser) 14

15 Begrensninger (trusler) 1. Ikke alt kan måles gjennom brukerundersøkelser (begrensning) 2. Dårlig håndverk (forankring, reliabilitet/utvalg/metode, relevans og validitet, lav signifikans/pålitelighet) 3. Ufullstendige kunderegistre, skjeve utvalg 4. Få brukere, få tilbakemeldinger (usikre/upålitelige data) 5. Brukere med lav kjennskap til virksomheten 6. Virksomheten er ikke avhengig av brukertilbakemeldinger for å overleve 7. Lav prioritet i fbm etablering; svak forankring, få valide og relevante spørsmål (kopiering av syndikerte undersøkelser) 8. Uklare resultater, svake eller manglende anbefalinger 9. Krevende å innarbeide rutinger for oppfølging 10.Manglende tillit til metode og resultater 11.Det gis ikke rom for prioriteringer (alt er like viktig) 15

16 3 Bidra til å gjøre tjenestene mer relevante, treffsikre og effektive

17 Effekt på tjenestene (relevante, treffsikre og effektive) Forutsetninger - Brukerundersøkelser prioriteres - Kobles til virksomhetsinformasjonssystem / markedsinformasjonssystem - Det stilles strenge krav til validitet og relevans - Om mulig, løpende (samtids-) data, automatiserte brukerundersøkelser - Om mulig, løpende rapportering, automatisert rapportering - Ledelse med konsekvens, krav til oppfølging/bruk av data, prioriteringer Virkemidler - Driveranalyser - Utforming av sterke og svake sider - Utforming av tiltaksmatriser - Utarbeiding av nøkkeltall (produktivitet, effektivitet) - Kobling til andre data (CRM-data, offentlig statistikk, andre data) 17

18 4 Faser i brukerundersøkelser (prioritering, fokus, kjøp av tjenester, workshops)

19 Rådgivning i alle faser 19

20 Takk for oppmerksomheten 20