Verktøy for design av forvaltningsrevisjonsprosjekter

Transkript

1 Verktøy for design av forvaltningsrevisjonsprosjekter Nasjonal fagkonferanse i offentlig revisjon oktober 2006 Lillin Cathrine Knudtzon og Kristin Amundsen

2 DESIGNMATRISE HVA HVOR- DAN GJENNOMFØR- BARHET Mål? Hva ønsker vi å oppnå med revisjonen? Hva ønsker vi å finne ut? Hva skal målestokken være? Revisjons bevis Hvilken informasjon trenger vi? Metode Hvor finnes dataene, og hvordan skal disse innhentes og analyseres? Problemstillinger Revisjonskriterier Forventede funn Hvilke konklusjoner kan vi trekke? Gjennomføringsrisiko: Hvilken faglig og administrativ usikkerhet finnes i designet og prosjektplanen? Systematikk og struktur Stortingets vedtak og forutsetninger Retning og avgrensning Konkretisering Den systematiske fremgangsmåten Konsistent Robust 2

3 Hensikt med designmatrisen Grunnlag for styring i prosjektet Sikre en rød tråd underveis i prosjektet Hjelp til å tenke gjennom risikofaktorer og fallgruver Hjelp til å kommunisere med revidert virksomhet om hva som er fokus i prosjektet 3

4 Om å velge riktig design Det viktigste aspektet ved design av en revisjon er å sikre at man stiller de riktige spørsmålene. If you don t know where you re going, any road will take you there. 4

5 Målet for prosjektet Målets viktigste funksjon er å gi retning og avgrensning for undersøkelsen. Målet vil være styrende for det øvrige designet. 5

6 Kjennetegn ved et godt mål Konkret, dvs. angi området som skal undersøkes angi hvilke forhold innen det aktuelle området som skal undersøkes gi nødvendig avgrensning Bygger på avvik og svakheter Omfatter forhold av prinsipiell, økonomisk eller stor samfunnsmessig betydning Lettfattelig og kort 6

7 Problemstillingenes funksjon i designet Problemstillingene skal vise hvilke hovedspørsmål som skal besvares eller hvilke hovedemner som skal belyses i undersøkelsen. Problemstillingenes viktigste funksjon er å konkretisere og systematisere undersøkelsen. 7

8 Kjennetegn ved gode problemstillinger Tematisk dekkende ift. revisjonens mål Ikke overlappe hverandre Entydig og klart formulerte Avviksorienterte Hver problemstilling må ha vesentlig betydning for undersøkelsen Formulert som spørsmål 8

9 Utforming av problemstillinger Problemstillingene: binder designet sammen og gir føringer for revisjonskriterier, revisjonsbevis og metode skal gjøre undersøkelsen håndgripelig gi ideer om hva som skal sees på tar ofte tid å utforme, og kan endres gjennom arbeidet med designet framtvinger avgrensinger og prioriteringer arbeidet med utformingen gir felles forståelse i prosjektgruppe og med ledelse 9

10 Spørsmålstre Nedbryting av hvert spørsmål i underspørsmål hvor summen av svarene skal besvare spørsmålet over Målet Problemstilling 1 Problemstilling 2 Problemstilling

11 Eksempel på spørsmålstre: A. Prosessen Har ikke prosessen fulgt Stortingets vedtak og forutsetninger? Vedtakene Oppfølgingen Har Departementets manglende oppfølging av Stortingets vedtak og forutsetninger på området ført til mangelfull måloppnåelse? B. Resultatet Har det vært mangelfull måloppnåelse? Område 1 Område 2 Område 3 Mål 1 Mål 2 Mål 3 C. Kausalitet? Er det A som har ført til B? Område 4 11

12 Utvikling av spørsmålstrær Hvordan dele opp hvert spørsmål? Additiv Tradisjon Tematisk Virkemidler Tilgjengelighet av data Organisasjonens avdelinger 12

13 Logisk gruppering i grener Tid Kronologi Årsak virkning Struktur, hele og enkeltdeler Geografi Organisatorisk funksjon Demografi Posisjon, rang, hierarki Lokal, sentral makt (kommune, fylke, stat) Ulike beslutningsnivå i en etat Deduktiv tenking Premisser og konklusjon Kost-/nytteanalyser 13

14 Test/råd underveis og til slutt Er alle hovedspørsmål dekket i underspørsmålene? Bidrar spørsmålstreet til å gi klarhet i diskusjonene? Er det lett å se overgangen til neste trinn i prosessen (for eksempel metodevalg)? 14

15 Avgrensninger kutte grener Manglende revisjonskriterier Knapphet på ressurser (tid, kapasitet, kompetanse) Funn og Stortingets interessefelt Mangler på avvik Allerede kjente funn Store endringer nært forestående For politiske temaer 15

16 Fordeler ved spørsmålstre Påkrevd arbeid blir synlig i overkommelige deler Enkelt å avgrense ansvar for deler av prosjektet til prosjektdeltakerne Felles prosjektforståelse i gruppen Forankring i ledelsen Oversiktlig å prioritere/kutte ned 16

17 Revisjonskriterier Revisjonskriterier er en samlebetegnelse på de normene og standardene som er relevante på området for den aktuelle forvaltningsrevisjonen. Revisjonskriteriene er sammen med faktabeskrivelsen grunnlaget for revisors vurderinger. Revisjonskriterienes funksjon er å gi det normative grunnlaget for analysen av avvik og svakheter. 17

18 Kjennetegn ved gode revisjonskriterier Bør kobles til hver enkelt problemstilling Skal være dekkende ift. undersøkelsens problemstillinger Konkretiserende ift. problemstillingene Dekkende og korrekt ift. Stortingets vedtak og forutsetninger 18

19 Utforming av revisjonskriterier Det bør jobbes aktivt med revisjonskriteriene i sammenheng med designet. Arbeidet med revisjonskriterier kan medføre både begrensninger og utvidelser av undersøkelsene (i mål og problemstillinger) i forhold til hvordan vi opprinnelig hadde tenkt. 19

20 Beskrivelse av revisjonsbevis Beskrivelsen av revisjonsbevis skal angi konkret hvilken informasjon som må legges til grunn for å dekke undersøkelsens mål og besvare problemstillingene. Den viktigste funksjonen til beskrivelsen av revisjonsbevis er således å konkretisere hva undersøkelsen skal omfatte. 20

21 Kjennetegn ved en god beskrivelse av revisjonsbevis i designet Nødvendig/tilstrekkelig Hensiktsmessig/relevant Konkret: Hvilke fakta må samles inn for å belyse revisjonskriterier og problemstillinger i tilstrekkelig grad? I mange tilfeller hensiktsmessig å bygge videre på strukturen som er gitt gjennom problemstillingene. 21

22 Revisjonsbevis (forts.) Hva må vi kunne dokumentere i faktadelen for å belyse problemstillingene og revisjonskriteriene på en tilstrekkelig måte? Dette kan senere være til hjelp i utformingen av faktadelen. 22

23 Metodebeskrivelsens funksjon i designet Den metodiske tilnærmingen er den systematiske fremgangsmåten en følger for å fremskaffe, bearbeide og analysere de nødvendige revisjonsbevisene. Beskrivelsen av den metodiske tilnærmingen skal vise hvordan datainnsamlingen og dataanalysen skal gjennomføres. 23

24 Kjennetegn ved et godt metodisk opplegg i designet Bør vise hvilke kilder og utvalg som legges til grunn hvordan dataene skal innhentes hvordan dataene skal bearbeides og analyseres. Systematisk og lettfattelig 24

25 Kilder og hvordan data samles inn Sekundærdata: Dokumenter Registerdata, regnskapsdata og statistikk Primærdata: Spørreskjema Intervju Fokusgrupper Observasjon Konstruerte eksempler 25

26 Bearbeiding og kvalitetssikring av data Hvordan bør våre data bearbeides og kvalitetssikres, og hvor mye tid og ressurser krever det? Kildetriangulering finne støtte for funn fra en metode ved å se etter det samme fra en annen - relevans, pålitelighet og gyldighet Vurdere behovet for verifisering av fysiske revisjonsbevis (bilder, kart, film etc) av etat/dept. 26

27 Dataanalyse - sammenstilling og systematisering Kvantitative data: Hvilken statistisk bearbeiding bør gjøres? For eksempel frekvenser, fordelinger, gjennomsnitt og forholdstall Kvalitative data: Hvordan behandle data? Finne eksempler fra enkeltsaker/samtaler, analysere innholdet i tekst og utsagn, søke etter mønstre og tendenser 27

28 Forventede funns funksjon i designet Beskrivelsen av forventede funn skal vise hvilke avvik og svakheter som kan dokumenteres gjennom undersøkelsen. Dette skal gi grunnlag for å vurdere om designet er konsistent, dvs. om det er logisk sammenheng mellom mål, problemstillinger, revisjonskriterier, revisjonsbevis og metodisk tilnærming. 28

29 Kjennetegn ved en god beskrivelse av forventede funn Forventede funn skal spesifisere hvilke funn, avvik og svakheter som vil bli dokumentert gjennom undersøkelsen. Er knyttet til den enkelte problemstilling (for eksempel hypoteser om manglende resultater, konsekvenser av avvik og årsaker til avvik.) 29

30 Problemstillinger og forventede funn - eksempel Problemstilling Forventet funn Årsak Konsekvens Hva er årsaker til at de øremerkede tilskuddene er ulikt fordelt mellom kommunene? Hvilken effekt har det på kommunenes tjenestetilbud at de øremerkede tilskuddene er ulikt fordelt mellom kommunene? Tilskuddsforvalters krav til egen finansiering fra kommunene er årsaken til skjevheten i fordelingen av de øremerkede tilskudd. Kommunenes tjenestetilbud varierer som følge av skjevheten i fordeling av de øremerkede tilskuddene. 30

31 Beskrivelsen av gjennomføringsrisiko Beskrivelsen av gjennomføringsrisiko skal gi grunnlag for å vurdere om designet er robust i sammenheng med både metodiske krav og administrative begrensninger. 31

32 Gjennomføringsrisiko Faglig og administrativ risiko Faglig risiko: At det ikke lar seg gjøre å oppfylle målet og besvare problemstillingene at konklusjonene blir annerledes enn forutsatt i forventede funn. Administrativ risiko: kompetanse, ressurser og tid. 32

33 Vurdering av prosjektdesignet Er det passende ift. målet og problemstillingen for revisjonen? Er det tilstrekkelig? Er det gjennomførbart? 33

34 Hensikten med planlegging og design Skape felles forståelse for oppgaveløsningen Skal sikre en solid vurdering av gjennomførbarheten av prosjektet Skal sikre at metodene som brukes, bidrar til å hente inn revisjonsbevis som er tilstrekkelige og relevante. 34