Verktøy for design av forvaltningsrevisjonsprosjekter



Like dokumenter
Ressurs Aktivitet Resultat Effekt

7. april 2006 VEILEDNING. Forvaltningsrevisjon Riksrevisjonen. Undersøkelsesdesign

RSK 001 Standard for forvaltningsrevisjon

Forvaltningsrevisjon. performance auditing value for money audit. Trondheim 7. juni 2012

Metodisk arbeid. Strukturert arbeidsmåte for å nå et bestemt mål

Retningslinjer for forvaltningsrevisjon. Riksrevisjonen 2000

DRI 3001 Våren Prosjektstyring mm Arild Jansen AFIN

DRI 3001 Litteratur og metode Arild Jansen AFIN

Mobbing i grunnskolen

Ulike metoder for bruketesting

Plan for forvaltningsrevisjon Stokke kommune

Indre Hordaland Revisjonsdistrikt Forvaltningsrevisjon Rekneskapskontroll Intern kontroll Rådgjeving og oppdrag

Forelesning 19 SOS1002

Prosjektbeskrivelsen består av

Mobbing i grunnskolen

Mobbing i grunnskolen

KU og forvaltningsrevisjon

RETNINGSLINJER FOR FORVALTNINGSREVISJON

Formålet med kvalitetskontrollen

Forskningsopplegg og metoder. Tematikk. Vitenskap og metode Dag Ingvar Jacobsen (2005): Hvordan gjennomføre undersøkelser?, s

I dag. Problemstilling. 2. Design og begreper. MEVIT januar Tanja Storsul

Fra idemyldring til ferdig prosjekt forskningsprosessens ulike faser

Evalueringer i barnevernet. Gardermoen, 2. september 2011 Ekspedisjonssjef Oddbjørn Hauge

DRI 3001 Våren forelesning Arild Jansen AFIN

2. Gjør rede for IPA. Legg spesielt vekt på datainnsamling og analyse. Diskuter hva som bidrar til kvalitet i forskning hvor IPA benyttes.

Metodisk arbeid. Strukturert arbeidsmåte for å nå målet

Metodisk arbeid. Strukturert arbeidsmåte for å nå et bestemt mål

Brukerundersøkelser når innvandrere er brukere (forts.) Elisabeth Gulløy Statistisk sentralbyrå 15. september 2010

BDO AS. Prosjektplan. Forvaltningsrevisjon Hjemmetjenesten i Sandefjord kommune. Side 0 av 7

1. Introduksjon. I dag. MEVIT januar 2011 Tanja Storsul. MEVIT2800 og opplegget for våren.

Samfunnsvitenskapelig metode. SOS1120 Kvantitativ metode. Teori data - virkelighet. Forelesningsnotater 1. forelesning høsten 2005

Skriftlig innlevering

TEMAER: FORVALTNINGSREVISJON (FR) ET OVERBLIKK SELSKAPSKONTROLL (SK) ET OVERBLIKK

Kunde: Gj.gått dato/sign: Side: Ringebu kommune 22.9 ØS 1 av 8. Prosjektplan

Sak: Kvalitetssikringssystem ved Universitetet i Nordland

Riksrevisjonens undersøkelse av måloppnåelse og styring i jordbruket. Gro Volckmar Dyrnes Riksrevisjonen oktober

Mobbing i grunnskolen

Møteinnkalling Kontrollutvalget Rygge

UKE 4 Analyse. Plenum IN1050 Julie og Maria

PROSJEKTPLAN Forvaltningsrevisjonsprosjekt Mindreforbruk ved de videregående skolene

Ungdomsbedrift i Kunnskapsløftet Design og håndverk, Vg1. Copyright UE Forlag

2. Forskningsdesign og sentrale begreper. I dag. Forskningsdesign: Valg i forskningsprosessen. MEVIT januar 2011.

PROSJEKTPLAN KOMMUNEREFORM RØMSKOG KOMMUNE

Retningslinjer for forvaltningsrevisjon

Haugesund kommune Plan for forvaltningsrevisjon

TJORA: TIØ10 + TIØ11 FORELESNING 1 - HØSTEN 2003

Mobbing i grunnskolen

MEVIT2800. Forelesning, 14/09/07 Audun Beyer

Forskningsopplegg og metodekombinasjon

Retningslinjer for forvaltningsrevisjon

Vedlagt følger melding om vedtak i sak nr. 11/15 - Prosjektplan for forvaltningsrevisjonsprosjektet «Saksbehandling i barnevernstjenesten».

Kapittel 1 Spørsmål og svar teori og empiri

Permitteringsperiodens varighet og tilbakekalling til permitterende bedrift

Skolehelsetjenesten i Melhus kommune

Prosjektbeskrivelsen består av

Læreplan i matematikk X - programfag i utdanningsprogram for studiespesialisering

Kursopplegg og innleveringer på OADM 3090, vår 2009

Miljø og kjemi i et IT-perspektiv

Behandlet av Møtedato Utvalgssaksnr. Kontrollutvalget Sarpsborg /35

3. Innsamling av kvantitative data. I dag. Kvalitative og kvantitative opplegg 1/27/11. MEVIT februar 2011 Tanja Storsul

PROSJEKTPLAN Samarbeid om rullering av strategisk Næringsplan for Indre Østfold

Samfunnsfag 9. trinn

TID TEMA KOMPETANSEMÅL ARBEIDSMETODER VURDERINGSFORMER RESSURSER (materiell, ekskursjoner, lenker etc) Gruppearbeid

Møteinnkalling Kontrollutvalget Marker

Ungdomsbedrift i Kunnskapsløftet Bygg og anleggsteknikk, Vg1. Copyright UE Forlag

Forfall meldes til utvalgets sekretær på epost: eller mobiltlf Møteinnkalling. Møteprotokoll

Det nye Norge integrering av flyktninger og kommunenes rolle - hvordan kan vi gå fram for å vurdere det?

1. Introduksjon. Hva er dine forventninger til MEVIT2800? Hvordan er metode relevant? MEVIT januar 2012 Tanja Storsul

Prosjektplan. Atle Grov Willy Gabrielsen Einar tveit

Forord Kapittel 1 Teori og empiri spørsmål og fakta Kapittel 2 Metode en pragmatisk tilnærming Kapittel 3 Etiske og praktiske avveininger

Erfaringer fra oversiktsarbeidet. KS læringsnettverk 3.mai 2016, Anne Slåtten

FORVALTNINGSREVISJON. Avvikshåndtering PROSJEKTPLAN. Meldal kommune. Juni 2018 FR1044

Barn beviser. Andrea Hofmann og Sigurd Hals Førsteamanuensis og Stipendiat Fakultet for Humaniora, Idrettsog Utdanningsvitenskap

Frafallsproblematikk i Venneslaskolen og oppfølging av revisjonens rapport om spesialundervisning

Revisjon av virksomhetsstyring. Nettverk for virksomhetsstyring 12. desember 2014 Therese Johnsen, Riksrevisjonen

Riksrevisjonens undersøkelse av måloppnåelse og styring i jordbruket. Seminar hos NILF 26. oktober 2010

Sjekkliste. for planlegging, gjennomføring og oppfølging av evalueringer

Felttilnærming / Metode. Anne Inga Hilsen Prosjektforum

Om forventinger, erfaringer og utfordringer i dialogen mellom departementet og Riksrevisjonen

Kontrollutvalget i Tjeldsund kommune

Undervisningsopplegget og den faglige forankringen

DRI 3001 Våren 2014 Arild Jansen AFIN

Forelesning 3. Hvordan kommer vi fram til det gode forskningsspørsmålet? Forskningsspørsmålet kan formuleres med ulik presisjon.

Innhold. Forord... 11

Prosjektplan. Nasjonalt tilsynsprosjekt for drikkevann Fagkurs Driftsassistansen Ola Krogstad DK Romsdal

Bestilling av forvaltningsrevisjon og kontrollutvalgets oppfølging av revisjon. Presentasjon på NKRFs fagkonferanse i Molde Torgun M.

KS - WORKSHOP HVORDAN KAN STATISTIKK FORSTÅS OG ANVENDES. Espen Karstensen Utviklingsavdelingen Lampeland, 9. april 2015

Spørsmål, oppgaver og tema for diskusjon

Risikovurdering av elektriske anlegg

UNDERSKRIFTER: Vi bekrefter med våre underskrifter at møtebokens blader er ført i samsvar med det som ble bestemt på møtet.

HVA ER DET SOM SÆRPREGER DET Å ARBEIDE MED PROSJEKT?

Sykefravær i Midtre Gauldal kommune

1. Kort om Riksrevisjonen 2. Bakgrunn 3. Problemstillinger 4. Gjennomføring/metoder 5. Status og veien videre

Målformulering i landbrukspolitikken - Noe å lære!

ANDRE PRAKSISPERIODE 16 UKER 25,5 STP BARNEVERNRELATERT ARBEID.

FORVALTNINGSREVISJONSRAPPORT "BRUKERBETALING INSTITUSJON" FRA INNLANDET REVISJON IKS

Retningslinjer. for tilsyn i Stiftelsestilsynet. Gunn Merete Paulsen avdelingsdirektør

SJ AB. TILSYNSRAPPORT NR Sikkerhetssertifikat del B Risikoformidling og rapportering av hendelser

Saksframlegg. Ark.: Lnr.: 2079/15 Arkivsaksnr.: 15/467-1 FORVALTNINGSREVISJONSRAPPORTEN "GAUSDAL KOMMUNES ETTERLEVELSE AV ANSKAFFELSESREGLEMENTET"

Hvorfor er designet så viktig?

Transkript:

Verktøy for design av forvaltningsrevisjonsprosjekter Nasjonal fagkonferanse i offentlig revisjon 17-18 oktober 2006 Lillin Cathrine Knudtzon og Kristin Amundsen

DESIGNMATRISE HVA HVOR- DAN GJENNOMFØR- BARHET Mål? Hva ønsker vi å oppnå med revisjonen? Hva ønsker vi å finne ut? Hva skal målestokken være? Revisjons bevis Hvilken informasjon trenger vi? Metode Hvor finnes dataene, og hvordan skal disse innhentes og analyseres? Problemstillinger Revisjonskriterier Forventede funn Hvilke konklusjoner kan vi trekke? Gjennomføringsrisiko: Hvilken faglig og administrativ usikkerhet finnes i designet og prosjektplanen? Systematikk og struktur Stortingets vedtak og forutsetninger Retning og avgrensning Konkretisering Den systematiske fremgangsmåten Konsistent Robust 2

Hensikt med designmatrisen Grunnlag for styring i prosjektet Sikre en rød tråd underveis i prosjektet Hjelp til å tenke gjennom risikofaktorer og fallgruver Hjelp til å kommunisere med revidert virksomhet om hva som er fokus i prosjektet 3

Om å velge riktig design Det viktigste aspektet ved design av en revisjon er å sikre at man stiller de riktige spørsmålene. If you don t know where you re going, any road will take you there. 4

Målet for prosjektet Målets viktigste funksjon er å gi retning og avgrensning for undersøkelsen. Målet vil være styrende for det øvrige designet. 5

Kjennetegn ved et godt mål Konkret, dvs. angi området som skal undersøkes angi hvilke forhold innen det aktuelle området som skal undersøkes gi nødvendig avgrensning Bygger på avvik og svakheter Omfatter forhold av prinsipiell, økonomisk eller stor samfunnsmessig betydning Lettfattelig og kort 6

Problemstillingenes funksjon i designet Problemstillingene skal vise hvilke hovedspørsmål som skal besvares eller hvilke hovedemner som skal belyses i undersøkelsen. Problemstillingenes viktigste funksjon er å konkretisere og systematisere undersøkelsen. 7

Kjennetegn ved gode problemstillinger Tematisk dekkende ift. revisjonens mål Ikke overlappe hverandre Entydig og klart formulerte Avviksorienterte Hver problemstilling må ha vesentlig betydning for undersøkelsen Formulert som spørsmål 8

Utforming av problemstillinger Problemstillingene: binder designet sammen og gir føringer for revisjonskriterier, revisjonsbevis og metode skal gjøre undersøkelsen håndgripelig gi ideer om hva som skal sees på tar ofte tid å utforme, og kan endres gjennom arbeidet med designet framtvinger avgrensinger og prioriteringer arbeidet med utformingen gir felles forståelse i prosjektgruppe og med ledelse 9

Spørsmålstre Nedbryting av hvert spørsmål i underspørsmål hvor summen av svarene skal besvare spørsmålet over Målet Problemstilling 1 Problemstilling 2 Problemstilling 3 1.1. 1.2. 1.3. 2.1. 2.2. 2.3. 2.4. 1.1.1. 1.1.2 1.1.3 10

Eksempel på spørsmålstre: A. Prosessen Har ikke prosessen fulgt Stortingets vedtak og forutsetninger? Vedtakene Oppfølgingen Har Departementets manglende oppfølging av Stortingets vedtak og forutsetninger på området ført til mangelfull måloppnåelse? B. Resultatet Har det vært mangelfull måloppnåelse? Område 1 Område 2 Område 3 Mål 1 Mål 2 Mål 3 C. Kausalitet? Er det A som har ført til B? Område 4 11

Utvikling av spørsmålstrær Hvordan dele opp hvert spørsmål? Additiv Tradisjon Tematisk Virkemidler Tilgjengelighet av data Organisasjonens avdelinger 12

Logisk gruppering i grener Tid Kronologi Årsak virkning Struktur, hele og enkeltdeler Geografi Organisatorisk funksjon Demografi Posisjon, rang, hierarki Lokal, sentral makt (kommune, fylke, stat) Ulike beslutningsnivå i en etat Deduktiv tenking Premisser og konklusjon Kost-/nytteanalyser 13

Test/råd underveis og til slutt Er alle hovedspørsmål dekket i underspørsmålene? Bidrar spørsmålstreet til å gi klarhet i diskusjonene? Er det lett å se overgangen til neste trinn i prosessen (for eksempel metodevalg)? 14

Avgrensninger kutte grener Manglende revisjonskriterier Knapphet på ressurser (tid, kapasitet, kompetanse) Funn og Stortingets interessefelt Mangler på avvik Allerede kjente funn Store endringer nært forestående For politiske temaer 15

Fordeler ved spørsmålstre Påkrevd arbeid blir synlig i overkommelige deler Enkelt å avgrense ansvar for deler av prosjektet til prosjektdeltakerne Felles prosjektforståelse i gruppen Forankring i ledelsen Oversiktlig å prioritere/kutte ned 16

Revisjonskriterier Revisjonskriterier er en samlebetegnelse på de normene og standardene som er relevante på området for den aktuelle forvaltningsrevisjonen. Revisjonskriteriene er sammen med faktabeskrivelsen grunnlaget for revisors vurderinger. Revisjonskriterienes funksjon er å gi det normative grunnlaget for analysen av avvik og svakheter. 17

Kjennetegn ved gode revisjonskriterier Bør kobles til hver enkelt problemstilling Skal være dekkende ift. undersøkelsens problemstillinger Konkretiserende ift. problemstillingene Dekkende og korrekt ift. Stortingets vedtak og forutsetninger 18

Utforming av revisjonskriterier Det bør jobbes aktivt med revisjonskriteriene i sammenheng med designet. Arbeidet med revisjonskriterier kan medføre både begrensninger og utvidelser av undersøkelsene (i mål og problemstillinger) i forhold til hvordan vi opprinnelig hadde tenkt. 19

Beskrivelse av revisjonsbevis Beskrivelsen av revisjonsbevis skal angi konkret hvilken informasjon som må legges til grunn for å dekke undersøkelsens mål og besvare problemstillingene. Den viktigste funksjonen til beskrivelsen av revisjonsbevis er således å konkretisere hva undersøkelsen skal omfatte. 20

Kjennetegn ved en god beskrivelse av revisjonsbevis i designet Nødvendig/tilstrekkelig Hensiktsmessig/relevant Konkret: Hvilke fakta må samles inn for å belyse revisjonskriterier og problemstillinger i tilstrekkelig grad? I mange tilfeller hensiktsmessig å bygge videre på strukturen som er gitt gjennom problemstillingene. 21

Revisjonsbevis (forts.) Hva må vi kunne dokumentere i faktadelen for å belyse problemstillingene og revisjonskriteriene på en tilstrekkelig måte? Dette kan senere være til hjelp i utformingen av faktadelen. 22

Metodebeskrivelsens funksjon i designet Den metodiske tilnærmingen er den systematiske fremgangsmåten en følger for å fremskaffe, bearbeide og analysere de nødvendige revisjonsbevisene. Beskrivelsen av den metodiske tilnærmingen skal vise hvordan datainnsamlingen og dataanalysen skal gjennomføres. 23

Kjennetegn ved et godt metodisk opplegg i designet Bør vise hvilke kilder og utvalg som legges til grunn hvordan dataene skal innhentes hvordan dataene skal bearbeides og analyseres. Systematisk og lettfattelig 24

Kilder og hvordan data samles inn Sekundærdata: Dokumenter Registerdata, regnskapsdata og statistikk Primærdata: Spørreskjema Intervju Fokusgrupper Observasjon Konstruerte eksempler 25

Bearbeiding og kvalitetssikring av data Hvordan bør våre data bearbeides og kvalitetssikres, og hvor mye tid og ressurser krever det? Kildetriangulering finne støtte for funn fra en metode ved å se etter det samme fra en annen - relevans, pålitelighet og gyldighet Vurdere behovet for verifisering av fysiske revisjonsbevis (bilder, kart, film etc) av etat/dept. 26

Dataanalyse - sammenstilling og systematisering Kvantitative data: Hvilken statistisk bearbeiding bør gjøres? For eksempel frekvenser, fordelinger, gjennomsnitt og forholdstall Kvalitative data: Hvordan behandle data? Finne eksempler fra enkeltsaker/samtaler, analysere innholdet i tekst og utsagn, søke etter mønstre og tendenser 27

Forventede funns funksjon i designet Beskrivelsen av forventede funn skal vise hvilke avvik og svakheter som kan dokumenteres gjennom undersøkelsen. Dette skal gi grunnlag for å vurdere om designet er konsistent, dvs. om det er logisk sammenheng mellom mål, problemstillinger, revisjonskriterier, revisjonsbevis og metodisk tilnærming. 28

Kjennetegn ved en god beskrivelse av forventede funn Forventede funn skal spesifisere hvilke funn, avvik og svakheter som vil bli dokumentert gjennom undersøkelsen. Er knyttet til den enkelte problemstilling (for eksempel hypoteser om manglende resultater, konsekvenser av avvik og årsaker til avvik.) 29

Problemstillinger og forventede funn - eksempel Problemstilling Forventet funn Årsak Konsekvens Hva er årsaker til at de øremerkede tilskuddene er ulikt fordelt mellom kommunene? Hvilken effekt har det på kommunenes tjenestetilbud at de øremerkede tilskuddene er ulikt fordelt mellom kommunene? Tilskuddsforvalters krav til egen finansiering fra kommunene er årsaken til skjevheten i fordelingen av de øremerkede tilskudd. Kommunenes tjenestetilbud varierer som følge av skjevheten i fordeling av de øremerkede tilskuddene. 30

Beskrivelsen av gjennomføringsrisiko Beskrivelsen av gjennomføringsrisiko skal gi grunnlag for å vurdere om designet er robust i sammenheng med både metodiske krav og administrative begrensninger. 31

Gjennomføringsrisiko Faglig og administrativ risiko Faglig risiko: At det ikke lar seg gjøre å oppfylle målet og besvare problemstillingene at konklusjonene blir annerledes enn forutsatt i forventede funn. Administrativ risiko: kompetanse, ressurser og tid. 32

Vurdering av prosjektdesignet Er det passende ift. målet og problemstillingen for revisjonen? Er det tilstrekkelig? Er det gjennomførbart? 33

Hensikten med planlegging og design Skape felles forståelse for oppgaveløsningen Skal sikre en solid vurdering av gjennomførbarheten av prosjektet Skal sikre at metodene som brukes, bidrar til å hente inn revisjonsbevis som er tilstrekkelige og relevante. 34