1
2 Formålet med kvalitetskontrollen a) Sikre at alle revisjonsenhetene holder en høy faglig standard b) Gi de kontrollerte faglig rettledning c) Gi erfaringer som kan danne grunnlag for justering av eksisterende standarder og veiledninger d) Avdekke eventuelle behov for etterutdanning
3 Resultatene fra kvalitetskontrollen Godkjent Merknad Vesentlig mangel 12 10 8 6 4 2 0 2013 2014 2015 2016
4 Stor variasjon i type merknader Ikke dokumenterte uavhengighetsvurderinger pr. prosjekt Ikke skriftlig prosjektplan Problemstillingene ikke tilstrekkelig avgrenset Praksis er ikke tilstrekkelig beskrevet til å underbygge revisors vurderinger Kriteriene som er utarbeidet tar ikke i tilstrekkelig grad utgangspunkt i problemstillingene Vurderingene av praksis opp mot kriteriene er ikke tilstrekkelig presise
5 Stor variasjon i type merknader II Datainnsamlingen er gjennomført på en måte som skaper usikkerhet om dataenes pålitelighet Det er ikke konkludert opp mot problemstillingene på bakgrunn av vurderinger av fakta Vesentlige avvik kommer ikke tydelig til utrykk Ikke gjennomført FR på flere år. Revisjonsenheten har ansvaret når eksterne benyttes
Hva betyr de siste års utvikling? Kvaliteten stadig lavere? Ulike enheter ulike år. Ikke direkte sammenlignbart Det er etterlevelse av RSK001 som vurderes - En kan ha fulgt standarden og likevel kommet ut med en dårlig rapport - En kan ha fått flere merknader og kommet ut med en god rapport Kan det tenkes at vi får mer igjen for kvalitetskontrollen ved å gjøre det på en annen måte? Sliter vi mer med ting som ikke fanges opp i kvalitetskontrollen? 6
Kvalitetskontrollens bestanddeler 7
8 Utfordringer Samme etterlevelseskrav uavhengig av ressursrammen på rapportene (100 eller 1000 timer) RSKen er god og grundig. Men ikke alt fanges opp av RSKen - Hva med ressursbruk og effektivitet? - Hva med den politiske og administrative nytten? - Hva med godt gravearbeid og god metodikk? - Hva med de interessante funnene og gode analysene? Velger vi de trygge/vanlige innfallsvinklene fordi det da blir lettere å følge RSKen?
9 Observasjoner Noen enheter er blitt utsatt for tidligere kvalitetskontroll og er redde for å trå feil. Binder seg for mye Tidvis veldig tekniske sammendrag med lite funn og vurderinger, men mye om revisjonskriterier og forbehold Sykefravær på 13,2 prosent. Tør ikke å vurdere fordi det ikke er kriterier Interessante tallfunn forfølges ikke.
Observasjoner II I for liten grad vurderes praksisen på det undersøkte området på feltet. - Mye informasjon om hva man ønsker i planer, rutiner og retningslinjer, men for lite informasjon om hva kommunen faktisk gjør og hvordan det fungerer. Lite bruk av intervjuer i en del rapporter - De fleste verifiserer intervjuene, men har snakket med veldig få informanter, gjerne bare et par i ledelse og/eller kontaktperson Sjelden en brukertilnærming Enkelte ganger - uforholdsmessig mye ressurser brukes på kvalitetssikring Lager kriterier til deskriptive problemstillinger For stort fokus på merknadene. Virker forstyrrende inn på kontrollen. 10
11 Bekymringer Jeg håper ikke at kvalitetskontrollen er med å føre til at man ikke tør å ta dristige metodevalg og til å tenke utradisjonelt. Blir det for stort fokus på passe på at vi ikke trør feil og at vi blir for opptatt av å ha kontroll på selv den minste detalj, i tilfelle kritiske spørsmål? Er oppmerksomheten for stor på kvalitetssikring og for liten på effektivitet? Blåser vi opp mindre forhold fordi det kan måles eller fordi vi har tydelige revisjonskriterier for det vi finner? Og overser vi eller unngår vi viktige og sentrale problemer/utviklingstrekk fordi vi ikke har kriterier for disse? Er dette vår akilleshæl?
Påstand: All forvaltningsrevisjon er ikke compliance Noen blir vi bedt om å undersøke områder eller tema uten klare føringer. Hva gjør vi da? Eksempler: - Store fristoverskridelser i barnevernet. Hva er årsakene? - Mange ganger er ikke standarden gitt: Er tjenesteproduksjonen effektiv? Er kvaliteten god? Hva brukes pengene til og er pengebruken fornuftig? Er det samsvar mellom kvalitet og ressursbruk? Hvordan fungerer samarbeidet? Hvordan fungerer beredskapen på virksomhetsnivå? Hvis det ikke er et mål med en omorganisering, kan vi ikke da evaluere og vurdere den? Krever en eksplorerende tilnærming, ikke vurdering av etterlevelse 12
Sideblikk Den danske riksrevisjonen fikk for noen år siden kritikk for å være for snever i sin revisjon - Knivskarp i vurderinger av overholdelse av regler, prosedyrer og planer - Men mindre om forvaltningen fungerer effektivt og når målene Norsk riksrevisjon: - Mer brede analyser som er interessante for den alminnelige borger, interesseorganisasjoner, forskningsmiljøer og media - Mindre avgrenset kontroll av at regler og planer overholdes Lægreid: Den norske riksrevisjonen har gjort det den danske ikke har turt, dvs. å løfte blikket for å vurdere om skattebetalernes penger blir brukt til det de skal brukes til. Hvordan ønsker vi at vår forvaltningsrevisjon skal være? 13
Påstand: Det går an å vurdere uten å ha klare revisjonskriterier å vurdere funnene opp mot Men man må ha et solid datagrunnlag, gjerne fra flere kilder. Det er summen og styrken i datakildene som bør være avgjørende for vurderingene, ikke om det finnes et mål/en føring på området Vurdering samhandlingsreformen: Kompetansen i hjemmetjenesten står ikke i forhold til den økte strømmen av stadig sykere pasienter fra sykehuset. Ingen føringer for dette: Vurderingen hvilte på følgende premisser: o Flere og langt sykere pasienter fra sykehuset o Sykepleierdekning i hjemmetjenesten er uendret etter innføring av samhandlingsreformen o I andre kommuner har sykepleierandelen økt o De ansatte opplever at det er for få sykepleiere og at man er sårbare ved sykefravær Samarbeid 14
Påstand: Vi binder oss noen ganger for tidlig til masten 15 Design i forkant av undersøkelse. Hvor fastspikret er det og hvor åpent er det for å endre kurs/forfølge interessante spor. Bør ha en retning, formål og problemstillinger ligger fast, men rom for å endre retning underveis Øyne og ører åpne for å fange opp interessante innspill som vil kunne være avgjørende for retning videre Samhandlingsreform Bærum Fylkesmannen i Sør-Trøndelag: Vi gjorde det det vi skulle, men fant ikke det vi burde. - Kommune som henla undersøkelser som ikke var behandlet innen tre måneder.
16 For ordens skyld Mange forvaltningsrevisjoner dreier seg om etterlevelse, og sånn bør det være Kriterier, funn og vurderinger er en god og ryddig måte å utføre revisjon på RSK. God verktøykasse, men fanger ikke opp alt Noen ganger: Ikke klare føringer. Da må vi velge en annen fremgangsmåte Fremover tror jeg vi blir mer utfordret til å tenke mer utenfor boksen Göran Persson sa en gang: «Heltene fra i går var de som fant de gode løsningene Heltene av i dag er de som finner feil.» Fremover tror jeg vi blir mer utfordret på å være heltene fra i går
Fører kvalitetskontrollen til bedre kvalitet? Ja, men jeg tror kvalitetskontrollen kan bli mer målrettet Kan eksempelvis velge ut noen punkter i RSKen og bringe inn momenter som i større grad kan gjøre en mer dyptpløyende vurdering av - Metode og data - Vurderinger og konklusjoner - Rapportens nivå sett i forhold til ressursinnsats? - Gode analyser? - Interessante funn? - Politisk og administrativ nytte? - Veiledning i fokus, like mye som kontroll - Løfte frem god praksis Mer skjønnsmessige vurderinger? Vi bør ha en ambisjon om at kontrollen skal bidra til å gjøre enhetene bedre rustet til å møte konkurransen fra eksterne enheter 17
18 Hva tenker dere? Bør kvalitetskontrollen være full compliance av RSK001? Eller er det mer aktuelt å trekke frem noen få fokusområder fremover? Eventuelt hvilke? Kommentarer/synspunkter: - Ring 47252579 eller skvalvag@rogaland-revisjon.no, så kan jeg bringe innspillene videre