NORSK EVALUERINGSFORENING 14. JUNI Evaluering i staten. - et pragmatisk perspektiv. Øyunn Syrstad Høydal, Handelshøyskolen, OsloMet

Transkript

1 NORSK EVALUERINGSFORENING 14. JUNI 2019 Evaluering i staten - et pragmatisk perspektiv Øyunn Syrstad Høydal, Handelshøyskolen, OsloMet

2 «Evaluering symbol og metode» Artikkelbasert doktorgrad i sosialt arbeid og sosialpolitikk, OsloMet Undersøker politisk og samfunnsmessig innflytelse fra evaluering i seks norske direktorater. Det sosialpolitiske feltet: Husbanken, Imdi, Udi, Udir, Bufdir og Helsedirektoratet

3 Metode/data Spørreundersøkelse med 311 deltakere fra 6 direktorater 5 (+5) intervjuer med byråkrater Sekundærdata om norsk PISA-deltakelse (forskning, nyhetssaker og offentlig informasjon)

4 Hva er evaluering? «Evaluering er en systematisk datainnsamling, analyse og vurdering av en planlagt, pågående eller avsluttet aktivitet, en virksomhet, et virkemiddel eller en sektor.» (DFØ 2011)

5 De store evalueringsspørsmålene Skal evalueringer endre verden eller sikre måloppnåelse? Kan vi skille mellom kunnskapsprodusenter og brukere? Verdier og fakta? Hva slags kunnskap kan evaluering bidra med? Når slutter en evaluering å virke? Hva med bivirkninger av evalueringer? Er evaluering en metode, et symbol? eller begge deler?

6 1. Modernistisk tilnærming: Evaluering som metode - Tradisjonelt/dominerende perspektiv på evaluering - Grunnleggende tro på evalueringers praktiske nytte - Kunnskapssyn med positivistisk slagside - Bygger på - politiske beslutningsprosesser - politikk/verdier/rasjonalitet - kunnskap/kunnskapsproduksjon

7 2. Sosiologisk/konstruktivistisk tilnærming: Evaluering som symbol - Mindre vanlig perspektiv - Slike tilnærminger er opptatt av evaluering som samfunnsfenomen og internasjonal trend IKKE om evaluering funger som et verktøy - Gjennom evaluering viser samfunnet hva som er godt og verdifullt - Eksempler: Power 1997, Schwandt 2009, Dahler-Larsen 2010)

8 Et tosidig perspektiv på evaluering (Inspirert av Røvik 1997) modernistisk sosialkonstruktivistisk pragmatisk Hva er evaluering? rasjonelle verktøy symboler redskaper med instrumentelle effekter sosiale konstruksjoner Hvorfor evaluere? for å løse reelle utfordringer evaluering gjennomføres for å framstå i et bestemt lys virksomheten anser seg selv som en rasjonell aktør som vil løse reelle problemer virksomheten adopterer bestemte ideer for å framstå som en moderne organisasjon Hva medfører evaluering? bedre beslutninger Eks: framstår som rasjonelle bedre beslutninger framstår som rasjonelle

9 Funn: Evalueringer oppfattes som nyttige og delvis nødvendige Evalueringer leses, deles og kunnskapen spres - innflytelse gjennom enlightenment/opplysning/læring Evalueringer har direkte, praktisk betydning - instrumentell/direkte innflytelse Evalueringer kan ha omfattende politiske og samfunnsmessige konsekvenser, virke over lang tid og ha ulike virkninger på ulike nivåer og grupper i samfunnet Byråkratiet skaper evalueringskunnskap sammen med forskere/konsulenter

10 1. Evalueringer oppfattes som nyttige og delvis nødvendige Siste evaluering: - nyttig: helt/delvis enig 80% Generelt: - Har stor betydning som grunnlag for politikkutforming: 79% - Gir tilgang til unik og viktig kunnskap om offentlig sektor: 85% - Nødvendig eksternt blikk på offentlig sektor: 87% - «Hvordan skal vi ellers vite om det virker?»

11 2. Evalueringer leses, deles og kunnskapen spres Svar ut fra siste evalueringserfaring: - 95% har lest hele eller deler av rapporten - 56% har deltatt på interne møter der rapporten har vært tema - 30% har deltatt på eksterne møter «Har du brukt kunnskap fra evalueringen i eget arbeid?» - 75% - som grunnlag for beslutninger 53% - i forbindelse med kunnskaps-/infodeling 78% - ikke-bruk: eventuelt senere 27% ikke ny kunnskap 22% ikke god nok kvalitet 14% bedre kunnskapskilder 4%

12 3. Evalueringer har direkte, praktisk betydning Siste evaluering: - praktiske konsekvenser: 70% svarte JA på en eller flere svaralternativer - signifikant sammenheng mellom planlegging og praktiske resultater - ansatte innen økonomi/administrasjon, og deretter ledere har størst tro på evalueringers praktiske konsekvenser Generelt: - 49% er helt eller delvis uenige i en påstand om at evalueringer sjelden eller aldri får praktiske konsekvenser «Ofte får vi inn signaler om hvordan et tiltak fungerer. Ulike parter kan komme med ulike tilbakemeldinger, og for vår del er det for eksempel vanskelig å si noe om omfanget av et problem før vi har gjort egne undersøkelser.»

13 4. Evaluering som samproduksjon av kunnskap Byråkratiet er delaktige i evalueringsprosessen gjennom: - valg av evalueringsobjekt (Dahler Larsen 2006) - rammer for oppdraget (innenfor/utenfor, metoder mm) - også deltakelse i datainnsamling gjennom utvalg av case/kilder - innspill på rapportutkast men også buffer/knowledge broker mellom politikere og forskere, som kanskje i større grad representerer to ulike kulturer Evalueringene skal brukes innenfor bestemte rammer «Jeg synes vi i stor grad inviterer til kritikk. Vi ønsker reell hjelp til å løse utfordringer, men om forskerne mener at «forvaltningen» er slem, så blir det jo feil uansett.»

14 Forklaringer 1. Kulturell og historisk kontekst: - Lang tradisjon for kunnskapsbasert politikkutforming - «Norske forhold», som samarbeidsorientert styring - Påvirkning fra internasjonale trender: NPM & EBPM - Lovpålagt/rutine/institusjonalisert ide

15 2. Et reelt kunnskapsbehov Direktoratene har behov for kontinuerlig tilfang av oppdatert kunnskap - som faglige rådgivere - og som ansvarlige for oppfølging av statens politikk Kunnskapsbehovet er knyttet til spesifikke satsinger eller tiltak preget av korte tidshorisonter og bestemte perspektiver Reelt behov for kunnskap fører til aktiv deltakelse

16 3. Evalueringers symbolske betydning - Gjennom evaluering framstår direktoratene som veldrevne og effektive organisasjoner, i tråd med dagens styringsidealer. - Direktoratene viser tilslutning til idealet om kunnskapsbasert politikkutvikling - Evalueringer kan også signalisere kontroll, vilje til internasjonalt samarbeid (PISA) eller at et bestemt politikkområde blir tatt på alvor - I praksis er det vanskelig å definere et skarpt skille mellom evalueringers symbolske og praktiske betydning

17 «En gang bestilte vi en kunnskapsoversikt. Alle andre gjorde det, og vi opplevde en klar forventning om at vi burde gjøre det samme. Det var rent strategisk. Forskerne gjorde en kjempebra jobb, men rapporten kunne ikke brukes til noe. Alle kapitlene ble avsluttet med et avsnitt om at det var behov for mer forskning. Dette er den eneste gangen jeg kan huske at vi bestilte en rapport som aldri ble brukt vi brukte en halv million

18 Utfordringer i evalueringssamfunnet Evaluering har blitt en selvfølge, en forventet rutine LOOP Sosiale fenomener må gjøres målbare (eks i planlegging av tiltak) Rapporteringer på målbare fenomener Uttrykker mangel på tillit (Power 1997, Lindgren 2014). Hva slags kunnskap gir evalueringer?

19

20 Eksempelet illustrerer hvordan: Kunnskap fra evalueringer inngår alltid i et komplekst landskap av interessegrupper, konflikter, verdier og politiske oppfatninger. Evalueringer kan bidra med faglige begrunnede innspill, men i bunn og grunn vil politiske avgjørelser, som sykehusorganisering, domineres av andre hensyn. Evalueringsrapporter lages på bestilling fra en oppdragsgiver, og denne oppdragsgiveren kan ha ulike ønsker og motiver for den ferdige rapporten. Evalueringers mandat og avgrensning er avgjørende for resultatet. Fokus på praktisk nyttig kunnskap kan gå på bekostning av bredere forståelse

21 Er dette relevant utenfor sykehussektoren? «Dersom ledelsen her ikke liker konklusjonen, er rapporten død.» (norsk byråkrat) Mine informanter ville ha evalueringer som utfordret, MEN ikke for mye Slik bidrar evalueringer i stor grad til å besvare det politisk-administrative systemets egne spørsmål, innenfor dets egne rammer Det er ikke dermed sagt at evalueringsrapporter flest er diktert av oppdragsgiveren, at de er uredelige eller ikke kan bringe frem nye perspektiver. Evalueringer representerer likevel bare ett av mange mulige syn på verden, og dette perspektivet er som regel basert på byråkratiets eller andre oppdragsgiveres ønsker og behov. Derfor er det også i realiteten vanskelig å avgjøre hvor grensen går mellom kunnskap og verdier, evaluering og politikk.

22

23

24 direktorat Intern rekruttering utvalg deltakere Svar (%) Udir Forankret i direktørmøte. Sendt til alle med potensiell kjennskap Bufdir Bred utsendelse uten annen kjent informasjon Husbanken Bred utsendelse uten annen informasjon Helsedirektoratet Tilfeldig utvalg. Ingen intern oppfordring/forankring om deltakelse IMDi internt definert relevant utvalg med intern oppfordring om deltakelse fra ledernivå UDI internt definert relevant utvalg med intern oppfordring om deltakelse fra ledernivå Totalt

25 1. Hensikt og metode - sluttevalueringer/målevalueringer og prosessevalueringer dominerer - baseres primært på intervjuer og spørreundersøkelser - tjenester og tiltak er vanligste evalueringsobjekt - hensikt: kunnskap (84%) måloppnåelse (81%) effekt (71%) bekrefte eksisterende kunnskap (54%) kontroll/styring (53%)

26 2. Initiativ og organisering - 72 % mener direktoratet tilrettelegger for evaluering i planer om nye tiltak ol - 92 % av respondentene i Udir rapporterer om tilsvarende planlegging - 70 % initieres av eget direktorat (også her forskjeller) - 99 % skal brukes av forvaltningen - 54 % av politisk ledelse, praksisfeltet var aktuelle brukere av 71 % - 38 % har formalisert samarbeid med brukere/interessegrupper

27 3. Eventuelle konflikter intern uenighet om behovet for evaluering 4 % metodevalg 10 % tidspunkt 5 % rammer 15 % resultatet 19% uenighet med eksterne 14%

28 4. Bruk og nytte av siste evaluering - praktiske konsekvenser: 70% svarte JA på en eller flere svaralternativer - signifikant sammenheng mellom planlegging og praktiske resultater - ansatte innen økonomi/administrasjon, og deretter ledere har størst tro på evalueringers praktiske konsekvenser - brukt evalueringen i eget arbeid? 75% - ikke-bruk: eventuelt senere 27% ikke ny kunnskap 22% ikke god nok kvalitet 14% bedre kunnskapskilder 4%

29 5. Litt mer om evalueringsrapporten kom da resultatene var blitt uaktuelle: 24% (helt/delvis enige) stemte med egne antakelser: 76% svekket av manglende kunnskap: 17% ga nye ideer/synspunkt: 66% tillit til utførere: 78%

30 Tittel: Forfatter: Status: Evaluation method and societal phenomenon Øyunn Syrstad Høydal publisert i Evaluation Tittel: Forfatter: Status: Evaluating social policies do methodological approaches determine the policy impact? Øyunn Syrstad Høydal & Anne Grete Tøge (Afi) under review i Journal of Social Policy

31

32 Perspektiver på bruk av evaluering 1. Instrumentelt: evalueringsresultater som påvirker beslutninger direkte 2. opplysende: evalueringer som bidrar med ny kunnskap som på sikt kan endre holdninger og politiske beslutninger 3. symbolsk: evalueringer som får betydning som symbol og ikke gjennom praktisk bruk av resultatene.

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48