Etterlyst: Evidensbasert politikk

Transkript

1 Etterlyst: Evidensbasert politikk Tore Wig University of Oslo November 9, 2016

2 Bakgrunn Figure: Har Nabolag noe å si for livsutsikter? Moving to Opportunity eksperimentet

3 Bakgrunn Figure: Hvordan redusere tilbakefall blant kriminell ungdom? Becoming a Man eksperimentet

4 Figure: Hva er effekten av å fjerne mageorm hos skolebarn? Mass Deworming prosjektet

5 Oversikt 1. Hvorfor randomiserte eksperimenter?

6 Oversikt 1. Hvorfor randomiserte eksperimenter? 2. Mulighetene i offentlig sektor/helsesektoren

7 Oversikt 1. Hvorfor randomiserte eksperimenter? 2. Mulighetene i offentlig sektor/helsesektoren 3. Hvorfor det ikke brukes (nok)

8 Hvorfor randomiserte eksperimenter? Vi mennesker er opptatt av effektene av årsaker

9 Hvorfor randomiserte eksperimenter? Vi mennesker er opptatt av effektene av årsaker Kvitt sykdommen hvis jeg tar medisinen?

10 Hvorfor randomiserte eksperimenter? Vi mennesker er opptatt av effektene av årsaker Kvitt sykdommen hvis jeg tar medisinen? Flere kunder med dette designet?

11 Hvorfor randomiserte eksperimenter? Vi mennesker er opptatt av effektene av årsaker Kvitt sykdommen hvis jeg tar medisinen? Flere kunder med dette designet? Får vi flere fornøyde brukere med denne organisasjonsformen?

12 Hvorfor randomiserte eksperimenter? Vi mennesker er opptatt av effektene av årsaker Kvitt sykdommen hvis jeg tar medisinen? Flere kunder med dette designet? Får vi flere fornøyde brukere med denne organisasjonsformen? Mer konflikt av høyere innvandring?

13 Hvorfor randomiserte eksperimenter? Vi mennesker er opptatt av effektene av årsaker Kvitt sykdommen hvis jeg tar medisinen? Flere kunder med dette designet? Får vi flere fornøyde brukere med denne organisasjonsformen? Mer konflikt av høyere innvandring? Forsvinner depresjonen hvis jeg går i kognitiv terapi?

14 Hvorfor randomiserte eksperimenter? Vi mennesker er opptatt av effektene av årsaker Kvitt sykdommen hvis jeg tar medisinen? Flere kunder med dette designet? Får vi flere fornøyde brukere med denne organisasjonsformen? Mer konflikt av høyere innvandring? Forsvinner depresjonen hvis jeg går i kognitiv terapi? Dette er spørsmål om årsakssammenhenger!

15 Hvorfor randomiserte eksperimenter? Det finnes riktige, og gale måter å finne ut av årsakssammenhenger

16 Hvorfor randomiserte eksperimenter? Det finnes riktige, og gale måter å finne ut av årsakssammenhenger Eksempel: Lederlønninger og produktivitet Mål: Vi vil finne ut om økte lederlønninger øker produktiviteten Metode: Studer bedrifter med lave og høye lederlønninger, og måler deres produktivitet Nyansatte ledere Allerede ansatte ledere Figure: Helge Lund (Statoil)

17 Hvorfor randomiserte eksperimenter? Det finnes riktige, og gale måter å finne ut av årsakssammenhenger Eksempel: Lederlønninger og produktivitet Mål: Vi vil finne ut om økte lederlønninger øker produktiviteten Metode: Studer bedrifter med lave og høye lederlønninger, og måler deres produktivitet Nyansatte ledere Allerede ansatte ledere Figure: Helge Lund (Statoil) Hva er galt med dette?

18 Hvorfor randomiserte eksperimenter? Eksempel II: Fancy Pr-byrå og omdømme Mål: Vi vil finne ut om å bruke fancy PR-byrå (f.eks Geelmuyden Kiese) bedrer bedrifters omdømme Metode: Vi sammenligner bedrifter som bruker og ikke bruker fancy PR-byrå Vi studerer bedrifter før og etter de bruker fancy PR-byrå Figure: Hans Geelmuyden (GK)

19 Hvorfor randomiserte eksperimenter? Eksempel II: Fancy Pr-byrå og omdømme Mål: Vi vil finne ut om å bruke fancy PR-byrå (f.eks Geelmuyden Kiese) bedrer bedrifters omdømme Metode: Vi sammenligner bedrifter som bruker og ikke bruker fancy PR-byrå Vi studerer bedrifter før og etter de bruker fancy PR-byrå Figure: Hans Geelmuyden (GK) Hva er galt med dette?

20 Hvorfor randomiserte eksperimenter? Utsagn om årsakssammenhenger er utsagn om kontrafatiske Vi hadde fått flere kunder hvis vi hadde valgt dette designet? Jeg hadde blitt kvitt sykdommen hvis jeg hadde tatt medisinen Vi hadde fått flere fornøyde brukere hvis vi hadde valgt denne organisasjonsformen? Hvis vi øker innvandring, får vi økt konflikt. Depresjonen vil forsvinne hvis jeg går i kognitiv terapi Den kontrafaktiske modellen for årsakssammenhenger: Hva skjer med Y hvis vi endrer på X?

21 Hvorfor randomiserte eksperimenter? Byggeklossene i den kontrafaktiske modellen for årsaker: Si vi har en observation (i), et utfall (Y), og en årsak (D) som kan ta verdiene 0 eller 1:

22 Hvorfor randomiserte eksperimenter? Byggeklossene i den kontrafaktiske modellen for årsaker: Si vi har en observation (i), et utfall (Y), og en årsak (D) som kan ta verdiene 0 eller 1: Effekten av D = 1, er: Y i1 Y i0 Forskjellen mellom det faktiske (Y i0 ) og det kontrafaktiske (Y i1 ) alt annet likt Dette er et fundamentalt problem: Vi observerer bare enten Y i1 eller Y i0!!

23 Hvorfor randomiserte eksperimenter? Byggeklossene i den kontrafaktiske modellen for årsaker: Si vi har en observation (i), et utfall (Y), og en årsak (D) som kan ta verdiene 0 eller 1: Effekten av D = 1, er: Y i1 Y i0 Forskjellen mellom det faktiske (Y i0 ) og det kontrafaktiske (Y i1 ) alt annet likt Dette er et fundamentalt problem: Vi observerer bare enten Y i1 eller Y i0!! Vi kan bare observere deg om du tar medisinen eller ikke Ikke både om du tar medisinen og ikke, alt annet likt

24 Hvorfor randomiserte eksperimenter? Vi kan ikke finne ut av årsakseffekten for en enkelt observasjon MEN: Vi kan finne ut den gjennomsnittlige årsakseffekten

25 Hvorfor randomiserte eksperimenter? Vi kan ikke finne ut av årsakseffekten for en enkelt observasjon MEN: Vi kan finne ut den gjennomsnittlige årsakseffekten Hvis vi vilkårlig fordeler hvem som får årsaken (D = 1) og hvem som ikke får den (D = 0): Her blir gjennomsnittsårsakseffekten på tvers av individer den samme som... Gjennomsnittseffekten for enkeltindivider

26 Hvorfor randomiserte eksperimenter? Vi kan ikke finne ut av årsakseffekten for en enkelt observasjon MEN: Vi kan finne ut den gjennomsnittlige årsakseffekten Hvis vi vilkårlig fordeler hvem som får årsaken (D = 1) og hvem som ikke får den (D = 0): Her blir gjennomsnittsårsakseffekten på tvers av individer den samme som... Gjennomsnittseffekten for enkeltindivider Dette gir oss svaret vi er ute etter: Hva er kausaleffekten av et tiltak?

27 Hvorfor randomiserte eksperimenter? Eksempel Vi skal finne ut av effekten av en ny medisin på Alzheimer Medisinen koster kr

28 Hvorfor randomiserte eksperimenter? Eksempel Vi skal finne ut av effekten av en ny medisin på Alzheimer Medisinen koster kr Hvis vi ikke randomiserer: De som trenger medisinen mest vil kjøpe den De som har best råd kjøper den Vi kan ikke skille effekten av dette fra effekten av medisinen

29 Hvorfor randomiserte eksperimenter? Eksempel Vi skal finne ut av effekten av en ny medisin på Alzheimer Medisinen koster kr Hvis vi ikke randomiserer: De som trenger medisinen mest vil kjøpe den De som har best råd kjøper den Vi kan ikke skille effekten av dette fra effekten av medisinen Hvis vi randomiserer: Medisinen fordeles uavhengig av behov Medisinen fordeles uavhengig av kjøpekraft Den eneste gjenværende forskjellen mellom de som fikk og ikke fikk medisin er medisinen

30 Hvorfor randomiserte eksperimenter? Dette er styrken ved randomiserte eksperimenter Ved å randomisere tiltak på tvers av observasjoner kan vi estimere den gjennomsnittlige kausaleffekten av et tiltak Fjerner bakgrunnsforskjeller mellom de som får og ikke får behandling Det kan INGEN andre metoder

31 Hvorfor randomiserte eksperimenter? Vi returnerer til eksemplene..

32 Hvorfor randomiserte eksperimenter? Vi returnerer til eksemplene.. Lederlønn og produktivitet: Randomisering skiller effekten av lederlønn fra: trender i bedriften suksess effekten av personlighetstype effekten av preferanser

33 Hvorfor randomiserte eksperimenter? Vi returnerer til eksemplene.. Lederlønn og produktivitet: Randomisering skiller effekten av lederlønn fra: trender i bedriften suksess effekten av personlighetstype effekten av preferanser Fancy PR-byrå og omdømme: Randomisering skiller effekten av fancy PR-byrå fra: at bedriften ønsker bedre omdømme trender i omdømme ( regression to the mean ) kapasitet til å kjøpe fancy PR-byrå

34 Mulighetene for randomisering i offentlig sektor Randomisering i offentlig sektor Eksperimenter lite brukt

35 Mulighetene for randomisering i offentlig sektor Randomisering i offentlig sektor Eksperimenter lite brukt Standarden er kvalitative og deskriptive helhetsvurderinger Dokumentstudier Intervjuer Rapporter

36 Mulighetene for randomisering i offentlig sektor Randomisering i offentlig sektor Eksperimenter lite brukt Standarden er kvalitative og deskriptive helhetsvurderinger Dokumentstudier Intervjuer Rapporter Gode for ren beskrivelse Ubrukelige/misvisende for å finne effektene av tiltak

37 Mulighetene for randomisering i offentlig sektor Eksempler på dårlig praksis NY GIV Prislapp: 726 millioner Mål: Hva minsker frafall i videregående skole Ikke evaluert ved eksperimentelle metoder F.eks selektert (ikke randomisert) spesialundervisning

38 Mulighetene for randomisering i offentlig sektor Eksempler på dårlig praksis NY GIV Prislapp: 726 millioner Mål: Hva minsker frafall i videregående skole Ikke evaluert ved eksperimentelle metoder F.eks selektert (ikke randomisert) spesialundervisning man bruker veldig mye penger i aller beste hensikt, men vet egentlig ikke om disse pengene har kommet til nytte Sølvi Lillejord, Direktør for kunnskapssenter for utdanning

39 Mulighetene for randomisering i offentlig sektor USA går i front Obama administrasjonen har gjort randomiserte studier til en grunnplanke i evalueringen av offentlige tiltak Executive order 148 using Behavioral Science Insights to Better Serve the American People

40 Evidensbasert organisasjonsutvikling Eksempel på organisasjonsutviklig ved bruk av randomiserte eksperimenter Google s The Perfect team Mål: Finne ut hvilke team som fungerer optimalt Faktorer: Bør teamet bestå av folk med like interesser Etnisk homogene? Introverte vs. ekstroverte? Hierarkisk vs. egalitær kommandokjede En rekke randomiserte eksperimenter Funn: Egalitære grupper med gruppenormer som gjorde medlemmene psykologisk trygge

41 Evidensbasert organisasjonsutvikling Eksempler fra helsesektoren: Oregon eksperimentet: Randomiser utdeling av MediCaid til voksne Effekten av lekfolksopplæring på helseutfall i primærhelsetjenesten (Adair m.fl., 2013) Effekten av kommunikasjonstrening på pasientbeslutninger (Curtis m.fl.,2013) Effekten av pasientinvolvering i depresjonsbehandling i primærhelsetjensten (Kravits m.fl., 2013) Effektene av pleierkoordinasjon på utgifter (Peikes m.fl., 2009)

42 Evidensbasert organisasjonsutvikling Hva kan vi randomisere? Organisasjonsformer (f.eks komponentene i samhandlingsreformen) Former for bruker-ansatt kontakt Ansattopplæring Pakkeprogrammer for brukere Behandlingsprogram Informasjonsprogram Informasjonskampanjer

43 Evidensbasert organisasjonsutvikling Hvor kan vi randomisere? På tvers av kommuner På tvers av sykehus På tvers av ansatte På tvers av org. enheter På tvers av helseregioner På ulike tidspunkt for ulike kommuner, sykehus, ansatte, helseregioner

44 Motstand mot randomiserte studier Hvorfor ikke mer utstrakt bruk?

45 Motstand mot randomiserte studier Hvorfor ikke mer utstrakt bruk? Ignoranse: Lite vektlegging i utdanningsinstitusjonene Liten kunnskap om eksperimenter

46 Motstand mot randomiserte studier Hvorfor ikke mer utstrakt bruk? Ignoranse: Lite vektlegging i utdanningsinstitusjonene Liten kunnskap om eksperimenter Konservatisme: Randomisering er nytt vi kan ikke måle alt osv. osv.

47 Motstand mot randomiserte studier Hvorfor ikke mer utstrakt bruk? Ignoranse: Lite vektlegging i utdanningsinstitusjonene Liten kunnskap om eksperimenter Konservatisme: Randomisering er nytt vi kan ikke måle alt osv. osv. Etikk: Etisk forsvarlig å eksperimentere på f.eks pasienter?

48 Motstand mot randomiserte studier Motargumenter og motsvar

49 Motstand mot randomiserte studier Motargumenter og motsvar Alt kan ikke måles Det som kan, bør vi måle Selv kvalitative kategoriske variable kan brukes i randomiserte studier

50 Motstand mot randomiserte studier Motargumenter og motsvar Alt kan ikke måles Det som kan, bør vi måle Selv kvalitative kategoriske variable kan brukes i randomiserte studier Bør ikke brukes isolert fra teori og annen dybdekunnskap: Helt enig!

51 Motstand mot randomiserte studier Motargumenter og motsvar Alt kan ikke måles Det som kan, bør vi måle Selv kvalitative kategoriske variable kan brukes i randomiserte studier Bør ikke brukes isolert fra teori og annen dybdekunnskap: Helt enig! Ikke etisk forsvarlig Mer forsvarlig enn å innføre tiltak uten evidens (overalt) Ofte er det variasjon uansett, ingen ekstra kostnad ved å randomisere Hvis forsvarlig i medisinen... Ofte kan vi bruke kvasi eksperimentelle metoder

52 Nyanser Viktige nyanser Ikke alle eksperimenter lar seg skalere Hvilken rolle spiller teori Enkelteksperimenter er bare første skritt Randomisering gjør ikke tolkning overflødig: Hvilken effekt er det vi måler?

53 Konklusjon For å finne effektene av tiltak: Gjøre randomiserte studier

54 Konklusjon For å finne effektene av tiltak: Gjøre randomiserte studier Dette er mulig i offentlig sektor!

55 Konklusjon For å finne effektene av tiltak: Gjøre randomiserte studier Dette er mulig i offentlig sektor! Fortsatt motstand, men oftest ubegrunnet

56 Konklusjon For å finne effektene av tiltak: Gjøre randomiserte studier Dette er mulig i offentlig sektor! Fortsatt motstand, men oftest ubegrunnet Hva bør gjøres? Forskere inn fra begynnelsen av evalueringer Fokus på randomisering fra start

57 Takk for meg!