Fra løfterike forskningsfunn til praktisk gjennomføring i den virkelige verden Hilde Pape, SIRUS hp@sirus.no Henrik Natvig, Psykologisk institutt, UiO Henrik henrik.natvig@psykologi.uio.no
Psykologikongressens oppgave... «.. å bringe frem relevant psykologisk kunnskap, slik at dette kan føre til handling på både mikroog makronivå.»
Prinsipperklæringen for norske psykologer (2007): Forskningsbasert evidens skal ligge til grunntil grunn for psykologisk praksis «Hensikten med EBP (evidens-basert praksis) er å fremme virksom psykologisk praksis og forbedre folkehelsen ved å bruke empirisk underbygde prinsipper
Evidens-basert praksis (EBP): 3 elementer
Hierarki for empirisk evidens NB: - Publiseringspraksis - Enkeltstudienes kvalitet
Forskningsmessig evidens: drueklase framfor hierarki? Solid evidens = konsistente funn på tvers av forskningsmetoder, utvalg, kulturer, arter. Naturlige eksperimenter Kontrollerte forsøk Registerdata Surveydata Befolknings -utvalg Andre typer studier Deltakende observasjon Klinisk intervju Pasientutvalg
The evidence-practice gap - Et veldokumentert fenomen på mange fagfelt
Fra praksisfeltet Hvorfor en avgrunn på mange fagfelt? - Utilstrekkelig kunnskap (opplæringsmuligheter, tid, ressurser ) - Faglig trosretning - Tiltro til klinisk skjønn - Skepsis /motvilje mot evidensbasering Fra forskningsfeltet - Forskning = vitenskapelig publisering - Få el. ingen incentiver for å arbeide opp mot praksisfeltet - Mangelfulle ferdigheter (forskning vs. praksisnær formidling) Formidlings- og beslutnings- og implementeringsproblematikk
Bridging the research-policy divide RESEARCH POLICY Marginal/uncertain impact Contradictory Missing in some domains Long time frame Research environment Rewards policy relevance Skill set for translation Allison Ritter Policy environment No time Rapid change Staff turnover Other influences seen as more important Access to research
The evidence-practice gap noen eksempler fra rusmiddelfeltet - Alkoholpolitiske restriksjoner, vold og folkehelse Veldokumenterte effekter, begrenset bruk, politisk (mot)vilje - Brief intervention mht. problem-drikking: Veldokumentert effekt, lite brukt - Forebyggende skoletiltak mot rusmiddelbruk Veldokumentert fravær av (nevneverdig) effekt, mye brukt
Forskning må oversettes og formidles til praksisfeltet Oppdrag til ekspertgruppe: Å gi kunnskapsbaserte råd mht. valg av forebyggende tiltak i skolen
Med andre ord skritt i retning av bridging the evidence / practice gap MEN; Hva med solid evidens for at skolebasert rusforebygging er lite virksomt? Er det forsvarlig å gi råd om hvilke(t) av en rekke tvilsomme tiltak som er best?
Konklusjon: 1 av 15 skoletiltak UNGE & RUS kunne anbefales pga. dokumentert effekt (redusert alkoholbruk)
Effektstudien av UNGE & RUS Wilhelmsen mfl. 1994-2 tiltaksgrupper: Lav rollespesifisering Høy rollespesifisering Effekt 2 mnd. senere: MER drikking Mindre drikking - Kontrollgruppe (intet tiltak) Uendret drikking Langtids -effekter (ca. 11 mnd. etter tiltaket): Ingen forskjeller mellom intervensjons- og kontroll-elevene Wilhelmsen & Laberg 1996, s. 93
Bridging the evidence / practice gap? Pape, H., Baklien, B. & Rossow, I. (2007) Villedende om rusforebygging i skolen. Tidsskrift for Den norske lægeforening 127, 1399 Berettiget forskningsskepsis?
Forskning med (tilsynelatende) gode nyheter om rusforebyggende skoletiltak Forskere har evaluert egne tiltak (håp, prestisje & profitt) Kortsiktige effekter Publiseringsskjevhet (Tobler et al s meta-analyser) Selektiv rapportering av løfterike funn Forskningsmessige krumspring i favør av positive funn Tiltak under optimale betingelser; Ekstern validitet!! (efficacy- vs. effectiveness-studier) Fravær av replikasjonsstudier av uavhengige forskere, og i «den virkelige, suboptimale verden» Pape, H. (2009) School-based programmes that seem to work: Useful research on substance use prevention or suspicious stories of success? Nordic Studies on Alcohol and Drugs 26, 521-535. Pape, H. (2009) Skoletiltak som synes å gi effekt: Fruktbar forskning om rusforebygging eller suspekte historier om suksess? Nordisk alkohol- &
Fra prinsipperklæringen for norske psykologer (2007): «Generelt sett skal evidens [ ] baseres på systematiske oversikter, hensiktsmessige effektstørrelser, statistisk og klinisk signifikans, og en omfattende underbyggende evidens [.] samtidig som man erkjenner mangler og begrensninger i eksisterende litteratur og dens anvendelighet for det aktuelle tilfellet» (APA, 2002).
Evidens og evidens. Egentlig mange halvråtne druer som ser gode ut? Eventuelt; mange druer som - i praksis - verken kan spises eller brukes til vinproduksjon? Nyttig evidens? Kompleksitet versus praktisk nytte (og kostnadseffektivitet) Light-versjoner av tiltak Plug and play framfor forskningsbaserte tiltak (i den grad sistnevnte finnes)
Betydning av implementering for tolkning av effekter av rusforebyggingstiltak Vi skal peke på flere metastudier som viser at implementering er viktig for effekter Og på problemer med å evaluere program i den virkelige verden som ikke tar hensyn til hvor godt programmet har blitt implementert Og så kommer vi med noen anbefalinger for å vurdere kvaliteten på implementering (fidelity) og også anbefalinger om hvordan program kan planlegges og iverksettes for å øke sjansene for å få til en god implementering.
Intervensjoner gjennomført IRL Forholdet mellom implementering og effekter av forebyggingsprogram? Hvordan vurdere implementeringen av forebyggingsprogram?
Virker antibiotika? Betydning av implementering for tolkning av effekter Antibiotika virker når det tas som foreskrevet men bruken kan svikte. Det er et stort problem at antibiotika-kurer brukes feil, barn og badevann Implementeringen kan svikte Tilsvarende med rusmiddeltiltak og forebyggingsprogram
Betydningen av implementeringen på effekten av forebyggingstiltak Kun de siste par ti-årene dette har fått noe særlig oppmerksomhet Dane & Schneider (1998) analyserte forebyggingsprogram mental helse fra1980-94 Kun 39 av 162 program rapporterte om implementeringen kun 13 av de 39 rapporterte om evt. effekter Dusenbury et al. (2003) analyserte flere hundre rusmiddel-studier over 25 år, kun 9 stk. om forholdet implementering og effekt av tiltakene Durlak (1997) under 5% av 1200 forebyggingsstudier fram til 1996 om mental, fysisk helse og utdannelse oppga noe om program implementering. 2006: effekten av rusforebyggende tiltak i Norge, implementeringen av tiltakene ble lite vektlagt
Måten implementering skjer har betydning for effekten hva sier empirien? Durlak & DuPre (2008) fant 483 studier i fem metaanalyser av relevante intervensjoner for å vurdere betydningen av implementeringen på effekten av tiltakene. DuBois et al. (2002): Metaanalyse av 55 mentoring-program (voksne støttekontakter for ungdom). Program som kartla implementeringen hadde tre ganger større effekt enn de som ikke rapporterte noe om implementeringen (gj.sn. effektstørrelser på 0,18 vs. 0,06). Smith et al. (2004): 14 antimobbeprogram moderate effekter sett under ett, men de som kartla implementeringen oppnådde dobbelt så stor effekt på andel selvrapporterte mobbere og ofre vs. de som ikke kartla.
Måten implementering skjer har betydning for effekten hva sier empirien? Tobler (1986): 143 antirus program: Godt implementerte program oppnådde effekt størrelser på 0,34, målbart større effekt enn dårligere implementerte program Wilson et al. (2003): 221 forebyggingsprogram på skoler mot aggressiv atferd. Dårlig gjennomført implementering var nest viktigst, kun forbigått av risikoelever. Derzon et al. (2005): 46 upubliserte rusforebyggingsprogram, gj.sn. effektstørrelse på 0,02. Hele 21 av de 46 studiene viste negativ effekt, altså at kontrollgr. brukte mindre rusmidler på T2 enn intervensjonsgr. Etter at de korrigerte for dårlig implementering og fjernet effekten av kontrollgr. rustiltak, økte effektstørrelsen til 0,24 (kun en hadde nå negativ effekt). God implementering ga ny tolkning og12 ganger større effekt
Durlak & DuPre (2008) undersøkte også 59 enkeltstudier av relevante intervensjoner for å vurdere betydningen av implementeringen på effekten Skiller mellom å ha gjennomført stor eller liten mengde (dikotom), el. en kontinuerlig større eller mindre del av tiltaket Fysisk helse; mental helse; akademiske og sosiale ferdigheter; HIV/AIDS; ANT I 45 av 59 studier (76%) var det sign. sammenheng med effekter av tiltaket på minst halvparten av de rapporterte effektmålene I 8 av de 59 studiene var det for liten varians i mengde til å kunne påvise noen forskjell 17 av studiene var ANT, i 16 av dem hadde implementering sign. betydning for effekten
Durlak & DuPre (2008) sin konklusjon om betydningen av implementeringen på effekten De mener å ha gått gjennom opptil en tredjedel av alle outcome-studier på forebygging og helsefremmende program for barn og ungdom. Og resultatene gir sterk støtte for at implementering har vesentlig betydning for effekten av slike tiltak. Data fra nær 500 studier indikerte en gjennomsnittlig effektstørrelse som var to til tre ganger større når program ble nøye implementert og var fri fra alvorlige implementeringsproblemer vs. det motsatte (s. 340). The degree to which an intervention is well-executed is just as important as any part of a program evaluation (Durlak, 2010, s. 356).
RCT (Randomised Control Trials) Praktikere kan ikke replikere forskerne som utviklet programmet og det må forventes dårligere kvalitet på implementeringen Lendrum & Humphrey (2010) advarer mot full tillit til RCT. RCT forutsetter at intervensjoner administreres slik de er ment å gjøres, dette sjekkes dårlig. RCT: 100% med i studien tilfeldig fordeles 50% til intervensjon/50% til kontrollgr. alle får lik behandling med unntak av den aktive pillen vs. placebo-pillen. Alt annet likt Men RCT gir normalt ikke svar på hvordan endringer skjer og hvorfor program virker. De etterlyser kombinasjon, både effekter av tiltak og vurdere implementeringen. Økte tidskrav og mer komplisert evaluering Hvordan skal en så vurdere implementeringer?
Hvordan vurdere implementering? Fidelity vs. adaptation Mer nøyaktig implementert som intendert av programutviklerne gir bedre fidelityskåre, mens mer tilpasning til lokale forhold senker fidelity-skåren. Mer tilpasning kan likevel bedre effekten av tiltaket. Kan altså ikke kun bruke nøyaktighet som kvalitetsvurdering. Er dette noe problem i praksis, da? Gjør ikke praktikere det de skal sånn omtrent? NEI Ringwalt et al. (2003) undersøkte rusmisbruksprogram i USA-skoler, kun 15% av 1600 lærere fulgte programmet nøye, mens 20% fulgte ikke guiden i det hele tatt. Ozer et al. (2009) hevder at mange lærere får en konflikt mellom effektiv undervisning av normalt pensum og behovet for å gjennomføre programmet som intendert.
Hvordan vurdere implementering? Når en evaluerer Durlak & DuPre (2008) identifiserte 23 kontekst-faktorer som påvirker implementering Datagrunnlag: 81 studier 1. Nøyaktighet; (fidelity) tilsvarer tiltaket opprinnelig intensjonen 2. Differensiering: Kan tiltaket skilles fra andre program 3. Monitorering: av kontrollgrupper 4. Rekkevidde: graden av involvering fra deltakere 5. Tilpasning: (adaptation) endringer gjort i det opprinnelige programmet 6. Dosering; hvor mye av programmet ble gjennomført 7. Deltakernes respons: om programmet engasjerer deltakerne 8. Kvaliteten: hvor godt komponenter i programmet har blitt utført, har blitt forklart klart, konsist og ikke minst korrekt.
Hvordan vurdere implementering? Fidelity fem aspekter Ennett et al. 2011 om aspekter som bør med for å måle fidelity (to første klart viktigst): Adherence - Levere programmets innhold på riktig spesifisert leveringsmåte Exposure Antall timer brukt, evt. kombinert med mengde av hver bolk i programmet som dekkes Quality of delivery læreres entusiasme, tid brukt til forberedelser, og holdninger til programmet Participant responsiveness elevenes reaksjoner, om de aktivt engasjerer seg i programmet Program differentiation fravær av innblanding fra andre program, kun eksponering for det vi tester Ennett et al. kartla implementerings-fildelity på rusmiddel forebyggings program i 342 tilfeldig valgte skoler Project Alert og LifeSkills Training ble brukt i 75% av skolene. Totalt kun 5 skoler 1% fikk påvist full fidelity Adherence: 28% av skolene Exposure: 36% av skolene Konklusjonen blir at fidelity varierer stort og bør med i evalueringer av program! For programutviklere er det tilsvarende viktig å legge til rette for høy grad av fidelity!
Botvins LST (Life Skills Training) Dusenbury et al. (2005) vurderte kvaliteten på implementeringen av LST lærere gjennomførte 58% av hovedmålene. Alle lagde lokale tilpasninger, f.eks. la til nye ting som hindret gjennomføring av LST-opplegget. Botvin, Dusenbury et al. (1989) kjent studie som fokuserer på mengde gjennomført Mengden av LST varierte mellom 44% og 83% Delte gruppen i to; 50% gjennomførte 56% av opplegget vs. 50% gjennomførte 78% - positive effekter av LST på røyking skyltes kun 78%-gruppen Post-test viste minst røyking i 78% gruppen, mer i 56% og mest i en kontrollgruppe Generelt: Graden av gjennomføring dvs. implementerings-fidelity har stor betydning.
Botvins LST (Life Skills Training) seinere evalueringer NREPP National Registry of Evidence-based Programs and Practices sin webside: www.nrepp.samhsa.gov Fire ulike studier, 3 på rusmiddeleffekter. Alle var RCT som sammenlignet LST med kontrollgrupper, aksept av eksterne forskere brukt av NREPP. Den lengste studien fulgte elever fra 7. til 12. klasse og de fant signifikant nedgang i sigarett bruk, alkoholbruk målt som beruselsesfrekvens, marihuana, og andre rusmidler. Fant bl.a. 50% lavere andel binge-drink ere i intervensjon vs. kontrollgruppe ved både ett- og to års oppfølging I nyere evalueringer av LST: gjennomført minst 60% = high-fidelity gruppe. Eksempel for egne evalueringer av tiltak sette grenser for når program blir gjennomført godt nok til å bli effekt-evaluert, f.eks. ved å utelukke de skolene eller klassene som ikke har god nok fidelity.
Implementering av høy kvalitet hvorfor? (Durlak, Weissberg et al., 2010) Stor metastudie om 200 skolebaserte programmer over 250 000 unge i USA Sammenliknet elever i forebyggingsprogrammer med høy vs. lav implementeringskvalitet Høykvalitetsgruppen hadde dobbelt så høy økning i akademisk prestasjon I tillegg nedgang i depresjon og angst, som var mer enn dobbelt så stor Også en nesten dobbelt så stor nedgang i oppførselsproblemer (conduct problems) Høy implementeringskvalitet kan bedre livskvalitet.
Hvordan bøte på implementeringsproblemer? Tidlige forslag: Gottfredson et al. (1998) for å bøte på implementeringsproblemene Gi lærerne tilstrekkelig kursing Introdusere forebygging i etapper på skolene Teambygging etc. kan være nødvendig før tiltak startes Forbedret implementering trengs. Hansen et al., 1988 framhevet probl. med lite motiverte lærere, Botvin & Griffin (2003) svak læreropplæring Vi trenger analyser av sentrale forhold for god implementering lærere viktige Motivasjon og ferdigheter hos lærere kan være komplisert, f.eks. Harthun et al. 2008 trente lærere i å gi kulturelt forankret rusmiddelintervensjon (amerikanere med bakgrunn fra Mexico, Europa og Afrika) de hevder at det virker mot sin hensikt å la utrente lærere adm. forebyggingsprogram. Og det skjer jo faktisk i stor skala!!! Bosworth (1998): over halvparten av lærere som adm. forebyggingsprogram ikke hadde fått noen opplæring
Hvordan få til god implementering; de viktigste av Durlaks 23 faktorene Et positivt arbeidsmiljø i organisasjonen som gjennomfører intervensjonsprogrammet (implementering) Delt beslutningstaking mellom f.eks. utføreren, organisasjon, målgruppen eller samfunnet og forskeren om hvordan intervensjonsprogrammet skal tilpasses den spesifikke konteksten implementering skal utføres i. Samarbeid mellom lokale organer som f.eks. etater, helsestasjoner eller forebyggingsorganisasjoner som kan gi ulike perspektiver og ressurser på intervensjonsprogrammet Oppgaveformulering hvordan er intervensjonsoppgavene formulert? Er disse oppgaven tilpasset samfunnet og organisasjons prioriteringer og nåværende praksis? Finansiering anskaffelse av kapital til å gjennomføre intervensjonsprogrammet. Ledelse ferdigheter knyttet til god ledelse Program champion En intern forkjemper i en organisasjon, en alle har tillit til, blir respektert av ansatte, som kan samle og opprettholde støtten til intervensjonen, og forhandle løsninger på problemer som utvikles. Administrativ støtte omhandler i hvilken grad ledelsen og veiledere tydeliggjør støtte og oppmuntrer de som gjennomfører implementeringen Utførerens dyktighet Trening og teknisk assistanse
Kvalitets-implementering i 14 trinn (Meyers, Durlak, & Wandersman, 2012) De 10 første av 14 trinn gjennomføres i fase en og to før implementeringen begynner. Fase 1 gir en oversikt over hva som faktisk trengs for å starte et program, å ansette de som skal gjennomføre implementeringen, og å lære dem opp. 1. Gjøre en behov og ressurs-vurdering 2. Vurdere tilpasningen mellom program og behov hos organisasjon/lokalsamfunnet 3. Vurdere om en er klar og har nødvendig kapasitet Bestemmelse om tilpasninger (fidelity vs. adaptation) 4. Hvor nøyaktig skal programmet følges, hvordan bestemme mulige tilpasninger? Strategier for å bygge opp kapasitet til å gjennomføre programmet 5. Skaffe tydelig støtte fra sentrale interessenter og skape støtte i lokalsamfunnet / org. 6. Bygge generell og organisatorisk kapasitet infrastruktur, ferdigheter og motivasjon 7. Rekruttere de som skal implementere tiltaket sikre at de blir godt forberedt 8. Effektiv og omfattende forberedende trening av de som ansettes
Fase 2, 3 og 4 (Meyers, Durlak, & Wandersman, 2012) Fase to går ut på å lage struktur for å organisere implementeringen 9. Lage team som har det organisatoriske ansvaret for kvalitets-implementeringen 10. Utvikle en implementerings-plan spesifikke oppgaver ferdig til gitte tidspunkt I fase tre er implementeringen i gang, og her dreier det seg om å opprettholde kvaliteten hos de som gjennomfører programmet ute i skolen eller andre steder. 11. Teknisk assistanse / Coaching / veiledning 12. Kartlegge og følge med på pågående implementering 13. Støttende feedback-system Fase fire trer i kraft etter at implementeringen er gjennomført. Dette er en viktig fase, det dreier seg om hvor godt man har gjennomført programmet, og hva som kan forbedres. Hvordan bedre kvaliteten både på programmet og implementeringen? 14. Lære av erfaring for framtid ny bruk av programmet
Hva man har lært om å implementere programmer (Durlak, 2013) Implementering er sjelden perfekt: Det å oppnå høy kvalitet på implementeringene er en kompleks prosess, krever mye jobb Forskjellig kvalitet blant de som setter implementeringen ut i livet: Ekstra opplæring hvis nødvendig, bytte ut om nødvendig. Pilotprogram er ofte lurt: Trenger tid og øvelse for at nye programmer skal bli virkelig gode.
Hva man har lært om å implementere programmer (Durlak, 2013) Ikke forsøk å implementere program på egenhånd (trenger profesjonell erfaring og kompetanse): Evidensbaserte programmer bygger på mye kunnskap og erfaring. Mulig å tilpasse et evidensbasert program til lokale forhold så lenge programmets kjernekomponenter (basert på teori, eller helst empiri) er bevart og ikke modifisert. Implementeringsvariasjon: Alltid forskjell mellom intensjonen og implementeringen Kan ta opp til tre år før kvaliteten på en implementering blir høy Tålmodighet også ved implementeringer
Sentrale deler av litteraturen vi har brukt Durlak, J. A., Weissberg, R. P., Dymnicki, A. B., Taylor, R. D., & Schellinger, K. B. 2011. The impact of enhancing students social and emotional learning: A meta-analysis of school-based universal interventions. Child Development, 82, 405 433. Durlak, J. A. & DuPre, E. P. (2008). Implementation matters: a review of research on the influence of implementation on program outcomes and the factors affecting outcomes. American Journal of Community Psychology, 41, 327-350. Elliott, D. S., Mihalic. S. (2004). Issues in disseminating and replicating effective prevention programs. Prevention Science, 5, 47-53. Ennett, S. T., Haws, S., Ringwalt, C. L., Vincus, A. A., Hanley, S., Bowling, J.M. & Rohrbach, L. A. (2011). Evidence-based practice in school substance use prevention: fidelity of implementation under real-world conditions. Health Education Research, 26(2), 361-371. Giles, S., Jackson-Newsom, J., Pankratz, M. M., Hansen, W. B., Ringwalt, C. L. & Dusenbury, L. (2008). Measuring quality of delivery in a substance use prevention program. Journal of Primary Prevention, 29, 489 501. Meyers, D.C., Durlak, J.A. & Wandersman, A. 2012. The Quality Implementation Framework: A Synthesis of Critical Steps in the Implementation Process. American Journal of Community Psychology, 50, 462 80. Mihalic, S. F., Fagan, A.A. & Argamaso, S. (2008). Implementing the LifeSkills Training drug prevention program: factors related to implementation fidelity. Implementation Science, 3(5), 5-43. Sosial- og Helsedirektoratet, Utdanningsdirektoratet (2006). Forebyggende innsatser i skolen. Oslo: Utdanningsdirektoratet. Tobler NS, Roona MR, Ochshorn P, et al (2000). School-based adolescent drug prevention programs: 1998 meta-analysis. Journal of Primary Prevention, 20(4), 275-336. Tobler, N.S., Stratton, H.H. (1997). Effectiveness of school-based drug prevention programs: a meta-analysis of the research. Journal of Primary Prevention, 18, 71-128