Skoletiltak som synes å gi effekt: Fruktbar forskning om rusforebygging eller suspekte historier om suksess?

Transkript

1 Artikel HILDE PAPE Skoletiltak som synes å gi effekt: Fruktbar forskning om rusforebygging eller suspekte historier om suksess? Innledning I stadig større grad blir det stilt krav om at forebyggende virksomhet skal være evidensbasert. På vårt felt har mye av innsatsen vært rettet mot skoleungdom, men forskningslitteraturen indikerer at skolebaserte tiltak sjelden gir nevneverdig effekt på de unges rusmiddelbruk (Babor et al. 2003; Foxcroft et al. 2002; 2003). Imidlertid finnes det unntak som synes å gi grunn til håp. Et avgjørende spørsmål er om disse suksesshistoriene er til å stole på, eller om de må tas med betydelig forbehold. I det følgende vil dette spørsmålet bli nærmere belyst, men først vil jeg beskrive hvordan interessen for temaet ble vekket. QQ Unge & Rus en trist historie om et anbefalt forebyggingsprogram I 2006 forelå rapporten fra en forskergruppe som hadde vurdert ulike rusforebyggende skoleprogrammer som blir benyttet i Norge (Nordahl et al. 2006). Bakgrunnen var at norske helse- og utdanningsmyndigheter ønsket å kunne gi faglig begrunnede råd på dette området. Forskergruppens konklusjon var at bare ett program, nemlig Unge & Rus, kunne anbefales fordi en effektstudie hadde vist at det bidro til redusert tenåringsdrikking. Den A B S T R A C T H. Pape: School-based interventions that seem to work: Useful research on substance use prevention or suspicious stories of success? School-based prevention programmes targeted at adolescent substance use rarely seem to have the desired effects on behaviour. It is true that some outcome studies do conclude that such programmes have been successful, but they are relatively few and far between. Even so, one may ask whether the body of published research in this field may originate from unrealistic optimism due to publication bias and underreporting of no or counterproductive effects. Thus, anecdotal evidence suggests that the literature is biased in favour of studies with positive findings. Moreover, nearly all these studies have been carried out by programme developers, and it is well known that researchers with vested interests are more likely to bring good news than independent researchers. Indeed, rather than approaching the field with critical reflection, some evaluators have intended to prove that school-based prevention works and have conducted their research accordingly. Examples of questionable analytical approaches and selective reporting of positive findings are consequently not hard to find. The external validity of evaluation studies with favourable outcomes is also N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

2 often questionable because they almost exclusively have assessed the effects of programmes delivered under optimal rather than real-life conditions. In conclusion, the empirical evidence in favour of school-based substance use prevention programmes is generally weak and does not allow recommendation of widespread dissemination of any specific programme. KEYWORDS School-based substance use prevention, evaluation research, publication bias, vested interests, research ethics, efficacy and effectiveness studies, external validity, evidence. aktuelle undersøkelsen, som ble publisert i tidsskriftet Addiction, tydet på at måten programmet ble iverksatt på hadde mye å si (Wilhelmsen et al. 1994). Noen av elevene i studien deltok i et standardisert opplegg med spesifiserte instrukser, og etter et par måneder drakk de relativt sett mindre enn elevene i kontrollgruppen. Andre elever, som hadde vært med på et mer fleksibelt opplegg, drakk derimot relativt sett mer. Selv om effektstudien av Unge & Rus avdekket funn som gikk i ulike retninger, har resultatene blitt omtalt som entydig positive i senere publikasjoner fra prosjektet uten forbehold eller nærmere presisering (Wilhelmsen 1996; Wilhelmsen & Laberg 1996). I Nordahl et al. s (2006) rapport går det heller ikke fram at en mindre strukturert versjon av programmet syntes å gi økt alkoholbruk på kort sikt. Rapporten unnlater også å opplyse om at Wilhelmsen & Laberg (1996) ikke fant noen effekter av programmet etter et snaut år. Imidlertid er dette et bortgjemt resultat som de to forskerne bare har viet en eneste setning i en publikasjon om programmets gunstige korttidseffekter. Sammen med to kollegaer skrev jeg et kritisk innlegg om evalueringen av Unge & Rus i kjølvannet av rapporten til Nordahl et al. (2006). Vårt viktigste ankepunkt var at studiens sentrale utfallsmål var så upresist 1 at det i realiteten ikke var mulig å sannsynliggjøre hvilke kortsiktige effekter om noen programmet hadde på elevenes alkoholbruk (Pape et al. 2007). At denne forskningen i sin tid passerte nåløyet for å bli publisert i et solid internasjonalt tidsskrift, gir derfor grunn til ettertanke. Det er også tankevekkende at forskere som har omtalt Wilhelmsen et al. s (1994) resultater i sine egne publikasjoner 2 øyensynlig heller ikke har oppdaget undersøkelsens alvorlige begrensninger. QQFokus for framstillingen For min del ga historien om Unge & Rus opphav til følgende spørsmål: Har mange andre studier også avdekket gunstige virkninger av rusforebyggende skoletiltak og trukket løfterike konklusjoner på sviktende grunnlag? Gir forskningslitteraturen et rimelig korrekt bilde av kunnskapsstatus på feltet, eller har negative funn en tendens til å bli dysset ned eller unndratt publisering? Og til slutt; er det faglig forsvarlig å anbefale bestemte skoleprogrammer mot rusmiddelbruk, 342 N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

3 eller er det forskningsmessige grunnlaget for å komme med slike anbefalninger utilstrekkelig? I det følgende vil jeg rette fokus mot alle disse spørsmålene. Publiseringsskjevhet Foreliggende forskning indikerer som nevnt at skoletiltak mot rusmiddelbruk stort sett er lite virksomme (Babor et al. 2003; Foxcroft et al. 2002; 2003). Enkelte studier tyder riktignok på at det er mulig å oppnå små og kortsiktige atferdsendinger i gunstig retning, men fravær av effekt synes å være et gjennomgående funn i hovedtyngden av forskningen på feltet. Holdepunkter for at skoletiltak i verste fall kan bidra til økt rusmiddelbruk, eller gi andre uønskede virkninger, er også avdekket (Brown & Caston 1995; Foxcroft et al. 2002; Werch & Owen 2002). Det er likevel grunn til å tro at forskningslitteraturen har en systematisk skjevhet i favør av gode nyheter om effektene av slike tiltak (Brown 2001; Caulkins 2008; Moskowitz 1993; McCambridge 2007; Room 2008; Roona 2008), og at den derfor kan gi opphav til større forebyggingsoptimisme enn det er grunnlag for. I generelle ordelag handler publiseringsskjevhet om at forskningslitteraturen blir frarøvet opplysninger som ville ha påvirket de konklusjonene som den gir grunnlag for å trekke (McCambridge 2007). Antakelig forekommer varianter av fenomenet på de fleste forskningsfelt, men forskning med potensiell nytteverdi slik som effektforskning av rusforebyggende tiltak er trolig ekstra utsatt (McCambridge 2007; Roona 2008). Publiseringen av resultatene fra evalueringen av Unge & Rus er illustrerende i så henseende (Rossow & Pape 2008). Som nevnt ble ingen holdepunkter for programeffekter observert etter et snaut år noe Wilhelmsen & Laberg (1996) bare så vidt nevner i en norskspråklig, populærvitenskapelig publikasjon fra prosjektet. Med andre ord har disse viktige resultatene verken blitt tilgodesett med en egen vitenskapelig pub likasjon eller gjort tilgjengelige for det internasjonale forskningsmiljøet på feltet. QQDe ukjente re-analysere av Tobler Q et al. s data sett I nyere tid har flere eksempler på publiseringsskjevhet i tilknytning til effektstudier av rusforebyggende tiltak blitt beskrevet (Brown 2001; Cohn 2001; Roona 2008). McCambridge (2007) har gjort rede for et tilfelle som er spesielt urovekkende fordi det dreier seg om noen av standardreferansene på feltet, nemlig Tobler og medarbeideres (Tobler 1986; Tobler & Stratton 1997; Tobler et al. 2000) 3 innflytelsesrike meta-analyser. Disse analysene inkluderte funn fra mer enn 200 effektstudier av skolebaserte tiltak, og resultatene ble publisert i lett tilgjengelige tidsskrifter av høy kvalitet. Mønstrene som avtegnet seg indikerte at rusforebygging i skolen generelt sett hadde liten effekt, men at noen påvirk ningsstrategier var mer virksomme enn andre. Det var to typer programmer som skilte seg positivt ut, nemlig de som søkte å fremme elevenes sosiale ferdigheter (life skills training) og de som la vekt på aktiv deltakelse fra elevenes side (interaktive tiltak). Tobler og medarbeideres forskning har ikke bare blitt viet stor oppmerksomhet i berørte fag- og forskningsmiljøer, men har også vært retningsgivende for den rusforebyggende virksomheten i mange land (McCambridge 2007; Saunders 2007). På N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

4 en konferanse i 2000 ble imidlertid en re-analyse av deres forskningsmateriale presentert, og den ga ingen støtte til de tidligere publiserte resultatene. Den nye analysen var basert på bedre statistiske metoder, og konklusjonen var at skoletiltak med ulike pedagogiske opplegg lot til å være omtrent like lite virksomme. Først sju år senere ble disse nedslående resultatene offentliggjort på et bortgjemt nettsted for spesielt interesserte (Roona et al. 2007) 4. I ettertid har en av de involverte forskerne innrømmet overfor McCambridge (2007) at bortfallet av støtte til etablert viten om effektiv rusforebygging var en viktig grunn til at den siste meta-analysen ble unndratt ordinær vitenskapelig publisering. Dette eksempelet på publiseringsskjevhet har siden blitt fulgt opp av det tidsskriftet som publiserte McCambridge s artikkel (Drug and Alcohol Review) i form av kommentarer fra ulike forskere på feltet (Caulkins 2008; Foxcroft & Smith 2008; Roona 2008; Room 2008; Rossow & Pape 2008; Skager 2008). Ellers har saken fått lite oppmerksomhet. Fortsatt blir da også Tobler og medarbeideres (Tobler 1986; Tobler & Stratton 1997; Tobler et al. 2000) forskning referert til i stor skala, mens Roona et al. s (2007) re-analyser går upåaktet hen. Slik vil situasjonen antagelig forbli i lang tid framover. Føringer i favør av positive funn Det er ikke usannsynlig at studier med oppløftende nyheter om effektene av skolebasert rusforebygging blir møtt med større velvilje av tidsskriftsredaktører og refereer, enn hva tilfellet er for tilsvarende studier med negative funn (Caulkins 2008; McCambridge 2007). Nettopp fordi så mange undersøkelser indikerer at skoletiltak er uvirksomme, kan det eksempelvis tenkes at ytterligere dokumentasjon for fravær av effekt blir oppfattet som uinteressant. Studier fra andre forskningsfelt kan imidlertid tyde på at det først og fremst er forskernes egne valg som bidrar til å skape en publiseringsskjevhet til fordel for bestemte funn (Weber et al. 1998). Hvorfor noen unndrar egen forskning fra publisering, eller på annet vis sørger for at enkelte resultater blir løftet fram mens andre blir tonet ned, kan det være mange grunner til. Når det gjelder effektforskning av rusforebyggende tiltak, kan forskere blant annet ha egeninteresser som gir føringer i favør av positive funn. QQHåp, prestisje og profitt Selv om forskere bør være minst mulig forutinntatte når de effektevaluerer tiltak, kan enkelte ha sterke forhåpninger om å avdekke positive funn kanskje særlig hvis det dreier seg om tiltak som de selv har vært med på å utvikle eller iverksette. Antakelig kan slike forhåpninger påvirke både forskningsprosessen og måten resultatene blir fortolket og formidlet på. I tråd med denne antakelsen, har studier fra ulike fagfelt vist at programutviklere i større grad trekker fordelaktige konklusjoner enn forskere som ikke har hatt noen befatning med det tiltaket som de har evaluert (Borman et al. 2003; Lipsey 1995; Petrosino & Soydan 2005). Forskere synes med andre ord å være mindre kritiske når de evaluerer egne enn når de evaluerer andres tiltak. Forskning om effektene av skolebasert rusforebygging er neppe noe unntak i så henseende. I alle fall er saken den, at mange av de 344 N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

5 studiene som konkluderer med at slike forebyggingstiltak gir effekt, er blitt utført av forskere som også innehar rollen som programutvikler (Gandhi et al. 2007; Gorman 2002). Fenomenet ble nylig tallfestet i en artikkel om skoletiltak mot vold og rusmiddelbruk som på grunnlag av dokumentasjon fra effektstudier var blitt anbefalt av helsemyndighetene i USA (Gorman & Conde 2007). Alt i alt forelå det 246 vitenskapelige publikasjoner med funn fra de aktuelle effektstudiene, og Gorman & Conde s anliggende var å finne ut hvor mange av dem som var blitt skrevet av forskere med potensielle habilitetsproblemer. Opptellingen viste at det gjaldt de aller fleste; programutviklere sto bak 78 prosent av publikasjonene, mens ytterligere 11 prosent var skrevet av programutviklernes nære samarbeidspartnere. Slike funn indikerer at det er et stort behov for replikasjonsstudier i regi av uavhengige forskere på feltet. Foreløpig har imidlertid ytterst få slike studier blitt gjennomført (Skager 2007; Weiss et al. 2008). Å bidra med evidensbaserte tiltak kan utvilsomt være fordelaktig for den enkeltes forskningskarriere og faglige anseelse. Forskere kan også ha økonomiske interesser av å frambringe dokumentasjon for at deres eget forebyggingsprogram er virksomt. Det å kombinere rollene som programutvikler/programeier, evalueringsforsker og forretningsdrivende er øyensynlig ikke helt uvanlig, i hvert fall ikke i USA. En slik sammenblanding av roller har blant annet funnet sted i tilknytning til et av de mest omtalte tiltakene i nyere fag- og forskningslitteratur om skolebasert rusforebygging, nemlig Botvin s Life Skills Training (se Forskning som finansieres av alkohol- eller tobakksindustrien har av åpenbare årsaker begrenset troverdighet. Det synes også å være bred enighet om at slike økonomiske bindinger er forskningsetisk betenkelig. Imidlertid blir det sjelden reist kritiske spørsmål om troverdighet og etikk i forbindelse med effektforskning som utføres av forskere med kommersielle interesser knyttet til det tiltaket som de evaluerer. Så vidt jeg vet, har slike prinsipielt viktige spørsmål heller ikke blitt reist i tilknytning til Botvin s effektstudier av Life Skills Training. Som jeg straks vil beskrive, er det imidlertid grunn til å hevde at disse studiene bærer preg av programutviklerens sterke egeninteresser av å dokumentere at tiltaket er virkningsfullt. QQBotvins tvilsomme effektforskning Life Skills Training (LST) har som hovedmål å redusere tenåringers bruk av alkohol, narkotika og tobakk, og i følge Botvin (se Botvin & Griffin 2004 for en oversikt) kan programmet skilte med veldokumenterte effekter. Med henvisning til funn fra sine egne effektstudier, blir LST markedsført som research-validated og remarkably effective 5, og forretningsvirksomheten har etter alt å dømme vært en suksess. I alle fall er LST blant de tiltakene som er aller mest brukt i amerikanske skoler. Det har også blitt løftet fram som et solid, evidensbasert tiltak av utenforstående ekspertise. I rapporten fra den tidligere nevnte forskergruppen i Norge, blir LST eksempelvis omtalt som det beste utenlandske skoleprogrammet for rusforebygging (Nordahl et al. 2006, 112). I USA er programmet dessuten en gjenganger på ulike oversikter over forebyggende tiltak som, i følge ekspertvurderinger, kan skilte med veldokumenterte virkninger på N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

6 elevenes rusmiddelbruk (se Gandhi et al. 2007). Effektstudiene av LST har imidlertid vært gjenstand for mange innvendinger, først og fremst av metodologisk art (Foxcroft 2006; Foxcroft et al. 2002; Gorman 2002; 2005a; 2005b; Brown 2001; Brown & Kreft 1998). Etter en grundig gjennomgang av Botvin s mest sentrale publikasjoner om effektene av programmet, som blant annet inkluderte re-analyser av publiserte data, oppsummerte Brown (2001, 96) sin kritikk på følgende måte: Based upon the potential combination of analytical alternation, one-tailed tests, aggregation bias, unequivalent study groups, and unreported patterns of ineffectiveness or drug use increases there is doubt to cast over the validity of the LST research. Andre har uttrykt mer eksplisitt at Botvin s forskning er systematisk villledende, og at programmet i realiteten neppe legger noen demper på de unges rusmiddelbruk (Gorman 2002; 2005b). En forsker som var involvert i en av de første LST-studiene har dessuten gått offentlig ut og fortalt at Botvin (Botvin et al. 1990) bevisst underslo funn som gikk i disfavør av programmet (se Cohn 2001). Det har også kommet fram at tobakksindustrien i USA har samarbeidet med Botvin om å promotere LST i trygg forvissning om at deres egen forskning indikerte at programmet ikke førte til redusert røyking blant de unge, men snarere syntes å ha motsatt effekt (Mandel et al. 2006). Hypotesebekreftende forskning Som allerede antydet, er ikke Botvin den eneste forskeren som har trukket løfterike konklusjoner om effektene av skolebasert rusforebygging på sviktende empirisk grunnlag. Tvert i mot har selektiv rapportering av positive funn, samt bruk av analysestrategier og statistiske tester som er tvilsomme, men som øker sannsynligheten for å dokumentere effekter, også blitt avdekket i mange andre effektstudier på feltet (Brown & Kreft 1998; Gandhi et al. 2007; Gorman 2002b; 2008; Gorman et al. 2007; Moskowitz 1993; Skager 2007). Å fortolke usikre funn i positiv retning, og å overse muligheten for at tilsiktede atferdsendringer kan skyldes andre forhold enn det iverksatte tiltaket, synes heller ikke å være helt uvanlig. Et beslektet fenomen går ut på å overvurdere betydningen av programeffekter som er så små at de i realiteten neppe vil ha noe å si for omfanget av rusmiddelbruk og relaterte skader. Slike forskningsmessige skjevheter indikerer at enkelte forskere har gått aktivt inn for å bekrefte hypotesen om at rusforebygging gir effekt, og framstilt sine forskningsfunn deretter. Botvin og Kantor (2000, 253) har gitt temmelig eksplisitt uttrykk for sin tilslutning til en slik strategi: The most serious challenge to the field of ATOD [alcohol, tobacco and other drugs] abuse prevention has been in proving that prevention works (min kursivering). Dupont (1998, 214), som også er en aktiv forsker på feltet, har formidlet liknende synspunkter: It is essential that research provide evidence that, when it comes to prevention of addiction, something works. Han har også gitt en klar begrunnelse for sitt standpunkt. Forskning som viser at rusforebygging er virkningsfullt er etter hans vurdering viktig fordi slik dokumentasjon vil ha strong positive effects on funding decisions, since they 346 N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

7 reinforce the underlying political will to support prevention programs (Dupont 1998, 214). Andre har påpekt at Dupont s uttalelse er særskilt interessant fordi den er å finne i en publikasjon fra the National Institute on Drug Abuse som også finansierer store deler av effektforskningen på forebyggingsfeltet i USA (Roona 2008). Forskere som opererer ut fra ønsker eller antakelser om at tiltak mot rusmiddelbruk er virksomme, og som går inn for å dokumentere at det er tilfellet, bryter med grunnleggende prinsipper for hva hypotesetestende forskning dreier seg om. Brown & Kreft (1998) har derfor omtalt tilnærmingen som upside-down science. Tilsvarende har Gorman (2005b, 42) kommet med følgende uttalelse om tematikken: If the field of drug education [...] is truly a science, it should be subjecting its predictions about the effects of intervention programs to genuine and rigorous attempts at falsifications and not attempting to verify these hypothesis. Selv har han valgt å anvende begrepet kvasiforskning (pseudo science) om deler av innsatsen på feltet (Gorman 2003; 2008). Positive funn, men bare under optimale betingelser? En viktig begrensning ved mye av evalueringsforskningen på forebyggingsfeltet har å gjøre med undersøkelsenes eksterne validitet. Skillet mellom efficacy - og effectiveness -studier er essensielt i denne sammenheng (Flay 1986; Flay et al. 2005; Glasgow et al. 2003). Den førstnevnte typen studier dreier seg om kontrollerte forsøk der hensikten er å avdekke om tiltak gir effekt når de gjennomføres etter oppskriften og under mest mulig optimale betingelser. Implementeringen finner ofte sted i regi av de involverte forskerne, og innsatsen blir gjerne fulgt opp og kvalitetssikret underveis. I effectiveness -studier, derimot, kartlegges eventuelle virkninger av tiltak som blir iverksatt under ordinære, hverdagslige forhold, det vil si; under de betingelsene som vanligvis gjelder når intervensjoner finner sted i stor skala og uten tett oppfølging fra programutviklere eller annen ekstern ekspertise. Effectiveness -studier handler også om å avdekke hvordan tiltak blir gjennomført i praksis. Program- og implementeringslojalitet (program / implementation fidelity) er noen av de viktigste begrepene i så henseende. I hvilken utstrekning intervensjoner blir iverksatt slik at omfanget, innholdet og formen er i samsvar med programutviklernes instrukser og intensjoner, er sentrale spørsmål i den forbindelse. I hvor stor grad forskere har sørget for å optimalisere betingelsene for en vellykket implementering av det tiltaket som de har evaluert, varierer fra undersøkelse til undersøkelse. I praksis kan derfor skillet mellom efficacy - og effectiveness - studier være flytende. Det er uansett dekning for å hevde at forskning om effektene av skoletiltak mot rusmiddelbruk i all hovedsak begrenser seg til varianter av efficacy -studier (Hallfors et al. 2006; Rohrbach et al. 2007). Slike studier kan utvilsomt bidra med viktig kunnskap i en utprøvingsfase, men om positive resultater fra denne type evalueringsforskning er generalisérbare, og om de har noen praktisk nytteverdi, vil nødvendigvis være usikkert. Fordi det foreligger så få effectiveness - studier av rusforebyggende skoletiltak, vet vi lite om hvilke effekter om noen det er mulig å oppnå i den virkelige verden. N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

8 Det er imidlertid godt dokumentert at vanlig praksis med hensyn til slike tiltak sjelden samsvarer med programutviklernes instrukser (Cahill 2007; Gottfredson 2001; Dusenbury et al. 2003). Modifiseringer og forenkelinger synes å være regelen mer enn unntaket, og i realiteten er det ofte ufullstendige light -versjoner av forebyggingsprogrammer som blir iverksatt. Mangelfull opplæring av lærere, samt knapphet på tid og økonomiske ressurser, er noen av årsakene til at slike tilpasninger i stor utstrekning finner sted. Innsatsen har dessuten en tendens til å avta over tid, hvilket tyder på at pionérfasens engasjement er vanskelig å holde ved like. Det er åpenbart mange grunner til å betvile om positive funn fra efficacy -studier vil være gyldige utover de ekstraordinært gunstige betingelsene som tiltaket ble iverksatt i. Hallfors og medarbeidere (2006) står bak en av ytterst få undersøkelser på vårt felt som har belyst problemstillingen. Deres effectiveness -studie av Reconnecting Youth et selektivt skoleprogram mot rusmiddelbruk og psykososiale problemer ga ingen støtte til de løfterike resultatene fra programutiklerens efficacy -studie (Eggert et al. 1994) av tiltaket. Konklusjonen var at [the] positive efficacy trial findings were not replicated in this effectiveness trial. All main effects were either null or worse for the experimental than for the control group (Hallfors et al. 2006, 2254). Forskerne avdekket også at Reconnecting Youth var vanskelig å få implementert, blant annet fordi nøkkelpersonell ved skolene var motvillige og heller ville rette innsatsen mot ordinære undervisningsoppgaver. En betydelig andel av de elevene som deltok i programmet til å begynne med, falt dessuten fra underveis. QQ Kompleksitet versus praktisk nytte Selv om skolebasert rusforebygging generelt sett framstår som lite virkningsfullt, synes det å være en viss sammenheng mellom innsats og effekt (Dusenbury et al. 2003). Derfor vil antakelig efficacy -studier av intervensjoner som er innholdsmettede og langvarige, og som fordrer god planlegging og grundig opplæring av involverte aktører, ha økt sannsynlighet for å avdekke positive resultater. På den annen side vil slike tiltak etter alt å dømme komme dårlig ut hvis man forsøker å implementere dem i ordinære settinger, og ikke under spesielt tilrettelagte forhold. I praksis har ressurskrevende tiltak dessuten en tendens til å bli valgt bort til fordel for enklere alternativer (Dusenbury & Hansen 2004). Baklien og medarbeideres (2007) studie av et lokalbasert rusforebyggende prosjekt i Norge er illustrerende i så henseende. Kvalitative intervjudata fra denne studien avdekket at de lokale aktørene foretrakk ukompliserte plug and play -tiltak og at tiltakenes eventuelle evidensgrunnlag var uten betydning for hvilke valg de tok. Slike funn gir utvetydig støtte til Dusenbury s & Hansen s (2004) konklusjon om at programutviklere må forenkle sine tiltak. Positive funn fra efficacy -studier bør åpenbart vurderes i lys at hvor ressurskrevende de aktuelle tiltakene er. Hvis slike studier indikerer at opplegg som er enkle å iverksette også gir ønskede atferdsendringer, vil eventuelle effectiveness - studier trolig ha en viss sannsynlighet for å bekrefte resultatene. Koutakis og medarbeidere (2008) står bak et foreldrerettet program mot tenåringsdrikking 348 N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

9 som er interessant i denne sammenheng. Fordi selve intervensjonen er begrenset til kortvarige innslag på skolenes ordinære foreldremøter, er programmet både enkelt å administrere og tilnærmet kostnadsfritt. En effektstudie i regi av programutviklerne har dessuten gitt løfterike resultater: Working via parents proved to be an effective way to reduce underage drinking (Koutakis et al. 2008, 1629). Det gjenstår imidlertid å se om eventuelle replikasjonsstudier i regi av andre forskere vil gi tilsvarende funn, og om tiltaket vil være like virksomt hvis det blir iverksatt i større skala. Om opplegget er like enkelt å gjennomføre i praksis som man kan få inntrykk av, kan heller ikke tas for gitt. Om å anbefale skoletiltak mot rusmiddelbruk Den innledende beretningen om den norske forskergruppen som anbefalte skoleprogrammet Unge & Rus på sviktende grunnlag, er ikke enestående. Tvert i mot finnes det mange eksempler på at ekspertise har gitt tvilsomme råd og anbefalinger på dette området. I USA er det et krav at tiltak må være evidensbaserte for at skolene skal få statlige midler til forebyggende virksomhet, og følgelig har oversikter over programmer som angivelig innfrir dette kravet blitt utarbeidet. Både forskningsinstitusjoner og offentlige helse- og utdanningsmyndigheter har bidratt med slike oversikter. Mange instanser har imidlertid operert med så liberale kriterier for forskningsmessig evidens at selv effektstudier med svært alvorlige begrensninger er blitt ansett for å være gode nok. Eksempelvis har mange rusforebyggende skoleprogrammer fått status som evidensbaserte uten at det foreligger annen dokumentasjon enn tilsynelatende positive funn fra mer eller mindre solide efficacy -studier i regi av programutviklerne (Gandhi et al. 2007; Gorman 2005c; Weiss et al. 2008). Hvor store, entydige og varige effektene er, og om tiltakene synes å være kostnadseffektive, har i mange tilfeller ikke blitt vurdert. Slike forhold ble heller ikke tatt i betraktning da Nordahl et al. (2006) konkluderte med at Unge & Rus var det eneste evidensbaserte skoleprogrammet mot rusmiddelbruk i Norge. Forskere tilknyttet the Society for Prevention Research har utviklet standarder for å vurdere om det er forskningsmessig grunnlag for å iverksette forebyggingstiltak i stor skala (Flay et al. 2005). På et overordnet nivå er kravene at det må foreligge entydige, positive funn fra flere effektstudier av høy kvalitet, at forskningen ikke er begrenset til efficacy -studier og at det finnes dokumentasjon for at tiltaket lar seg gjennomføre i praksis. Det må også være dokumentert at innsatsen gir effekter av en viss størrelse og varighet. Hvis slike kriterier legges til grunn, vil det neppe være mulig å anbefale ett eneste rusforebyggende skoleprogram noe også Flay et al. (2005) synes å være innforstått med. Men selv om man firer på noen av deres krav til vitenskapelig evidens, vil det av årsaker som langt på vei allerede er skissert fortsatt være vanskelig å gi velbegrunnede anbefalninger til skolene på dette området. Til tross for at det finnes et betydelig antall effektstudier av skoletiltak mot rusmiddelbruk, er omfanget av høykvalitetsforskning på området begrenset (Foxcroft 2006; Foxcroft et al. 2002; 2003). Videre har majoriteten av de publiserte undersøkelsene bare kartlagt eventuelle effek- N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

10 ter på kort sikt, og atferdsendringer av en viss varighet er etter alt å dømme er det mye vanskeligere å oppnå. Som påpekt tidligere, finnes det dessuten svært få effectiveness -studier på feltet. En annen omtalt svakhet har å gjøre med at effektstudier med tilsynelatende positive funn i all hovedsak er blitt utført av forskere som har evaluert sine egne tiltak. Samtidig ser det ut til at bekreftende resultater fra studier av uavhengige forskere glimrer med sitt fravær. Bekreftende funn fra studier av skoletiltak som er blitt gjennomført under ordinære og ikke optimale betingelser, er som nevnt også mangelvare. Foreliggende forskning gir heller ikke grunnlag for å hevde at enkelte skoletiltak skiller seg positivt ut. I følge Gandhi et al. (2007) og Gorman (2005c) kan ikke en gang de programmene som er blitt varmest anbefalt av ekspertgrupper i USA, vise til veldokumenterte effekter på elevenes rusmiddelbruk. Etter å ha gått nøye igjennom forskningen bak disse tiltakene, var Gandhi et al. s (2007, 67) refleksjon som følger: Our findings [..] raise the question of whether any schoolbased prevention programme will substantially reduce the number of teens who experiment with drugs (min kursivering). Annen oversikts litteratur peker entydig i samme retning: Roona et al. s (2007) meta-analyse avdekket som nevnt at ingen bestemte typer skoletiltak kom nevneverdig bedre ut enn andre, men at alle var omtrent like lite virksomme. Tilsvarende fant Foxcroft og medarbeidere (1997) ingen systematiske forskjeller med hensyn til innhold og pedagogiske virkemidler mellom de tiltakene som lot til å legge en viss demper på elevenes alkoholbruk, og de som enten var uvirksomme eller som syntes å virke mot sin hensikt. Konklusjonen var derfor at no one type of prevention programme can be recommended (Foxcroft et al. 1997, 531). Avslutning Kritiske granskninger av forskningslitteraturen indikerer at suksesshistoriene om skoleprogrammer mot rusmiddelbruk må tas med betydelig forbehold og at det ikke finnes solid dokumentasjon i favør av slike tiltak. Etter min vurdering er det likevel ingen grunn til å helle babyen ut med badevannet. Derimot synes det å være på høy tid å revurdere formålet med de skolebaserte tiltakene. Room (2005) har i denne forbindelse tatt til orde for at man bør forlate de urealistiske målsetningene om å redusere elevenes bruk av rusmidler, og heller styrke den faktaorienterte undervisningen om temaet. Blant annet på bakgrunn av svært nedslående funn fra en studie av norske tenåringers kunnskap om alkohol- og narkotikabruk, har Pape et al. (2006) støttet hans forslag. Å formidle forskningsbasert kunnskap om at kontrollpolitikk, høye priser og restriksjoner i tilgangen på alkohol gir redusert konsum og færre alkoholrelaterte skader (Babor et al. 2003; Room et al. 2005; Wagenaar et al. 2009), framstår som spesielt viktig. Craplet (2006, 452) har i denne sammenheng påpekt at only education can make control acceptable, og sannsynligvis har han rett i det. I så fall bør innsatsen i minst like stor grad bli rettet mot beslutningstakere og andre innflytelsesrike målgrupper, og ikke bare mot skoleungdom. Å nå fram til de brede lag av voksenbefolkningen er åpenbart også svært viktig ikke minst fordi politikere er avhengige av velgernes støtte og aksept 350 N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

11 for å kunne ta virkningsfulle, alkoholpolitiske forebyggingsstrategier mer effektivt i bruk. Hilde Pape, Forsker SIRUS PB 565 Sentrum, 0105 Oslo Norge E-post: hp@sirus.no NOTER 1) Det ble stilt 3 spørsmål uten spesifisert tidsangivelse om hvor ofte respondentene drakk henholdsvis øl, vin og brennevin. Svaralternativene var aldri (0), nesten aldri (1) hver måned (2) og hver uke (3). En additiv indeks basert på disse opplysningene ble benyttet som studiens eneste mål på alkoholbruk. Fordi ulike drikkemønstre kan gi samme skåre, er dette samlemålet lite egnet til å påvise endring eller stabilitet over tid. Eksempelvis vil lavfrekvent inntak av både øl, vin og brennevin, og høyfrekvent øldrikking men intet konsum av andre drikkesorter, komme likt ut (hhv og 3+0+0). 2) Resultatene av Wilhelmsen et al. s (1994) studie er bl.a. blitt omtalt av Foxcroft et al. (1997; 2002; 2003), Graeff-Martins et al. (2008) og Hanson (1996). Studien er også inkludert i Tobler et al. s (2000) metaanalyse. 3) I følge Google Scholar s registreringer har de tre artiklene (Tobler 1986; Tobler & Stratton 1997; Tobler et al. 2000) blitt referert til henholdsvis 524 ganger, 400 ganger og 284 ganger. Søket ble foretatt 15. oktober ) Søk på denne referansen gir eksempelvis ingen treff på Google Scolar. 5) Se REFERANSER Babor, T. F. & Caetano, R. & Casswell, S. & Edwards, G. & Giesbrecht, N. & Graham, K. & Grube, J. & Gruenewald, P. & Hill, L. & Holder, H. & Homel, R. & Osterberg, E. & Rehm, J. & Room, R. & Rossow, I. (2003): Alcohol: No ordinary commodity. Research and public policy. Oxford: Oxford University Press Baklien, B. & Pape, H. & Rossow, I. & Storvoll, E.E. (2007): Regionprosjektet Nyttig forebygging? Evalueringen av et pilotprosjekt om lokalbasert rusforebygging. SIRUSrapport nr. 6/2007 Botvin G.J. & Baker, E. & Dusenbury, L. & Tortu, S. & Botvin, E. (1990): Preventing adolescent drug abuse through a multi-modal cognitive behavioural approach: results from a 3-year study. Journal of Consulting and Clinical Psychology 58: Botvin, G.J. & Griffin, K.W. (2004): Life skills training: Empirical findings and future directions. The Journal of Primary Prevention 22: Borman, G.D. & Hewes, G.M. & Overman, L.T. & Brown, S. (2003): Comprehensive school reform: A meta-analysis. Review of Educational Research 73: Brown, J.H. (2001): Youth, drugs and resilience education. Journal of Drug Education 31: Brown, J.H. & Caston, M.E. (1995): On becoming at risk through drug education. N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

12 How symbolic policies and their practices affect students. Evaluation Review 19: Brown, J.H. & Kreft, I.G.G. (1998): Zero effects of drug prevention programs: Issues and solutions. Evaluation Review 22: 3 14 Cahill, H.W. (2007): Challenges in adopting evidence-based school drug education programmes. Drug and Alcohol Review 26: Cohn, J. (2001): Drug education: The triumph of bad science. Rolling Stone 869: Craplet, M. (2006): Open letter to my friends and colleagues. Addiction 101: Dupont, R.L. (1998): Implications for prevention policy: a commentary. I: Bukowski, W.J & Evans, R.I. (red.): Cost-benefit/ cost-effectiveness research of drug abuse prevention: implications for programming and policy. NIDA Research Monograph no. 176: Dusenbury, L. & Brannigan, R. & Falco, M. & Hansen, W.B. (2003): A review of research on fidelity of implementation: Implication for drug abuse prevention in school settings. Health Education Research 18: Dusenbury, L. & Hansen, W.B. (2004): Pursuing the course from research to practice. Prevention Science 5: Eggert, L.L. & Thompson, E.A. & Herting, J.R. & Nicolas, L.J. & Dicker, B.G. (1994): Preventing adolescent drug abuse and high-school dropout through an intensive school-based social network program. American Journal of Health Promotion 8: Flay, B.R. (1986): Efficacy and effectiveness trials (and other phases of research) in the development of health promotion programs. Preventive Medicine 15: Flay, B.R. & Bigan, A. & Boruch, R.F. & Castro, F.G. & Gottfredson, D. & Kellam, S. & Moscicki, E.K. & Schinke, S. & Valentine, J.C. & Ji, P. (2005): Standards of evidence: criteria for efficacy, effectiveness and dissemination. Prevention Science 6: Foxcroft, D. (2006): Alcohol misuse prevention for young people: a rapid review of recent evidence. WHO Technical Report. Geneva: World Health Organization Foxcroft, D. & Ireland, D. & Lister-Sharp, G. & Lowe, D. & Breen, R. (2003): Longer-term primary prevention for alcohol misuse in young people: a systematic review. Addiction 98: Foxcroft, D. & Ireland, D. & Lowe, D. & Breen, R. (2002): Primary prevention for alcohol misuse in young people (Review). Cochrane Database of Systematic Reviews 2002/3. Art. No.: CD Foxcroft, D. & Lister-Sharp, G. & Lowe, D. (1997): Alcohol misuse prevention for young people: a systematic review reveals methodological concerns and lack of reliable evidence of effectiveness. Addiction 92: Foxcroft, D. & Smith, L. ( 2008): We need to guard against bias. Drug and Alcohol Review 27: Gandhi, A.G. & Murphy-Graham, E. & Petrosino, A. & Chrismer, S.S. & Weiss, C.H. (2007): The devil is in the details. Examining the evidence for proven schoolbased drug abuse prevention programs. Evaluation Review 31: Glasgow, R.E. & Lichstenstein, E. & Marcus, A.C. (2003): Why don t we see more translation of health promotion research to practice, Rethinking the efficacy-to effectiveness transition. American Journal of Public Health 93, Gottfredson, D. (2001): Schools and delinquency. Cambridge: Cambridge University Press Gorman, D. (2002): The science of drug and alcohol prevention: the case of the randomized trial of the Life Skills Training program. International Journal of Drug Policy 13: Gorman, D. (2003): Prevention programs and scientific nonsense. Policy Review 117: Gorman, D. (2005a): Drug and violence prevention: Rediscovering the critical rational dimension of evaluation research. Journal of Experimental Criminology 1: Gorman, D. (2005b): The centrality of critical rational reasoning in science: A response and further comments on the Life Skills Training program, the Seattle Social Development Project, and prevention studies. Journal of Experimental Criminology 1: N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

13 Gorman, D. (2005c): Defining and operationalizing research-based prevention: a critique (with case studies) of the US Department of Education s Safe Disciplined and Drug Free Schools Exemplary Programs. Evaluation and Program Planning Gorman, D. (2008): Science, pseudoscience and the need for practical knowledge. Addiction 103: Gorman, D. & Conde, E. (2007): Conflict of interest in the evaluation and dissemination of model school-based drug and violence programs. Evaluation and Program Planning 30: Gorman, D. & Conde, E. & Huber, J.C. (2007): The creation of evidence based drug previontion: a critique of the Strenghtening Families Program Plus Life Skills Training evaluation. Drug and Alcohol Review 26: Graeff-Martins, A.S. & Flament, M.F. & Fayad, J. & Tyano, S. & Jensen, P. & Rohde, L.A. (2008): Diffusion of efficacious interventions for children and adolescents with mental health problems. The Journal of Child Psychology and Psychiatry 49: Hallfors, D. & Hyunsam, C. & Sanchez, V. & Khatapoush, S.H. & Kim, H.M. & Bauer, D. (2006): Efficacy vs. effectiveness trial results of an indicated model substance abuse program: Implications for public health. American Journal of Public Health 96: Hanson, D. (1996): Effectiveness of specific public policies in substance abuse prevention. Current Opinion in Psychiatry 9: Koutakis, N. & Stattin, H. & Kerr, M. (2008): Reducing youth alcohol drinking through a parent-targeted intervention: the Örebro Prevention Program. Addiction 103: Lipsey, M.W. (1995): What we learn from 400 research studies on the effectiveness of treatment with juvenile delinquents? I: McGuire, J. (red.): What works? Reducing offending. New York: Wiley Mandel, L.L. & Bialous, S.A. & Glantz, S.A. (2006): Avoiding truth : Tobacco industry promotion of life skills training. Journal of Adolescent Health 39: McCambridge, J. (2007): A case study of publication bias in an influential series of reviews of drug education. Drug and Alcohol Review 26: Moskowitz, J.M. (1993): Why reports of outcome evaluations are often biased or uninterpretable. Evaluation and Program Planning 16: 1 9 Nordahl, T. & Natvig, H. & Samdal, O. & Thyholdt, R. & Wilhelmsen, B.U. (2006): Vurdering av rusprogrammer i skolen. I: Nordahl, T. & Gravrok, Ø. & Knudsmoen, H. & Larsen T.M.B. & Rørnes, K. (red.): Forebyggende innsatser i skolen. Oslo: Utdanningsdirektoratet Pape, H. & Rossow, I. & Baklien, B. (2007): Villedende om rusforebygging i skolen. Tidsskrift for den Norske Legeforening 127: 1399 Pape, H. & Storvoll, E.E. & Rossow, I. (2006): Så feil kan man ta! En studie av unge menneskers kunnskap om alkohol- og narkotikabruk. Tidsskrift for Ungdomsforskning 6: Petrosino, A. & Soydan, H. (2005): The impact of program developers as evaluators on criminal recidivism: results from metaanalyses of experimental and quasi-experimental research. Journal of Experimental Criminology 1: Room, R. (2005): What to expect from a social aspects organization, and what to expect from school-based alcohol education. Addiction 100: Room, R. (2008): Dealing with publication bias: two possible steps forward. Drug and Alcohol Review 27: Room, R. & Babor, T. & Rehm, J. (2005): Alcohol and public health. Lancet 365: Roona, M. (2008): Science, politics and publication bias. Drug and Alcohol Review 27: Roona, M. & Streke, A. & Ochshorn, P. & Marshall, D. & Palmer, A. (2007): Identifying effective school- based substance abuse interventions. [Ref Online: silvergategroup.com/public/prev2000/ Roona.pdf] Rossow, I. & Pape, H. (2008): Another case of publication bias: Commentary on Jim McCambridge s article. Drug and Alcohol N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L

14 Review 27: Saunders, J.B. (2007): Publication bias in addiction research. Drug and Alcohol Review 26: Skager, R. (2007): Replacing ineffective early alcohol/drug education in the United States with age-appropriate adolescent programmes and assistance to problematic users. Drug and Alcohol Dependence 16: Tobler, N. (1986): Meta-analysis of 143 adolescent drug prevention programmes. Journal of Drug Issues 16: Tobler, N. & Stratton, H. (1997): Effectiveness of school-based drug prevention programs: A meta-analyses of the research. Journal of Primary Prevention 8, Tobler, N. & Roona, M.R. & Ochshorn, P. & Marshall, D.G. & Streke, A. V. & Stackpole, K.M. (2000): School-based adolescent drug prevention programs: 1997 meta-analyses. Journal of Primary Prevention 20: Wagenaar, A.C. & Sailois, M.J. & Komro, K.A. (2009): Effects of beverage alcohol price and tax levels on drinking: A meta-analysis of 1003 estimates from 112 studies. Addiction 104: Weber, E.J. & Callaham, M.L. & Wears, R.L. & Barton, C. & Young, G. ( 1998): Unpublished research from a medical speciality meeting: why investigatiors fail to publish. Journal of the American Medical Association 280: Weiss, C.H. & Murphy-Graham, E. & Petrosino A. & Gandhi A.G. (2008): The fairy godmother and her warts. Making the dream of evidence-based policy come true. American Journal of Evaluation 29: Werch, C.E. & Owen, D.M. (2002): Iatrogenic effects of alcohol and drug prevention programs. Journal of Studies on Alcohol 63: Wilhemsen, B.U. (1996): Rusforebyggende arbeid med ungdom. I: Pedersen, W. & Waal, H. (red.): Rusmidler og veivalg. Oslo: Cappelen Akademisk Forlag Wilhelmsen, B.U. & Laberg, J.C. (1996): Primærforebyggende alkoholundervisning i ungdomsskolen: Positive korttidseffekter. Norsk Epidemiologi 6: Wilhelmsen, B.U. & Laberg, J.C. & Klepp, K.-I. (1994): Evaluation of two student and teacher involved alcohol prevention programmes. Addiction 89: N O R D I S K A L K O H O L - & N A R K O T I K A T I D S K R I F T V O L