Hvor gode er evidensene for evidensbasert metode?

Transkript

1 KOMMENTARER HANS O. MELBERG Hvor gode er evidensene for evidensbasert metode? Randomiserte forsøk og observasjonsstudier Innledning 1 Det kan se ut som om man på rusfeltet har funnet et nytt mantra: At politikken skal være evidensbasert. De lokale symptomene inkluderer en stor konferanse om evidensbasert politikk på rusområdet i Sverige, en evidensbasert SBU rapport om behandling av alkoholog narkotikaproblemer (omtalt i NAT nr. 5/6, 2001) og en nylig nedsatt forskerkommisjon i Norge som skal vurdere kunnskapsgrunnlaget for den eksisterende politikken. Mer globale symptomer inkluderer den økende interessen for Evidence Based Methods. Gitt denne utviklingen kan man spørre seg om i hvor stor grad det er bevist at evidensbasert metode gir bedre resultat enn tradisjonell forskning på rusfeltet. Hva er det og er det noe nytt? Ved første møte med uttrykket evidensbasert, er det lett å tro at det kun dreier seg om et nytt ord som er funnet opp i stedet for mer tradisjonelle begrep som forskningsbasert, vitenskapelig bevist eller dokumentert kunnskap. Dersom det var tilfelle, kunne man nøye seg med et utfall mot noen politikere og forskeres trang til moteord, men det ville være vanskelig å argumentere mot et utsagn om at forskningen skal være basert på evidens. Ved nærmere ettersyn viser det seg imidlertid at begrepet evidensbasert har en mer spesifikk betydning enn forskningsbasert og andre lignende begrep. Det representerer en egen retning en metode der man legger vekt på visse krav før man godtar resultatene som vitenskapelig akseptable. Dette kommer klart til uttrykk i de store databasene skapt av tilhengere av Evidence Based Methods. Tankegangen er å lage databaser der man kun inkluderer de studiene som oppfyller kravene til det man mener er en akseptabel studie. Man kan så bruke disse databasene til å lage meta-studier der man går igjennom alle de studiene som er godkjent slik at man til slutt kan trekke en konklusjon om hvilken behandling som er best. 59

2 Hvilke krav er det her snakk om? Noe av det mest slående ved Cochrane databasen og Campell Collaboration sin C2-SPECTR er at de legger stor vekt på randomisering. Som det står på forsiden til Campbell Collaboration sin internettside: SPECTR is a registry of over 10,000 randomized and possibly randomized trials in education, social work and welfare, and criminal justice ( /). Tilsvarende når man skal beskrive bakgrunnen for Cochrane databasen, nevner man at Archie Cochrane stressed the importance of using evidence from randomized controlled trials (RCTs) because these were likely to provide much more reliable information than other sources of evidence ( archieco.htm). På denne bakgrunnen er det ikke bare språklig kosmetikk når man krever at politikken på rusområdet i større grad skal være evidensbasert. Det innebærer en faktisk endring der man degraderer resultatene fra observasjonsstudier og oppvurderer resultatene fra randomiserte eksperiment. Nå er ikke vektleggingen av randomisering det eneste nye ved Evidence Based Methods. Inspiratoren bak Cochrane databasen la også vekt på viktigheten av å ha et system der man raskt kunne få oversikt over gode kilder om et gitt emne i en verden der man hadde begrenset med tid og antallet artikler på et felt var enormt. Videre, er det også internt i disse fora en diskusjon om hvordan og i hvor stor grad ikke-randomiserte forsøk kan produsere god kunnskap (se for eksempel The Cochrane Non-Randomised Studies Methods Group på nrsmg/). Når jeg allikevel har valgt ut randomisering som tema for dette innlegget er det fordi man her møter spesielle problemer på rusfeltet (se nedenfor). Videre, er det liten grunn til å bruke mye tid på å diskutere ting man er enige om som det prisverdige i å opprette databaser som hjelper en til å få en raskere oversikt over kilder på et felt eller arbeide for å sikre kvaliteten på ulike kilder. Det er også unødvendig å gjenta temaene fra tidligere innlegg i NAT om evidensbasert behandling, blant annet om kvaliteten på oversiktsstudier (Bergmark 2001) og begrepets rolle i kampen mellom ulike profesjoner (Lehto 2001). En annen bidragsyter Thorsen (2000) berører noen av de samme temaene og dette innlegget kan ses på som en teoretisk utdyping av noen av de problemene som der nevnes med eksempler. Hva er problemet med observasjonsstudier? Det viktigste generelle problemet med observasjonsstudier kan plasseres under kategorien utvalgsskjevhet (seleksjonsskjevhet eller selection bias ). For eksempel, anta at man skal sammenligne to typer behandlinger (A og B). La oss tenke oss at behandling A kommer best ut når man måler gjennomsnittlig endring som følge av behandlingen. Dersom dette er en observasjonsstudie vil de som er tilhengere av behandling B kunne fremføre følgende innvending: De som fikk behandling A var lette klienter, mens de som fikk B var vanskelige klienter. At gjennomsnittet i A var bedre enn B skyldes derfor ikke behandlingen i seg selv, men den ulike fordelingen av lette og vanskelige klienter. Litt mer formelt vil man si at på grunn av utvalgsskjevhet er den estimerte forskjellen misvisende i forhold til den virkelige effekten man ville ha fått dersom man sendte en person som var vanskelig til A. Dersom man har randomisert utvelgelse til behandling A og B, er det i mindre grad mulig å hevde at forskjellen mellom resultatene skyldes systematiske ulikheter mellom gruppene. Poenget med randomisering er nettopp å viske ut disse systematiske forskjellene og dermed sørge for at gruppene blir sammenlignbare. Det er selvsagt mulig at man ved en tilfeldighet skulle få flere vanskelige tilfeller i en 60

3 behandling enn en annen selv med randomisering, men slike tilfeldige skjevheter vil utjevne seg og estimatet på behandlingseffekten vil ikke være misvisende. Her ligger randomiseringens store fortrinn. Det er ingen grunn til å legge skjul på at randomiserte eksperimenter har mange gode sider. Man kan imidlertid fremdeles kritisere tilhengerne av Evidence Based Methodology fra to vinkler. For det første; selv om randomisering har gode sider er det også problemer med en sterk vektlegging av randomisering. For det andre bør man undersøke om det også finnes metoder slik at observasjonsstudier kan redusere sin sårbarhet for utvalgsskjevheter. Til sammen blir dette ikke et argument mot eksperimenter generelt, men et argument om at i noen tilfeller er problemene relatert til randomisering så store og mulighetene for justering av ikke-eksperimentelle resultat er så gode, at det blir feil å legge stor vekt på resultatene fra randomiserte studier i forhold til observasjonsstudier. Videre er argumentet at problemene med randomiserte studier er spesielt store når det gjelder mye sammenlignende forskning på ulike behandlinger av rusmisbruk. Problemer med randomisering Mange av de tradisjonelle argumentene mot eksperimenter kan plasseres under merkelappene etiske innvendinger og praktiske problemer. Et eksempel på det første er at det er vanskelig å nekte lidende mennesker behandling med argumentet om at du må være i kontrollgruppen. Rett nok kan man lage eksperimenter der man lar kontrollgruppen få behandling på et senere tidspunkt, men vissheten om at man vil få behandling kan da gjøre at denne gruppen oppfører seg annerledes enn en vanlig kontrollgruppe. Å ikke opplyse om at man planlegger å gi kontrollgruppen behandling senere, ville også være etisk betenkelig. Blant de praktiske problemene, kan man nevne at mange eksperimenter krever store ressurser for å få et omfang både når det gjelder antall personer og eksperimentets tidperiode som gjør det mulig å trekke konklusjoner. Dersom konsekvensene av en behandling kommer først på lang sikt, kan antallet som må randomiseres være så stort at det i praksis umuliggjør et eksperiment. De tradisjonelle praktiske og etiske argumentene mot randomisering er velkjente. Mindre kjent er mer prinsipielle argumenter mot randomiserte eksperimenter. Dette er argumenter som gjør at man kan være skeptisk til resultatene fra randomiserte eksperimenter selv i en situasjon der et eksperiment er etisk akseptabelt og (tilsynelatende) praktisk mulig. Jeg vil nevne to slike argumenter som er særlig relevante når det gjelder forskning på ulike typer behandling av narkotikamisbruk. Det første problemet kan kalles randomiseringsskjevhet (Heckman & Smith 1995). Det består i at den gruppen klienter, institusjoner og behandlere som er villige til å delta i et randomisert forsøk ikke er representativ for den generelle populasjonen av klienter, institusjoner og behandlere. Behandling for rusmiddelmisbruk er til dels preget av skarpe motsetninger mellom ulike behandlingsfilosofier, og misbrukeren selv kan ha klare oppfatninger om hvor han vil eller ikke vil behandles. Det er derfor ikke sikkert at en person som ønsker behandling er villig til å bli med på et randomisert forsøk der man kan ende opp i hvilken som helst behandling. I den grad dette er sant vil man ende opp med et utvalg som ikke er representativt for den generelle populasjonen av klienter man ønsker å generalisere om. Det samme gjelder for behandlingstiltak og behandlere. Mange av disse kan ha klare oppfatninger om hva slags type klienter som passer og ikke passer i deres form for behandling, og de vil derfor ikke være med på et eksperiment der de skal motta et tilfeldig utvalg med klien- 61

4 ter. Til sammen kan man da risikere å utføre et eksperiment der både klientene og behandlerne er meget lite representative for sine respektive grupper. Dette er ikke bare et praktisk problem, men et uunngåelig resultat av at man bruker randomisering fordi det er randomiseringen som gjør utvalget ikke-representativt. Selv om problemet er prinsipielt, vil styrken på problemet variere. I noen situasjoner har man ikke så sterke meninger om ulike typer behandlinger eller ulike typer medisiner og i de situasjonene vil man i større grad få representative utvalg ved et randomisert forsøk. Når det gjelder behandling for rusmiddelmisbruk er det imidlertid grunn til å anta at skjevhetene vil bli betydelige fordi det er et felt der de ideologiske motsetningene er store. I tillegg til at tilfeldige forsøk kan skape skjevheter når det gjelder gruppen som deltar, kan den skape også misvisende resultat fordi randomiseringen i seg selv påvirker behandlingens innhold og utfall. Når man selv ikke velger sine klienter, kan man lett bli mindre motivert for den innsatsen som kreves for å oppnå gode resultater fordi man i mindre grad får et eierforhold til prosessen. På samme måte kan klienten bli mindre motivert for behandling dersom man ikke selv velger hvilken type behandling man skal få. Dette illustrerer et generelt problem med randomiserte studier:.. a randomised trial provides information on the value of an intervention shorn of all context, such as patients beliefs and wishes and clinicians attitudes and beliefs, despite the fact that such aspects may be crucial to determining the success of the intervention. In contrast, observational methods maintain the integrity of the context in which care is provided. (Black 1996) Noen av disse problemene kan man søke å unngå ved såkalt pragmatic trials der man utfører eksperimenter i en kontekst som i størst mulig grad er lik den man vil ha til vanlig. Selv om dette er en forbedring, kommer man ikke utenom de problemene som skapes av selve randomiseringen. Man kan gjøre alle de andre elementene i et eksperiment så like som mulig den vanlige situasjonen, men randomiseringen selve bærebjelken kan man aldri oppgi og i noen tilfeller er det nettopp dette som skaper problemet. Et eksempel på dette kan være motivasjonsfaktoren. I den grad motivasjonen for å behandle og bli behandlet er viktige for behandlingsresultatet, vil dette skape problemer for randomiserte eksperimenter ved at de vil tendere til å undervurdere virkningen av å ha et behandlingssystem. Problemene med randomiserte studier av behandlingseffekten beskrevet ovenfor er trolig alvorlige når det gjelder rusmiddelforskning. De utgjør derfor et argument mot å være ukritisk når det gjelder å overføre metoder fra tradisjonell medisinsk forskning til forskning på rusmiddelmisbruksbehandling. Problemene med randomisering er derimot ikke i seg selv gode nok til å omfavne observasjonsstudier. At en metode er litt svakere enn man har trodd, betyr ikke at alternativet nødvendigvis er bedre. Man bør derfor ta alvorlig et argument om at når det gjelder noen spørsmål så er det ingen metoder som kan gi oss rimelig sikre svar. Vi er i en situasjon der et randomisert forsøk synes vanskelig (etisk, praktisk) og selv om det ble gjennomført så kan det gi oss misvisende resultat på grunn av randomiseringsskjevhet og andre forhold. På den annen side har observasjonsstudier store problemer med utvalgsskjevhet (systematiske ulikheter mellom gruppene som forurenser målingen av den sanne behandlingseffekten). Det som trengs er et mer positivt argument til fordel for observasjonsstudier og ikke bare argumenter mot randomiserte studier. Metoder for å redusere problemet med utvalgsskjevhet i observasjonsstudier Generelt er det to metoder for å redusere pro- 62

5 blemet med utvalgsskjevhet i observasjonsstudier. For det første kan man bruke en modellbasert tilnærming med regresjonsanalyse. For eksempel, dersom man mener at alder er en viktig variabel og det viser seg at de ulike typene behandling har ulikt aldersgjennomsnitt, kunne man ta med alder i en regresjonslikning slik at man undersøkte behandlingsresultatet etter at man har kontrollert for alder. Alternativt kunne man eksplisitt modellere seleksjonsprosessen. I noen tilfeller har man god kunnskap om hvordan klientene blir selektert til ulike typer behandling (alder, kjønn osv) og denne kunnskapen kan man bruke til å bygge en modell der man tar hensyn til seleksjonsprosessen før man beregner resultatene av behandlingen. Vinneren av nobelprisen i økonomi i 2001 James Heckman har pionert utviklingen av slike modeller (se for eksempel Heckman & Robb 1985). Selv om de representerer en viktig forbedring når det gjelder å redusere problemet med utvalgsskjevhet, så har de også problemer. De krever, for eksempel, god kunnskap om seleksjonsprosessen; metoden bygger på flere antagelser bl.a. om linearitet og mulighetene for å ekstrapolere; og de kan noen ganger være vanskelige å tolke for personer med liten erfaring i slike analyser. Den andre hovedkategorien for å redusere utvalgsskjevheten i observasjonsstudier kan kalles matching av undergrupper. Idéen er enkel. Dersom man har to grupper som er systematisk ulike, så sammenligner man ikke gjennomsnittet for gruppene, men man trekker ut de personene som er like i hver gruppe og sammenligner resultatet for disse. Dersom man mener at totalresultatet for en behandling er påvirket av at den har relativt mange personer med store psykiske problemer i forhold til en annen behandling, så trekker man ut de personene med omtrent like store problemer i de to behandlingene og sammenligner resultatene fra behandlingene for denne undergruppen. Problemet med denne metoden er at dersom gruppene er systematisk ulike på flere måter som er viktige for behandlingsutfallet (kjønn, alder, psykisk belastning), så blir antallet undergrupper raskt så stort at det blir for få personer i hver gruppe til å gjennomføre en meningsfylt sammenligning. Som svar på problemet med for mange undergrupper har to statistikere utviklet en metode de kaller Propensity Scores (Rosenbaum & Rubin 1983 inneholder teorien; Rubin 1997 presenterer praktiske betraktninger og referansene til mange konkrete studier). Poenget med metoden er å sammenligne personer som i utgangspunktet hadde samme sannsynlighet for å få en type behandling. Ved hjelp av logistisk regresjon kan man estimere sannsynligheten for at en person får en viss type behandling basert på egenskaper ved denne personen (kjønn, alder, psykisk helse, graden av problemer med rus med mer). Sannsynligheten for at man får en type behandling kaller man så propensity score. Det generelle svaret på utvalgsskjevhet var å trekke ut de personene som var like og sammenligne disse. Dersom man definerer like personer som de som har samme sannsynlighet for å få en behandling, kan vi nå bruke propensity scores til å dele opp utvalget i sammenlignbare grupper. For eksempel kan vi dele opp observasjonene i fem grupper basert på propensity score og i hver av disse fem kan vi sammenligne resultatet for de som fikk behandling A og de som fikk behandling B. Rosenbaum og Rubin sin metode løser problemet med en stor mengde undergrupper fordi alle problemvariablene samles i en indeks ( propensity score ). Den unngår også problemet med å anta linearitet i behandlingseffekten og det blir lettere å oppdage ekstrem ekstrapolasjon (fordi man lett ser om det er få klienter av en type i en undergruppe). Videre argumenterer Rosenbaum og Rubin for at resultatene er lette å forstå selv for ikke-statistikere, fordi man rett og slett kan bruke et søylediagram som viser effekten av behandling for like grupper av klienter i de 63

6 ulike behandlingsformene. Metoden har selvsagt også svakheter: I motsetning til randomiserte eksperiment kan den bare justere for de variablene vi har målt og som vi tror kan skape skjevheter. Metoden krever også relativt store datamengder for å sikre at det alltid er nok personer som har lik propensity score. Selv om den reduserer skjevheten i estimatene, vil den også kunne øke variansen i den forstand at når man deler inn i undergrupper med færre personer så er det større sjanse for at tilfeldige variasjoner i en undergruppe skal kunne påvirke resultatet. Konklusjon Arbeidene til Heckman & Smith og Rosenbaum & Rubin viser at det i de siste tjue år er gjort fremskritt når det gjelder hvordan man skal redusere noen av problemene med bruken av observasjonsdata. Det er også kommet frem mer systematisk forskning om problemene med eksperimenter blant annet i Black og Heckman. Hvor store fremskrittene er og i hvor stor grad de påvirker balanseforholdet mellom å stole på randomiserte studier og observasjonsstudier er fremdeles et spørsmål man må forske mer på, men retningen på bevisene er klar: I større grad enn før er man blitt klar over at randomisering kan skape misvisende resultater, mens man har funnet at problemet med utvalgsskjevhet kan reduseres i observasjonsstudier. Til sammen skulle dette bety at man bør revurdere den økende tendensen til å vektlegge randomiserte studier i forhold til observasjonsstudier. Dette gjelder særlig behandlingsforskning på rusmiddelområdet der det er grunn til å tro at problemene med randomisering er spesielt store. I den grad evidensbasert metode og politikk betyr at man skal dokumentere sine konklusjoner på en måte som kan etterprøves, er dette en selvsagt konklusjon og samarbeidet som gjøres i Cochrane-gruppen for å nå dette målet bør støttes og applauderes. I lys av argumentene i dette innlegget, bør man derimot være mer varsom med å legge stor vekt på policykonklusjoner som baserer seg på oversikter fra databaser der utvelgelsen ser ut til å være basert på en overdreven tro på randomiserte eksperimenter og en tilsvarende undervurdering av observasjonsstudier. Gitt de spesielle forholdene på rusfeltet, bør man også vurdere i hvor stor grad det er riktig å gå i en retning der man skal integrere denne forskningen med vanlig medisinsk forskning ved å bruke de samme metodene på et område som på mange måter er svært forskjellig. NOTER 1. Takk til Øyvind Horverak og Edle Ravndal for kommentarer til et tidligere utkast. LITTERATUR Bergmark, A. (2001): Om den evidensbaserade missbrukarvårdens retorik och praktik. Nordisk alkohol- & narkotikatidskrift 18 (2): Black, N. (1996): Why we need observational studies to evaluate the effectiveness of health care. British Medical Journal (312): Heckman, J. J. & Robb, R. (1985): Alternative methods for evaluating the impact of interventions: An overview. Quarterly Journal of Economics 30: Heckman, J.J. & Smith, J.A. (1995): Assessing the case for social experiments. Journal of Economic Perspectives 9 (2): Lehto, J. (2001): Evidensbaserad en slogan för kontroll, val eller kritisk reflektion? Nordisk alkohol- & narkotikatidskrift 18 (2): Rosenbaum, P.R. & Rubin, D.B. (1983): The central role of the propensity score in observational studies for causal effects. Biometrika 70 (1):41-55 Rubin, D.B. (1997): Estimating causal effects from large data sets using propensity scores. Annals of Internal Medicine 127 (8): Thorsen, T. (2000): Lang, ukritisk optimisme og kort intervention. Nordisk alkohol- & narkotikatidskrift 17 (1):