Fysioterapeuten nr. 7/2000: Kunnskapsbasert fysioterapi Kritisk vurdering av en oversiktsartikkel, review article Gunvor Hilde Gro Jamtvedt Det publiseres vitenskapelige arbeider med fysioterapifaglig innhold over en «lav sko». Den raskt økende mengden av vitenskapelig dokumentasjon medfører et oppdateringsproblem. Der er derfor avgjørende å skille ut den gode og anvendbare dokumentasjonen. Dette vil si kunnskap som gir svar på det vi lurer på, som er av god kvalitet og som samtidig er overførbar til praksisfeltet. For å hente inn god dokumentasjon kreves kompetanse både når det gjelder å finne og kritisk lese vitenskapelig litteratur. Selv med denne kompetansen, er imidlertid dagens informasjonsmengde uhåndterlig dersom man skal basere seg på primærstudier. En løsningen er å hente inn kunnskap via en oversikt, review, som har samlet all dokumentasjon om et avgrenset spørsmål. Dette er sjette artikkel i serien om kunnskapsbasert fysioterapi. Den forrige artikkelen omhandlet kritisk vurdering av en randomisert kontrollert studie, mens denne omhandler kritisk vurdering av en oversiktsartikkel. Archie Cochrane - the Cochrane Collaboration Archie Cochrane, britisk lege og epidemiolog, kritiserte den medisinske profesjon for et manglende system for å produsere oppdaterte oversikter over forskning på effekt av ulike behandlingstiltak. Han var opptatt av dette fordi han mente at tilgjengelige ressurser burde brukes på tiltak som gjennom pålitelig evaluering var vist å være effektive (2,3). I 1993 ble the Cochrane Collaboration opprettet som respons på Archie Cochranes anrop når det gjald behovet for systematiske oversikter, systematic reviews. «The Cochrane Collaboration er en internasjonal organisasjon som har som mål å hjelpe folk til å ta godt informerte beslutninger om helse ved å produsere, vedlikeholde og sikre tilgjengeligheten av systematiske oversikter over nytte og risiko ved ulike helsetjenestetiltak» (http://www.cochrane.dk). Systematiske oversikter hjelper oss til å forholde oss til litteraturflommen ved å sammenstille den, frembringe ny kunnskap, synliggjøre hvor primærforskning finner konsensus, synliggjøre vedvarende uoverensstemmelser og vise vei for videre forskning (4,5,6). Systematisk oversikt Oversiktsartikler har alltid vært en nyttig kilde for oppdatering. For mange travle klinikere er det mye mer effektivt å lese målrettede sammenfatninger av kunnskap innen et felt, enn å ta for seg enkeltstående studier. Litteraturen viser både til såkalte «tradisjonelle fortellende oversiktsartikler», også kalt narrative reviews, og til «systematiske oversiktsartikler» (5,6,7,8). De tradisjonelle fortellende oversiktsartiklene er ofte skrevet av forskere som vil gi en oversikt innen et tema. Noen av disse oversiktene gir et riktig bilde av tilgjengelig kunnskap, mens andre bare viser en bit av puslespillet. Mange av disse oversiktene er derfor blitt kritisert for å være subjektive og mangle systematikk blant annet når det gjelder hvilke studier som er tatt med (5,6,7,8). Ved utarbeiding av en systematisk oversikt benytter man en systematisk strategi for å finne, vurdere og sammenstille funn fra forskning knyttet til er gitt problemstilling. Målet er å finne og bruke all tilgjengelig forskning i verden som kan belyse spørsmålet. Følgende karakteriserer en systematisk oversikt (9): - Beskrivende tittel og klart uttrykt formål for oversikten. - Omfattende søkestrategi for å innhente aktuelle studier. - Klare kriterier for inklusjon og eksklusjon av studier. - Kvalitetsmessig evaluering av inkluderte studier etter predefinerte kriterier. - Protokollføring av karakteristiske trekk for hvert av de inkluderte studiene. - Metode for å sammenstille funn på tvers av studier. - Strukturert rapport over formål, metoder, materiale, resultater og konklusjon. Man kan i prinsippet utarbeide systematiske oversikter innenfor alle kjernespørsmålene som ble presentert i artikkel 2 i denne serien (10). Dette er følgende spørsmål:
- Hvor mange har et spesielt problem? - Hvorfor får noen slike problem? - Hvordan kan vi evaluere eller diagnostisere problemet? - Hva kan vi gjøre for å forebygge eller behandle problemet? - Hvordan går det med den som har problemet? - Hvordan oppleves det å ha dette problemet? Den metodiske systematikken vil være temmelig lik når man skal utarbeide systematiske oversikter innenfor disse spørsmålene. Disse spørsmålene krever derimot ulik type dokumentasjon (type studier). I en oversikt over hvordan man kan forebygge behandle osteoporose vil dokumentasjonen være studier av typen randomiserte kontrollerte studier, co-hort studier, kontrollerte studier uten kontrollgruppe og case studier. Oversikter over hvordan et problem kan diagnostiseres krever en annen type studier. Det vil her være snakk om studier som evaluerer validitet, reliabilitet, sensitivitet og spesifisitet av diagnostiske tester. Meta-analyse Når data fra inkluderte studier sammenstilles ved bruk av statistikk, får vi en meta-analyse. En slik statistisk sammenstilling av data fra flere studier kan være til stor nytte når resultatene fra ulike effektstudier divergerer med hensyn til størrelsen, usikkerhetsmarginen eller retningen på en observert effekt. Det er også nyttig dersom utvalgsstørrelsen til enkeltstudier er for liten til at man kan dokumentere en statistisk signifikant effekt (4,5,11). En meta-analyse gir en samlet effektstørrelse, meta-size, som er basert på flere studier. Dette estimatet gir ofte et mer presist mål på effekt av forebygging eller behandling, enn hva som er tilfelle for de enkelte studiene som er inkludert i oversikten (9). En forutsetning for å bruke meta-statistikk er imidlertid at resultatene fra inkluderte studier kan kombineres (9). Man kan benytte statistiske metoder for å vurdere om resultatene er kombinerbare, men her må man også bruke skjønn og sunn fornuft. Dersom studiene har lav metodisk kvalitet og/eller er for ulike med hensyn til utvalg, design, tiltak og utfallsmål, bør man unngå meta-statistikk og heller foreta en beskrivende oppsummering av funnene (9,12). I slike tilfeller bruker man benevnelsen oversikt og ikke metaanalyse. Eksempel på en meta-analyse The Cochrane Collaboration s logo (figur 2) illustrerer en systematisk oversikt over sju randomiserte kontrollerte studier, Randomised Controlled Trials, RCT. To av studiene i denne oversikten viser til en signifikant reduksjon i prematur død ved å gi corticosteroider til kvinner som føder for tidlig, mens fem studier viser til ikkesignifikant effekt ved slik bruk av bruk av corticosteroider. Når resultatene fra ulike studier på samme problemfelt viser til ulike resultater, er det forvirrende. En sammenstilling av data ved hjelp av en statistisk metaanalyse fra alle disse sju studiene, viser imidlertid at corticosteroider gitt til kvinner som føder for tidlig vil kunne gi en betydelig og statistisk signifikant reduksjon av prematur død (se teksten for figur 2). Sjekkliste for å vurdere en oversikt I litteraturen finner vi flere engelske sjekklister for vurdering av oversiktsartikler (8,13,14,15,16). Som for randomiserte kontrollerte studier (17), har utdanningsgruppen ved Seksjon for helsetjenesteforskning på Folkehelsa også utviklet en norsk sjekkliste for vurdering av oversiktsartikler. Denne sjekklisten er basert på engelske sjekklister referert over. Denne sjekklisten er utarbeidet for oversikter som sorterer under kjernespørsmålet: Hva kan vi gjøre for å forebygge eller behandle et problem. Sjekklisten er på linje med sjekklisten for RCT, benyttet i undervisning og kursvirksomhet ved Folkehelsa. De fleste spørsmålene besvares med «ja», «nei» eller «vet ikke». Ofte vil ulike personer vurdere en artikkel forskjellig, og dette gir grunnlag for spennende diskusjoner der vi må begrunne våre svar. Målet er her å initiere diskusjon omkring kvalitet, resultat og overførbarhet av funnene og hver person vil tilføre denne diskusjonen sine egne erfaringer og verdirammer. Et praktisk eksempel I fagmiljøet har det pågått en debatt lokalt og sentralt innen både 1.linje- og 2. linjetjenesten om hvorvidt trening ved bruk av aktive øvelser er effektivt i behandlingen av kronisk obstruktive lungelidelser. Noen fremstående fagpersoner mener at man med trening kan oppnå betydelig funksjonsforbedring, mens andre mener at passiv mobilisering, drenasje og banking er vel så effektivt. Som kursleder i NFF tar du tak i dette. I forberedelsen til høstens kurs bestemmer du deg å finne ut hvilke resultater forskningen har kommet frem til når det gjelder effekten av aktive øvelser. Du gjør et søk i MEDLINE (Pubmed) ved bruk av emneord og kombinerer disse ved bruk av AND og OR se artikkel 3 i denne serien (18). 1. Exercise OR rehabilitation 2. Lung Disease, Obstructive 3. 1 AND 2
Denne søkeblokken gir deg et treff på 2339 artikler. Begrenser du søket til å gjelde «randomised controlled trials» får du frem 209 artikler. Denne artikkelmengden føler du er uhåndterbar og begrenser derfor søket ytterligere til å gjelde «meta-analysis». Du får da frem 12 artikler. Blant disse oversiktene finner du en artikkel av Yves Lacasse og medarbeidere med følgende tittel: Meta-analysis of respiratory rehabilitation in chronic obstructive pulmonary disease. The Lancet 1996, 348, 1115-19. Du bestemmer deg for å vurdere denne oversiktsartikkelen ved bruk av sjekklisten nedenfor (se side 15). Denne sjekklisten har et innledende spørsmål (se neste avsnitt), og åtte spørsmål som setter fokus på følgende forhold: - Kan du stole på resultatene? - Hva forteller resultatene? - Kan resultatene overføres til praksis? Innledende spørsmål 1. Er hensikten /spørsmålet i oversikten presist formulert? Kommer det klart frem hvilken populasjon eller pasientgruppe som studeres, hvilket tiltak som evalueres og hva det eventuelt sammenlignes med? Kommer det frem hvilke utfallsmål man er opptatt av i studien, som for eksempel funksjon og livskvalitet? Kan du stole på resultatene? 2. Er kriteriene for inklusjon av primærstudier fornuftige? Studiene som inngår i oversikter, kaller vi gjerne primærstudier. Er det slik at forfatterne av oversikten klart beskriver hvilke kriterier primærstudiene må innfri for å bli inkludert i oversikten, og samsvarer disse med hensikten eller spørsmålet for oversikten? - Er det presisert hvilket design studiene må ha? - Er det presisert hvilket utvalg studien må ha? - Er det presisert hvilket tiltak eller eksposisjon studien må ha? - Er det presisert hvilke utfalls- eller resultatmål studien må ha? 3. Er det sannsynlig at relevante studier er funnet? I systematiske oversikter er det viktig å vurdere om forfatterne har fått med seg de «rette» arbeidene (6), og ikke plukket studier på en mer eller mindre tilfeldig måte. Vi må derfor bedømme hvorvidt det er søkt i relevante databaser, og hvorvidt tidsrom for søkene og benyttede søkeord er presisert. I dette tilfellet er databasene Medline, Embase og Cochrane Controlled Trial Register aktuelle databaser. I tillegg til databasesøk bør forfatterne ha søkt gjennom referanselistene til inkluderte studier, tidligere oversiktsartikler og konsensusrapporter. Forfatterne bør også kontakte ressurspersoner på problemfeltet som eksperter og forskere, da disse er en god kilde for å spore opp aktuelle studier. 4. Er den metodiske kvaliteten av de inkluderte studiene vurdert? I en oversiktsartikkel vil primærstudienes metodiske kvalitet være av betydning for de konklusjoner man trekker. Variasjon i metodisk kvalitet kan forklare en eventuell variasjon i primærstudienes resultater. En vurdering av metodisk kvalitet er selvsagt også viktig selv om resultatene ikke spriker. Selv om resultatene peker i samme retning så kan man eksempelvis ikke tillegge disse stor tyngde dersom alle studiene er av dårlig kvalitet (3). I dette praktiske eksemplet søkte vi etter artikler som omhandlet effekt av aktive øvelser for pasienter med kronisk obstruktive lungelidelser. Vi begrenset søket til å gjelde en meta-analyse over randomiserte kontrollerte studier. Det eksisterer mange sjekklister for å vurdere den metodiske kvaliteten på randomiserte kontrollerte studier, men ingen gullstandard (3). For leseren av en systematisk oversikt er det imidlertid viktig at forfatteren presiserer hvilke kriterier man har benyttet for å vurdere kvaliteten. Videre bør en slik vurdering være foretatt av flere personer, der disse har utført evalueringen uavhengig av hverandre. En slik prosedyre ivaretar en viss objektivitet. Forfattere bør også ha forsøkt å innhente manglende informasjon ved de studiene som er inkludert. 5. Har forfatterne begrunnet sitt valg av metode for sammenstilling av inkluderte studier? Studiene kan som tidligere nevnt sammenstilles ved bruk av meta-statistikk dersom studiene vurderes som like nok (se avsnittet om meta-analyse side 12). Forfatterne bør her synliggjøre hva som ligger til grunn for en slik vurdering. Har de benyttet statistiske tester i en slik vurdering? Har de vurdert om studiene er gode nok med hensyn til metodisk kvalitet og/eller like nok med hensyn til utvalg, design, intervensjon og utfallsvariabler? En vurdering med hensyn til disse forholdene bør også ligge til grunn dersom forfatterne har valgt en beskrivende sammenstilling av studier.
Det er av stor betydning for leseren hvordan forfatterne har gått frem i spørsmål 2-5, da ulike oversiktsartikler på ett og samme problemområde kan ende opp i ulike konklusjoner i kraft av at de er utført forskjellig (13). Hva forteller resultatene? 6. Hva forteller resultatene? Forfatterne bør ha formulert hovedresultatet i oversikten med enkle ord (17). I en meta-analyse oppgis et tallmessig resultat beregnet ved bruk av statistikk. Valg av statistisk metode for å beregne en samlet effektstørrelse vil være avhengig av hvilken type data de aktuelle utfallsmålene har. Er dataene av dikotom/todelt art, det vil si to gjensidig utelukkende kategorier som eksempelvis smerter tilstede versus smertefri, oppgis en samlet effekt i form av andeler (odds ratio/relativ risk) eller som en differanse (risk difference). Er dataene av kontinuerlig/intervallmessig art, som eksempelvis score på en skala fra 0-100, oppgis en samlet effekt i form av et gjennomsnitt/median og uttrykkes som «mean difference». I meta-analyser presenteres et diagram i resultatkapittelet der resultatene fra alle inkluderte studier er presentert, samt den samlede effekten, meta-size, for disse studiene. I Cochrane-oversikter kalles dette diagrammet et «meta-view». Logoen for the Cochrane Collaboration (figur 2) er et slikt «meta-view». Den samlede effektstørrelsen vises som en «diamant» nederst i diagrammet. Dersom denne diamanten ikke krysser den vertikale linjen i diagrammet, så viser meta-analysen en signifikant forskjell mellom forsøk og kontrollgruppe (figur 2). Bredden på diamanten viser presisjonen på estimatet for den samlede effekten. Jo kortere linje, jo mer presist er estimatet for den samlede effektstørrelsen (figur 2). Selv om det viser seg at aktive øvelser har en signifikant effekt for pasienter kronisk obstruktive lungelidelser (19), må størrelsen på effekten også vurderes i forhold til klinisk relevans. Man må vurdere hvorvidt dette resultatet er av en slik størrelsesorden at det har en klinisk eller praktisk betydning for pasienten. Som leser er det ikke alltid lett å vurdere dette, med mindre man ikke har erfaring med trening i behandling av kronisk obstruktive lungelidelser. Forfatterne av oversikter bør derfor konkretisere for leseren om de mener et resultat er av klinisk interesse. I en beskrivende sammenstilling av studier løfter man gjerne frem hvor mange studier som oppnådde en signifikant forbedring i favør av tiltaket, eksempelvis aktive øvelser, og hvor mange som ikke oppnådde et slik resultat. Når forfatterne har valgt å ikke gjennomføre en meta-analyse, så er det gjerne fordi at studiene har lav metodisk kvalitet og/eller er for ulike /heterogene med hensyn til utvalg, design, intervensjon og utfallsmål (se avsnitt om meta-analyse side 12). Dette må da gjenspeiles ved å vise varsomhet i konklusjonen. Kan resultatene overføres til praksis? Nå har vi vurdert hvorvidt oversikten er gjennomført på en systematisk og metodisk sett god måte. De tre siste spørsmålene i sjekklisten er knyttet til anvendbarhet av resultatene. Det vil si hvorvidt resultatene kan generaliseres og brukes i praksis. 7. Kan resultatene overføres til praksis? Er det slik at personene som inngår i de inkluderte studiene og dermed i oversikten er like nok de menneskene du møter i din praksis? Er selve intervensjonen praktisk gjennomførbar og godt nok beskrevet for at du skulle kunne anvende den? Er resultatene svært lovende, men intervensjonen, eksempelvis type aktive øvelser og dosering, for dårlig beskrevet, kan man kontakte forskerne som står bak oversiktens primærstudier. 8. Ble alle viktige resultat-/utfallsmål vurdert? I det praktiske eksemplet vi her har valgt, trening og kronisk obstruktiv lungelidelse, må man vurdere om forfatterne av oversikten har evaluert de utfallsmålene som er viktig for denne pasientgruppen. 9. Er nytten av tiltaket verdt kostnadene og eventuelle bivirkninger? Det er bare i få oversikter at dette blir vurdert. Dette er imidlertid et viktig moment i de tifeller man sammenligner ressurskrevende intervensjoner eller tiltak med langt mindre ressurskrevende intervensjoner, samt tilfeller der betydelige bivirkninger er en mulig konsekvens av intervensjonen. Oppsummering Etter å ha gått gjennom artikkelen til Yves Lacasse og medarbeidere (19) ved bruk av denne sjekklisten bør du kunne avgjøre om dette er en oversikt av god kvalitet og hvorvidt den kan være nyttig for deg i din praksis. Sjekklisten egner seg godt for bruk i kurs- og undervisningssammenheng og i smågrupper på arbeidsplassen. Kritisk vurdering av artikler er et av trinnene i utøvelsen kunnskapsbasert fysioterapi, - så hvorfor ikke bestille Lacasses artikkel og prøve ut sjekklisten?
Se forøvrig kommentarer på Lacasses meta-analyse i: Lancet 1996, 348, 1111-2, Lancet 1996, 348, 1661, Lancet 1997, 349, 285 og ACP J Club 1997, 126(2), 38.