Kunnskapsesenterets Bruk og tolkning nye PPT-mal av meta-analyser Jan Odgaard-Jensen, statistiker
Formål og innhold Grunnleggende definisjoner Hva er en meta-analyse? Hva er formål med meta-analyser Forutsetninger for å gjennomføre meta-analyser Hvordan lese en meta-analyse Tolkning av resultater fra meta-analyser Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 2
Mål på effekt dikotome variabler RD Risk difference Absolutt forskjell i effekt mellom de to intervensjoner Empiri viser at absolutte mål er mindre konsistente på tvers av studier enn relative mål Bør derfor brukes hvis det er klare grunner til anta at RD er konsistent i en gitt klinisk/faglig kontekst RR Relative Risk Ratio mellom risiko i intervensjons- og kontrollgruppen Velges fremfor OR hvis mest naturlig OR Odds Ratio Ratio mellom odds for en hendelse i intervensjons- og kontrollgruppen Velges fremfor RR hvis mest naturlig Er større enn RR ved stor positiv effekt og mindre enn RR ved stor negativ effekt Peto OR Peto Odds ratio Ved valg av OR som mål på relativ effekt Ved sjeldne hendelser (< 1%) av har Peto OR bedre egenskaper enn den vanlige OR Forventer små effekter Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 3
Mål på effekt dikotome variabler En liten advarsel angående Odds Ratio og Peto Odds ratio Ofte ses feil tolkning/bruk av resultater Tolkes som relativ risiko, f.eks 2 ganger så stor sannsynlighet for en hendelse Skal tolkes som f.eks 2 ganger så stor odds for en hendelse Eksempel: Risiko for en hendelse i intervensjonsgruppen er 20% (Odds = 20/80 = 0.25) Risiko for en hendelse i kontrollgruppen er 10% (Odds = 10/90 = 0.11111) Relativ Risiko er lik 2 Men Odds Ratio er lik 2.25 Er risikoen derimot 40% og 20 % blir RR stadig 2, men OR blir nå 2.67 Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 4
Mål på effekt kontinurlige variabler Mean Difference (MD) Alle studier har målt utfallet på samme skala Standardised Mean Difference (SMD) De inkluderte studier har målt utfallet med ulike skalaer Skalaene måler i bunn og grunn det samme utfall Ved sammensatte utfallsmål er det bygget på samme grunnbegrep og underordnede utfall (typisk eksempler er indeks-skår for depresjon (for eksempel HADS Depression), livskvalitet (Quality of Life scale) og liknende) Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 5
Hva er meta-analyse Ikke én metode, men en gruppe av metoder Bakgrunn: Ofte er enkeltstudier for små til å påvise en faktisk effekt av en intervensjon (mangel på styrke). Formål: Å oppsummere resultater (effektestimater) fra et antall studier til et felles mål på effekt ved hjelp av statistiske metoder Resultat: Et aggregert (Meta-analytisk) mål på effekt med konfidensintervall og en p- verdi for statistisk signifikans Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 6
Forutsetninger for å gjennomføre meta-analyse (1) Må gjøre en totalvurdering av de inkluderte studiene er alle eller noen tilstrekkelig like til å forsvare en formell meta-analyse (klinisk homogenitet) Populasjon. Er de like, eller kan eventuelle forskjeller antas å være urelatert til forventet effekt Inklusjons- og eksklusjon kriterier Setting og/eller kontekst Intervensjon Like intervensjoner? Dose Intensitet Oppfølgning Tillatt behandling ved siden av intervensjonen Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 7
Forutsetninger for å gjennomføre meta-analyse (2) Control Like kontrollbehandlinger? Dose Intensitet Oppfølgning Usual care eller absolutt ingen behandling Tillatt behandling ved siden av kontrollbehandlingen Outcome Like utfall? Definert på den samme måten Ulike skalaer som måler det samme? Kun hvis tilfredsstillende svar på disse vurderinger, da er det forsvarlig å gjennomføre meta-analyse Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 8
Fixed eller random effects Fixed effects Det antas at alle inkluderte studier estimerer den samme sanne effekt Resultat: Estimat for den sanne effekt Random effects Det antas at de inkluderte studier estimerer hver sin sanne effekt, som kommer fra den samme familie av effekter. Variasjonen i effektestimater mellom studiene er større enn det som forventes kan oppstå ved rene tilfeldigheter Vil i de fleste tilfeller gi bredere konfidensintervaller enn fixed effects Resultat: Estimat for den gjennomsnittlige sanne effekt Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 9
Hvordan lese en meta-analyse forest plot Kilde: Sæterdal I, Ringerike T, Odgaard-Jensen J, Harboe I, Hagen G, Reikvam A, Klemp, M. Legemidler til røykeslutt. Rapport fra Kunnskapssenteret nr 8-2010. Oslo: Nasjonalt kunnskapssenter for helsetjenesten, 2010. Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 10
Hvordan lese en meta-analyse data fra studiene Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 11
Hvordan lese en meta-analyse data fra studiene Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 12
Hvordan lese en meta-analyse data fra studiene I noen tilfeller er det ikke ønskelig å rapportere rådata fra studiene på intervensjons- og kontroll gruppen, men ønskelig å kun rapportere studienes estimat på effekt Resultater fra analyser hvor det er justert for confoundere Resultater fra klyngerandomiserte studier hvor det er tatt hensyn til klyngeeffekt i analyseme Kilde (forest plot): Lewin S, Munabi-Babigumira S, Glenton C, Daniels K, Bosch-Capblanch X, van Wyk BE, Odgaard-Jensen J, Johansen M, Aja GN, Zwarenstein M, Scheel IB, Shepperd S. Lay health workers in primary and community health care for maternal and child health and the management of infectious diseases. Cochrane Database of Systematic Reviews 2010, Issue 3. Art. No.: CD004015. DOI: 10.1002/14651858.CD004015.pub3. Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 13
Hvordan lese en meta-analyse resultat på studienivå Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 14
Hvordan lese en meta-analyse vekting av studier i meta-analyse Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 15
Hvordan lese en meta-analyse resultat på meta-analyse nivå Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 16
Hvordan lese en meta-analyse estimater på effekt (som tall) Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 17
Hvordan lese en meta-analyse grafisk fremstilling av estimater på effekt Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 18
Hvordan lese en meta-analyse spesifikasjon av brukt metode Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 19
Hvordan lese en meta-analyse resultat fra statistiske tester Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 20
Heterogenitet Når er det heterogenitet? Bruk av faste grenser basert på Chi 2 og I 2 alene tilrådes IKKE Begge er ustabile ved små og få studier i en meta-analyse; en ytterligere studie kan endre dramatisk på resultatene. Visuell inspeksjon av forest-plot kombinert med varsom tolkning av Chi 2 og I 2 er tilrådelig Stor spredning i resultater (ikke-overlappende konfidensintervaller); p-verdi < 0.1 og I 2 > 50% (evt. 30%) vil være en indikasjon på heterogenitet Størrelse og retning på meta-analytisk estimat på effekt må tas i betraktning Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 21
Tolkning av resultater Ofte tolkes resultater utelukkende i lys av statistisk signifikans Statistisk signifikant resultat (p < 0.05) : det er en effekt av intervensjonen Ikke statistisk signifikant resultat: det er ingen effekt av intervensjonen ANBEFALES IKKE Fravær av statistisk signifikans sier ikke noen om fravær av effekt Samlet kan studiene være for små til å påvise en faktisk eksisterende effekt Vanskelig å påvise ingen effekt krever store studier Statistisk signifikant forskjell er ikke det samme som at forskjeller er relevant sett fra et faglig ståsted Klinisk/faglig relevans av størrelse på effekt bør også tas i betraktning Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 22
Tolkning av resultater Mest tro på at den reelle effekt er nær det meta-analytiske estimat på effekt Mindre tro på at den reelle effekt befinner seg nær de øvre og nedre konfidensgrenser. I en del tilfeller gir tolkning basert på statistisk signifikans korrekt tolkning Hvis effektene er store (både for estimatet på effekten, men også for øvre og nedre konfidensgrense) Bredt konfidensintervall som omfatter ingen effekt, relevant negativ effekt, relevant positiv effekt Ved små- eller mellomstore effektstørrelser er vurdering av klinisk/faglig relevans absolutt nødvending Tolkning basert på statistisk signifikante resultater gir ukorrekt tolkning, når effektstørrelsen er så liten at den ikke har klinisk eller faglig relevans i det helt tatt Skjer typisk ved store studier med små effektstørrelser, og smalt konfidensinterval knyttet til det metaanalytiske estimatet på effekt. Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 23
Tolkning av resultater Konklusjon: positiv effekt av Vareniklin på hendelsen Røyfri sammenliknet med Buproprion Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 24
Tolkning av resultater Bivirkning svimmelhet: vanskelig å dra noen sterk konklusjon, da både store negative og positive effekter er inkludert i konfidensintervallet rundt et effektestimat som er nær ingen effekt. Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 25
Tolkning av resultater Bivirkning unormale drømmer: en tendens til en negativ effekt av Buproprion sammenliknet med placebo (vi tror mest på at den reelle effekt er nær ved vårt estimat på effekt). Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 26
Tolkning av resultater Utfallsmål: Vektøkning Ved tolkning av resultatet må det vurderes om en forventet mindre vektøkning i Buproprion gruppen på 0.52 kg er klinisk relevant. Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 27