Kunnskapsesenterets Bruk og tolkning nye PPT-mal av meta-analyser Jan Odgaard-Jensen, statistiker
Formål og innhold Hva er en meta-analyse Hva er formål med meta-analyser Forutsetninger for å gjennomføre meta-analyser Hvordan lese en meta-analyse Tolkning av resultater fra meta-analyser Kort om avanserte meta-analytiske teknikker Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 2
Hva er meta-analyse Ikke én metode, men en gruppe av metoder Bakgrunn: Ofte er enkeltstudier for små til å påvise en faktisk effekt av en intervensjon (mangel på styrke). Formål: Å oppsummere resultater (effektestimater) fra et antall studier ved hjelp av statistiske metoder til et felles mål på effekt Resultat: Et aggregert (Meta-analytisk) mål på effekt med konfidensintervall og en p- verdi for statistisk signifikans Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 3
Forutsetninger for å gjennomføre meta-analyse (1) Må gjøre en totalvurdering av de inkluderte studiene er alle eller noen tilstrekkelig like til å forsvare en formell meta-analyse (klinisk homogenitet) Populasjon. Er de like, eller kan eventuelle forskjeller antas å være urelatert til forventet effekt Inklusjons- og eksklusjon kriterier Setting og/eller kontekst Intervensjon Like intervensjoner? Dose Intensitet Oppfølgning Tillatt behandling ved siden av intervensjonen Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 4
Forutsetninger for å gjennomføre meta-analyse (2) Control Like kontrollbehandlinger? Dose Intensitet Oppfølgning Usual care eller absolutt ingen behandling Tillatt behandling ved siden av kontrollbehandlingen Outcome Like utfall? Definert på den samme måten Ulike skalaer som måler det samme? Kun hvis tilfredsstillende svar på disse vurderinger, da er det forsvarlig å gjennomføre meta-analyse Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 5
Hvordan lese en meta-analyse forest plot Kilde: Sæterdal I, Ringerike T, Odgaard-Jensen J, Harboe I, Hagen G, Reikvam A, Klemp, M. Legemidler til røykeslutt. Rapport fra Kunnskapssenteret nr 8-2010. Oslo: Nasjonalt kunnskapssenter for helsetjenesten, 2010. Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 6
Hvordan lese en meta-analyse resultat på studienivå Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 7
Hvordan lese en meta-analyse resultat på meta-analyse nivå Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 8
Hvordan lese en meta-analyse data fra studiene Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 9
Hvordan lese en meta-analyse data fra studiene Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 10
Hvordan lese en meta-analyse data fra studiene I noen tilfeller er det ikke ønskelig å rapportere rådata fra studiene på intervensjons- og kontroll gruppen, men ønskelig å kun rapportere studienes estimat på effekt Resultater fra analyser hvor det er justert for confoundere Resultater fra klyngerandomiserte studier hvor det er tatt hensyn til klyngeeffekt i analyseme Kilde (forest plot): Lewin S, Munabi-Babigumira S, Glenton C, Daniels K, Bosch-Capblanch X, van Wyk BE, Odgaard-Jensen J, Johansen M, Aja GN, Zwarenstein M, Scheel IB, Shepperd S. Lay health workers in primary and community health care for maternal and child health and the management of infectious diseases. Cochrane Database of Systematic Reviews 2010, Issue 3. Art. No.: CD004015. DOI: 10.1002/14651858.CD004015.pub3. Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 11
Hvordan lese en meta-analyse vekting av studier i meta-analyse Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 12
Hvordan lese en meta-analyse estimater på effekt (som tall) Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 13
Hvordan lese en meta-analyse grafisk fremstilling av estimater på effekt Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 14
Hvordan lese en meta-analyse spesifikasjon av brukt metode Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 15
Mål på effekt dikotome variabler RD Risk difference Absolutt forskjell i effekt mellom de to intervensjoner Empiri viser at absolutte mål er mindre konsistente på tvers av studier enn relative mål Bør derfor brukes hvis det er klare grunner til anta at RD er konsistent i en gitt klinisk/faglig kontekst RR Relative Risk Ratio mellom risiko i intervensjons- og kontrollgruppen Velges fremfor OR hvis mest naturlig OR Odds Ratio Ratio mellom odds for en hendelse i intervensjons- og kontrollgruppen Velges fremfor RR hvis mest naturlig Er større enn RR ved stor positiv effekt og mindre enn RR ved stor negativ effekt Peto OR Peto Odds ratio Ved valg av OR som mål på relativ effekt Ved sjeldne hendelser (< 1%) av har Peto OR bedre egenskaper enn den vanlige OR Forventer små effekter Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 16
Mål på effekt dikotome variabler En liten advarsel angående Odds Ratio og Peto Odds ratio Ofte ses feil tolkning/bruk av resultater Tolkes som relativ risiko, f.eks 2 ganger så stor sannsynlighet for en hendelse Skal tolkes som f.eks 2 ganger så stor odds for en hendelse Eksempel: Risiko for en hendelse i intervensjonsgruppen er 20% (Odds = 20/80 = 0.25) Risiko for en hendelse i kontrollgruppen er 10% (Odds = 10/90 = 0.11111) Relativ Risiko er lik 2 Men Odds Ratio er lik 2.25 Er risikoen derimot 40% og 20 % blir RR stadig 2, men OR blir nå 2.67 Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 17
Mål på effekt kontinurlige variabler Mean Difference (MD) Alle studier har målt utfallet på samme skala Standardised Mean Difference (SMD) De inkluderte studier har målt utfallet med ulike skalaer Skalaene måler i bunn og grunn det samme utfall Ved sammensatte utfallsmål er det bygget på samme grunnbegrep og underordnede utfall (typisk eksempler er indeks-skår for depresjon (for eksempel HADS Depression), livskvalitet (Quality of Life scale) og liknende) Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 18
Valg av statistisk metode i meta-analyse Forskjellen mellom ulike metoder er primært relatert til vekting av studiene i metaanalysen Peto KUN ved mål på effekt PETO OR Mantel-Haenszel (MH) Default ved dikotome variabler Har bedre egenskaper enn Inverse Variance ved få hendelser Inverse Variance (IV) Brukes primært ved kontinuerlige utfall Exp[(O-E)/Var] Typisk ved utfallsmål av typen tid til hendelse Brukes hvis Datatypen O-E and Variance har blitt valgt Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 19
Fixed eller random effects Fixed effects Det antas at alle inkluderte studier estimerer den samme sanne effekt Resultat: Estimat for den sanne effekt Random effects Det antas at de inkluderte studier estimerer hver sin sanne effekt, som kommer fra den samme familie av effekter. Variasjonen i effektestimater mellom studiene er større enn det som forventes kan oppstå ved rene tilfeldigheter Vil i de fleste tilfeller gi bredere konfidensintervaller enn fixed effects Resultat: Estimat for den gjennomsnittlige sanne effekt Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 20
Hvordan lese en meta-analyse resultat fra statistiske tester Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 21
Statistisk test for effekt <> 0 Test for overall effect Z er en test-størrelse med en kjent statistisk fordeling P-verdi angir som vanlig statistisk signifikans Vil reflektere konfidensintervallet for estimat på effekt Vanlig statistisk signifkant ved P < 0.05 Men dette kan som ved alle andre statistiske metoder endres til for eksempel 0.1 eller 0.01 avhengig av faglig problemstilling og antall analyser det gjennomføres. Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 22
Heterogenitet Tre mål: Tau: estimat på standardavviket på underliggende effektestimat på tvers av studier Chi 2 med tilhørende p-verdi: Cochran s Q-test I 2 : Mål på hvor stor andel av variasjonen i effektestimat som skyldes heterogenitet og ikke tilfeldigheter Når er det heterogenitet? Bruk av faste grenser basert på Chi 2 og I 2 alene tilrådes IKKE Begge er ustabile ved små og få studier i en meta-analyse; en ytterligere studie kan endre dramatisk på resultatene. Visuell inspeksjon av forest-plot kombinert med varsom tolkning av Chi 2 og I 2 er tilrådelig Stor spredning i resultater (ikke-overlappende konfidensintervaller); p-verdi < 0.1 og I 2 > 50% (evt. 30%) vil være en indikasjon på heterogenitet Størrelse og retning på meta-analytisk estimat på effekt må tas i betraktning Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 23
Heterogenitet Ved mistanke om betydelig heterogenitet Hvis det er tilstrekkelig studier inkludert bør årsakene til heterogeniteten undersøkes for eksempel ved å gjøre analyser på subgrupper av studier. Ofte ikke praktisk mulig, da få studier er inkludert i meta-analyse Da må resultater tolkes med ekstra varsomhet Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 24
Tolkning av resultater Ofte tolkes resultater i lys av statistisk signifikans Statistisk signifikant resultat (p < 0.05) : det er en effekt av intervensjonen Ikke statistisk signifikant resultat: det er ingen effekt av intervensjonen Fravær av statistisk signifikans sier ikke noen om fravær av effekt Samlet kan studiene være for små til å påvise en faktisk eksisterende effekt Vanskelig å påvise ingen effekt krever store studier Klinisk/faglig relevans av størrelse på effekt bør også tas i betraktning Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 25
Tolkning av resultater Mest tro på at den reelle effekt er nær det meta-analytiske estimat på effekt Mindre tro på at den reelle effekt befinner seg nær de øvre og nedre konfidensgrenser. I en del tilfeller gir tolkning basert på statistisk signifikans korrekt tolkning Hvis effektene er store (både for estimatet på effekten, men også for øvre og nedre konfidensgrense) Bredt konfidensintervall som omfatter ingen effekt, relevant negativ effekt, relevant positiv effekt Ved små- eller mellomstore effektstørrelser er vurdering av klinisk/faglig relevans absolutt nødvending Tolkning basert på statistisk signifikante resultater gir ukorrekt tolkning, når effektstørrelsen er så liten at den ikke har klinisk eller faglig relevans i det helt tatt Skjer typisk ved store studier med små effektstørrelser, og smalt konfidensinterval knyttet til det metaanalytiske estimatet på effekt. Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 26
Tolkning av resultater Konklusjon: positiv effekt av Vareniklin på hendelsen Røyfri sammenliknet med Buproprion Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 27
Tolkning av resultater Bivirkning svimmelhet: vanskelig å dra noen sterk konklusjon, da både store negative og positive effekter er inkludert i konfidensintervallet rundt et effektestimat som er nær ingen effekt. Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 28
Tolkning av resultater Bivirkning unormale drømmer: en tendens til en negativ effekt av Buproprion sammenliknet med placebo (vi tror mest på at den reelle effekt er nær ved vårt estimat på effekt). Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 29
Tolkning av resultater Utfallsmål: Vektøkning Ved tolkning av resultatet må det vurderes om en forventet mindre vektøkning i Buproprion gruppen på 0.52 kg er klinisk relevant. Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 30
Kort om avanserte meta-analytiske teknikker Individual Patient Data (IPD) Meta-regresjon Network Meta-analysis (Multiple Treatment Meta-analysis) Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 31
Kort om avanserte meta-analytiske teknikker Individual Patient Data (IPD) Innhenter rådata fra inkluderte studier Re-analyserer data på studienivå, slik at samme metode brukes for alle studier. Meta-analyse av re-analyserte data gjennomføres som skissert Fordel: Kan rette opp i at det i utgangspunktet har vært brukt ulike analysemetoder i de inkluderte studier Kan gjennomføre sub-gruppe analyser som ikke har vært gjennomført tidligere. Ulempe Tidkrevende Krever samarbeide med forfatter av originalartiklene ikke alltid let å få til Ikke alle er villige til å dele deres rådata Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 32
Kort om avanserte meta-analytiske teknikker Meta-regresjon Fungerer på mange måter som vanlig regresjonsanalyse Typisk anvendes faktorer på studienivå som forklaringsvariabler i modellen Estimatene på effekt fra de inkluderte studiene er avhengige variabel Mye anvendt metode for å eksplorere heterogenitet Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 33
Kort om avanserte meta-analytiske teknikker Network Meta-analysis (Multiple Treatment Meta-analysis) Ikke en men flere metoder Sammenlikner ikke bare to men tre eller fler intervensjoner i en og samme analyse Kombinerer både direkte og indirekte evidens Frekventisk metode basert på en regresjonstankegang. Gir estimat på effekt for alle parvise sammenlikninger Bayesiansk metode basert på simulering Gir estimat på effekt for alle parvise sammenlikninger Kan i tillegg rangere intervensjonene (basert på sannsynligheten for at intervensjon A er best, er blant de to beste, tre beste og så videre) Forelesing om meta-analyser for samfunnsmedisinere, 22. september 2011 34