Hvordan forstå meta-analyse Nettverkskonferansen i kunnskapsbasert praksis 2016 Professor Birgitte Espehaug, Senter for kunnskapsbasert praksis Workshop 05.04.2016 og 06.04.2016
Agenda Kort introduksjon Diskusjon av eksempler 2
Meta-analyse Statistisk metode for å kombinere resultat fra enkeltstudier Utføres ofte i forbindelse med systematisk oversikter En systematisk oversikt er en litteraturoversikt over hva som finnes om et bestemt emne, og om kvaliteten på forskningen som finnes En systematisk oversikt kjennetegnes ved at framgangsmåten er systematisk og godt dokumentert (transparent) Systematisk oversikt med meta-analyse (kvantitative data) Systematisk oversikt med meta-syntese (kvalitative data) 3
HVA ER EN GOD SYSTEMATISK OVERSIKT Framgangsmåten skal være systematisk og transparent (beskrevet) Kortversjon av sjekklisten (kunnskapsbasertpraksis.no): Er formålet med oversikten klart formulert? Er det klare kriterier for inklusjon av enkeltstudiene? Er det sannsynlig at relevante studier er funnet? Er kvaliteten på de inkluderte studiene vurdert? Dersom resultatene fra de inkluderte studiene er kombinert statistisk i en metaanalyse, var dette fornuftig og forsvarlig? Dersom det ikke er gjennomført en metaanalyse er dette valget begrunnet? Hvor presise er resultatene? Kan resultatene overføres til praksis? 4
Meta-analyse gir ingen garanti for valide resultat Diskuter fordeler med meta-analyse og diskuter når meta-analyse kan være misvisende 5
Meta-analyse gir ingen garanti for valide resultat Diskuter fordeler med meta-analyse og diskuter når meta-analyse kan være misvisende Mulige fordeler Økt statistisk styrke Økt presisjon Misvisende ved Forskjeller mellom studiene (heterogenitet) Ulik kvalitet på studiene Publikasjonsskjevhet 6
Hvordan forstå meta-analyse Vi skal se på meta-analyser fra to systematiske oversikter (Cochrane database of systematic reviews) 1. Standardized mean difference 2. Risk ratio 7
8
Cochrane Database of Systematic Reviews 19 JUL 2006 DOI: 10.1002/14651858.CD004691.pub2 http://onlinelibrary.wiley.com/doi/10.1002/14651858.cd004691.pub2/full#cd004691-fig-00102 9
Meta-analyse; eksempel 1 Utfallsmål er depresjon (kontinuerlig skala) der høy verdi indikerer høyere grad av depresjon Studiene har benyttet ulike instrument for å måle depresjon. Effekt er derfor gitt som standardisert gjennomsnittlig forskjell (standardized mean difference) Negativ forskjell betyr bedre resultat med trening (Favours treatment) Positiv forskjell betyr bedre resultat uten trening (Favours control) Forskjell lik 0 betyr likt resultat 10
Diskuter: Hva kan du lese ut fra meta-analysen (Analyse 1 Post treatment) 11
Forskjeller i resultat (heterogenitet) Bør vurdere om effektene som er observert i enkeltstudiene er like nok til at man har tiltro til at effektestimatet beregnet for studiene samlet er meningsfullt Heterogenitet i resultat kan skyldes Kliniske forskjeller Metodiske forskjeller Tilfeldige forskjeller 12
Forskjeller i resultat (heterogenitet) Statistiske metoder for å vurdere om forskjeller er reelle eller skyldes tilfeldigheter Dårlig overlapp av konfidensintervallene indikerer reell heterogenitet Test for heterogenitet (Chi 2 test). Lav p-verdi (p <0.1) indikerer reell heterogenitet I 2 indikerer prosent av variasjonen i resultat som skyldes reell heterogenitet. Tolkes med forsiktighet 0% - 40% 30% - 60% 50% - 90% 75% - 100% might not be important may represent moderate heterogeneity may represent substantial heterogeneity considerable heterogeneity 13
Cochrane Database of Systematic Reviews 19 JUL 2006 DOI: 10.1002/14651858.CD004691.pub2 http://onlinelibrary.wiley.com/doi/10.1002/14651858.cd004691.pub2/full#cd004691-fig-00102 14
15
Cochrane Database of Systematic Reviews 10 FEB 2016 DOI: 10.1002/14651858.CD012087 http://onlinelibrary.wiley.com/doi/10.1002/14651858.cd012087/full#cd012087-fig-00103
Meta-analyse; eksempel 2 Utfallsmålet er om personen har opplevd bivirkninger eller ikke (dikotom variabel) Effektmål er Risk Ratio (RR) Risk ratio < 1 betyr lavere risiko for bivirkninger i NSAIDs gruppen (Favours NSAIDs) Risk ratio > 1 betyr høyere risiko for bivirkninger i NSAIDs gruppen (Favours placebo) Risk ratio = 1 betyr samme risiko for bivirkninger 17
Diskuter: Hva kan du lese ut fra meta-analysen (Analyse 1 All NSAIDs) 18
Diskuter: Kommenter funn fra subgruppeanalysene 19
Heterogenitet «Fixed effects» analyse - antar at alle studiene estimerer samme underliggende effekt og at ulikheter i resultat skyldes tilfeldigheter. Studiene vektes dermed etter antall inkluderte (eksempel 2) «Random effects» analyse - antar at effektene som estimeres i enkeltstudiene ikke er identiske, men følger en kjent fordeling (ofte normalfordeling). Studiene tillegges dermed vekt uavhengig av antall inkluderte (eksempel 1)