GRADE-CERQual-metoden for å vurdere hvor mye 9llit vi bør ha 9l resultater fra systema9ske oversikter av kvalita9v forskning Heather Munthe-Kaas På vegne av GRADE-CERQual Project Group Samfunnsmedisinkurs i metodekunnskap og kunnskapshåndtering 18 november 2016
Hvilke spørsmål s9ller beslutningstakere? Kunnskap om effekt er nå se0 på som et vik3g grunnlag for beslutninger innen helse og omsorg Er 3ltaket effek3vt og trygt? Men beslutningstakere begynner å s3lle andre spørsmål også Hvordan oppleves 3ltaket? Er det gjennomførbart? Er det kostnadseffek3v?
Eksempel 1 Barne-, ungdoms- og familiedirektoratet vurderer å omorganisere barnevernsins3tusjoner, inklusive turnusordninger De er usikre om skielengde hos de ansa0e bør være kort eller lang
Direktoratet spør: Har det første alterna3vet bedre effekt enn det andre, med hensyn 3l agerd eller kogni3v utvikling? Hvordan oppleves kort og lang skielengde hos barna og de ansa0e? Foretrekker de en av skielengdene? Hvor gjennomførbare er de to alterna3vene? Hvilke konsekvenser har de for lønn, forsikring, overnaings3lbud 3l de ansa0e, osv.
Kunnskap om aksept og gjennomførbarhet Er 3ltaket effek3vt og trygt? Systema3sk oversikt av kontrollerte studier Er det kostnadseffek3v? Systema3sk oversikt av kostnadsstudier og økonomisk modellering Hvordan oppleves 3ltaket? Er 3ltaket gjennomførbart? Systema3ske oversikter av kvalita3v forskning
Hvordan gjennomfører man en systema9sk oversikt av kvalita9v forskning? Define inclusion and exclusion criteria related to ques3on and study design Search: Develop search strategy for relevant databases, and carry out search for grey literature Assess 3tles/abstracts for inclusion or exclusion Assess full text ar3cles for inclusion or exclusion Quan+ta+ve studies: effect of interven3on Qualita+ve research: Users experiences/feelings Assess quality of included studies Assess quality of included studies Extract relevant data from included studies Extract relevant data from included studies Synthesize data Meta-analyse data where possible, or Narra3ve review Synthesise data: Descrip3ve themes/explanatory themes GRADE certainty of evidence CERQual confidence in review findings
Funnene fra de systema9ske oversiktene? Resultatene fra oversikten om effekt viser at det finnes ingen forskjell mellom kort og lang skielengde med hensyn 3l kogni3v utvikling og at effekt på agerdsproblemer er usikkert. Funnene fra oversikten om aksept viser at barna foretrekker lengre skielengde. De liker stabiliteten og strukturen, og muligheten 3l å bygge forhold med de ansa0e. De liker også å ha færre omsorgsgivere å forholde seg 3l.
Hva sier du 9l direktoratet? Hvor mye 3llit har vi 3l at funnene kny0et 3l aksept er en god representasjon av barnas opplevelser av å bo i barnevernsins3tusjoner? Hvilke deler av det kvalita3ve kunnskapsgrunnlaget kunne føre 3l at du har mindre 3llit 3l funnene?
The GRADE-CERQual approach: Assessing confidence in findings from a review of qualita9ve research
Hvorfor utviklet vi GRADE-CERQual? Systema3ske oversikter av kvalita3v forskning brukes i økende grad Brukes også i retningslinjeprosesser Oversiktsforfa0ere og beslutningstakere trenger metoder for å vurdere hvor mye 3llit de bør ha 3l resultatene fra slike oversikter Vi gjør disse vurderingene uanse0, derfor er det nyig å 3lby en systema3sk og gjennomsik3g måte å gjøre det på
Hvordan utviklet vi GRADE-CERQual? Forskere med bakgrunn fra kvalita3v forskning og systema3ske oversikter Bred konsultasjon med en stor gruppe andre, blant annet metodologer og beslutningstakere Vi trengte en metode som: Kunne brukes på de vanligste formene for kvalita3v forskningsmetoder Var le0 å bruke Lot vurderinger rapporteres på en gjennomsik3g måte Ga vurderinger som var le0e å forstå
Forhold 9l GRADE CERQual er en del av GRADE Working Group CERQual deler det overordnete målet 3l GRADE for effekt Men CERQual baseres på prinisippene 3l kvalita3v forskning
CERQual er ikke en metode for: Å vurdere hvor godt gjennomført en individuell kvalita3v studie er Å vurdere hvor godt gjennomført en systema3sk oversikt av kvalita3v forskning er Å vurdere metodisk kvalitet av effekt studier om quality of care Å vurdere 3llit 3l narra3ve eller kvalita3ve oppsummeringer av effekt av et 3ltak der en meta-analyse ikke er mulig
CERQual har som mål å: Vurdere og beskrive på en gjennomsik3g måte hvor mye 3llit vi har 3l resultatene fra oversikter av kvalita3ve forskning
CERQual brukes på individuelle funn I en systema3sk oversikt av kvalita3v forskning defineres et funn som: en analy3sk enhet som beskriver et fenomen eller deler av et fenomen Funn fra oversikter av kvalita3v forskning kan presenteres som: Temaer, kategorier og teori Som både deskrip3ve og tolkende funn
Hva mener vi med «9llit 9l resultatene»? En vurdering av i hvilken grad funnet er en rimelig representasjon av fenomenet M.a.o. det er usannsynlig at fenomenet er betydelig forskjellig fra funnet
Hvilken kompetanse trenger man for å bruke CERQual? Erfaringer med metoder for systema3ske oversikter En forståelse av kvalita3v forskningsmetoder
CERQual made easy
Scenario: Decision makers are considering a new interven3on - But how are female pa3ents likely to experience it? Review of qualita3ve research is carried out findings describe women s experiences of the interven3on
AEer assessing all four components an overall assessment is made, expressed as either: - High confidence - Moderate confidence - Low confidence - Very low confidence
Helhetsvurdering av 9llit
E0er at man har vurdert de enkelte komponentene lager vi en helhetsvurdering av 3llit 3l hvert enkelt funn METHODOLOGICAL LIMITATIONS ADEQUACY OF DATA Confidence COHERENCE RELEVANCE
Tillit kan vurderes som høy, moderat, lav eller veldig lav Høy +llit: Det er meget sannsynlig at funnet er en rimelig representasjon av fenomenet Moderat +llit: Det er sannsynlig at funnet er en rimelig representasjon av fenomenet Lav +llit: Det er mulig at funnet er en rimelig representasjon av fenomenet Veldig lav +llit: Det er ikke klart hvorvidt funnet er en rimelig representasjon av fenomenet
Summary of qualita9ve findings tables
GRADE-CERQual Evidence Profile Summary of review finding 1. Use of force: Women across the world reported experiencing physical force by health providers during childbirth. In some cases, women reported specific acts of violence commi0ed against them during childbirth, but women oeen referred to these experiences in a general sense and alluded to bea3ngs, aggression, physical abuse, a rough touch and use of extreme force. Pinching, hiing and slapping, either with an open hand or an instrument were the most commonly reported specific acts of physical Studies contribu+n g to the review finding 6, 9, 10, 13, 21, 61, 67, 68, 73, 75, 77, 80, 84, 86, 87, 91, 96, 97 Methodological limita+ons Moderate methodological limita3ons (6 studies with minor, 6 studies with moderate (unclear recruitment and sampling), and 3 studies with serious methodological limita3ons (unclear reflexivity, insufficiently rigorous data analysis)) Coherence Adequacy Relevance** CERQual assessment of confidence in the evidence No or very minor concerns about coherence (Good fit between data from primary studies and the review finding) No or very minor concerns about adequacy (15 studies total from 10 countries. Rich data.) Minor concerns about relevance (5 studies with direct relevance, 8 studies with par3al relevance, and 1 study with unclear relevance. 15 studies total from 10 countries, including 1 high income, 2 middle income and 7 low income countries. Geographical spread: 2 studies in Asia, 1 study in Europe, 1 study in LAC, 1 study in MENA, 1 study in South America, and 8 studies from sub- Saharan Africa.) High confidence Explana+on of CERQual assessment 15 studies with moderate methodological limita3ons. Thick data from 10 countries across all geographical regions, but predominantly sub-saharan Africa. No or very minor concerns about coherence.
Spørsmål
For å lære mer om GRADE-CERQual Meld deg på nyhetsbrev Meld deg på prosjektgruppe GRADECERQual@gmail.com www.cerqual.org