Kompendium. Samfunnsmedisin - Kurs H Forskningsmetode og kunnskapshåndtering mars 2017

Transkript

1 Kompendium Samfunnsmedisin - Kurs H Forskningsmetode og kunnskapshåndtering mars

2 Mandag 27/3: Hva er evidens? Viktige begreper: Kunnskap, evidens forskning. Syn på kunnskap: Objektiv/Subjektiv o Objektiv: det finnes en enkelt virkelighet som kan oppdages o Subjektiv: virkeligheten fortolkes ut fra verdensbildet til den som observerer Deduktiv/Induktiv o Deduktiv: utgår fra teori som brukes til å generere hypoteser som kan testes o Induktiv: utgår fra observasjoner som brukes til å generere teorier som i sin tur kan generere hypoteser som kan testes Forskjellige syn på evidens: Evidens er hvilken som helst informasjon som kan ligge til grunn for beslutninger o Relevans, anvendelighet Evidens er vitenskapelig evidens o Vitenskapen prøver å motbevise hypoteser o Det er ingen «sannheter» i vitenskapen Evidens er «forskningsbasert evidens» o Intern og ekstern validitet Evidens relatert til beskrivelse av risiko for sykdom o Størrelse, alvorlighetsgrad, mulighet å forhindre «noe bør gjøres» o Evidens for effektivitet av spesifikke tiltak «dette bør gjøres» Evidens relatert til implementering av tiltak o Kontekstuelle faktorer, hvordan tiltaket ble mottatt «hvordan noe bør gjøres» Forskning: Primærforskning o Systematisk empirisk undersøkelse Sekundærforskning o Akkumulering av forskningsfunn til et kunnskapsgrunnlag Systematisk oversikt Meta-analyse Kvantitativ / Kvalitativ Grunnforskning / Anvendt forskning «Kvalitet» hos evidens: Generelle kriterier o Metodisk strenghet o Nivå Hierarki av studiedesign Styrke o Kombinasjon av nivå, studiekvalitet og statistisk presisjon (p-verdi og konfidensintervall) Størrelse på effektestimatet og statistisk og klinisk signifikans 2

3 Fullstendighet o Informasjon av betydning for implementering Relevans o Svarer resultatene på spørsmålet? Kan resultatene overføres? Kriterier for årsakssammenheng (Bradford Hill) o Årsak går foran effekt o Styrke på sammenhengen o Dose-respons forhold o Reversibilitet o Konsistens o Samsvar med rådende biologisk forståelse o Én antatt årsak gir en spesifikk effekt o Årsakssammenhengen er allerede etablert for en lignende eksponering og/eller forholdet henger sammen med eksisterende teori GRADE (Grading of Recommendations Assessment, Development and Evaluation) o Study design o Risk of bias o Inconsistency o Indirectness o Imprecision o Publication bias o o o Large effect Dose-response All plausible residual confounding would result in underestimation of the effect Bruk av evidens i folkehelse: Barrierer o Beslutningstakeres oppfatning om evidens o Avgrunn mellom forskere og beslutningstakere o Hvordan beslutninger tas (kultur) o Ulike aktører prøver å påvirke beslutninger o Praktiske begrensninger Foreslåtte, ikke testede tiltak o Møte beslutningstakeres behov, f eks Tydelig oppsummerte resultater Rette in forskningsfunn i relevant policy-kontekst Evidens på mikro-/lokal nivå Foreslå hvordan evidens skal implementeres o Kapasitetsbygging 3

4 Kjernespørsmål i helsetjenesten Hvor mange har et problem? (forekomst) Hvorfor får noen dette problemet, mens andre holder seg friske? (etiologi/årsak) Hvordan kan vi avgjøre om noen har dette problemet? (diagnostikk/måleinstrument) Hva kan vi gjøre for å forebygge eller behandle problemet? (effekt av tiltak) Hvordan går det med den som har problemet? (prognose) Hvordan oppleves det å ha dette problemet? (erfaringer) Forskningssspørsmål PICO Population Intervention Comparison Outcome Tirsdag 28/3 Studiedesign (primærstudier) Formulering av et godt spørsmål Spørsmål à Design Vi trenger ulike typer studier for å besvare ulike spørsmål Spørsmålet bestemmer hvilket design eller forskningsopplegg som bør benyttes Forskningsspørsmål Kunnskap Foretrukket studiedesign Hvor mange har et problem? (eks diabetes) Hvorfor får noen dette problemet og ikke andre? Hvordan kan vi avgjøre om noen har dette problemet? Hva kan vi gjøre for å forebygge eller behandle dette problemet? Hvordan går det med den som har problemet? Hvordan oppleves det? Hva er det som gjør at det virker? Forekomst Årsak Diagnostikk Effekt av tiltak Forløp Holdninger, erfaringer Tverrsnittstudier Kohortstudier Kasus-kontrollstudie Tverrsnittstudier (med en referansestandard) Randomiserte kontrollerte studier (evt kontrollerte føretter-studier) Kohortstudier Kvalitative metoder 4

5 Randomiserte kontrollerte studier (RCT) o Hvorfor randomisering? Randomisering fører til at det ikke er systematiske forskjeller mellom gruppene (gir en tilfeldig fordeling av faktorer, både kjente og ukjente) som kan påvirke resultater. Randomisering gir like grupper. Hvorfor er like grupper viktige? For å kunne påvise kausalitet.observert effekt / utfall etter tiltak er gitt kan være resultat av flere faktorer o Kriterier for årsakssammenheng (Bradford Hill) Årsak går foran effekt Styrke på sammenhengen Dose-respons forhold Reversibilitet Konsistens Samsvar med rådende biologisk forståelse Én antatt årsak gir en spesifikk effekt Årsakssammenhengen er allerede etablert for en lignende eksponering og/eller forholdet henger sammen med eksisterende teori (Ikke-randomisert) Kontrollerte studier / Kontrollert før-etter studie Ikke-kontrollert før-etter studie Avbrutt tidsserie (interrupted time series=its) Kasuskontroll studier: Studiepopulasjonene er definert på bakgrunn av utfallet/sykdommen Tverrsnittstudier: Måler eksposisjon og sykdom samtidig Pasientserier o Studie fra en serie pasienter fulgt prospektivt eller retrospektivt o Ingen kontrollgruppe (som regel) o Fase I studier for å vurdere nye behandlinger o Behandling av sjeldne tilstander Kvalitative studier o Systematisk tilnærming for å beskrive eller forstå ett eller flere fenomener eller sammenhenger o Målet er ikke å kvantifisere, men å beskrive verden gjennom det opplevde og erfarte 5

6 Onsdag 29/3 Statistikk En kort oversikt Beskrive tall o Måleskalaer o Frekvensfordeling o Sentraltendens og spredning Analysere tall o Sammenheng mellom variabler o Forskjell mellom grupper Risiko/Sjanse: 6

7 Beregning av risiko/sjanse, utgangspunkt er firefeltstabell, eksempel: Begreper knyttet til risiko/sjanse: Risiko Absolutt risikoforskjell Relativ risikoreduksjon (RRR): 1 relativ risiko Number needed to treat (NNT) o Antall personer som må behandles for å forhindre et ugunstig utfall o 100/risikoforskjell uttrykt i % Number needed to harm (NNH) o Hvor mange som kan behandles før én risikerer å få bivirkninger Hazard ratio o Veid gjennomsnitt av RR i løpet av en oppfølgingsperiode Odds ratio: Sannsynligheten for at en hendelse skal skje Sannsynligheten for at en hendelse ikke skal skje Statistikk og tilfeldige/systematiske feil: Statistisk analyse sier noe om sannsynligheten for at en sammenheng eller forskjell har oppstått ved en tilfeldighet o p-verdi 0,05; 0,01; 0,001; «eksakt p-verdi» o Konfidensintervall 95 % (95%CI) Statistisk analyse sier ikke noe om systematiske feil (bias) 7

8 Statistisk signifikans vs. klinisk betydning: Både p-verdier og konfidensintervall er avhengige av utvalgets størrelse/antall hendelser o Trivielle forskjeller/korrelasjoner kan bli statistisk signifikante i store utvalg/stort antall hendelser Type I-feil o Store forskjeller/høye korrelasjoner kan bli statistisk ikke-signifikante i små utvalg/lite antall hendelser Type II-feil Se alltid de faktiske resultatene, p-verdier/konfidensintervall og størrelsen på utvalget/antall hendelser i sammenheng! 8

9 Metodisk kvalitetsvurdering av primærstudier Vurdere om kunnskapen er til å stole på. Kritisk vurdering av kunnskapskilden. 3 sentrale spørsmål: Kan jeg stole på resultatene? (Intern validitet) Hva forteller resultatene? (Statistikk) Kan jeg applisere resultatene på min pasient? (Ekstern validitet) Sjekklister kan være nyttig verktøy All forskning er ikke god (pålitelig) forskning. Trenger derfor vitenskapelig skolesekk med gode verktøy for å kunne vurdere informasjon og forskningsmetode; Vi må dyrke kritisk sans, og sansen for å leve med usikkerhet Risk og Bias (RoB) vurdering o En tilnærming for å evaluere risiko for systematiske skjevheter i en studie o Hjelper oss til å vurdere i hvilken grad resultatene er til å stole på (er de sanne?) Tilfeldig vs systematisk skjevhet o Tilfeldig skjevhet ( feil ) Mest å gjøre med størrelsen på studien og gjenspeiles i beregnet usikkerhet ( presisjon gjerne uttrykt som 95 % KI) Håndterer vi ved å ta beregnet usikkerhet (presisjon) med i vurderingen av resultatene o Systematisk skjevhet (bias) Det vi er aller mest opptatt av når vi vurderer kvalitet Er det fare for systematiske skjevheter ( bias ) pga. metodiske svakheter, dvs. systematiske feil? Er risikoen stor for at systematiske skjevheter kan ha innvirket på resultatene? (god intern validitet?) o Svaret avhenger av studiens design og gjennomføring ikke nødvendigvis kvaliteten o 6 domener å vurdere: Generering av fordelingssekvens: Metoden benyttet for å bestemme fordelingsrekkefølgen (f.eks. myntkast, ferdiglagde randomiseringslister). Hvis mangelfull, kan føre til seleksjonsskjevhet: systematisk forskjell mellom gruppene Hemmelig fordeling: Den som fordeler vet ikke hvilken gruppe neste deltaker skal i (før deltakeren er inkludert). Hvis mangelfull, kan føre til seleksjonsskjevhet Blinding (av deltakere, personell og de som målte utfallene). Hvis mangelfull, kan føre til tiltaksskjevhet/intervensjonsbias: Systematisk forskjell i tiltak/behandling, bortsett fra tiltaket som prøves ut Ufullstendig oppfølging av utfallsdata. Hvis ufullstendig oppfølging, kan føre til frafallsbias: konsekvens av at enkelte som i utgangspunktet er rekruttert til en studie ikke fullfører (skaper problemer med fortolkning av resultater). 9

10 Selektiv rapportering. Hvis selektiv, er bare noe av all data presentert. Dette vil føre til systematiske skjevheter i kunnskapen (tenk: SR) Andre typer systematiske feil. Tenk: Ser det ut til at det ikke er andre problemer som medfører høy risiko for systematiske skjevheter? Torsdag 30/3 Systematiske (kvantitative) oversikter og meta-analyser/narrative synteser Systematiske oversikter: Systematisk kunnskap: Svarer på et spesifikt spørsmål o Forekomst o Årsak o Effekt av tiltak o Diagnostikk o Prognose o Erfaringer Er basert på all tilgjengelig forskning som er relevant for spørsmålet Viser usikkerheten hos resultatene o Systematiske skjevheter og tilfeldige feil Hva er en systematisk oversikt? I en systematisk oversikt prøver en å samle all empirisk evidens som kan svare på et spesifikt spørsmål Klart formulert formål og inklusjonskriterier Eksplisitte og reproduserbare metoder Systematisk litteratursøk for å finne alle studier som kan svare mot inklusjonskriteriene Vurdering av validiteten til resultatene i de inkluderte studiene Systematisk presentasjon av studiene og syntese av resultatene Fremgangsmåte: Definere spørsmål og utvikle inklusjonskriterier Populasjon Definisjon av tilstanden Viktigste trekk hos populasjonen Demografiske faktorer Tiltak/Eksponering Dose/intensitet/varighet Gjennomføring Sammenligning Hva er relevant sammenligning? Utfall Relevans for beslutningstakere Relevans for populasjonen 10

11 Uheldige virkninger av tiltak Søke etter studier Kilder Hvilke kilder er relevante å søke i? Planlegge søk Sammen med bibliotekar Lage søkestrategi Sammen med bibliotekar Håndtere referanser F. eks. EndNote Dokumentere og rapportere søkeprosessen Kilder, tidsperiode, søkedato, søkestrategi Velge ut studier og trekke ut data Velge ut studier Uavhengig av to personer, konsensus/tredje person Fra titler og sammendrag Fra fulltekst Trekke ut data Bruke skjema Uavhengig av to personer Begge trekker ut data Den ene trekker ut data, den andre kontrollerer Vurdere risiko for systematiske skjevheter Uavhengig av to personer, konsensus/tredje person Selection bias Random sequence generation Allocation concealment Performance bias Blinding of particpants and personnel Detection bias Blinding of outcome assessment Attrition bias Incomplete outcome data Reporting bias Selective reporting Other bias Hvis oversikten inkluderer studier med ulike studiedesign Cochrane Collaboration Effective Practice and Organization of Care Group Suggested risk of bias criteria for EPOC reviews Analysere data og lage syntese Statistisk syntese Meta-analyse Beskrivende syntese Narrativ syntese 11

12 Undersøke publiseringsskjevhet Alle studier blir ikke publisert Funnel plot Presentere resultater i tekst og tabeller PRISMA checklist Utvelging av studier Flyt-diagram (PRISMA) Karakteristika ved studier PICO, studiedesign, oppfølgingsperioder Risiko for systematisk skjevhet Innen studier Per utfall Resultater i individuelle studier Syntese Andre analyser Subgruppeanalyser, meta-regressjon Tolke resultatene og trekke konklusjoner Vurdering av kvaliteten på den samlede dokumentasjonen GRADE Tolke resultater Dikotome utfall Kontinuerlige utfall Vanlige feil No evidence of effect vs. Evidence of no effect Ønsketenking Konklusjoner utover resultatene Meta-analyse: En statistisk syntese av kvantitative resultater fra flere tidligere studier. Summerer tidligere forskning om et fenomen Gir en bedre og sikrere helhetsbilde over forskningen Økt statistisk styrke Forbedret presisjon (smalere konfidensintervall) Kan villede hvis ikke systematiske feil i, stor variasjon mellom, og skjevheter i rapportering av primærstudier tas i betraktning. Viktige begreper: Effektmål For dikotome data Relativ risiko (RR) Odds ratio (OR) For kontinuerlige data Gjennomsnittsforskjell (MD) Standardisert gjennomsnittsforskjell (SMD) 12

13 Alle med 95 % konfidensintervall (95%CI) Effektestimat Resultatet i meta-analysen Anslår populasjonseffekten basert på resultatene i de inkluderte studiene Relativ risiko (95%CI) Odds ratio (95%CI) Gjennomsnittsforskjell (95%CI) Standardisert gjennomsnittforskjell (95%CI) Statistiske modeller Fixed effect, vi antar att det er én sann underliggende effektstørrelse i alle studier. alle forskjeller i observerte effekter beror på utvalgsfeil Random effects, vi antar att den sanne effekten kan variere fra studie til studie på grunn av for eksempel forskjellig blanding av deltakere og implementering av tiltak Heterogenitet «Klinisk» Kritikken om å sammenligne epler og pærer PICO, breie inklusjonskriterier «splitting» / «lumping» Ta stilling til om det er hensiktsmessig å gjennomføre meta-analyse Statistisk Beregnes i meta-analysen Chi-två, Tau, I «Stor» heterogenitet undersøkes, skal helst forklares Forest plot 13

14 Publiseringsskjevhet (publication bias) Alle studier blir ikke publisert, særlig ikke studier med ikke-signifikante resultater Da kan effektestimatet bli villedende Funnel plot en måte å undersøke publiseringsskjevhet Vi skal øve på denne presentasjonen av en meta-analyse: Vi kommer til å gå gjennom alle viktige begreper. Narrativ syntese: En måte å sammenfatte resultater fra Flere kvantitative studier når meta-analyse ikke er vurdert å være hensiktsmessig Flere kvalitative studier Særlig når inkluderte kvantitative studier viser stor grad av heterogenitet, for eksempel Komplekse tiltak Forskjellige settinger Forskjellige målemetoder og oppfølgingsperioder Narrativ syntese i tre trinn: 1. Organisere beskrivelse av studiene i logiske kategorier 2. Analysere funnene innen hver kategori 3. Sammenstille funnene på tvers av alle inkluderte kategorier 14

15 Alle data samles i tabeller: Fullstendig beskrivelse av inkluderte studier PICO Metodisk kvalitet Resultater Kontekst Annet av interesse Tabellene i seg selv er ikke syntesen, men gir grunnlag for den. Studiekvalitet er en viktig komponent i syntesen Vurderes med sjekklister Skal si noe om både intern og ekstern validitet Advarsel! «Vote counting»: telle hvor mange studier har positive og negative resultater og sammenligne Den enkleste måten å sammenfatte studienes resultater på, men anbefales IKKE!!! Tar ikke hensyn til Utvalgets størrelse Studienes metoder og kvalitet Kvalitative forskjeller mellom studiene Interaksjoner mellom variabler i studiene 15

16 Systematiske (kvalitative) oversikter Hva er en systematisk oversikt med kvalitet forskning (Qualitative Evidence Synthesis=QES)? «An overview of primary qualitative studies which contains an explicit statement of objectives, materials, and methods and has been conducted according to explicit and reproducible methodology» «An interpretation of qualitative findings (review findings) that are themselves interpretive syntheses of data (study findings) including phenomenologies, ethnographies, grounded theories, and other integrated and coherent descriptions or explanations of phenomena, events, or cases that are the hallmarks of qualitative research» (Sandelowski & Barroso, 2007, p. 151) Litt historie: 1985: uttrykket «qualitative metasynthesis» for å beskrive syntese av kvalitative studier (Stern & Harris) 1988: «meta ethnography» (Noblit & Hare) 1994: første kvalitative syntesen, A synthesis of qualitative research on wellness-illness (Jensen & Allen) I dag: >200 kval-srs i helse + mange innen andre felt (f.eks. utdanning) November 2013: 1st QES publisert i Cochrane Library (Glenton et al., 2013) Hva er nytteverdien av QES? uten sammenstilling, risikerer å gå glipp av nyttig informasjon eller forvrenge kunnskapsgrunnlaget o Campbell et al. (2003): of 7 qual studies on patients experiences of diabetes, not one referred to another! gir grundigere og mer presist svar på spørsmål om hvordan og hvorfor enn enkeltstudier à større utsagnskraft generere mer omfattende og generaliserende teori à resultater mer relevant for grupper som helsepolitikere, klinikere, forskere Fremgangsmåte Samme prinsippene gjelder (som for oppsummering av spørsmål om effekt). Men når vi oppsummerer kvalitative data, fins det andre/ flere utfordringer 1. bestemme fokus. Spesifiser spørsmålet 2. søke etter litteratur. vanskeligere enn for effekt 3. velge litteratur 4. vurdere metodisk kvalitet. Én sjekkliste for alle inkluderte kval studier? Ekskludere basert på metodisk kvalitet? Ekskludere studier med lav(ere) metodisk kvalitet? Benytte studier med lav(ere) metodisk kvalitet mindre enn de med høy(ere) metodisk kvalitet? Ikke benytte elementer som vi ikke stoler på? 5. Syntese / sammenstille funn. Utvikling av metoder for å sammenstille funn fra kvalitative studier pågår rask utvikling og mange metoder! Mest hyppig brukte metodene: metaetnografi, tematisk 16