Kritisk vurdering av forskningsartikler kan vi stole på forskningen?

Transkript

1 Oslo Kritisk vurdering av forskningsartikler kan vi stole på forskningen? Elisabeth Jeppesen, MPH, phd, seniorrådgiver/forsker

2 Agenda Kan vi stole på forskningen? Spørsmål og forskningsdesign Kjernespørsmål Fordeler og ulemper ved ulike forskningsdesign Det er ikke gull alt som glimrer Kritisk vurdering av forskningsartikler Kritisk vurdering av systematisk oversikt (SR) Bruk av sjekkliste

3

4

5 Scenario En mor henvender seg til deg og spør om hun bør gi sin 16 år gamle sønn, som har schizofreni, tilskudd av antioksidanter. Hun har hørt via en venninne at antioksidanter hjelper på symptomene hos unge med schizofreni og ønsker et råd fra deg Hvilke kilder/informasjon støtter du deg til når du svarer moren?

6 Stole-på pyramide -hvilke kilder stoler vi på Forskning Kollega Legen Ekspert Firma Politiker Pasient brosjyre Venn Helsekost Ukeblad Avis Meg selv Internett Sjefen Pasient forening TV

7 Det finnes enkeltstudier som kan brukes som argumenter for nesten hva som helst

8 Som du roper i skogen Mange mener mangt om mye Hvem kan du stole på, og hva bør du lete etter? Klare og tydelige spørsmål en forutsetning (PICO)

9 Spørsmål Design Spørsmålet bestemmer hvilket design eller forskningsopplegg som bør benyttes Vi trenger ulike typer studier for å besvare ulike spørsmål PICOS 9

10 Kjernespørsmål i helsetjenesten Hvor mange har et problem (forekomst)? Hvorfor får noen dette problemet, mens andre holder seg friske (etiologi/årsak)? Hvordan kan vi avgjøre om noen har dette problemet (diagnostikk/måleinstrument)? Hva kan vi gjøre for å forebygge eller behandle problemet (effekt av tiltak)? Hvordan går det med den som har problemet (prognose)? Hvordan oppleves det å ha dette problemet (erfaringer)? 10

11 Kjernespørsmålene Spørsmål om: Utbredelse: Årsak/risiko: Diagnose/screening: Effekt av tiltak: Prognose: Erfaringer: Hvor mange kvinner får brystkreft i Norge årlig? Hvor mange kvinner er operert for brystkreft i Norge? Hvorfor får noen brystkreft? Er nattarbeid en risikofaktor? Hvordan kan vi avgjøre om en kvinne har brystkreft? Kan trening forebygge tap av beinmasse hos kvinner i overgangsalderen? Hvordan går det kvinner som er operert for brystkreft med hensyn til motorisk funksjon og bevegelse i arm? Hvordan opplever kvinner med små barn å få brystkreft? 11

12 Ulike forskningsmetoder (design) ENKELTSTUDIER OVERSIKTSARTIKLER Systematiske oversikter (SR) Meta-analyser Meta-synteser BASALFORSKNING

13 Spørsmål og design - PICOS Tema Utbredelse: Årsak/risiko: Diagnose/ screening: Effekt av tiltak: Prognose: Erfaringer: Spørsmål Hvor mange kvinner får brystkreft i Norge årlig? Hvorfor får noen brystkreft? Er nattarbeid en risikofaktor? Hvordan kan vi avgjøre om en kvinne har brystkreft? Kan trening forebygge tap av beinmasse hos kvinner i overgangsalderen? Hvordan går det kvinner som er operert for brystkreft med hensyn til motorisk funksjon og bevegelse i arm? Hvordan opplever kvinner med små barn å få brystkreft? Best egnet studiedesign Tverrsnitt Kasus-kontroll / kohorte Tverrsnitt m/ referanse RCT RCT Kohorte Kvalitative Gode forskningsbaserte svar fordrer GODE studier

14 S-modellen Systemer Oppslagsverk og retningslinjer Kvalitetsvurderte systematiske oversikter Systematiske oversikter Kvalitetsvurderte enkeltstudier Enkeltstudier DiCenso A, 2009

15 Studies (primærstudier) Førstegangpublisering av et forskningsarbeid. Ofte publisert som artikkel i et tidsskrift, men kan også være i bok- eller rapportform. Eksempler: Observasjonsstudier tverrsnittsstudier, case-kontroll studier, kohortstudier Eksperimentelle randomisert kontrollert studie Kvalitativ studie

16 Observasjonsstudier

17 Tverrsnittsstudie En tverrsnittsstudie (eller prevalensstudie) er en studie der informasjon er samlet på en planlagt måte i en definert populasjon (helst et representativt utvalg) på et tidspunkt.

18 Fordeler og ulemper med tverrsnittsstudier Fordeler: Relativt billig og enkel å gjennomføre Ulemper: Kan ikke avdekke årsaksforhold

19 Kasus-kontroll studie Studiepopulasjonene er definert på bakgrunn av utfallet/sykdommen Graden av eksposisjon (det pasienten er utsatt for) eller risikofaktorer blir målt i de to gruppene som sammenlignes Retrospektivt forløp (bakover i tid)

20 Kasus-kontroll studier Tid Utsatt Ikke Utsatt Utsatt Ikke Usatt Forskning Cases (personer med sykdom) Controls (personer uten sykdom) March 17,

21 Kasus kontroll typiske fordeler og ulemper - Retrospektiv - Billig og rask Lav forekomst (sjeldne sykdommer) Spesielle utfordringer Valg av kontroll Recall bias Årsak/virkning Confounding

22 Kohort Eksponert Utfall Populasjon Ueksponert Utfall

23 Kohortstudie Studiepopulasjonene er definert på bakgrunn av eksposisjonen (det pasienten er utsatt for) Utfall sammenlignes i gruppene med og uten eksposisjon eller risikofaktor Vanligvis er prospektivt forløp (fram i tid)

24 Kan vi stole på resultatene fra observasjons-studier? Risiko for metodefeil (bias) Seleksjonsskjevhet Observasjonsskjevhet Confounding / forvekslingsfaktorer

25 Seleksjonsskjevhet Systematisk forskjell mellom gruppene som sammenlignes de som er med i studien og de som ikke er med Er gruppene godt beskrevet og valgt fra veldefinert populasjon? Er det noen spesielle særtrekk ved noen av gruppene? Ble alle personene som burde vært inkludert tatt med? Er antall deltakere tilstrekkelig? Hvordan kan vi vite noe om det?

26 Observasjonsskjevhet Systematisk forskjell i innsamling av informasjon mellom gruppene som sammenlignes Unøyaktig måling av eksposisjon eller utfall Hvem målte eksposisjonen? Er eksposisjon klart definert og nøyaktig målt? Er metodene for utfallsmåling pålitelige? Er utfallsmål subjektivt eller objektivt definert? Var den som målte utfall blindet for gruppetilhørighet? Ble samme målemetode brukt i de forskjellige gruppene?

27

28 Randomisert kontrollert studie Populasjonen fordeles tilfeldig (randomiseres) til grupper En gruppe mottar tiltaket som skal evalueres, - den andre gruppen får et kontrolltiltak Utfall måles i gruppene

29 Hvorfor randomisering? Randomisering fører til en tilfeldig fordeling av prognostiske faktorer (både kjente og ukjente) i gruppene Randomisering gir like grupper

30 Randomiserte kontrollerte studier (RCT) Tiltak Gruppe 1 Utfall Populasjon Kontroll Gruppe 2 Utfall Seleksjonsskjevhet Utførelsesskjevhet Observasjonsskjevhet

31 Fordeler og ulemper ved randomiserte forsøk Fordeler Gullstandard for evaluering av effekt av et tiltak Lik fordeling av kjente og ukjente prognostiske faktorer Blinding er mulig Ulemper Ressurser (tid og penger), rekrutterer frivillige (kan gi seleksjonsskjevhet), etisk problematisk til tider Men dersom du ikke vet om noe virker (eller skader) er det bedre å gi det til alle enn til halvparten?

32 Kvalitative design Går i dybden (mange opplysninger/ DIMENSJONER) med få informanter Problemstilling kan utvikles i løpet av datainnsamling Direkte kontakt med informantene Observasjon, tekstanalyse og intervju

33 Vi drukner i publikasjoner > medisinske, vitenskapelige tidsskrifter 1,5 millioner artikler/år 11 systematiske oversikter hver dag

34 Vi har en utfordring! Informasjonsmengden kan bli uhåndterlig dersom vi skal bruke primærstudier En god løsning er å bruke systematiske oversiktsartikler (SR) som har summert all forskningsbasert kunnskap om et avgrenset område

35 Systematisk oversikt Ny analyse av resultater fra flere studier Resultater som kan sammenlignes Alle relevante enkeltstudier

36 Oversiktsartikkel vs Systematisk oversikt Oversiktsartikkel Flere spørsmål Ingen søkestrategi Ingen inklusjonskriterier Ingen systematisk sammenstilling av resultater Systematisk oversikt Ett spørsmål Eksplisitt søkestrategi Eksplisitte inklusjonskriterier Sammenstilte resultater (metaanalyse)

37 Trinn i systematiske oversikter Spørsmålsformulering Reformulering Eksperter Prosjektplan Litteratursøk Sortering (inklusjon/eksklusjon) Kunnskapssenterets forskere/bibliotekarer Vurdering av risiko for skjevheter Dataekstraksjon/analyser GRADE Rapport Eksperter

38 Studiedesign og risiko for skjevheter (bias) SR Metaanalyser RCT Kontrollerte studier med pseudo- randomisering Kontrollerte studier uten randomisering Prospektiv kohortstudie med samtidig kontroll Prospektiv kohortstudie med historisk kontroll Historisk prospektiv kohort Kasuskontroll studie Pasientserier Tverrsnittstudier

39 S-modellen Systemer Oppslagsverk og retningslinjer Kvalitetsvurderte systematiske oversikter Systematiske oversikter Kvalitetsvurderte enkeltstudier Enkeltstudier DiCenso A, Bayley L & Haynes RB. (2009). ACP Journal Club. Editorial: Accessing preappraised evidence: fine-tuning the 5S model into a 6S model. Annals of Internal Medicine, 151(6), JC3-2, JC3-3.

40

41

42 Kvalitetsvurdering Det er ikke gull i alt som glimrer

43 Kritisk vurdering

44 FORSKERALARM Rødt kjøtt gir kreft Oppdrettslaks gir kreft Soyabønner gir kreft Kreftmedisin gir kreft Solarium gir kreft Toppløssoling gir kreft Aspirin gir kreft Oralsex gir kreft P-piller gir brystkreft Gulrøtter mot kreft Kål mot kreft Superbrokkoli mot kreft Olivenolje mot kreft Soling mot kreft Grønnsaksgift mot kreft Aspirin mot kreft Onani mot kreft

45 Kritisk vurdering av forskningsartikler

46 Formålet med kritisk vurdering Er å vurdere den metodiske kvaliteten på studiene Er å luke ut studier hvor vi ikke kan stole på resultatene Er å beskrive og vurdere kvaliteten på studier som tas med Er å kunne vektlegge metodisk gode studier 46

47 Hovedpunkter ved kritisk vurdering Kan vi stole på resultatene? Hva forteller resultatene? Kan resultatene overføres til min praksis?

48 Begynnelsen til all visdom ligger ikke i svaret, men i spørsmålet Eller sagt på en annen måte: Det er umulig å tenke klart om et uklart spørsmål (Peter Hjort) 48

49

50

51

52 1. Er formålet i oversikten klart formulert? 52

53 2. Søkte forfatterne etter relevante type studier? - Tenk PICOS 3. Er det sannsynlig at viktige og relevante enkeltstudier er funnet? Les om søket 53

54 4. Er kvaliteten på de inkluderte studiene tilstrekkelig vurdert? 54

55 5. Dersom resultater fra de inkluderte studiene er kombinert statistisk i en metaanalyse, var dette fornuftig/ forsvarlig? Tenk om det er lik PICOS.. 55

56 6. Hva forteller resultatene? 7. Hvor presise er resultatene? (KI) 56

57 8. Kan resultatene overføres til praksis? 9. Ble alle viktige utfallsmål vurdert? 11. Er fordelene verdt ulemper og kostander? 57

58 TIPS når dere skal kritisk vurdere en artikkel Abstrakt for å se kort hva forskningsspørsmålet er (se etter PICOs) Metodekapittel/-avsnitt for å se på metodisk kvalitet 58

59 METODISK KVALITET Høy kvalitet Brukes hvis alle eller nesten alle kriteriene fra sjekklisten er oppfylt. Eventuelle svakheter kan ikke endre studiens konklusjon Middels kvalitet Brukes hvis noen av kriteriene fra sjekklisten ikke er oppfylt eller hvis kriteriene ikke er tilfredsstillende beskrevet. Det antas likevel at det er liten sjanse for at svakhetene faktisk kunne ha endret studiens konklusjon Lav kvalitet Brukes hvis få eller ingen kriterier fra sjekklisten er oppfylt eller ikke er tilfredsstillende beskrevet. Svakhetene kan innebære at studiens konklusjon er gal 59

60 Kvalitetsvurdering av kunnskapsgrunnlaget Er det brukt relevant studiedesign? Hvor mange pasienter var involvert? Hvor gammel er studien/oversikten? Hva var konklusjonen? Er resultatene overførbare til norske forhold? Sammenheng mellom anbefalinger og forskning

61 Metoderapporten

62

63