Kunnskapsesenterets nye PPT-mal

Transkript

1 Bodø 6. desember 2012 Kvalitetsvurdering av forskningsartikler Kunnskapsesenterets nye PPT-mal - Det er ikke gull i alt som glitrer Elisabeth Jeppesen, forsker, Nasjonalt kunnskapssenter for helsetjenesten, eje@nokc.no Læringsmål Se behovet for å være kritisk til forskning Lære å være konstruktivt kritisk Vite hvor kan du finne relevante hjelperessurser Hva påvirker kvaliteten til primærstudier Hva påvirker kvaliteten til systematiske kunnskapsoversikter 1

2 Trinn IV Kritisk vurdere 3 Medisinsk litteratur kan sammenlignes med en jungel: hurtigvoksende, full av dødt materiale og plaget av edderkopper og slanger. Den skjuler likevel en og annen skatt. Peter Morgan, Scientific Editor, Canadian Medical Association 2

3 FORSKERALARM Rødt kjøtt gir kreft Oppdrettslaks gir kreft Soyabønner gir kreft Kreftmedisin gir kreft Solarium gir kreft Toppløssoling gir kreft Aspirin gir kreft Oralsex gir kreft P-piller gir brystkreft Gulrøtter mot kreft Kål mot kreft Superbrokkoli mot kreft Olivenolje mot kreft Soling mot kreft Grønnsaksgift mot kreft Aspirin mot kreft Onani mot kreft 6 3

4 Ulike forskningsmetoder (design) ENKELTSTUDIER OVERSIKTSARTIKLER Systematiske oversikter (SR) Meta-analyser Meta-synteser BASALFORSKNING Det starter med et spørsmål? Spørsmål Design Spørsmålet bestemmer hvilket design eller forskningsopplegg som bør benyttes Vi trenger ulike typer studier for å besvare ulike spørsmål 8 4

5 Som du roper i skogen Mange mener mangt om mye Hvem kan du stole på, og hva bør du lete etter? Klare og tydelige spørsmål en forutsetning (PICO) Kjernespørsmål Tema Erfaringer Spørsmål Hvordan opplevesdetå ha dette problemet? Best egnet studiedesign Kvalitative Utbredelse Hvor mange har dette problemet? Tverrsnitt Årsak/ risiko Prognose Diagnostikk Effekt Hvorforfår noen dette problemet mens andre holder seg friske? Hvordan går detmed de som har dette problemet Hvordan avgjøreom en pasient er syk? Hva bør vi gjørefor å forebygge eller behandle problemet? Kasus-kontroll / kohorte Kohorte Tverrsnitt m/ referanse RCT RCT Gode forskningsbaserte svar fordrer GODE studier 5

6 Studies (primærstudier) Førstegangpublisering av et forskningsarbeid. Ofte publisert som artikkel i et tidsskrift, men kan også være i bok- eller rapportform. Eksempler: Observasjonsstudier tverrsnittsstudier, case-kontroll studier, kohortstudier Eksperimentelle randomisert kontrollert studie Kvalitativ studie Observasjonsstudier 6

7 Tverrsnittsstudie En tverrsnittsstudie (eller prevalensstudie) er en studie der informasjon er samlet på en planlagt måte i en definert populasjon (helst et representativt utvalg) på et tidspunkt. Fordeler og ulemper med tverrsnittsstudier Fordeler: Relativt billig og enkel å gjennomføre Ulemper: Kan ikke avdekke årsaksforhold 7

8 Kasus-kontroll studie Studiepopulasjonene er definert på bakgrunn av utfallet/sykdommen Graden av eksposisjon eller risikofaktorer blir målt i de to gruppene som sammenlignes Retrospektivt forløp Kasus-kontroll studier Tid Utsatt Ikke Utsatt Utsatt Ikke Usatt Forskning Cases (personer med sykdom) Controls (personer uten sykdom) January 7,

9 Kasus kontroll typiske fordeler og ulemper Kasus-kontroll Retrospektiv Billig og rask Lav forekomst Spesielle utfordringer Valg av kontroll Recall bias Årsak/virkning Confounding Kohort Eksponert Utfall Populasjon Ueksponert Utfall 9

10 Kohort studie Studiepopulasjonene er definert på bakgrunn av eksposisjonen Utfall sammenlignes i gruppene med og uten eksposisjon eller risikofaktor Vanligvis er prospektivt forløp Kan vi stole på resultatene fra observasjonsstudier? Seleksjonsskjevhet Observasjonsskjevhet Confounding / forvekslingsfaktorer 10

11 Seleksjonsskjevhet Systematisk forskjell mellom gruppene som sammenlignes eller mellom de som er med i studien og de som ikke er med Er gruppene godt beskrevet og valgt fra veldefinert populasjon? Er det noen spesielle særtrekk ved noen av gruppene? Ble alle personene som burde vært inkludert tatt med? Er antall deltakere tilstrekkelig? Hvordan kan vi vite noe om det? Observasjonsskjevhet Systematisk forskjell i innsamling av informasjon mellom gruppene som sammenlignes - unøyaktig måling av eksposisjon eller utfall: Hvem målte eksposisjon? Er eksposisjon klart definert og nøyaktig målt? Er metodene for utfallsmåling pålitelige? Er utfallsmål subjektivt eller objektivt definert? Var den som målte utfall blindetfor gruppetilhørighet? Ble samme målemetode brukt i de forskjellige gruppene? 11

12 Randomisert kontrollert studie Populasjonen fordeles tilfeldig (randomiseres) til grupper En gruppe mottar tiltaket som skal evalueres, -den andre gruppen får et kontrolltiltak Utfall måles i gruppene Hvorfor randomisering? Randomisering fører til en tilfeldig fordeling av prognostiske faktorer (både kjente og ukjente) i gruppene randomisering gir like grupper 12

13 Randomiserte kontrollerte studier (RCT) Tiltak Gruppe 1 Utfall Populasjon Gruppe 2 Kontroll Utfall Seleksjonsskjevhet Utførelsesskjevhet Observasjonsskjevhet Fordeler og ulemper ved randomiserte forsøk Fordeler Gullstandard for evaluering av effekt av et tiltak Lik fordeling av kjente og ukjente prognostiske faktorer Blinding er mulig Ulemper Ressurser (tid og penger), rekrutterer frivillige (kan gi seleksjonsskjevhet), etisk problematisk til tider Men dersom du ikke vet om noe virker (eller skader) er det bedre å gi det til alle enn til halvparten? 13

14 Kvalitative metoder Systematisk tilnærming for å beskrive eller forstå ett eller flere fenomener eller sammenhenger Kvalitative design Forskningsopplegg der man ønsker å forstå fenomener i en helhet Går i dybden (mange opplysninger/ DIMENSJONER) med få informanter Problemstilling kan utvikles i løpet av datainnsamling Direkte kontakt med informantene Observasjon, tekstanalyse og intervju 14

15 Vi drukner i publikasjoner > medisinske, vitenskapelige tidsskrifter 1,5 millioner artikler/år 11 systematiske oversikter hver dag Vi har en utfordring! Informasjonsmengden kan bli uhåndterlig dersom vi skal bruke primærstudier En god løsning er å bruke oversiktsartikler (systematic reviews/sr) som har summert all forskningsbasert kunnskap om et avgrenset område 15

16 Systematiske oversikter Artikkel Artikkel Artikkel Artikkel Artikkel Oversiktsartikkel vs Systematisk oversikt Oversiktsartikkel Flere spørsmål Ingen søkestrategi Ingen inklusjonskriterier Ingen systematisk sammenstilling av resultater Systematisk oversikt Ett spørsmål Eksplisitt søkestrategi Eksplisitte inklusjonskriterier Sammenstilte resultater (metaanalyse) 16

17 Trinn i systematiske oversikter Spørsmålsformulering Reformulering Eksperter Prosjektplan Litteratursøk Sortering (inklusjon/eksklusjon) Kunnskapssenterets forskere/bibliotekarer Vurdering av risiko for skjevheter Dataekstraksjon/analyser GRADE Rapport Eksperter Studiedesign og risiko for skjevheter (bias) SR Metaanalyser RCT Kontrollerte studier med pseudorandomisering Kontrollerte studier uten randomisering Prospektiv kohortstudie med samtidig kontroll Prospektiv kohortstudie med historisk kontroll Historisk prospektiv kohort Kasuskontroll studie Pasientserier Tverrsnittstudier 17

18 35 Kritisk vurdering Formålet med kritisk vurdering er å vurdere den metodiske kvaliteten på studiene Målet med denne vurderingen er å luke ut studier hvor vi ikke kan stole på resultatene 36 18

19 Hovedpunkter ved kritisk vurdering Kan vi stole på resultatene? Hva forteller resultatene? Kan resultatene overføres til min praksis?

20 39 Begynnelsen til all visdom ligger ikke i svaret, men i spørsmålet Eller sagt på en annen måte: Det er umulig å tenke klart om et uklart spørsmål (Peter Hjort) 40 20

21 PICO: struktur for 3-delt spørsmål P Population I Intervention C Control/comparator Intervensjon Tiltak/ Eksposisjon Pasient Problem Populasjon Utfall Effekt (outcome) O Outcome 1. Er hensikten / spørsmålet i oversikten presist formulert? 2. Er inklusjonskriteriene klare? Tenk PICOS 3. Er det sannsynelig at oversiktsforfatterne har funnet alle relevante studier? 42 21

22 4. Har man vurdert metodisk kvalitet for inkluderte studier? 44 22

23 Sortering (inklusjon/eksklusjon) Oppfyller studien alle inklusjonskriteriene? Oppfyller studien noen av eksklusjonskriteriene? Lesepar! January 7,

24 5. Hvilke analyser er gjort og er de tilfredsstillende? 6. Hva forteller resultatene? 7. Hvor presise er resultatene? (KI) 47 Reinnleggelser 48 24

25 8. Overførbarhet til min praksis? 10. Er alle relevante utfallsmål vurdert? 11. Bør praksis endres som følge av funnene i denne oversikten?

26 51 TIPS når dere skal kritisk vurdere en artikkel Abstrakt for å se kort hva forskningsspørsmålet er (se etter PICO) Metode kapittel/avsnitt for å se på metodisk kvalitet 52 26

27 Les oversikten (10 min) Gå sammen i små grupper (to og to) Bruk sjekklisten Diskuter Vi oppsummerer om 30 minutter 53 Er den systematiske oversikten god? Rask vurdering: Spørsmål hva er PICO? Finding Funnet relevante studier? Appraisal Vurdert inkluderte studier? Synthesis Hva sa resultatene? Transferability overførbart til min praksis? 54 27

28 1. Er hensikten / spørsmålet i oversikten presist formulert? 2. Er inklusjonskriteriene klare? Tenk PICOS 3. Er det sannsynelig at oversiktsforfatterne har funnet alle relevante studier? 4. Har man vurdert metodisk kvalitet for inkluderte studier? 5. Hvilke analyser er gjort og er de tilfredsstillende? 6. Hva forteller resultatene? 7. Hvor presise er resultatene? (KI) 8. Overførbarhet til min praksis? 10. Er alle relevante utfallsmål vurdert? 11. Bør praksis endres som følge av funnene i denne oversikten? METODISK KVALITET Høy kvalitet Brukes hvis alle eller nesten alle kriteriene fra sjekklisten er oppfylt. Eventuelle svakheter kan ikke endre studiens konklusjon. Middels kvalitet Brukes hvis noen av kriteriene fra sjekklisten ikke er oppfylt eller hvis kriteriene ikke er tilfredsstillende beskrevet. Det antas likevel at det er liten sjanse for at svakhetene faktisk kunne ha endret studiens konklusjon. Lav kvalitet Brukes hvis få eller ingen kriterier fra sjekklisten er oppfylt eller ikke er tilfredsstillende beskrevet. Svakhetene kan innebære at studiens konklusjon er gal

29 S-modellen 58 29

30 Takk for oppmerksomheten! Elisabeth Jeppesen 30