Hvordan skal man vurdere vitenskapelig kvalitet og forsvarlighet i kvantitative studier?

Transkript

1 Hvordan skal man vurdere vitenskapelig kvalitet og forsvarlighet i kvantitative studier? (implisitt: vitenskapelig kvalitet er et forskningsetisk anliggende) Finn Wisløff REK 29. august 2013

2 VITENSKAPELIG KVALITET ER EN NØDVENDIG, MEN IKKE TILSTR FORUTSETNING FOR AT ET FORSKNINGSPROSJEKT SKAL VÆRE KAN ET UNYTTIG PROSJEKT VÆRE FORSVARLIG? R I S I K O NYTTE

3 «Science is nothing more than a refinement of our everyday thinking» Albert Einstein Forskningen kan virke uforståelig pga Utilgjengelig terminologi Kompliserte instrumenter Uforståelig statistikk Det er ikke noe mystisk ved forskning Kvantitativ forskning: endepunktene måles objektivt og reproduserbart. Vi bruker våre sanser (evt forlenget med instrumenter), vår observasjonsevne og evne til å resonnere på samme måte som i hverdagen, men på en mer systematisk måte Vanlige interesserte samfunnsmedlemmer kan i mye større grad forstå og vurdere forskning

4 Kliniske studier (satt i system fra 1950-årene) James Lind Studie på skjørbuk Seks par sjømenn i samme lugar med samme diett fikk svovelsyre, eddik, sjøvann, sider eller klyster, det sjette paret fikk to appelsiner og en sitron hver dag Selv en (for) liten studie kan gi sikre svar hvis resultatene er klare Behandlingen kan virke selv om teorien er gal eller utilstrekkelig Motstanden i legestanden var massiv

5 Krav til kliniske studier 1. Helst: en hypotese om årsak og mulig behandling Stjerneeksempel: kronisk myelogen leukemi

6 Philadelphiakromosom: fusjonsgenet BCR-ABL Tyrosin kinase Imatinib

7 2. Definisjon av sykdommen Diagnosekriterier Radesygen Syfilis? Lepra? Skabb? Skjørbuk? ME, chronic fatigue syndrome Ingen diagnostiske laboratorietester eller biomarkører Alternativ medisin behandler symptomer, ikke sykdommer, og unngår dette kravet

8 3. Det må være klart hvilke pasienter som skal være med i studien populasjon Tilbakeføring av konklusjoner Tilfeldig utvalg

9 Skjev seleksjon av pasienter? For hvem gjelder resultatene????? Kun 3% av kreftpasientene i USA er med i kliniske studier (Medscape 2013)

10 4. Hvordan skal man fastslå om behandlingen virker? Primære og sekundære endepunkter defineres in protokollen, og bare disse skal analyseres 5. Hvor mange pasienter er nødvendig for å påvise en meningsfylt forskjell i det primære endepunktet? Beregning av utvalgsstørrelse

11 6. Studien må ha en gjennomarbeidet design Observasjonsstudier Kan gi overbevisende resultater «Insulineffekt» 1922 «Penicillineffekt» 1944

12 Toronto General Hospital, 1922 Banting, Best og Collip Insulineffekten, vist på 50 barn med coma diabeticum

13 Observasjonsstudie av type kasus-kontroll (R. Doll og A. Bradford Hill, 1950 Hva er årsaken til lungekreft? 2 av 649 mannlige leger med lungekreft var ikke-røykere I kontrollgruppen (like stor) var det 27 ikkerøykere (p<0.001) Feilkilder?

14 Observasjonsstudie med historiske kontroller (Kreftregisteret)

15 Populasjonsstudier uten kontroller Eksempel: Sammenheng mellom vindrikking og død av hjerteinfarkt Leger et al, Lancet 1979

16 Alkoholinntak og relativ risiko for å dø

17

18 Gullstandard Randomiserte kliniske studier (fra 1950-årene): nota bene Seleksjon av pasienter Randomiseringsprosedyrer Blinding Pasient, evt placebo, ikke alltid mulig Forsker, nesten alltid mulig å blinde endepunktevalueringen Beregning av utvalgets størrelse Type I og II feil Statistisk vs klinisk signifikans

19 Publisering Alle studier må publiseres, selv om resultatet er «negativt» og mislikes av eventuelle oppdragsgivere Austin Bradford Hill 1960: Hvorfor startet du studien? Hva gjorde du? Hva fant du? Hva betyr resultatene?

20 Kliniske studier: eksplosiv økning Periode Antall randomiserte, kontrollerte studier : Tabellen under viser, med tall hentet fra (5), antall randomiserte, kontrollerte studier i årene som er registrert I PubMed

21 Utfordringer til evidensbasert medisin Innføring av nye behandlingsmetoder uten tilfredsstillende vitenskapelig dokumentasjon Medisinsk-teknisk utstyr, kirurgiske metoder Björk-Shiley ventilen HMAS ved metastaserende brystkreft Kliniske studier ikke dimensjonert for å påvise sjeldne bivirkninger Avhengig av omhyggelig rapportering av bivirkninger etter registrering

22 For få industri-uavhengige studier? For lite offentlige forskningsmidler til klinisk forskning For lite forskning på emner med liten prestisje Kroniske sykdommer, geriatri, pleie og omsorg, allmennpraksis Forskning strengere regulert enn medisinsk praksis

23 For få gamle pasienter i kliniske studier Kolesterolsenkende midler Bivirkninger av NSAIDs hyppigere hos eldre

24 No problem is so big or so complicated that it can t be run away from

25 Andel kliniske studier registrert i 1999 og publisert senest 2007 (BMJ 2013)

26 En mangfoldighet av synder Manglende informasjon om seleksjon, randomisering og blinding Skifte av endepunkter underveis Ikke planlagte og begrunnete subgruppeanalyser Per-protokoll i stedet for «intention-to-treat» analyse (intentionto-cheat?) Ukritisk bruk av surrogatendepunkter blodsukker, kolesterol, blodtrykk, progresjonsfri overlevelse Relativ risiko uten diskusjon av absolutt risiko Klinisk vs statistisk signifikans I store studier kan selv ubetydelige forskjeller bli statistisk signifikante Uberettiget generalisering av resultatene

27 Dårlig klinisk forskning er etisk forkastelig Kaster bort samfunnets ressurser Holder pasienter for narr Utsetter pasienter for unødig risiko

28 Utfordringer til REK Begrunnelse- hvorfor er studien nødvendig? Står nytten i forhold til potensiell risiko for deltagerne? Hypotese, design, definisjon av endepunkter Utvalg av pasienter, beregning av antall Randomisering, blinding (enkel eller dobbel) Statistikk, interimsanalyser, planlagte subgruppenalayser Hvem betaler studien? Informasjon til pasientene Resultatenes potensielle betydning For pasienter, firmaer, forskere, investorer Registrering av studien Garanti for vilje til publisering uansett resultat

29