SANT eller USANT! Kan vi stole på forskningsresultater?

Transkript

1 SANT eller USANT! Kan vi stole på forskningsresultater? NEI!!!!! Vitenskap søker sannhet, vi kan aldri bli 100 prosent sikre på at noe er sant Vær kritisk til påstand om at det er vitenskapelig bevist Helsestoff Lene A. H. Haakstad NIH Fitness Fagdag Mars 2014 Klimaendringer Kriminalitet Skolepolitikk Enorm utvikling i kommunikasjonskanaler Kunnskap lettere tilgjengelig På godt og ondt! Av den mest siterte medisinske forskningen Ca. 40% av konklusjonene senere ble motbevis (Bø & Herbert 2009) Formidling av forskning i mediene ofte av slett Mismatch kvalitet Media vil ha oppsiktsvekkende overskrifter!!!! Om «noe virker» er ofte effekten liten Rådene vi får gjennom medier og Internett spriker Hva kan gi kreft??? Solkrem, hårfarge, mobilbruk, tatovering, fet fisk, antioksidanter?? Mørk sjokolade med høyt innhold av antioksidanter?? Kaffe, tomater og alkohol både gi og forebygge kreft Helse og trening er godt mediestoff Oppslag kan påvirke vår livsstil og viktige valg vi gjør for oss selv og våre nærmeste På virke forbruksmønster Få konsekvenser for lommeboka Politiske avgjørelser «en ny studie viser at...»... ofte uten en eneste referanse til den aktuelle studien... eller noen form for kritisk vurdering av resultatene! Hva kan gi kreft??? Solkrem, hårfarge, mobilbruk, tatovering, fet fisk, antioksidanter?? Mørk sjokolade med høyt innhold av antioksidanter?? Kaffe, tomater og alkohol både gi og forebygge kreft?? Hvordan skille mellom god og dårlig forskning? 1

2 FORSKNING? Hva er forskning? Forskning er metodisk og systematisk søken etter kunnskap, og mønstre/sammenhenger Generelle (bred basis) Avgrensede områder Science has the potential to amaze, transform and inspire the way every single person on earth thinks of the world and themselves! «Teori handler om det generelle, praksis om tingenes individualitet» The picture we are trying to assemble is often changing while we are assembling it (Aristoteles) Aftenposten

3 Kan vi stole på forskningen? KAN VI STOLE PÅ STATISTIKK? Hva med deltagerne i forskningsprosjekt? Sex Underrapportering vs. overrapportering Vold /kriminalitet Sunt kosthold Rusmiddelmisbruk Alkohol-konsum Røyking Fysisk aktivitet/trening Usunn mat Psykiske problemer Vekt /BMI Informasjonskilder? Gode og dårlige kilder Kunnskapstørst? Hvordan vurderer dere kvalitet og relevans av forskning? Underrapportering av det sensitive, og en overrapportering av det sosialt verdsatte 3

4 Informasjonskilder og typer HVOR ER DET BEST Å LETE? Problemstillingen? Hva var antall lårhalsbrudd 2013? Norgeshelsa ( Lærebøker Internett Google Scholar Fysisk aktivitet / trening Forebygging og behandling Vitenskapelige artikler Hovedkilden til kunnskap Publikasjon i et tidsskrift trenger ikke dette å være et kvalitetskriterium Det hjelper at det er et velrennomert tidsskrift Publication bias Ingen funn eller negative resultater publiseres mer sjelden! Ulike forskningsdesign (Abrams et al 2009, Herbert et al 2005, Thomas et al 2005) 1. Observasjonelle studier Tverrsnittsstudier Prevalensdata og innledende hypoteser Case-control Sammenligner friske med syke personer for å avdekke forutgående sykdomsfremkallende faktorer Kohort design Følger en gruppe mennesker over tid og ser hvem som utvikler sykdom/symptom 2. Intervensjonsstudier Ulike forskningsdesign (Abrams et al 2009, Herbert et al 2005, Thomas et al 2005) 1. Observasjonelle design Tverrsnittsstudier Prevalensdata og innledende hypoteser Observasjonelle data krever validering Case-control gjennom intervensjonsstudier Sammenligner friske med syke personer for å avdekke sykdomsfremkallende faktorer Kohort design Følger en gruppe mennesker over tid og ser hvem som utvikler sykdom/symptom 2. Intervensjonsstudier Intervensjonsstudier Høyest rangerte studiedesignet i hierarkiet Måle effekt av et forebyggende, behandlende eller rehabiliterende tiltak Årsakssammenheng Identifisere årsak - virkning Randomiserte, kontrollerte studier (RCT) (Abrams et al 2009, Herbert et al 2005, Thomas et al 2005) RCT Sammenligner to (flere) gr. av deltakere Én gruppe får behandlingen /tiltak Intervensjonsgruppen Den andre gruppen er K-gr. (kontroll. gr) Får ingen (eller annen) behandling/tiltak Gruppene bør være så like som mulig Kun behandlingen/tiltaket skal skille de to gr. fra hverandre Tilfeldig fordeling til intervensjon og kontroll Randomisere/lodd-trekke Viktige demografiske variabler vil bli likt fordelt mellom de to gruppene (F.eks. utdanning, alder, BMI og helsestatus) 4

5 RCT Hvorfor er det så viktig med en sammenligningsgruppe? Intervensjons gr. Tiltak Uten K-gruppe kan du bare tro, anta, håpe, lure Uten K-gruppe kan vi ikke si noen som helst på bakgrunn av resultatene Pre-test Kontroll - gr. Ingen tiltak Post-test Uten K-gruppe ikke forskning, kun tiltak Ex. Effekt av vitamin C på forkjølelse Utelukke om effektene skyldes tilfeldigheter? Deltagere Randomisere Sammenligne resultatene Folk kan bli friske helt på egen hånd!!!! Mange faktorer utenom selve behandlingen kan påvirke resultatene! Kunnskapspyramide (Abrams et al 2009) Noen har allerede oppsummere, kvalitetssikre og bearbeide forskningen som er relevant for deg Systematiske oversikter Kunnskapsoppsummering av mange enkeltstudier over et gitt tema Strenge metodiske krav til studiene som inkluderes Oversiktsartikler kan variere i kvalitet The Cochrane Library Best og størst SJEKKLISTE FOR VURDERING AV FORSKNING Kan vi stole på resultatene? Hvordan tolke resultatene? Kan resultatene være til hjelp i praksis Sjekkliste oversiktsartikkel 1. Er formålet med oversikten klart formulert? Er det et tydelig og relevant spørsmål? Problemstilling? 2. Er det klare kriterier for inklusjon av enkeltstudiene? 3. Er det sannsynlig at alle relevante studier er funnet? Er det søkt i vesentlige databaser Hva er tidsrom for søkene/ når ble siste søk gjort? Hvilke søkeord er oppgitt? 5

6 Sjekkliste oversiktsartikkel 4. Er analysen gjennomført på en tilfredsstillende måte? Var populasjonene og tiltakene i enkeltstudiene like nok til å slås sammen? Var resultatene i enkeltstudiene like nok til å slås sammen (heterogenitet)? 5. Hva forteller resultatene? Kan du oppsummere resultatene for viktige utfall i en setning? Sjekkliste oversiktsartikkel 6. Kan resultatene overføres til praksis? Bør praksis endres som følge av funnene i denne oversikten? Kunnskapspyramide (Abrams et al 2009) Sjekkliste RCT artikkel 1. Er formålet med studien klart formulert? 2. Er en RCT et velegnet design for å besvare spørsmålet? 3. Ble utvalget fordelt til de ulike gr. ved bruk av tilfredsstillende randomiseringsprosedyre? Skjult for den som fordeler (konvolutter) Like gr. ved oppstart av studien? Sjekkliste RCT artikkel 4. Ble gruppene behandlet likt bortsett fra tiltaket som evalueres? 5. Ble deltakere, helsepersonell og utfallsmåler blindet mht. gruppetilhørighet? 6. Ble alle deltakerne gjort rede for ved slutten av studien? Var det stort frafall, - og er frafallet likt fordelt i gruppene? Er grunner for frafall beskrevet? Er frafallet tatt hensyn til i analysen? Ble alle deltakerne i studien analysert i den gruppen de ble randomisert til (intention to treat)? Sjekkliste RCT artikkel 7. Hva er resultatene? Gjennomsnitt (mean) og prosent? Er det en viktig forskjell? Hvor presise er resultatene? Er det oppgitt p-verdi? Hva er bredden av konfidensintervallet? Kan resultatene overføres til praksis? 6

7 Kan resultatene overføres til praksis? Kan resultatene overføres til praksis? Er personene som er inkludert i denne studien representative for de du møter i egen praksis? Er det gjennomførbart? Vil det fungere i virkeligheten? Andre forhold som må vurderes Hva er bakgrunnen for studien? Hvilke referanser brukes i intro/diskusjon? Er forfatterne faglig oppdatert mht. til feltet? Er metode godt beskrevet? Prosjektet skal være etterprøvbart!! Hvor stor er populasjonen (n = x)? Er det tilstrekkelig antall deltagere? Er det gjort styrkeberegninger på forhånd? Ble deltagerne rekruttert på en tilfredsstillende måte? Foreligger det seleksjonsskjevhet? Er deltagerne representative for en definert befolkningsgruppe? (Altermatt, 2008) Andre forhold som må vurderes Er datainnsamlingen standardisert? Er målemetodene pålitelige (valide)? Ble det brukt subjektive vs. objektive målemetoder? Har de med den målemetoden de har valgt mulighet til å evaluere det de faktisk ønsker å måle? Har forfatterne tatt hensyn til kjente, mulige «confoundere» (Altermatt, 2008) Coufounding factor Forurensning Helsetilstand Tobakksrøyking Andre forhold som må vurderes Er oppfølgingstiden lang nok? Hvor lang tid er intervensjonsperioden i RCT eller «follow up» i f.eks. en kohort? Hva er frafall? Hva er svarprosent? Skiller «drop- out» seg fra de som blir fulgt opp og analysert i studien? Sammenfaller resultatene i denne studien med resultatene i andre tilgjengelige studier? (Altermatt, 2008) 7

8 Lett-brus gir ølmage!! ET EKSEMPEL Gir inntak av lettbrus økt buk-omfang? Sammenligne de som ikke drakk lettbrus med stordrikkerne (>1 liter med lettbrus daglig) Lett-brus gir ølmage!! Oppfølgingstid = 3,6 år Økt liv-vidde 0,76 cm (ingen lettbrus) 4,74 cm (> 1 liter lettbrus daglig) Forskerne korrigerte mht.: Kjønn Livvidde ved studiestart Etnisitet Bosted Diabetes Røyking SANT eller USANT! Kan vi stole på forskningsresultater? Lett-brus gir ølmage!! Forskerne korrigerte mht.: Kjønn Livvidde ved studiestart Etnisitet Bosted Studien er ikke designet for å se på Oppfølgingstid = 3,6 Fysisk årsakssammenheng aktivitetsnivå? How? Økt liv-vidde Energiinntak 0,76 cm (ingen lettbrus) og fysisk aktivitet Diabetes som konfoundere? 4,74 cm (2 lettbrus daglig) Røyking HVA VILLE HA VÆRT ET RIKTIG DESIGN?? Mange utfordringer mht. å gjennomføre god forskning og resultater til STOLE på! 8

9 Gode kilder!!!!!! Når du lurer på? Hva som hjelper («best evidence») på en sykdom/lidelse? Gode kilder!!!!!! Når du lurer på? Kunnskapsoppsummeringer Artikkeloversikter Gode kilder!!!!!! Flere tips til fagstoff Når du lurer på? Oversiktsartikler Enkeltstudier RCT Google Scholar forskning.no Norsk Idrettsmedisin Olympiatoppen Helsebiblioteket NSCA SPORTDiscus Svensk idrottsmedicin Biblioteker/fagbiblioteker Litteratur Referanselister Pensumlister Informasjonskilder Magasiner, blader, aviser o.l. Ny informasjon, debatter, kommentarstoff Merk deg kildehenvisning og undersøk nærmere! KRITISK er ikke det samme som negativ! (Torbjørn S. Jacobsen) Bare nysgjerrig og på jakt etter god informasjon! Sulten på ny og PÅLITELIG kunnskap Vær ydmyk og erkjenn at du ikke vet (når du ikke vet...) 9

10 TUSEN TAKK FOR OPPMERKSOMHETEN! 10