Når er statistikeren signifikant?

Transkript

1 Når er statistikeren signifikant? Eirik Skogvoll Professor / overlege dr. med. Institutt for sirkulasjon og bildediagnostikk (ISB) Klinikk for anestesi og akuttmedisin 1

2 Når er statistikeren signifikant? Hva kan en statistiker bidra med i forskningens forskjellige faser (fra plan til publikasjon) Hva statistikeren ikke kan hjelpe med (dårlig utvalg, dårlige mål, stort frafall osv). Hvor og hvordan man får slik hjelp. Medforfatterskap, priser ol. 2

3 En vanlig dag på kontoret Hei, jeg har et datamateriale Jo, vi stilte noen spørsmål og målte noen parametere og så tok vi noen prøver OK hva er det du har undersøkt? Hva var utfallsvariabelen? Vel altså, jeg kan godt sende deg en SPSS-fil Hmmm hva er det EGENTLIG du lurer på? 3

4 De største utfordringene Uklar problemstilling Analyse av data samlet inn for et annet formål (for eksempel administrative formål) Manglende forståelse av problemet med observasjonsstudier, spesielt bruk av historiske kontroller 4

5 Vanlige problemstillinger - 1 Utvalgsstørrelse: «hvor stor n må jeg ha?» Tolkning av resultater fra en statistisk analyse: «Hva betyr det at» Generelle statistiske spørsmål: Hva er egentlig forskjellen på lineær regresjon og korrelasjon? En del av mine observasjoner mangler. Hva kan jeg gjøre da? Kurs: «Trenger jeg all denne teorien? Vil helst (bare) lære det praktiske!» Spesielle statistiske spørsmål: «Hvordan velge riktig regresjonsmodell?» «Hvordan korrigere for utgangsverdien når jeg sammenlikner to grupper?» 5

6 Hva er statistikk? Populasjon Fenomen Utvalg Observasjoner (datainnsamling) Tolkning (inferens) Måling Modell statistisk analyse 6

7 Generell tilnærming Ikke undervurder utfordringen Ta et statistikk-kurs der du møter folk dere kan ha samme type problemer! Skaff deg (minst én) generell lærebok i statistikk Lær deg (minst ett) generelt dataverktøy for statistisk analyse Stata SPSS R 7

8 Hva er det viktigste vi kan bidra med i planleggingsfasen Valg av design Eksperimentell vs. observasjon, randomisering, tverrsnitt, case/control, longitudinell etc. Valg av utfallsvariabel kontinuerlig, kategorisk, binær (1/0), ordinal VELDIG vesentlig for analysemetoden!! Beregning av utvalgsstørrelse («n») En idé om hvorvidt det du leter etter faktisk kan finnes hvis den er der kreves (stort sett) i søknaden til REK 8

9 Hva er det viktigste vi kan bidra med i skrivefasen Veiledning i bruk av programvare ift. analyse data NB! Statistiker er ikke en data manager! Forskeren må regne med å gjøre hovedanalysen og forstå hva han/hun har gjort, selv Forklare/ diskutere hvilken modell man benytter Forutsetninger, feilkilder etc. 9

10 Hva er det viktigste vi kan bidra med i publikasjonsfasen? Presentere statistisk metode i artikkelen I prinsipp skal analysen kunne gjøres av andre uten videre Ved behov et særlig appendix Bidra ved framstilling av resultatene En god figur sier mer enn 1000 t-tester Bidra til å besvare/ avhjelpe ved revisjon av manus Gode kommentarer er verdifulle, re-analyse kan være nødvendig Noen billige innvendinger kan avvises (avvik fra normalitet, krav om bruk av ikke-parametrisk statistikk etc.) 10

11 "... many reviewers' poor understanding of statistics, especially the belief that rules must be blindly followed... whether a particular approach would be "legal" or "against the rules"... This misunderstanding of statistics as a body of seemingly arbitrary dogma leads many reviewers to perceive violations even when the research has not actually been harmed. " Professor Peter Bacchetti Department of Epidemiology and Biostatistics, University of California, San Francisco (BMJ ) 11

12 How to make efficient use of your subjects Re-use subjects if possible, using a repeated measurements design. Intra-subject variance will be reduced, as each subject acts as his own control. Enter more than one experimental factor, using a factorial design. Each subject counts twice (or thrice )! Refine your measurement methods to reduce residual error Never, never, never! dichotomize a continuous outcome variable to a binary one (i.e. 1 or 0)! This has the largest variance. 12

13 Case 1: Det lille materialet Ola jobber på en liten poliklinikk med mye langtidsbehandling/ oppfølging. De ønsker å se på effekten av en ny type intervensjon for pasientene som kan bedre funksjonsnivået for noen. Intervensjonen består i konsentrasjonstrening ved hjelp av et dataprogram. Pasientene med det aktuelle problemet utgjør ca 30 % av ca 100 pasienter i poliklinikken. De aktuelle pasientene får langtidsbehandling (90 % > 1 år), og det kommer 2-4 nye pasienter innen gruppen pr år. Funksjonsnivået innen målgruppen er svært varierende og måles med spørreskjemaet COOP-WONCA. En tidligere undersøkelse på liknende pasientgruppe viser en snittskåre på 19 og standardavvik på 6. Det oppgis at en endring i totalskåre på mer enn 2 er klinisk interessant. Ola har fått midler til å samle data i ett år. Det tenker seg et RCT-design. Kontrollgruppen er tenkt å få "treatment as usual". Kan han få noe ut av dette? Hva kan han gjøre for å bedre sjansene for å få holdbare resultater. 13

14 Case 1 Problemstilling: er intervensjon bedre enn usual? («superiority» design) Utfall: COOP-WONCA (etter ett år?) mean =19, SD = 6, minste interessante forskjell = 2, dvs. standardisert forskjell Δ =2/6 = 0.33 Kontinuerlig utfallsvariabel: t-test, α=0.05, 1-β = 0.8 Bruk software, eller slå opp i tabell: n= 142 i hver gruppe, til sammen 284 pasienter 14

15 . sampsi 19 21, sd(6) pre(1) r1(.7) power(0.8) Estimated sample size for two samples with repeated measures Assumptions: m1 = 19 m2 = 21 sd1 = 6 sd2 = 6 n2/n1 = 1.00 number of follow-up measurements = 1 number of baseline measurements = 1 correlation between baseline & follow-up = Method: POST relative efficiency = adjustment to sd = adjusted sd1 = Estimated required sample sizes: n1 = 142 n2 = 142 Method: CHANGE relative efficiency = adjustment to sd = adjusted sd1 = Estimated required sample sizes: n1 = 85 n2 = 85 Method: ANCOVA relative efficiency = adjustment to sd = adjusted sd1 = Estimated required sample sizes: n1 = 73 n2 = 73 alpha = (two-sided) power =

16 Case 1: mulige alternativer Justere for utgangsverdi (se på endring, heller enn bare skåre ved avslutning) - betyr mye hvis pre- og postverdi er sterkt korrelerte! Ta med andre sentra for å øke inklusjonsraten 16

17 Case 2: Den sjeldne hendelsen Kari jobber på akuttpost i psykiatrien. Siste 6 måneder har det vært 2 suicid i enheten og ett rett etter utskriving. Kari vil bedre fokus på suicidalitet i enheten ved å gi opplæring i suicidalvurdering, samt at det tas inn i en daglig vurdering av de innlagte pasientene. Hun ønsker å få vite noe om effekten av dette. Ved gjennomgang av de siste 5 års innleggelser finner hun 8 suicid i avdelingen og 5 like etter utskriving. Totalt sett har enheten hatt 1600 innleggelser i de samme 5 år. Er det mulig å få svar i løpet av neste år på om endringene er effektive for å redusere suicid? Eventuelt - hvor lenge må Kari observere for å få gyldig svar? Kan Kari endre noe på undersøkelsen sin for å få svar på spørsmålet? 17

18 Case 2 Problemstilling: 13 suicid ila innleggelser (5 år), dvs suicid pr innleggelse Vil ett års observasjon kunne gi holdepunkt for at en reduksjon har funnet sted? Kohort-studie med hsitoriske kontroller (diskutabel!!) Antar 320 innleggelser, forventer 0.008*320 = 2.6, dvs. 2 til 3 suicid ila. ett år 18

19 Case 2 Utfallsvariabel er Poisson-fordelt Forventer 50 % reduksjon, dvs pr innleggelse (realistisk?) Hvor mange år (egentl. innleggelser) må en observere? Test: Chi-kvadrat (evt. Poisson regresjon) 19

20 Problem Sjeldne hendelser Referansen er upresis!. cii , poisson Poisson Exact Variable Exposure Mean Std. Err. [95% Conf. Interval]. cii 320 0, poisson Poisson Exact Variable Exposure Mean Std. Err. [95% Conf. Interval] (*) one-sided, 97.5% confidence interval. cii 320 1, poisson * Poisson Exact Variable Exposure Mean Std. Err. [95% Conf. Interval]

21 . csi Exposed Unexposed Total Cases Noncases Total Risk Point estimate [95% Conf. Interval] Risk difference Risk ratio 0.. Prev. frac. ex. 1.. Prev. frac. pop csi chi2(1) = 2.62 Pr>chi2 = Exposed Unexposed Total Cases Noncases Total Risk Point estimate [95% Conf. Interval] Risk difference Risk ratio Prev. frac. ex Prev. frac. pop chi2(1) = 0.92 Pr>chi2 =

22 . csi Exposed Unexposed Total Cases Noncases Total Risk Point estimate [95% Conf. Interval] Risk difference Risk ratio Prev. frac. ex Prev. frac. pop csi chi2(1) = 0.76 Pr>chi2 = Exposed Unexposed Total Cases Noncases Total Risk Point estimate [95% Conf. Interval] Risk difference Risk ratio Prev. frac. ex Prev. frac. pop chi2(1) = 2.04 Pr>chi2 =

23 . csi Exposed Unexposed Total Cases Noncases Total Risk Point estimate [95% Conf. Interval] Risk difference Risk ratio Prev. frac. ex Prev. frac. pop chi2(1) = 3.27 Pr>chi2 =

24 Case 2: mulige alternativer Velge et surrogat-utfall som man vet er korrelert til det egentlige utfallet (f.eks. suicidale tanker?) Ta med andre sentra for å øke inklusjonsraten 24

25 Case 3: Det store materialet - signifikans vs. effekt-størrelse Tone arbeider med data fra en stor epidemiologisk undersøkelse (N=43000). Hun ser på sammenhengen mellom sosialt nettverk og henvisning til spesialisthelsetjenesten for depresjon i de første 5 år etter at data ble samlet inn. Hun fjerner de som hadde høye depresjonsskårer ved undersøkelsestidspunktet og sitter igjen med personer. Sykehusregisteret viser at 1000 av disse ble henvist med depresjon i 5- års perioden. Hun finner en statistisk signifikant sammenheng mellom dårlig sosialt nettverk og henvisning blant kvinnene med en r= 0.07 (p<0.001). Hva kan dette bety i praksis? Er det noe å bry seg med? 25

26 Utfordringer Statistikeren medforfatter? Ofte! Men avhenger av graden av medvirkning (kfr. Vancouverdeklarasjonen) Statistikeren må forstå biologien og omvendt! Kontakt Enhet for Anvendt klinisk forskning (AKF), e.post til: Gratis enn så lenge (men blir AKF en kjernefasilitet med internfakturering på sikt?) 26