Dekningsintervall: Ny metode for å anslå usikkerhet i resultater fra registre Kari Krizak Halle, statistiker, PhD Seksjon for medisinske kvalitetsregistre, St. Olavs hospital
Medisinske kvalitetsregistre Resultater fra medisinske kvalitetsregistre skal brukes som styringsverktøy og til kvalitetsforbedring, være en kilde til kvalitetssikring og forskning. Datakvalitet: God datakvalitet er nødvendig for at et medisinsk kvalitetsregister skal kunne gi pålitelig kunnskap om behandlingstilbudet i helsetjenesten. Dekningsgraden er kanskje den viktigste dimensjonen for å beskrive datakvaliteten. Lav dekningsgrad kan være en stor kilde til usikkerhet i resultater fra medisinske kvalitetsregistre. 2
Eksempler på resultater I 2016 fikk 40% av pasientene behandling innen anbefalt tid. I 2016 ble av pasientene utskrevet med blodtrykkssenkende medikamenter. I 2016 fikk 75% av pasientene oppfølging innen 3 måneder. Hvor mye usikkerhet kan det være i disse resultatene? Hvor god er datakvaliteten? 3
Måloppnåelse Hvor stor andel av pasientene på sykehuset fikk behandling innen anbefalt tid? 4
Dekningsgrad <100% F.eks. 60% av pasientene blir registrert inn i registeret. I registeret Ikke i registeret Dekningsgrad: 60% 5
Måloppnåelse Pasienten fikk behandling innen anbefalt tid Pasienten fikk ikke behandling innen anbefalt tid Måloppnåelse: 50% Hva kunne måloppnåelsen ha vært dersom alle pasientene ble registrert? 6
«Worst case» Pasientene som ikke ble registrert i registeret fikk ikke behandling innen anbefalt tid. Måloppnåelse = 30% 7
«Best case» Alle pasientene som ikke var registrert i registeret fikk behandling innen anbefalt tid. Måloppnåelse = 8
Dekningsintervall «Worst case» og «best case» viser nedre og øvre grense for observert måloppnåelse. Dette intervallet er dekningsintervallet. I eksempelet vårt er observert måloppnåelse i registeret: 50%, Dekningsgrad: 60%, Dekningsintervall: (30%,). 9
Dekningsintervall La p være observert måloppnåelse i registeret. La d være dekningsgrad for enheten. Dekningsintervallet for observert måloppnåelse er [pp dd, pp dd + 1 dd ] 10
Eksempel Andel måloppnåelse per sykehus Dekningsgrad Sykehus G (N=439) 91% Sykehus G (N=439) 48% Sykehus H (N=2974) 84% Sykehus H (N=2974) 27% Sykehus E (N=2754) 82% Sykehus E (N=2754) 93% Sykehus C (N=1542) 80% Sykehus C (N=1542) 76% Sykehus B (N=20) 75% Sykehus B (N=20) 97% Sykehus F (N=5827) 73% Sykehus F (N=5827) 25% Sykehus I (N=100) Sykehus I (N=100) 87% Sykehus A (N=100) Sykehus A (N=100) 60% Sykehus D (N=249) 38% Sykehus D (N=249) 71% 0% 20% 40% 60% 80% 100% Hvor pålitelig er disse resultatene? 0% 20% 40% 60% 80% 100% 11
Eksempel To sykehus (A og I) med likt antall pasienter og lik måloppnåelse. Andel måloppnåelse Dekningsgrad Sykehus G (N=439) 91% Sykehus G (N=439) 48% Sykehus H (N=2974) 84% Sykehus H (N=2974) 27% Sykehus E (N=2754) 82% Sykehus E (N=2754) 93% Sykehus C (N=1542) 80% Sykehus C (N=1542) 76% Sykehus B (N=20) 75% Sykehus B (N=20) 97% Sykehus F (N=5827) 73% Sykehus F (N=5827) 25% Sykehus I (N=100) Sykehus I (N=100) 87% Sykehus A (N=100) Sykehus A (N=100) 60% Sykehus D (N=249) 38% Sykehus D (N=249) 71% 0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100% Hvilket resultat er mest pålitelig? 12
Konfidensintervall? Andel måloppnåelse med konfidensintervall Sykehus G (N=439) Sykehus H (N=2974) Sykehus E (N=2754) Sykehus C (N=1542) Sykehus B (N=20) Sykehus F (N=5827) Sykehus I (N=100) Sykehus A (N=100) Sykehus D (N=249) 91% 84% 82% 80% 75% 73% 38% 0% 20% 40% 60% 80% 100% Sykehus A og I har likt konfidensintervall, Sykehus A har 60% dekningsgrad, Sykehus I har 87% dekningsgrad. 13
Dekningsintervall Andel måloppnåelse med dekningsintervall Sykehus G (N=439) Sykehus H (N=2974) Sykehus E (N=2754) Sykehus C (N=1542) Sykehus B (N=20) Sykehus F (N=5827) Sykehus I (N=100) Sykehus A (N=100) Sykehus D (N=249) 91% 84% 82% 80% 75% 73% 38% 0% 20% 40% 60% 80% 100% Sykehus A har 60% dekningsgrad og sykehus I har 87% dekningsgrad. 14
Eksempel Sykehus H har N=2974 pasienter, 84% måloppnåelse og 27% dekningsgrad. Andel måloppnåelse Sykehus G (N=439) Sykehus H (N=2974) Sykehus E (N=2754) Sykehus C (N=1542) Sykehus B (N=20) Sykehus F (N=5827) Sykehus I (N=100) Sykehus A (N=100) Sykehus D (N=249) 91% 84% 82% 80% 75% 73% 38% 0% 20% 40% 60% 80% 100% Hvor usikkert er resultatet? 15
Andel måloppnåelse med konfidensintervall Sykehus G (N=439) 91% Andel måloppnåelse med dekningsintervall Sykehus G (N=439) 91% Sykehus H (N=2974) 84% Sykehus H (N=2974) 84% Sykehus E (N=2754) 82% Sykehus E (N=2754) 82% Sykehus C (N=1542) 80% Sykehus C (N=1542) 80% Sykehus B (N=20) 75% Sykehus B (N=20) 75% Sykehus F (N=5827) 73% Sykehus F (N=5827) 73% Sykehus I (N=100) Sykehus I (N=100) Sykehus A (N=100) Sykehus A (N=100) Sykehus D (N=249) 38% Sykehus D (N=249) 38% 0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100% Sykehus H har 27% dekningsgrad. 16
Oppsummering Konfidensintervall tar hensyn til antall pasienter/hendelser, ikke dekningsgraden. Bruk av konfidensintervall for registerdata kan gi feilaktige konklusjoner. Dekningsintervallet viser hva observert måloppnåelse kunne ha vært dersom dekningsgraden var 100%. Når registeret har beregnet sin dekningsgrad, bør man vurdere å bruke dekningsintervall når man ønsker å vise usikkerhet rundt observert måloppnåelse. 17
Spørsmål? Kontaktinformasjon: kari.krizak.halle@stolav.no 18