Dekningsintervall: Ny metode for å anslå usikkerhet i resultater fra registre

Transkript

1 Dekningsintervall: Ny metode for å anslå usikkerhet i resultater fra registre Kari Krizak Halle, statistiker, PhD Seksjon for medisinske kvalitetsregistre, St. Olavs hospital

2 Medisinske kvalitetsregistre Resultater fra medisinske kvalitetsregistre skal brukes som styringsverktøy og til kvalitetsforbedring, være en kilde til kvalitetssikring og forskning. Datakvalitet: God datakvalitet er nødvendig for at et medisinsk kvalitetsregister skal kunne gi pålitelig kunnskap om behandlingstilbudet i helsetjenesten. Dekningsgraden er kanskje den viktigste dimensjonen for å beskrive datakvaliteten. Lav dekningsgrad kan være en stor kilde til usikkerhet i resultater fra medisinske kvalitetsregistre. 2

3 Eksempler på resultater I 2016 fikk 40% av pasientene behandling innen anbefalt tid. I 2016 ble av pasientene utskrevet med blodtrykkssenkende medikamenter. I 2016 fikk 75% av pasientene oppfølging innen 3 måneder. Hvor mye usikkerhet kan det være i disse resultatene? Hvor god er datakvaliteten? 3

4 Måloppnåelse Hvor stor andel av pasientene på sykehuset fikk behandling innen anbefalt tid? 4

5 Dekningsgrad <100% F.eks. 60% av pasientene blir registrert inn i registeret. I registeret Ikke i registeret Dekningsgrad: 60% 5

6 Måloppnåelse Pasienten fikk behandling innen anbefalt tid Pasienten fikk ikke behandling innen anbefalt tid Måloppnåelse: 50% Hva kunne måloppnåelsen ha vært dersom alle pasientene ble registrert? 6

7 «Worst case» Pasientene som ikke ble registrert i registeret fikk ikke behandling innen anbefalt tid. Måloppnåelse = 30% 7

8 «Best case» Alle pasientene som ikke var registrert i registeret fikk behandling innen anbefalt tid. Måloppnåelse = 8

9 Dekningsintervall «Worst case» og «best case» viser nedre og øvre grense for observert måloppnåelse. Dette intervallet er dekningsintervallet. I eksempelet vårt er observert måloppnåelse i registeret: 50%, Dekningsgrad: 60%, Dekningsintervall: (30%,). 9

10 Dekningsintervall La p være observert måloppnåelse i registeret. La d være dekningsgrad for enheten. Dekningsintervallet for observert måloppnåelse er [pp dd, pp dd + 1 dd ] 10

11 Eksempel Andel måloppnåelse per sykehus Dekningsgrad Sykehus G (N=439) 91% Sykehus G (N=439) 48% Sykehus H (N=2974) 84% Sykehus H (N=2974) 27% Sykehus E (N=2754) 82% Sykehus E (N=2754) 93% Sykehus C (N=1542) 80% Sykehus C (N=1542) 76% Sykehus B (N=20) 75% Sykehus B (N=20) 97% Sykehus F (N=5827) 73% Sykehus F (N=5827) 25% Sykehus I (N=100) Sykehus I (N=100) 87% Sykehus A (N=100) Sykehus A (N=100) 60% Sykehus D (N=249) 38% Sykehus D (N=249) 71% 0% 20% 40% 60% 80% 100% Hvor pålitelig er disse resultatene? 0% 20% 40% 60% 80% 100% 11

12 Eksempel To sykehus (A og I) med likt antall pasienter og lik måloppnåelse. Andel måloppnåelse Dekningsgrad Sykehus G (N=439) 91% Sykehus G (N=439) 48% Sykehus H (N=2974) 84% Sykehus H (N=2974) 27% Sykehus E (N=2754) 82% Sykehus E (N=2754) 93% Sykehus C (N=1542) 80% Sykehus C (N=1542) 76% Sykehus B (N=20) 75% Sykehus B (N=20) 97% Sykehus F (N=5827) 73% Sykehus F (N=5827) 25% Sykehus I (N=100) Sykehus I (N=100) 87% Sykehus A (N=100) Sykehus A (N=100) 60% Sykehus D (N=249) 38% Sykehus D (N=249) 71% 0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100% Hvilket resultat er mest pålitelig? 12

13 Konfidensintervall? Andel måloppnåelse med konfidensintervall Sykehus G (N=439) Sykehus H (N=2974) Sykehus E (N=2754) Sykehus C (N=1542) Sykehus B (N=20) Sykehus F (N=5827) Sykehus I (N=100) Sykehus A (N=100) Sykehus D (N=249) 91% 84% 82% 80% 75% 73% 38% 0% 20% 40% 60% 80% 100% Sykehus A og I har likt konfidensintervall, Sykehus A har 60% dekningsgrad, Sykehus I har 87% dekningsgrad. 13

14 Dekningsintervall Andel måloppnåelse med dekningsintervall Sykehus G (N=439) Sykehus H (N=2974) Sykehus E (N=2754) Sykehus C (N=1542) Sykehus B (N=20) Sykehus F (N=5827) Sykehus I (N=100) Sykehus A (N=100) Sykehus D (N=249) 91% 84% 82% 80% 75% 73% 38% 0% 20% 40% 60% 80% 100% Sykehus A har 60% dekningsgrad og sykehus I har 87% dekningsgrad. 14

15 Eksempel Sykehus H har N=2974 pasienter, 84% måloppnåelse og 27% dekningsgrad. Andel måloppnåelse Sykehus G (N=439) Sykehus H (N=2974) Sykehus E (N=2754) Sykehus C (N=1542) Sykehus B (N=20) Sykehus F (N=5827) Sykehus I (N=100) Sykehus A (N=100) Sykehus D (N=249) 91% 84% 82% 80% 75% 73% 38% 0% 20% 40% 60% 80% 100% Hvor usikkert er resultatet? 15

16 Andel måloppnåelse med konfidensintervall Sykehus G (N=439) 91% Andel måloppnåelse med dekningsintervall Sykehus G (N=439) 91% Sykehus H (N=2974) 84% Sykehus H (N=2974) 84% Sykehus E (N=2754) 82% Sykehus E (N=2754) 82% Sykehus C (N=1542) 80% Sykehus C (N=1542) 80% Sykehus B (N=20) 75% Sykehus B (N=20) 75% Sykehus F (N=5827) 73% Sykehus F (N=5827) 73% Sykehus I (N=100) Sykehus I (N=100) Sykehus A (N=100) Sykehus A (N=100) Sykehus D (N=249) 38% Sykehus D (N=249) 38% 0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100% Sykehus H har 27% dekningsgrad. 16

17 Oppsummering Konfidensintervall tar hensyn til antall pasienter/hendelser, ikke dekningsgraden. Bruk av konfidensintervall for registerdata kan gi feilaktige konklusjoner. Dekningsintervallet viser hva observert måloppnåelse kunne ha vært dersom dekningsgraden var 100%. Når registeret har beregnet sin dekningsgrad, bør man vurdere å bruke dekningsintervall når man ønsker å vise usikkerhet rundt observert måloppnåelse. 17

18 Spørsmål? Kontaktinformasjon: 18