Valideringshåndbok. Alexander Walnum. Servicemiljødager, 5. og 6. november i Oslo 2015

Transkript

1 Valideringshåndbok Alexander Walnum Servicemiljødager, 5. og 6. november i Oslo 2015

2 Bakgrunn Alle kvalitetsregistre inneholder feil og mangler, det som er avgjørende for at vi skal ha tiltro til resultatene, er at man kartlegger omfanget og betydningen av de feil og mangler som forekommer

3 Derfor Det nasjonale servicemiljøet har utarbeidet en digital håndbok for validering av medisinske kvalitetsregistre. Her finnes forklaringer, anbefalinger, eksempler og linker til relevante nettsider og utfyllende litteratur. Håndboken skal suppleres med flere eksempler etter hvert som registrene opparbeider seg mer erfaring

4 Innholdet i valideringshåndboken Om datakvalitet Dekningsgrad Manglende data Validering Monitorering Organisering Oppsummering

5 Om datakvalitet Datakvalitet Et mål på hvorvidt data kan anvendes i henhold til intensjonen. Kvalitetsdimensjoner Datakvalitet måles langs flere akser: kompletthet validitet sammenlignbarhet aktualitet reliabilitet 5

6 Kompletthet (completeness) måles i kvalitetsregistersammenheng av dekningsgraden (er de pasientene/hendelsene som skal registreres faktisk registrert) og andelen ufullstendige registreringer (en eller flere variabler mangler). Validitet (validity) angir i hvilken utstrekning data er gyldige for den aktuelle populasjonen. Sammenlignbarhet (comparability) er et mål på at inklusjonskriterier og registrerings- og kodingsrutiner er entydelige og samstemte. Aktualitet (timeliness) er et mål på hvor oppdaterte data er. Reliabilitet (reliability) angir en målemetodes grad av pålitelighet eller nøyaktighet. 6

7 Om datakvalitet Validering og monitorering Validering er en kontroll av at data er korrekt registrert og at de data som skal registreres faktisk er registrert. Validering skjer typisk ved å sammenligne registerets data med kildedata, eksterne datakilder eller medisinskfaglige standarder. Monitorering er en overvåkning av hele prosessen omkring arbeidet med å håndtere og drifte et register. Monitorering innebærer at man forsikrer seg om at arbeidet utføres i samsvar med registerplan, retningslinjer, instrukser og gjeldende regelverk. 7

8 Målpopulasjon og dekningsgrad Definisjon av målpopulasjon Entydige inklusjonskriterier, standardiserte kodeverk, andre registreringskriterier (alder, tidsavgrensninger, oppfølging etc.). Beregning av dekningsgrad Med dekningsgrad menes dekningsgrad på individ- eller observasjonsnivå. Dekningsgrad på enhetsnivå, dvs. andelen enheter som deltar i registeret, er som regel mindre interessant. Nasjonal tjeneste for dekningsgradsanalyser 8

9 Manglende data = manglede registreringer + ufullstendige registreringer Poenget er å kartlegge manglene; hvor og hvordan forekommer de og hva er årsakene? Systematiske og tilfeldige mangler Avviker regitreringene/variablene som mangler fra de som er registrert? Statistiske betraktninger Skjevheter, samspill og imputasjon. 9

10 Validering Hensikten er ikke først og fremst å korrigere feil i data, men å estimere hvor mye data som mangler og hvor stor andel som er korrekt registrert. Krav om validering Stadieinndelingsmodell: Stadium 1: beskrive metode for beregning av dekningsgrad og evaluering av datakvalitet Stadium 2: ha konkret plan for beregning av dekningsgrad Stadium 3: beregne dekningsgrad mot uavh. kilde og redegjøre for datakvaliteten Stadium 4: dekningsgradsanalyse 2. hvert år og dokumentere datakvaliteten Regelmessig validering Nøkkelvariabler bør kontrolleres regelmessig (validering er ferskvare), mer omfattende valideringsstudier ved behov. 10

11 Validering Validering mot kildedata God men ressurskrevende valideringsmetode, baseres ofte på et tilfeldig utvalg av enheter og individer. Validering mot eksterne registre Typisk mot sentrale helseregistre, f.eks. Norsk pasientregister. Validering mot en faglig standard Klassifiseringsvariabel mot medisinskfaglig standard eller fasit. Validering når det ikke finnes kildedata Deskriptiv statistikk og rimelighetsvurdering av observert variasjon. 11

12 Validering Utvalg av enheter og pasienter Man estimerer feilrater for et tilfeldig utvalg og ekstrapolerer resultatene. Ved full randomisering trekkes pasientene helt tilfeldig, i en stratifisert trekning trekker man et antall pasienter ved alle enhetene, mens man i en klynget trekning kun trekker noen av enhetene fra hver klynge. Hensiktsmessig inndeling, form, vekting og utvalgsstørrelser med tanke på ønskede feilmarginer, er registerspesifikt. Utvalget skal være representativt, og dette avhenger av registerets natur, antall enheter og pasienter samt klassifisering av disse. 12

13 Validering Utvalgsstørrelse Prinsippene er omtrent som i kliniske studier; utvalgsstørrelsen beregnes fra akseptable feilmarginer. Større sikkerhet medfører større utvalg. Færre sykehus medfører flere pasienter. Korrelasjoner kompliserer beregning av utvalgsstørrelse. For et enkelt numerisk eksempel (for estimering av feilrate) vises utregninger, men i praksis bestemmes ofte utvalgsstørrelsen av gjennomførbarhet. Usikkerhet (halvt 95%-KI) Prevalens 1% 5% 10% 1% 380 5% % % %

14 Validering Dokumentasjon og rapportering Valideringen dokumenteres ifm. rapporter. Resultatetene formidles til deltakende enheter, og ved behov utarbeides tiltaksplaner for å bedre datakvaliteten. Etter valideringen Om de feilaktige data som blir avdekket skal korrigeres avgjøres i hvert enkelt tilfelle basert på feilenes natur og konsekvenser for analysene. 14

15 Monitorering Monitorering innebærer løpende kontroll av at registeret driftes forsvarlig og oppfyller sitt formål. Det krever samarbeid mellom fagmiljøet, helsepersonell, ledere, IKT-personell og analyseansvarlige. Monitorering skal være en del av registerets rutiner. Får pasientene informasjonen de skal ha? Har alle ledd (innregistrering, IKT, analyse) den nedvendige kompetansen? Registreres de rette opplysningene? Følger alle samme mal? Registreres opplysningene når hendelsene skjer? Kan de antas å være korrekte? Hvordan gjennomføres analysene? (statistiske metoder og relevante justeringer) Har alle tilgang til analyser/resultater? Brukes de aktivt i kvalitetsforbedringsarbeid? 15

16 Monitorering Logiske kontroller Logiske kontroller er et sett med vilkår/regler som data skal eller bør innfri både under og etter innregistrering. Valideringsresultater er et godt utgangspunkt for utforming eller forbedring av kriteriene som ligger til grunn for kontrollene. Lokal monitorering og sentral sammenstilling Monitorering krever vanligvis innsats lokalt i enhetene. Lokale monitoreringsresulter sammenstilles sentralt og dokumenteres i monitoreringsrapporter som rapporteres tilbake til de deltakende enhetene. Ved behov utarbeides tiltaksplaner for å bedre rutinene. 16

17 Sporbarhet og dokumentasjon Et register endres over tid; variabler kommer til/faller fra, og definisjoner og diagnosekoder endres. Dette skal loggføres (når, hvorfor, mapping). Opprettelse og endringer av variabler En variabel skal være valid, eksakt og sensitiv for endringer samt være praktisk i bruk og anvendelig med tanke på kvalitetsforbedringsarbeid. Ressurser for variabelvalg Målet er å beskrive klinisk informasjon på en detaljert og stringent måte Klassifikasjons- og kodesystemer (ICD-10, NCSP, NCMP, RESH) Arketyper Variabelbibliotek for nasjonale medisinske kvalitetsregistre Fagsenter for pasientrapporterte data 17

18 Organisering Kompetanse Stikkord for datakvaliteten er kontinuerlig opplæring og vedlikehold lokalt på enhetene med støtte fra registerert, gode hjelpetekster, korte kodingsregler og «sertifisering» av personell for dataregistrering Ressursbehov Validering og monitorering er en nødvendig og integrert del av registerarbeidet. Arbeidet må inkluderes i budsjettene. Juridiske forutsetninger De som har opplysningene, må ha hjemmel for å levere dem ut, og den som mottar opplysningene, må ha et behandlingsgrunnlag. 18

19 Oppsummering og anbefalinger Validering Metode Forløp Sjekkliste Monitorering Rutiner Monitoreringsrapporter Tiltaksplaner Videre lesning og relevante linker 19

20 Now what? Hvordan skal vi bruke valideringshåndboken?