Risikostyring ved innføring av nye analyser

Risikostyring ved innføring av nye analyser Tom Øystein Jonassen Avdeling for mikrobiologi, OUS Bioingeniørkongressen 2016 Styringsverktøy for kvalitet i medisinsk mikrobiologi Tilnærmingsmåter Validering Endringskontroll Kontinuerlig forbedring Risikostyring Beste praksis Resultatmål Riktig repertoar Riktige resultater Riktig tid Effektmål Riktig behandling Hindre smittespredning God helseøkonomi 1

Sentrale begreper Falske test positive resultater Falske test negative resultater Sannsynlighet for feil Endepunkt for vurdering av feil Konsekvenser av feil Risikoreduksjon Analysere eller ikke analysere Feil repertoar Feil analyser rekvirert Overdiagnostikk Underdiagnostikk Risikostyring = Strategi for fremtidige uønskede hendelser (feil) 1. Risikovurdering a) Risikoanalyse b) Risikoevaluering 2. Risikohåndtering a) Risikoreduksjon b) Risikokommunikasjon 2

Risikostyring basisspørsmål Beskrive omfanget av prosessen som risikoanalyseres. Spesifiseres hva som ikke er inkludert. Spesifisere endepunktet. Hva kan gå galt? Hvor ofte vil det gå galt? Hvordan kan vi redusere sannsynligheten for at det går galt? Hvor galt kan det gå? Hvordan kan vi redusere konsekvensen av at det går galt? Risikoanalyse Risikomatrise Risiko = Sannsynlighet x Konsekvens 3

Ulike måter for beregning av sannsynlighet for feil Feil per år Feil per 100 analyseringer Feil per 100 rekvisisjoner Prediktive verdier (prevalensavhengig): Hvor mange av de test positive resultatene som er feil Hvor mange av de test negative resultatene som er feil Sensitivitet/spesifisitet (analyseegenskap) Hvor mange positive pasienter som er test negative Hvor mange negative pasienter som er test positive Risikoevaluering basisspørsmål Kan risikoen reduseres kostnadseffektivt? Hvilke trinn gir høyest risiko? Hvilke trinn har høyest forbedringspotensiale? Er restrisikoen akseptabel? Lavere enn ikke å tilby analysen (R < R 0 ) Ulik alvorlighet (konsekvens) for falske positive og falske negative. Hvor mange friske skal vi behandle for å redde en syk? 4

Typer uønskede hendelser Hva vi inkluderer i risikobeskrivelsen har mye å si for hvordan vi analyserer risiko og størrelsen på risikoen. Endepunkt: Analyseresultat Feil analyser brukt, feil resultat, feil tolking, for lang tid, for dyr analyse Endepunkt: Personskade Manglende behandling Feil behandling Smittespredning Økonomisk skade Økonomisk skade går ut over det diagnostiske tilbudet Omdømmeskade Det er viktig at rekvirentene og pasientene stoler på våre svar Ende til ende risiko Biologisk sammenheng mellom analytt og sykdom Preanalytiske forhold Analytiske forhold Tolking, kommunikasjon Helsehjelp R T = R 1 + R 2 + R 3 + R 4 + R 5 5

Risikoverdikjeden Rekvirenten må gjøre en god klinisk vurdering (symptomer, anamnese) Det må tas relevant prøvemateriale Rekvirenten må gi relevante kliniske opplysninger Laboratoriet må ta riktige beslutninger Det må være høy korrelasjon mellom analytt og sykdom Analysen må ha høy kvalitet Analyseringen må skje feilfritt Formidling av resultat og risiko for feil. Typer testresultat Kvalitativ Analytiske forhold Binær (påvist / ikke påvist) Nominal (identifisering, karakterisering) Kvantitativ 6

Det er ikke alltid et klart skille mellom kvantitative og kvalitative analyser. Kvantitative resultat over eller under en referansegrense kan behandles som kvalitative analyser. Enkelte binære analyser baserer seg på måling av mengden av en analytt. Det kan gjelde metoder som ELISA, sanntids PCR og bakteriologisk dyrking. Man kan bruke en cut off verdi for å skille positive og negative resultater. Plassere cut off Cut off og referansegrenser bør plasseres slik at risiko for falske positive balanseres mot risikoen for falske negative. 7

Kvalitative resultater To typer feil resultat Falske positive = type 1 feil Falske negative = type 2 feil Test positiv Test negativ Syk Sanne positive Falske negative Frisk Falske positive Sanne negative Hva er en sann test positiv? Ulike endepunkter Riktig påvisning av analytt? Riktig tolking av resultat? Ekskludere passasjer mikrobe, normalflora, prøvekontaminasjon, vaksineindusert immunreaksjon, maternelle antistoffer Høy korrelasjon med sykdom? 8

Biologiske forhold som påvirker sannsynlighet og konsekvens Tid i sykdomsforløp Kikhoste DNA etter 4 uker Materialtype Hvor finnes analytten? Hvor er analytten assosiert med sykdom? Herpesvirus i spinalvæske. GC PCR i hals kryssreaksjon N.meningitidis Kjønn Alder Epidemiologisk situasjon Tenke langsomt For å beregne spsifisitet må man analysere flere hundre prøver fra friske For å beregne sensitivitet må man ha en fasit å sammenlikne med. Konsultere litteratur Både sannsynligheter og konsekvenser er vanskelig å kvantitere. 9

Det er høy sannsynlighet for at din intuitive vurdering av risiko er feil Undervurdere risikoen ved det man har satt sammen selv (IKEA effekten) Undervurdere risikoer som er vanskelig å kvantitere Undervurdere risikoer som ligger utenfor laboratoriet Undervurdere risikoer som er konstante/generelle (Base rate neglect) Undervurdere risikoer med svært lav sannsynlighet (Black swan effect) Undervurdere konsekvens av gevinst sammenlignet med konsekvens av tap (tapsaversjon) Risiko ved ikke å tilby analyse Endepunkt: analyse 0% sannsynlighet for feil resultat/tolking Endepunkt: pasientbehandling > 0% sannsynlighet for feil behandling Hvis vi analyserer for rhinovirus, har vi ikke kapasitet til å analysere for mykobakterier. Risikovurderingen må også inkludere positive effekter av riktige svar. 10

Prioriteringskriterier Kostnad Prevalens Ikke annen diagnostikk Sykelighet Smittsomhet Myndighetskrav Positiv prediktiv verdi (PPV) = sannsynligheten for at et positivt testresultat er sant Test positiv Test negativ Syk 6 Frisk 2 = 8 PPV = 6:8 = 0,75 11

Negativ prediktiv verdi (NPV) = sannsynligheten for at et negativt testresultat er sant Test positiv Test negativ Syk 4 Frisk 8 = 12 NPV = 8:12 = 0,67 Definisjon av prevalens Epidemiologene snakker om hvor stor del av en befolkning som på et tidspunkt har en bestemt sykdom. For beregning av prediktive verdier er prevalensen: Utbredelse av sykdommen i den delen av befolkningen vi mottar prøver av. Eller andelen av prøvene som har analytten i den materialtypen vi får til analysering. Eksempel: Mycoplasma pneumoniae i spinalvæske. et viktig risikoreduserende tiltak kan være å la være å rekvirere analysering av friske. multiple testing problem prevalens 12

Prediktive verdier er avhengig av prevalens i analyserte prøver Prevalens i prøvene vi analyserer Vi har 100 analyser på menyen Hvis alle prøver er positive på ett av 100 agens, men vi gjør ti analyser på hver prøve. Prevalensen blant prøvene vi analyserer blir da 10 % 13

QuantiFERON TB Gold (QFT) resultat og risiko for tuberkulose Thomas Stig Hermansen et al. Thorax doi:10.1136/thoraxjnl-2015-208228 The multiple testing problem Når man skal estimere sannsynlighet for feil per prøve, må man ta hensyn til hvor mange analyser som gjøres på hver prøve. 14

Kvantitative tester Kvantitative resultater er ikke feil, men mer eller mindre nøyaktige (Nøyaktighet = grad av overensstemmelse mellom et enkelt måleresultat og sann verdi) Måleusikkerhet = standard avvik fra sann verdi (gullstandard) Riktighet = avvik mellom gjennomsnitt og sann verdi (gullstandard) Presisjon = standard avvik fra gjennomsnitt Repeterbarhet Reproduserbarhet Robusthet Måleusikkerhet Høy riktighet Lav presisjon Tilfeldige feil Lav riktighet Høy presisjon Systematiske feil 15

MRSA screening med PCR (1) Analyse som påviser SCCmec kassetten i gule stafylokokker SCCmec kassetten kan mangle meca genet Lav positiv prediktiv verdi (Vi svarer «Uavklart, venter på resultat av dyrking».) MRSA screening med PCR (2) Analyser som påviser: 1. meca genet + 2. gul stafylokokk gen Prøven kan inneholde en blanding av gule stafylokokker og koagulase negative stafylokokker, og MecA genet kan sitte i en koagulase negative stafylokokk. Lav positiv prediktiv verdi 16

Underdiagnostikk = sannsynlighet for falske test positive << sannsynlighet for falske test negative Når kan det være riktig med underdiagnostikk? Ufarlig sykdom som går over av seg selv Belastende behandling Kjønnssykdom hos barn Når konsekvensene er ulike, må det balanseres med sannsynlighet. S*K Falsk negativ S*K Falsk positiv 17

Redusere sansynlighet for falske positive Ny prøve ved positiv screening Bekreftende test ved positiv screening Paralleller Negative kontrollprøver Seleksjon av prøver Justere opp cut off Jo flere prøver du undersøker, jo dårligere blir den positive prediktive verdien, fordi prevalensen for analytten blir lavere. Reduseren sannsynligheten for falske negative Paralleller Positive kontrollprøver Hemmingskontroll (IC) Justere ned cut off Analysere større volum (derfor er bakt skåler så store) Hindre degradering før analysering Da Olafia klinikken begynte å sette gonoré prøvene til dyrking i poliklinikken, økte sensitiviteten til det dobbelte. Ta prøven før start av antibiotikabehandling Ta prøven i riktig tidspunkt Ta riktig materiale 18

Redusere konsekvens av falske positive Risikokommunikasjon Fortelle blodgiver: Du er sannsynligvis ikke smittet, men vi kan ikke bruke blodet ditt. Falsk positiv GC er verre på et lite barn i incest sak enn på en 25 år gammel rundbrenner. be om ny prøve Redusere konsekvens av falske negative Behandle ved klinisk mistanke selv om testresultat er negativt sepsis, encephalitt Ikke blande blodprodukter fra mange givere. 19

Overdiagnostikk = sannsynlighet for falske test positive >> sannsynlighet for falske test negative Når kan det være riktig med overdiagnostikk? Svar: Når falske negative test resultater har alvorligere konsekvenser enn falske positive test resultater. Når konsekvensene er ulike, må det balanseres med sannsynlighet. S*K Falsk positiv S*K Falsk negativ 20

Overdiagnostikk kan være riktig når: Lite alvorlig konsekvens av falske positive: Etterfølgende bekrefting av positive testresultater Etterfølgende oppfølging av pasient Enkel og ufarlig behandling Alvorlig konsekvens av falske negative: Blodgivere Alvorlig sykdom Vanlige svakheter Har vi riktig endepunkt i risikoanalysen (nytten for pasienten)? Feil endepunkt for PPV Har vi for lav fokus på prevalens? Materialtype, Pasientgruppe, Sykdomsstadium Har vi for lite fokus på To do or not to do? Har vi for høy fokus der det er lav risiko? 21

Oppsummering Risikostyring er en tilnærming som kan brukes for å redusere risiko for feilbehandling, manglende behandling og smittespredning pga. feil i den mikrobiologiske laboratorievirksomheten. Identifisere hvor skoen trykker. Tallverdi for risiko i ulike elementer/trinn Hvilken analyse er egnet? Analysere eller ikke analysere? Sette opp riktig analyse. Informere rekvirenten om usikkerhetene/risikoene? 22