Metodeverifisering innen PNA Fagbioingeniør Kirsti Holden Hvem er jeg? Kirsti Holden Andre foredraget viser det 1
Validering: Validering er definert slik: Bekreftelse fra en undersøkelse og fremskaffing av objektivt bevis på at spesielle krav for tilsiktet bruk er innfridd. [1, 2,3] Hensikten med validering er altså å teste om målemetoden egner seg til formålet. Det er derfor viktig at kravene er satt på forhånd, slik at man objektivt kan bedømme om de er oppnådd. http://doc.noklus.no/handler.ashx?r=nkk&id=val_nkk.pdf Verifisering Verifisering innebærer en noe enklere undersøkelse enn validering, og går ut på å dokumentere at metoden fungerer som forventet i eget laboratorium. 2
Evaluering Et tredje begrep, evaluering, omfatter det samme som validering, men uten at man har satt krav på forhånd. Evaluering gjøres gjerne i forbindelse med publisering av en metode eller som ledd i utvikling av en metode hos en produsent. Ord og uttrykk Presisjon: Variasjonskoeffisient ( tilfeldige feil) Repeterbarhet: Intra-seriell presisjon( Within-run) ( Er de daglige kontrollene som ivaretar) Reproduserbarhet Inter-seriell presisjon (between-run). Målingene er utført i forskjellige serier. Det er vanlig å undersøke inter-seriell presisjon på forskjellige dager, altså dag-til-dag variasjon. (between-day) Riktighet: Absolutt (Bias. Riktighetsavvik, stasjonært avvik. Relativ: Instrumentell bias. Impresisjon: Presisjon uttrykt ved CV (VK) benyttes ofte ved metodevalidering Bias: Systematisk feil - Avvik fra forventningsverdien( sann verdi eller fasit) Total feil: Den største feil blant de 95% mest riktige resultatene Nøyaktighet: Totalfeil i enkeltmålinger. Analysens evne til å måle den sanne verdi i prøven. Standard avvik: Spredningsmål Hentet fra Thoresen 3
Oversikten til Lars 4
Analyseprosesser, Laboratorievirksomheten SSHF Metoder: Kommersielle metoder levert av anerkjente leverandører Metoder publisert i velrennomerte bøker Basert på nasjonale / internasjonale retningslinjer Anerkjente metoder som har vært i bruk over lang tid og vist seg hensiktsmessige og tilfredsstillende Analyserepertoar: Nye analyser Vurderes ut fra behovet som meldes fra brukerne, Anbefalinger fra nasjonale fagråd Ny tilgjengelig metodikk Analysens nytteverdi: Avgjøres i samråd med avdelingsleder, være i tråd med klinisk behov, vedtatt strategi, budsjetter Validering / verifisering: Skjema for endringskontroll, brukes ved innføring av, eller vesentlige endringer i, metoder. Fører endringen til krav om validering eller verifisering. Har et standardisert skjema. Førerendringen til vesentlige endringer i resultater eller tolkninger? Løpende kvalitetskontroll For å sikre at metoden fortsatt tilfredsstiller de krav som er satt i verifiseringsrapporten Analyseprosedyrer Skal være dokumentert i Elektronisk kvalitetsregister. Biologisk referanseintervall / kliniske beslutningsgrenser skal være dokumentert Underleverandører: Ved eventuelle stans, må dette være avklart hvem som da skal utføre analysen. 5
Kvalitetssikre analyseresultatene Laboratorievirksomheten skal tilstrebe så langt det er mulig, sporbarhet til nasjonale, internasjonale standarder eller SI-enheter Ved bruk av underleverandører for kalibrering av utstyr er disse, om mulig, akkrediterte. Interne kvalitetskontroller Brukes for å sikre at den analysekvalitet og sporbarhet som er dokumentert ved METODEVALIDERINGEN holdes ved like. I metodebeskrivelsen og brukerprosedyrene skal det beskrive bruk, håndtering og overvåking av trender for internkontroller. Sammenlignende laboratorieprøvinger SLP Delta i SLP fra eksterne kvalitetsvurderingsordninger, dersom dette finnes. Finnes ikke dette, utveksles prøver, der dette er mulig. Integreres i den rutinemessige arbeidsflyten der det er mulig. SLP skal få samme behandling og oppfølging som pasientprøvene Deltakelse, behandling og oppfølging av SLP skal stå i metodebeskrivelsen /prosedyren. Laboratoriet har oversikt over SLP-deltakelse og program. Sammenlignbarhet for analyseresultater. Ved analysering på flere lokasjoner / analyseinstrumenter skal det utarbeides rutiner som gjør at vi kan oppgi felles usikkerhet. Bestemmes en analytt med flere metoder, skal det skilles i svarrapportene 6
Avtalens praktiske betydninger for PNA - koordinatorene og brukeravdelingen Anbud, må det? Hvis ja, anbudsprosessen Hvis nei: - inngå diskusjoner Avtale om innkjøp. Avtalens praktiske betydninger for PNA - koordinatorene og brukeravdelingen Alle instrumenter inne PNA må verifiseres. Prosedyrer må være oppdaterte Det må innføres et kvalitetsovervåkingssystem Middelware er nødvendig God kommunikasjon med superoperatører i avdelingene Godt samarbeid innen Helseforetaket 7
Avdelingen og laboratoriet er enig at et nytt instrument / analyse skal innføres. Samme skjema om det er innen laboratoriet eller pasientnært. Metodeverifiseringsplan Prosedyrens punkt 1-5 utgjør planen. 1. Beskrivelse av metoden som skal verifiseres Navn, produsent, leverandør, hvor benyttes, etablert metode i avdelingen, endring med hensyn til akkreditering 2. Ansvar for metodeverifiseringen Ansvar for praktisk gjennomføring, Medisinsk faglig rådgiver, annen aktuell personell 3. Bakgrunn for verifiseringen 4. Andre vurderinger Økonomisk-, praktisk-, klinisk-nytteverdi. IT, miljø, annet 5. Verifiseringsplan Lagring av data, log, krav, bestemme hva som skal utprøves, Utførelsen, eventuelle andre undersøkelser. Kvalitetskontroll Godkjenning av planen 8
Metodeverifiseringen Prosedyrens punkt 6-8 utgjør verifiseringen. 1. Rapport: Repeterbarhet, reproduserbarhet, riktighet, annet. Konklusjon 2. Informasjon. IKT-endringer, referansegrenser, dokumeneendringer, oppdateringer, plan for opplæring 3. Godkjenning Oppstart i rutinen, Godkjent av: ansvarlig bioingeniør og medisinsks faglig rådgiver. Eksempler på gjennomførte verifiseringer (Blodgass) Veiledende krav til metoden (fra firma, litteratur, egne) Bestemme hva skal utprøves: Utførelse Metodesammenligning Riktighet ph (nivå:6,9-7,70 Evt. samkjør med pco2) - arteriell blodgassprøyte / Regresjon, n=10 paralleller på alle 3 instrumenter. venøs Li- heparinblod Blodgass: RL 505 mot mentor RL 1265 LAB p02 (nivå: 7-15kPa) - arteriell blodgassprøyte pasient med ph og pco2 / venøs Li- / (venøs) Li-heparinblod pc02 (nivå: 2-8kPa)- (arteriell) blodgassprøyte 2 punkt mentor, n= 2 nivåer x 6 målinger på hvert instrument. Natrium: RL 505 mot mentor Cobas 6000 (Smitt) i Fullblod/serum (nivå: 123 / 164mmol/L) Kalium: RL 505 mot mentor Cobas 6000 (Smitt) i Fullblod/serum (nivå: 3,7 / 6,5mmol/L) Klor: RL 505 mot mentor Cobas 6000 (Smitt) i Fullblod/serum (nivå: 93 / 134mmol/L) Ca++: RL 505 mot mentor RL 1265 - LAB i serum/serum (nivå: 1,00 / 1,40mmol/L) Bilirubin: RL 505 mot mentor RL 1265-LAB i Li-heparinblod. (nivå: 40 og 200 µmol/l) Glukose: RL 505 mot mentor RL 1265-LAB i Li-heparinblod (nivå 3 og 15mmol/L (bruker blod fra diabetikere)) Hemoglobin: RL 505 mot mentor RL 1265- LAB i Li-heparinblod (nivå 5 og 14g/dL) Samtidig med de øvrige: Oksymetri: RL 505 mot mentor RL 1265 LAB Laktat: RL 505 mot mentor RL 1265 - LAB i Li-heparinblod.(nivå 1 og 6mmol/L Presisjon Her benyttes kontrollmaterialet i 3 nivåer. 9
Krav Analyseres analytten med annen metode, for eksempel innføring av ny metode PNA-metoden eneste metode for analytten Se på kravene som dere har innen laboratorievirksomheten. Her er kvalitetsansvarlig veldig viktig, samt samarbeidet med medisinsk ansvarlig/ rådgiver Analytiske kvalitetskrav 10
Oversikten til Lars Anbefalt lesing: 11
Mentormetoden Mentormetoden er anvendelig til litt av hvert og særlig når 2 metoder med samme metodeprinsipp skal sammenlignes. Den er også svært anvendelig ved sammenligning av 2 reagenslot fra samme metode(eller kombinasjonen ny lot av bruksstandard/reagenslot). Utføres på følgende måte: Velg en prøve med resultat fra øvre del av måleområdet og en prøve med resultat fra nedre del av måleområdet. Analyser hver prøve x6 med begge metoder/lotkombinasjoner. Middelverdien av differansene for de 2 resultatsettene plottes i et differanseplott med resultatene fra "referansemetoden" på x-aksen. Linjen mellom de 2 punktene trekkes. Konfidensintervallet (95%) for de 2 middelverdiene av differansene beregnes og linjene for konfidensintervallene trekkes på begge sider av differanselinjen i plottet. Finn bias-krav fra biologisk variasjon og trekk linjene for denne i plottet. Tolking: Dersom differanselinjen med konfidensintervall ligger innenfor biaskravet er alt OK. Dersom differanselinjen faller utenfor eller krysser biaskravet, er avviket for stort og må korrigeres for. Dersom der er overlapping mellom konfidensintervall og biaskrav kan det ikke trekkes sikker konklusjon. Anders Kallner, http://nito.osigraf.no/pop_printer_friendly.asp?topic_id=49 Regresjon En matematisk metode for å undersøle sammenhengen mellom to variabler. Hvis det er en lineær sammenheng mellom to variabler, vil vi kunne finne den linja som passer best til observasjonene. Parametrisk regresjon utføres med minste kvadraters metode. Ikke-parametrisk regresjon utføres med Deming- eller Passing- Babloks metode y = a + bx Ca 40 punkter, hvor ytterpunkter er bestemt. Målegrenser Klinisk betydning 12
Statistisk metode Se på kravene som dere har eller innen laboratorievirksomheten. Kan de benyttes innen PNA? Her er kvalitetsansvarlig veldig viktig, samt samarbeidet med medisinsk ansvarlig/ rådgiver Vurdering av tallsettets egenskaper gir gode føringer på hvilke statistiske metoder som er best å benyttet i den aktuelle metodeverifiseringen Sammenligning av metoder 1. Velge riktig analysemateriale og metode 2. Vurdering av resultatene (outliers, hele området dekket.) 3. Visuell vurdering 1. Spredningsdiagram 2. Differanseplot, Bland-Altman plot (absolutt eller relativt, systematiske avvik, avvikende resultater, konsentrasjonsavhengige resultater) 4. Statistisk behandling Normalfordeling (residualedd) Paret t-test? Korrelasjon? (faktor, Intersept) Regresjonsanalyse 1. Minste Kvadrats Metode? 2. Deming? 3. Passing-Bablok? 26 13
Metodeverifiseringsrapporten Her er et tomt skjema, det kan være ganske mye tekst her, samt linker til rådata, bearbeide data, logger etc Her skal det stå klart hvilke konklusjoner som er fattet, av hvem og dato Eventuelle tiltak skal og stå her. Metodebeskrivelse 14
Prosedyre Opplæringsplan Enhver endring vil kunne resultere i en opplæring av ulike yrkesgrupper. Hva er endret? Er det store endringer? Hvilke personer/yrkesgrupper er involvert? Trenger vi assistanse fra leverandøren? Er det avtalt ved innkjøp? Hvor store ressurser er nødvendige / er til rådighet? 15
Tilbud Opplæring for egenmåling av PT-INR Løp over 26 uker. Repetisjon / resertifisering Ingen opplæring varer evig 16
Interne og eksterne kontroller Hvem forvalter behandlingshjelpemidlene? 17
18