Metodevalidering Genanalyser

Transkript

1 Akkrediteringsdagen 1. desember 2016 Metodevalidering Genanalyser Sara Bremer, Avdeling for medisinsk biokjemi, Oslo universitetssykehus, Rikshospitalet 1 Disposisjon Bakgrunn Genanalyser ved Avd. for medisinsk biokjemi, OUS, Rikshospitalet Validering av genanalyser Retningslinjer Analysetyper Valideringsparametre Validering av genanalyser ved MBK, Rikshospitalet Valideringsprotokoll CE merking av medisinsk utstyr til in vitro diagnostikk (IVD) Oppsummering 2 1

2 Enhet for spesialanalyser, MBK RH Genanalyser i rutinedrift > 50 ulike analysemetoder (genvarianter) > analyser utført i 2014 Nyfødtscreening, medfødte metabolske sykdommer Farmakogenetikk (1/4): CYPer, TPMT m.fl. Medisinsk biokjemi (3/4): Koagulasjonsfaktorer, laktase, HFE, hemoglobinopatiutredning Enhet for spesialanalyser, MBK RH Analysemetoder Smeltekurveanalyser på LightCycler 480 instrument Enkeltnukleotidvarianter og korte delesjoner/insersjoner Ca. 95 % av analysene Kvantitativ sanntids PCR Kopitallsanalyser: CYP2D6, GSTM1, GSTT1 Long range PCR og gelelektroforese CYP2D6, hemoglobinopatiutredning Sangersekvensering Utredning av medfødte metabolske sykdommer og hemoglobinopati Metodevalidering og ved avvikende smeltekurver «High resolution melting» (HRM) UGT1A1 (+LCT) Ikke rutine per i dag 2

3 Validering av genanalyser 5 Kvalitetssikring av genanalyser Kvaliteten på gentester er (som for alle analyser) svært viktig Gentester Gjøres vanligvis bare en gang Prediktiv bruk Konsekvenser for familie Feil resultat Feil diagnose Feil/forsinket behandling Unødvendige bekymringer Unødvendig forebyggende kirurgi Abort Død Kuehn BM, JAMA,

4 Kvalitetssikring av genanalyser Kvaliteten på gentester er (som for alle analyser) svært viktig Resultater fra eksternt kvalitetsprogram fra april 2015 Tromboseutredning Laktoseintoleranse 6,7 % feil 0,4 % feil 5,9 % feil Hemokromatose Dyslipidemi/Alzheimers sykdom 0,7 % feil 2,5 % feil 2,9 % feil 2,9 % feil Referenzinstitut für Bioanalytik (RfB) 7 Kvalitetssikring av genanalyser Kvaliteten på gentester er (som for alle analyser) svært viktig Resultater fra eksternt kvalitetsprogram fra april 2015 Tiopurin metyltransferase (TPMT) Metylentetrahydrofolat reduktase (MTHFR) 3,7 % feil 2,5 % feil 2,0 % feil 2,0 % feil Cytokrom P450 (CYP) 2D6 10 % feil 2,5 % feil Feilene i stor grad relatert til analysemetode - Valg av teknologi - Metodedesign - Metodevalidering/-verifisering - Kontinuerlig kvalitetskontroll Referenzinstitut für Bioanalytik (RfB) 8 4

5 Kvalitetssikring av genanalyser Validering versus verifisering Validering «Confirmation, through the provision of objective evidence, that the requirements for a specific intended use or application have been fulfilled» Verifisering «Confirmation, through the provision of objective evidence, that specified requirements have been fulfilled» = gjøre riktig test, riktig = gjøre testen riktig, basert på eksisterende spesifikasjoner Def. fra ISO 9000: Kvalitetssikring av genanalyser Validering versus verifisering Validering «Default» Alle nye analysemetoder må valideres før klinisk bruk Validering nødvendig: Ny teknologi Store tekniske modifikasjoner av eksisterende metoder Utilfredsstillende ytelse av eksisterende metode Verifisering Noen prosedyrer som: CE merket/fda godkjent Spesifikasjonene MÅ følges Validert av akkreditert laboratorium Dokumentasjon MÅ være tilgjengelig Tester som bare involverer validerte teknikker 10 5

6 Kvalitetssikring av genanalyser Akkreditering Akkrediteringsstandard: ISO 15189:2012 «Medisinske laboratorier Krav til kvalitet og kompetanse» Ingen bruksanvisning for validering, men Grunnleggende krav: 5.5.1: Alle tester skal valideres/verifiseres før diagnostisk bruk : Valideringen skal være så omfattende som nødvendig : Usikkerheten til måleverdiene må bestemmes 11 Validering av genanalyser Retningslinjer OECD Guidelines for quality assurance in molecular genetic testing, 2007 Retningslinjer for kvalitetssikring av genanalyser til diagnostisk bruk Ingen formelle krav. Fungerer som tillegg til akkrediteringsstandard. Kvalitetssikring av analyse og resultatrapportering Opplæring av personell Fokus på internasjonalt samarbeid og akkreditering 12 6

7 Validering av genanalyser Retningslinjer Clinical Laboratory Standards Institute (CLSI, MM01 A3. Molecular Methods for Clinical Genetics and Oncology Testing MM13 A. Collection, Transport, Preparation, and Storage of Specimens for Molecular Methods MM14 A2 Design of Molecular Proficiency Testing/External Quality Assessment MM17 A Verification and Validation of Multiplex Nucleic Acid Assays MM20 A Quality Management for Molecular Genetic Testing American College of Medical Genetics (ACMG, ) Standards and Guidelines for Clinical Genetics Laboratories 13 Validering av genanalyser Retningslinjer EuroGentest( EU prosjekt for å harmonisere genanalyser i Europa Informasjon om kvalitetssikring av genanalyser Begreper og definisjoner Akkreditering og akkrediteringsstandarder Validering Intern revisjon Ekstern kvalitetskontroll Referansematerialer 14 7

8 Validering av genanalyser Valideringsprotokoll basert på anbefalinger fra EuroGentest 15 Validering av genanalyser Analysetyper og valideringsparametre Valg av valideringsparametre avhenger av analysetype Kvantitativ, kvalitativ, kategorisk Alle genanalysene er basert på kvantitativt signal Direkte bruk av kvantitativt resultat Slutning basert på kvantitativt resultat Eks. normal/variant, syk/frisk

9 Validering av genanalyser Ulike typer analyser A Kvantitativ: Kontinuerlig; Alle verdier mellom to grenser (inkl. desimaler) Eks. metyleringsgrad, genekspresjon B C Kategorisk: Diskontinuerlig; Kvantitativt signal uendelig antall kategorier (ordinaltall) Eks. lengde på PCR fragment Kategorisk: Diskontinuerlig; Kvantitativt signal noen få predefinerte kategorier Eks. antall genkopier, ekson delesjon/duplikasjon D Kvalitativ: Kvantitativt signal, gruppering vha «cut off» verdi to mulige resultater Eks. «genscanning», sekvensering E Kvalitativ, binær: Enten/eller signal (binær) to mulige resultater Eks. genotyping 17 Validering av genanalyser Mål Metodevalidering Sikre nøyaktigheten til de rapporterte analyseresultatene Nøyaktighet Fravær av feil, både systematiske og tilfeldige (Def. fra ISO 3534) 18 9

10 Valideringsparametre Nøyaktighet Riktighet Nøyaktighet Presisjon Repeterbarhet Reproduserbarhet Robusthet Nøyaktighet Sannsynlighetsregning 95 % 99 % Sensitivitet Nøyaktighet Spesifisitet Kvantitative tester Modifisert fra Mattocks C.J et al., 2010 Semikvantitative/ Kategoriske tester 19 Kvalitative tester Valideringsparametre Valideringsparametre avhenger av type genanalyse Mattocks C.J et al.,

11 Valideringsparametre Kvantitative genanalyser Kvantitative genanalyser F.eks. metyleringsgrad, genuttrykk Valideringsparametre Riktighet Presisjon Robusthet Deteksjonsgrense Fluorescens PCR syklus 21 Valideringsparametre Kvantitative genanalyser Riktighet I hvilken grad resultatene samsvarer med referanseverdi * * * Presisjon Samsvar mellom resultatet ved gjentatte målinger Repeterbarhet (innen serie) Intermediær presisjon (mellom serie, innen laboratoriet) Reproduserbarhet (mellom laboratorier) *** Robusthet Hvordan testen påvirkes av relevante «utfordringer» Matriks, oppbevaring, DNA konsentrasjon, instrument, reagensbatch o.l. Deteksjons og kvantifiseringsgrense 22 11

12 Valideringsparametre Kvantitative genanalyser eksempel på validering Standardkurver kopier/reaksjon 4 6 replikater per konsentrasjon 5 ulike dager Riktighet Lineær regresjon Gjennomsnittlig kvadratfeil (MSE) Presisjon Variasjonskoeffisienter (VK) Relative konsentrasjoner Relativt genuttrykk Stigningstall og skjæringspunkt Fluorescens Syklus Syklus Log konsentrasjon (start) Cq verdi Konsentrasjon 23 Valideringsparametre Kvantitative genanalyser eksempel på validering Robusthet Matriks, reagenser, oppbevaring (lagring 2 år) PCR effektivitet, analyseresultat Deteksjons og kvantifiseringsgrense Analyse av fortynningsserier med kjente templatkonsentrasjoner Bremer S et al.,

13 Valideringsparametre Kategoriske genanalyser Genanalyser med uendelig antall kategorier F.eks. fragmentanalyser Valideringsparametre Riktighet Presisjon Robusthet Deteksjonsgrense Genanalyser med noen få predefinerte kategorier F.eks. kopitallsanalyser Valideringsparametre Sannsynlighetsberegning Testverdi Testverdi Figur Referanseverdi 25 Referanseverdi Mattocks CJ et al., 2010 Valideringsparametre Kategoriske genanalyser Kategorisk test Kvantitative rådata grupperes i kategorier To nivåer av nøyaktighet Rådata Kategorisering Kontinuerlig validering Nøyaktighet: Sannsynlighet for at spesifikk verdi plasseres i bestemt kategori Kompetitiv hypotesetesting, odds ratio Se på regneark fra NGRL (Manchester) Cut off ved 95 % KI Mattocks CJ et al., 2010 Robusthet Holdbarhet og oppbevaring DNA konsentrasjon 26 13

14 Valideringsparametre Kvalitative genanalyser Kvalitative genanalyser Analyse av spesifikke genvarianter Fluorescens Valideringsparametre Sensitivitet Spesifisitet Robusthet Deteksjonsgrense Temperatur 27 Valideringsparametre Kvalitative genanalyser Sensitivitet Andelen positive resultater som blir riktig identifisert Test Gullstandard + + RP FP FN RN Sensitivitet = riktig positiv riktig positiv + falsk negativ Validering: Sammenligning med resultat fra annen gullstandard/validert metode Karakterisert referansemateriale Andre definisjoner: Deteksjonsgrense (LOD) Instrumentets sensitivitet: endring i respons/endring i stimuli

15 Valideringsparametre Kvalitative genanalyser Spesifisitet Andelen negative resultater som blir riktig identifisert Test Gullstandard + + RP FP FN RN Spesifisitet = riktig negativ riktig negativ + falsk positiv Validering: Sammenligning med resultat fra annen gullstandard/validert metode Karakterisert referansemateriale Andre definisjoner: Selektivitet (binding av primere og prober) Valideringsparametre Kvalitative analyser Estimering av sensitivitet og spesifisitet Analyseresultat G G G G A G G G G G G A A G G A G A G A G G G A G G G G G G G A G G A G G G A G G G A G G G G G G G A G G G A G A G G G G G G G G G A G G G G G A G A G G A G A A G G G G A G G G G G G G A G G G G A G G A G G G G G G G G G G G A G A G A G G G A G G G G G G G G G G A G G G A G A G A G G G A G G G G G G G G G G A G G G A = Referanse G G G G A G G G G G G A A G G A G A G A G G G A G G G G G G G A G G A G G G A G G G A G G G G G G G A G G G A G A G G G G G G G G G A G G G G G A G A G G A G A A G G G G A G G G G G G G A G G G G A G G A G G G G G G G G G G G A G A G A G G G A G G G G G G G G G G A G G G A G A G A G G G A G G G G G G G G G G A G G G A Obs! Metodens sensitivitet og spesifisitet er ikke 100 % til tross for fullt samsvar med «fasit»

16 Valideringsparametre Kvalitative analyser Estimering av sensitivitet og spesifisitet «Rule of three» = «3 regelen» (Mattocks C.J et al., 2010) Styrkeestimat for kvalitative tester (antall nødvendige prøver/alleler o.l.) Rapportering av sensitivitet og spesifisitet: Variant (positiv), N = 200 (ingen falske neg.) Normal (negativ), N = 200 (ingen falske pos.) Sannsynlighet falsk negativ = 3/200 = 0,015 Sensitiviteten 98,5 %, 95 % KI Sannsynlighet falsk positiv = 3/200 = 0,015 Spesifisiteten 98,5 %, 95 % KI Forutsetter bare riktige resultater Med 95% sikkerhet er sannsynligheten for falsk hhv. negativ el. positiv, gitt en studie med n prøver uten hhv. falske negative el. positive, = 3/n Kompleks statistikk nødvendig dersom testen har gitt feil resultat 31 Valideringsparametre Kvalitative analyser Referansemateriale til estimering av sensitivitet og spesifisitet Kilder: Karakterisert ved annen teknikk/validert metode Sangersekvensering (gullstandard) Prøver fra annen (validert) lab Syntetisk materiale Sertifisert referansemateriale EQA materiale (ofte lisensiert) Antall prøver til validering: Sensitivitet/spesifisitet 95 % (95 % KI): 60 stk. alleler hhv. med og uten variant Sensitivitet/spesifisitet 90 % (95 % KI): 30 stk. alleler hhv. med og uten variant For sjeldne alleler (< 1%): så mange som mulig + kontinuerlig validering NB! Ikke samme materiale til metodeutvikling og validering 32 16

17 Valideringsparametre Kvalitative analyser Robusthet vs. Betydningen av relevante utfordringer Oppbevaringsbetingelser DNA isolering rett etter prøvetaking, etter 2 dager ved 37 C, 1 uke i romtemperatur og 1, 2 og 4 uker i kjøleskap Primer og probemikser, oppbevaring < 5 år Analysedag, operatør og reagenslot Ulike instrumenter Romtemperatur MagNA Pure 96 vs. Fryser MagNA Pure LC Antall leukocytter, DNA konsentrasjon og PCR hemmere Fortynning blod og DNA (1:10 1:1000) Prøver med høye og lave leukocyttantall Deteksjonsgrense (LLOD) DNA fortynning: Ufortynnet 1: Validering av genanalyser ved MBK RH Valideringsprotokoll basert på anbefalinger fra EuroGentest 1. Bakgrunn 4. Valideringsresultater 2. Vurdering av ytelse 3. Valideringsplan inkl. krav 5. Kontinuerlig kvalitetskontroll 6. Implementering 7. Konklusjon 34 17

18 Valideringsprotokoll for genanalyser Bakgrunn Analyse og analysemetode (Del 1.1) Analysemetodens navn og referansekode NPU kode, Unilabkode Bruksområde Bakgrunn med litteraturhenvisninger Allelfrekvens Klinisk betydning av kjente genvarianter Indikasjon for genanalyse Svarrapportering Lokus/gen/markør Genvarianter/sekvensområde som undersøkes Referansesekvens Analyseprinsipp Teknisk tolkning 35 Valideringsprotokoll for genanalyser Bakgrunn Validerings /verifiseringsdetaljer (del 1.2) Overordnet mål Metodens nøyaktighet Begrensninger i forhold til klinisk bruk Analysetype Kvantitativ (A), kategorisk (B eller C), kvalitativ (D eller E) Krav til ytelse Akseptkriterier for validering Prøvemateriale Utstyr Reagenser Omløpstid Akkreditering Andre betraktninger Mattocks CJ et al,

19 Valideringsprotokoll for genanalyser Vurdering av ytelse (del 2) Metodens egnethet Teknologi At metoden er egnet til å påvise det den skal Selektivitet (f.eks. primere) BLAST, SNPCheck, dbsnp/alamut Sekvensering, smeltekurveanalyse med SYBR Green I, gelelektroforese Interferenser PCR hemmere Stamcelletransplantasjon, organtransplantasjon, blodtransfusjon Antall kjerneholdige celler i fullblod DNA degradering Kontaminasjon/kryssreaktivitet Risiko og konsekvenser Forebyggende kontrolltiltak 37 Valideringsprotokoll for genanalyser Valideringsplan (del 3) Valideringsparametre Valg av valideringsparametre avhengig av analysetype Arbeidsplan for hver valideringsparameter Kvalitetsmål Prøver Antall, prøvemateriale Karakterisering av referansemateriale Analyseoppsett Blindet Ulike instrument/lot nr/operatører Gjentatte analyser Resultattolkning Relevant prøvemateriale Ny metode Referansemetode Godkjenning av valideringsplan Sammenligning av resultater 38 19

20 Valideringsprotokoll for genanalyser Valideringsresultater (del 4) Delresultater for hver valideringsparameter (del 4.1.) Eksperimentelle resultater Tolkning Resultat/begrensning Deteksjonsgrenser/DNA konsentrasjon Oppbevaringsbetingelser Oppsummering av resultater (del 4.2.) Arkivering av resultater Samlede resultater av validering/verifikasjon Estimater for nøyaktighet og usikkerhet Begrensninger og/eller forutsigbare interferenser DNA konsentrasjon: 0, ng/µl? Blodtransfusjon 39 Valideringsprotokoll for genanalyser Kontinuerlig kvalitetskontroll og implementering Kontinuerlig kvalitetskontroll (del 5) Intern kvalitetskontroll Ekstern kvalitetskontroll Tekniske kvalitetsindikatorer Implementering (del 6) Nødvendig opplæring og informasjon Autorisasjoner, relevante dokumenter i ehåndok Laboratoriedatasystem Dato planlagt innført i rutinen Konklusjon (del 7) Totalvurdering av validering/verifikasjon Godkjenning 40 20

21 Kvalitetssikring av genanalyser Kontinuerlig kvalitetskontroll ISO 15189:2012 (pkt 5.6) Krav til kontinuerlig kvalitetskontroll Interne kvalitetskontroller (IQC) Marit organiserer referansemateriale Positiv kontroll (heterozygot/alle genotyper) i alle analyser Negativ kontroll (fra DNA ekstraksjon, PCR vann) i alle analyser Årlig reanalyse av prøver Ekstern kvalitetsvurdering (EQA) Ukjente prøver Equalis (2x/år) Referenzinstitut für Bioanalytik (1x/år) UK NEQAS (4x/år) Bytte prøver med andre lab er, bl.a. Århus og Karolinska 41 Kvalitetssikring av genanalyser Kvalitetsindikatorer ISO 15189:2012 (4.14.7) Krav om kvalitetsindikatorer for å monitorere og evaluere laboratoriets bidrag til pasientomsorg Tekniske kvalitetsindikatorer Antall analyser/pasienter testet Antall påviste genvarianter Kontaminasjon Avvik ekstern/intern kvalitetskontroll Teknisk svikt (LightCycler, pre PCR) Repetisjonsfrekvens (DNA isolering, PCR, alt) Oppsummering 1 gang per år 42 21

22 CE merking av reagenser og kontroller 43 Kvalitetssikring av genanalyser Hvorfor egenproduksjon av reagenser til genanalyser? Ulemper med kommersielle IVD godkjente/ce merkede kit Svært dyre >20 x prisen på egenutviklede reagenser Lang utviklingstid Kan ta flere år før reagenser blir tilgjengelig Motvilje mot å endre på reagenser som har kommet på markedet Finnes ikke for aktuell analyse Sjeldne eller nyoppdagede sekvensvarianter Mindre fleksibel bruk Krav til instrumenttype, PCR program, konsentrasjoner o.l. «Hemmelige» ingredienser/sekvenser Vanskeligere å tolke avvikende resultater, f.eks. forekomst av andre sekvensvarianter Vi lager egne reagenser + kontroller til genanalyser Krav til CE merking 44 22

23 CE merking EUs In vitro diagnostikk (IVD) direktiv (98/79/EC) EUs IVD direktiv ble introdusert i 1998, implementert i norsk lov 2001 Lov om medisinsk utstyr (LOV ) Medisinsk utstyr til IVD skal CE merkes Undersøkelse av prøver fra menneskekroppen for medisinske formål Reagenser, reagensprodukt, kalibrator, kontrollmateriale, kit, instrument, utstyr «In house» unntak Utstyr som produseres og brukes av samme helseinstitusjon (samme juridiske enhet) Samme krav til dokumentasjon og sporbarhet, men trenger ikke påføre CE merket Direktivet MÅ følges ved profesjonell/kommersiell bruk Eks. analyse av tilsendte prøver fra andre helseinstitusjoner og primærhelsetjenesten IVD direktivet er under revisjon Nytt IVD regulativ fra 2022 (?) Communautés Européennes 45 CE merking Lovverk IVD utstyr Lov om medisinsk utstyr (LOV ), SKAL følges fra april 2006 Regulerer produksjon, markedsføring, omsetning og bruk av medisinsk utstyr. Formål Forhindre skadevirkninger, uhell og ulykker Sikre at medisinsk utstyr utprøves og anvendes på en faglig og etisk forsvarlig måte Communautés Européennes Forskrift om medisinsk utstyr (FOR ) Kapittel 2 Krav før utstyr kan tas i bruk/markedsføres og meldeplikt ved skade Kapittel 3 Praktiske bestemmelser for hvordan tilfredsstille regelverket Vedlegg IVDMU Liste A og B i IVDMU II (krever vurdering av uavhengig tredjepart) Forskrift om håndtering av medisinsk utstyr (FOR ), Regulering av IVD utstyr som omfattes av «In house» unntaket Helsedirektoratet er fag og tilsynsmyndighet 46 23

24 CE merking Dokumentasjon for IVD utstyr Communautés Européennes Beskrivelse av produktet Opplysninger om konstruksjon, virkemåte og produksjon Opplysninger om opprinnelse (humane komponenter) Dokumentasjon av kvalitetssystemet Risikoanalyse og henvisninger til harmoniserte standarder Validerings /prøvningsrapporter Resultatet av stabilitetsundersøkelser Merking og bruksanvisning Samsvarsvurdering og erklæring Registrering i Utstyrsregisteret Global Medical Device Nomenclature (GMDN kode) 47 CE merking Dokumentasjon for IVD utstyr Communautés Européennes IVDMU Vedlegg Liste A Blodtyper ABO, rhesus, anti Kell HIV 1 og 2 HTLV I og II Hepatitt B, C og D Creutzfeldt Jakobs sykdom Medisinsk utstyr til IVD på liste A eller B Vurdering av teknisk kontrollorgan IVDMU Vedlegg Liste B Blodtyper:Duffy og Kidd Irregulære antistoff mot erytrocytter Røde hunder, toksoplasmose Fenylketonuri CMV, klamydia HLA DR, HLA A og HLA B PSA Risiko for trisomi 21 Blodglukose 48 24

25 CE merking Enhet for spesialanalyser, MBK RH Dokumentasjon Metodevalidering, kvalitetssystem, kvalitetskontroll, prosedyrer og metodebeskrivelser Bruksanvisning og merking Risikoanalyse og henvisninger til harmoniserte standarder Samsvarsvurdering og erklæring Produserer ikke utstyr på IVDMU liste A eller B Registrering i Utstyrsregisteret 49 Oppsummering Kvalitetssikring av genanalyser til diagnostisk bruk Metodevalidering Valideringsparametre avhengig av type test Kontinuerlig kvalitetskontroll CE merking av IVD utstyr Reagenser, kalibrator, kontrollmateriale, kit, instrument, utstyr 50 25

26 Enhet for spesialanalyser «GEN», MBK RH 51 Takk for oppmerksomheten! 52 26