Digital patologi kommer! Digital patologi - valideringsperspektivet Gudrun Hovstein Erikstad St. Olavs hospital 2018 Kvalifisere, verifisere, validere, evaluere, frustrere Validere? eller verifisere? EQS St. Olav, dok7887 v 2.2: «I denne prosedyren blir ordet «validering» benyttet som en samlebetegnelsefor kvalifisering, validering og verifisering.» 2 1
Hvilke KRAV skal man stille? Analyse/metode? Analysetype? Utstyr? 3 Analysetype Analysetype A:Kvantitativ (Resultatet kan ha enhver verdi mellom to grenser (inkludert desimaler.) Analysetype B: Kategorisk (Det kvantitative signalet plasseres i en av et ubegrenset antall kategorier for å gi endelig resultat) Analysetype C:Kategorisk (Det kvantitative signalet plasseres i en av et begrenset antall serier av forhåndsdefinerte kategorier for å gi endelig resultat) Analysetype D Kvalitativ (Det sanne kvantitative signalet kan ha et av mange mulige verdier, men det endelige resultatet kan bare ha ett av to verdier) og E:Kvalitativ (Det sanne kvantitative signalet kan kun ha ett av to mulige verdier) Krav Nøyaktighet (grad av samsvar med referansemetode) Presisjon ved beregning av «Within run» «Within laboratory, between run» Deteksjonsgrenser Nøyaktighet=TP/(TP+FN)* Presisjon ved beregning av «Within run» «Within laboratory, between run» Deteksjonsgrenser Sannsynlighet Nøyaktighet TP/(TP+FN)* Nøyaktighet ved beregning av Sensitivitet=TP/(TP+FN)* Spesifisitet=TN/(TN+FP)* Eventuelt total nøyaktighet =((TP+TN)/(TP+TN+FP+FN)) 4 2
Hvilke KRAV skal man stille? Analyse/metode? Analysetype? Utstyr? 5 EQS St. Olav, dok7887 v 2.2: «Validering ved nyanskaffelser skal legge til grunn de kriterier man har satt i en eventuell kravspesifikasjon. Det skal etterprøves om f.eksutstyret tilfredsstiller de kravene som er satt i kravspesifikasjonen.» 6 3
Anskaffelse vs validering - Bruksområde - (Analysespesifikke krav) - Brukervennlighet - HMS-krav - Økonomi - Bruksområde - Analysespesifikke krav - Brukervennlighet - HMS-krav - Økonomi 7 8 4
9 Anskaffelse av snittskannere 2016/2017 Kravspesifikasjon Vanlige snitt/storsnitt Brukervennlighet software Viewer/bildebehandling Krav til datalagring Hastighet Kapasitet Forstørrelse/oppløsning +++ (46 skal-krav, 17 bør-krav) Ingen krav til kvalitet på «produktet»! Fornøyde likevel. Er validert Er i bruk i diagnostikk Prostatabiopsier IF hud og nyre Positiv for fluorescens (Divvalideringsprosjekter for diagnostikk) (MDT-møter) (Konsultasjoner) 10 5
Anskaffelse av høykapasitetsskanner 2018 Kvalitet av bilde ett av # børkrav Kravet «druknet» i andre krav Risiko: Pris teller mer enn kvalitet Ulike tilbydere: Overraskende stor variasjon i kvalitet på bilde! Lærdom: Skal-krav: Et minimum av kvalitet! (Men vi blir nok fornøyde!) 11 Bra skanner+ Bra snitt = Bra bilder? Skannere validert. Snitt-og fargekvalitet har vært validert gjennom mange års bruk. Tut og kjør? 12 6
Ulike deteksjonssystem Ulike krav! 13 Ulike deteksjonssystem ulike begrensninger! Øye + mikroskop + hjerne Justerer fokus hele tiden Kan ignorere rusk, bobler, limsøl Er fleksibel og tar lærdom Kamera + robot + datamaskin Skanner i ett (eller flere) nivå Autofokus: Fokuserer på rusk, bobler, limsøl Er en maskin uten intelligens Er ikke en maskin. Blir sliten. Er en maskin. Kan jobbe 24/7. 14 7
Når noe skjer i én ende 15 Tilpasninger til den digitale hverdagen Snittkvalitet Antall opplegg Avstand mellom opplegg Fargeintensitet Kvalitet på objektglass Kvalitet på dekkglass ( og hva med film?) Mengde/type lim (Xylenfritt?) Luftbobler Hvor lenge må snittene tørke? Støv Fingermerker Tusjmerking Fluorescens? 16 8
Tilpassing = Endring = Validering? 17 Tilpassing = Endring = Validering? Bruker vi den riktige metoden? Utfører vi metoden på riktig måte? 18 9
Øyet og hjernen og skjermen? 19 Øyet og hjernen og skjermen? og armen? 20 10
Og hva med diagnostikken? Sammenlikne: Digital diagnostikk vs analog diagnostikk? Organ for organ? Sykdomsbilde for sykdomsbilde? Patolog for patolog? Hvilke forskjeller finner vi mellom digital og analog mikroskopering? Mitoser Mikrokalk Sopp Hvor omfattende må «valideringen» være? Hvordan dokumenterer vi? Analog diagnostikk -«gullstandard»? 21 Og hva med patologen? Hva med: Bildeanalyseverktøy? Big data? Digital patologi et paradigmeskifte? 22 11
Spørsmål? 23 Kilder Skjermdumper fra NRK TV Reparatørene kommer Norsk dukkefilmserie fra 1969. Av og med Bjørg og Arne Mykle. NIKT Digital Patologi (figurer og skjermdump) Innføring av digital patologi i Helse Midt-Norge (bilder) Mattocs CJ, Morris MA, Matthijs G, Swinnen E, Corveleyn A, Dequeker E, Müller CR, Pratt V, Wallace A; EuroGentestValidation Group. A standardized framework for the validation and verification of clinical molecular genetic tests. European Journal ofhuman Genetics [Internet] 18.12.2010 [sitert 25.11.2015] (2010)18. 24 12