Etablering av testsett for radiologer som tyder mammografibilder



Like dokumenter
Mammografiprogrammet. Undervisning, Ullevål Berit Damtjernhaug overlege Leder for Mammografiprogrammet Kreftregisteret

Hvordan kan screening program evalueres? Mette Kalager MD Oslo Universitetssykehus Harvard School of Public Health

Sannsynlighet (Kap 3)

Kommentarer fra Kreftregisteret

Utvidelse av aldersgruppen i Mammografiprogrammet

Medisinsk screening: Screeningundersøkelser ensidig nytte? Marit Solbjør

Mammografiprogrammet. -en kort presentasjon- Berit Damtjernhaug Leder

NOTAT GÅR TIL: FØRETAK: Styremedlemmer Helse Fonna HF DATO: FRÅ: Administrerande direktør SAKSHANDSAMAR: Haldis Ø. Lier

Brukbarhet ved benyttelse av fri programvare i systemutvikling - en praktisk studie

Norges miljø- og biovitenskapelige universitet Fakultet for Samfunnsvitenskap Institutt for Landskapsplanlegging

Torbjørn Øien Spesialist i allmennmedisin, phd. Hallset legesenter Allmennmedisinsk forskningsenhet - Institutt for samfunnsmedisin

Mars Kvalitetsmanual i Mammografiprogrammet. Radiologi

Antall kvinner som lever med brystkreft i Oslo i Antall kvinner som lever med brystkreft 10 år etter diagnosen i

Mammografiprogrammet Resultater fra prosessindikatorer /14

Juni Kvalitetsmanual i Mammografiprogrammet. Radiologi

Rapporten er også tilgjengelig i elektronisk utgave på

Spirometri som screening, egnet eller ikke?

Screening. Catch the cancer! NOW! HOW! Klinisk emnekurs i onkologi Solveig Hofvind Leder Mammografiprogrammet Kreftregisteret

Screening kva er forskingsbasert?

Overvåking og bruk av diagnostiske tester.

Mammografiscreening for kvinner år i perioden oktober 1999 juni 2002

Cancer in Norway 2015

Helse Sør-Øst RHF Telefon: Postboks 404 Telefaks: Hamar Org.nr

Design omslag: Margrete M. Christensen/ InfoMediaHuset AS Foto: Catharina Malmfors

KLH3002 Epidemiologi. Eksamen høsten 2012

Ulike typer screening

Mammografiscreening med fokus på Norge. Kreftscreening. Grunnlag for screening i en befolkningen. Mammografi screening

Betydning av klinisk skjønn. Bayesiansk statistikk

FORSTUDIERAPPORT FOR MASTEROPPGAVE

Design omslag: Margrete M. Christensen/ InfoMediaHuset AS Foto: Catharina Malmfors

KLH 3002 Epidemiologi Eksamen Høst 2011 Eksaminator: Geir W. Jacobsen, ISM

Masterprogram i helseinformatikk

Implementering av RAM- prosess for vegtunnel

Mammografiprogrammet i Norge

Prøveprosjekt med masseundersøkelse for brystkreft ved mammografi. Evaluering av 1. screeningrunde. Kreftregisteret

Kan radiografer tyde mammografiscreeningsbilder?

Kreativitet i team - Betydningen av ekstroversjon og introversjon

Den offentlige mammografiscreeningen i Norge

Overlevelsesdata; langtidsoverlevelse på ny kreftbehandling

Journaldato: , Journalenhet: SENTRAL - Kreftregisterets sentrale journalenhet, Dokumenttype: I,U, Status: J,A

Journaldato: , Journalenhet: SENTRAL - Kreftregisterets sentrale journalenhet, Dokumenttype: I,U, Status: J,A. Dok.

Lykke til! Eksamen i fag TDT4140 Systemutvikling NTNU Norges teknisk-naturvitenskapelige universitet

Søknad om opptak til forskerutdanningen (ph.d.-graden) ved Det samfunnsvitenskapelige fakultet

Journaldato: , Journalenhet: SENTRAL - Kreftregisterets sentrale journalenhet, Dokumenttype: I,U, Status: J,A

Betingede sannsynligheter Fra spøkefull Monty Hall til alvorsfull kreftdiagnostikk

Helseøkonomiske aspekter ved kreftscreening

Journaldato: , Journalenhet: SENTRAL - Kreftregisterets sentrale journalenhet, Dokumenttype: I,U, Status: J,A. Dok.

Utredning ved mistanke om brystkreft Pakkeforløp. Linda Romundstad overlege, seksjonsleder BDS, VVHF

Trafikkulykker i planskilte kryss

Tomosyntese i mammografiscreening

Trefiberbasert isolasjon i bindingsverksvegger

For mye av det gode er ikke alltid helt fantastisk!

Sjekkliste for vurdering av en studie som tester en ny diagnostisk test

Bruk av mammografi i Norge i 2005 og 2008

Partus-test ved overtidig svangerskap

Kausalitet - Hvordan komme litt nærmere sannheten

Journaldato: , Journalenhet: SENTRAL - Kreftregisterets sentrale journalenhet, Dokumenttype: I,U, Status: J,A. Dok.

Sluttrapport Extrastiftelsen

Journaldato: , Journalenhet: SENTRAL - Kreftregisterets sentrale journalenhet, Dokumenttype: I,U, Status: J,A. Dok.

Rapport IS-XXXX. Styringsstruktur og strategi for nasjonale screeningprogrammer HØRINGSUTKAST

Torben Wisborg NACA-skåre, luftambulansedagene

Innføring HPV primærscreening i

Journaldato: , Journalenhet: SENTRAL - Kreftregisterets sentrale journalenhet, Dokumenttype: I,U, Status: J,A. Dok.

EKSAMENSOPPGÅVE KLH3002 Epidemiologi 1 Torsdag timar

Journaldato: , Journalenhet: SENTRAL - Kreftregisterets sentrale journalenhet, Dokumenttype: I,U, Status: J,A

TALEGJENKJENNING Prosjekt ved Sørlandet sykehus Arendal

Fremdriftsplanlegging i byggeprosjekter

Partus-test ved overtidig svangerskap

Brystkreft: hyppigheten øker men dødeligheten går ned hvorfor? Lars Vatten, dr med Professor i epidemiologi. Det medisinske fakultet NTNU, Trondheim

Pakkeforløp brystkreft. Ellen Schlichting Seksjon for bryst- og endokrinkirurgi Avdeling for kreftbehandling

Samfunnssikkerhet - masterstudium

Risikostyring ved innføring av nye analyser

Kariesdiagnostiske metoders spesifisitet og sensitivitet

Studiested Nettbasert Søknadsfrist

Diagnostikk av diabetes: HbA1c vs glukosebaserte kriterier

Diagnostiske tester. Friskere Geiter Gardermoen, 21. november Petter Hopp Seksjon for epidemiologi

Tips ved skriving av rapport Hovedprosjekt for data-linjene

Mammografi INFORMASJON TIL HENVISENDE LEGER.

Master i klinisk helsevitenskap

Samfunnssikkerhet - masterstudium

Epidemiologi. Hvorfor lære epidemiologi? Mål på forekomst av sykdom. Hva brukes epidemiologi til? The study of the occurrence of illness

Erfaringer fra pakkeforløp brystkreft. Ellen Schlichting Seksjon for bryst- og endokrinkirurgi Avdeling for kreftbehandling

Mest til skade? Jan Mæhlen og Per-Henrik Zahl. Mammografiscreeningen

Drammen, 13. desember Nils Fr. Wisløff. Administrerende direktør

ä1ò3verifikasjon av Svinesundsbruas dynamiske egenskaper ved hjelp av trafikkinduserte tü0ï3yningsmü0è2linger

Retningslinjer for masteroppgave ved Fakultet for medisin og helsevitenskap

Nasjonalt råd for kvalitet og prioritering i helse- og omsorgstjenesten. Mari Nygård Bodø, 16. september 2013

Epidemiologi - en oppfriskning. Epidemiologi. Viktige begreper Deskriptiv beskrivende. Analytisk årsaksforklarende. Ikke skarpt skille

Kreft forekomst, overlevelse/prognose og screening for kreft blant innvandrere. Giske Ursin Direktør Kreftregisteret

Egen prøverekvireringspraksis Hva har vi som beslutningsgrunnlag for å bestille en supplerende undersøkelse?

ESAS -hva er nytt i litteraturen?

UNIVERSITETET I BERGEN Det psykologiske fakultet. Søknad om opptak til ph.d.-programmet ved Det psykologiske fakultet

HbA1c og glukosebelastning: Hvem og hva fanges opp med de ulike diagnostiske metodene?

Skjærforsterkning av betongkonstruksjoner med fiberarmerte polymerer

Evaluering av brukervennlighet for alle: Måler vi de riktige tingene? En evaluering med funksjonshemmede brukere

Fotograf: Wilse, A. B. / Oslo byarkiv

Epidemiologi - en oppfriskning. En kort framstilling. Er det behov for kunnskaper om epidemiologi?

Sakkyndig vurdering av. Strategy Group for Medical Image Science and Visualization. Torfinn Taxt, Universitetet i Bergen, Norge, mars 2008

Fra administrasjonen: Alette G.Mykkeltvedt, Wenche Førre, Laila Eilertsen, Ingrid Christensen (tom sak84) Styresak Saker til behandling U.off.

MASTERAVTALE. Frist: 15. januar (i andre semester) telefonnummer dagtid

Transkript:

Etablering av testsett for radiologer som tyder mammografibilder Arvid Austgulen Anne Kathrin Olsen Ertzaas Helseinformatikk Innlevert: Desember 2012 Hovedveileder: Pieter Jelle Toussaint, IDI Medveileder: Gunnar Klein, IDI Solveig Hofvind, Kreftregisteret Norges teknisk-naturvitenskapelige universitet Institutt for datateknikk og informasjonsvitenskap

MDV 6191 MASTEROPPGAVE Fakultet for datateknikk og informasjonsvitenskap ERFARINGSBASERT MASTERPROGRAM I HELSEINFORMATIKK Etablering av testsett for radiologer som tyder mammografibilder Anne Kathrin Ertzaas Arvid Austgulen 2012

$ $ MDV$6191$Masteroppgave$$ $ $ $ Erfaringsbasert$masterprogram$i$helseinformatikk,$NTNU$ $ $ $ Etablering+av+testsett+for+radiologer+som+tyder+mammografibilder+ + $ $ $ Anne$Kathrin$Ertzaas$ Arvid$Austgulen$ $ + $ $ $ 12.$desember$2012$ $

Forord+ Dette$dokumentet$samt$utviklet$eFlæringssystem$inklusive$screeningF mammogrammer$for$tyding$av$testsett$utgjør$en$masteroppgave$i$emnet$mdv6191.$ Oppgaven$utføres$i$7.$og$8$semester$i$erfaringsbasert$masterprogram$i$ Helseinformatikk$ved$NTNU$Videre$i$Trondheim.$Studietilbudet$er$et$samarbeid$ mellom$det$medisinske$fakultet$(dmf),$institutt$for$datateknikk$og$ informasjonsvitenskap$(idi)$og$ntnu$videre.$$ $ Begge$studenter$Arvid$Austgulen,$Curato$Røntgen,$Bergen$og$Anne$Kathrin$Ertzaas,$ Kreftregisteret,$Oslo$har$helsefaglig$bakgrunn.$$ $ Tre$professorer$har$vært$veiledere$for$vårt$arbeid:$Pieter$Toussaint$ved$IDI$NTNU,$ Gunnar$Klein$ved$NSEP$NTNU$og$Solveig$Hofvind$ved$Kreftregisteret$og$HiOA.$ $ Det$er$mange$som$skal$takkes$ved$avslutningen$av$et$masterprosjekt.$Først$og$fremst$ vil$vi$takke$veilederne$som$hver$og$en$ga$oss$gode$råd,$innspill,$korreksjoner$og$ spennende$diskusjoner$i$ulike$deler$av$arbeidet.$$ $ Takk$til:$ o radiologene$som$stilte$opp$og$delte$av$sin$kunnskap,$kom$med$innspill,$krav,$ ønsker$og$ga$ris$og$ros$$ o en$spesiell$takk$til$per$skaane,$ullevål$universitetssykehus$som$har$ref gransket$mammogrammene$og$testet$programvaren$ o de$fire$radiologene$som$har$testet$et$ferdig$testsett$ o radiograff$og$radiologledere$ved$de$fire$bds$vi$har$hentet$bilder$fra:$for$ velvillighet,$tilrettelegging$og$hjelp$ved$uthenting$av$mammogrammer$fra$ sykehus$pacs`ene.$en$spesiell$takk$til$berit$hanestad,$haukeland$ Universitetssykehus$som$hentet$ut$bilder$for$oss.$ o kollegaer$som$har$bidratt$med$gode$innspill,$gjennomlesing$og$konstruktiv$ kritikk$

o våre$arbeidsgivere$som$har$lagt$til$rette$for$at$vi$har$kunnet$gjennomføre$ studiene$$ o våre$familier$for$tålmodighet,$oppmuntring$og$støtte$i$forbindelse$med$ studier$og$masteroppgaven$$ $ Arbeidet$med$masteroppgaven$har$vært$en$utviklende,$arbeidskrevende$og$ spennende$læringsprosess.$vi$har$hatt$et$velfungerende$samarbeid$og$en$god$ fordeling$av$arbeidsoppgaver.$programmeringen$er$utført$av$arvid.$den$skriftelige$ delen$av$masteroppgaven$er$i$hovedsak$ført$i$pennen$av$anka.$$ $ Desember$2012$ Arvid$Austgulen,$Bergen$ Anne$Kathrin$(Anka)$Ertzaas,$Lørenskog$

$ Innholdsfortegnelse- 1$Innledning...1$ 1.1 Oppgavens omfang og avgrensning...2$ 1.1.1$Målsetting$for$masteroppgaven...2$ 1.2 Problemstillinger...3$ 1.2.2.$Begrensninger$ved$oppgaven...3$ 1.2.3$Definisjoner$og$terminologi...4$ 1.2.4$Gjennomføring$av$arbeidet...6$ 2$Teori...7$ 2.1 Screening...7$ 2.1.1$Mammografiprogrammet...8$ 2.1.2$Brystkreft$i$Norge...9$ 2.2 Evaluering av diagnostiske tester...9$ 2.2.1$Sensitivitet,$spesifisitet,$PPV$og$NPV...10$ 2.3 Radiologisk virksomhet i mammografiscreening...12$ 2.3.1$Kvalitetsmål$for$radiologisk$virksomhet$i$Mammografiprogrammet...15$ 2.4 Etablering av kompetanse...16$ 2.4.1$Profesjonsstudiet$og$spesialistutdanning$i$medisin...16$ 2.4.2$Radiologi$og$diagnostikk...17$ 2.4.3$Læringsarenaer...17$ 2.4.4$Simulatorer$og$ITSsystemer$for$ferdighetstrening...19$ 2.5 Testsett av screeningmammogrammer som e-læring verktøy...19$ 3$Metode...23$ 3.1 Kravutvikling av testsett og programvare...23$ 3.1.1$Brukersentrert$design...24$ 3.2 Brukermedvirkning og brukbarhetstesting...25$ 3.3. Etikk og tillatelser...26$ 3.4 Identifikasjon av screeningmammogrammer til testsettene...27$ 3.4.1$Sann$negativ$som$test...28$ 3.4.2$Sann$positiv$som$test...29$ 3.4.3$Sammensetning$testsett...29$ 3.5 Innhenting av screeningmammogrammer...30$ $ 104$

3.6 Utvikling av et registreringssystem...32$ 3.7 Brukbarhetstesting...32$ 3.7.1$Brukskvalitet...34$ 3.7.2.$Observasjon$og$intervju...35$ 3.8 Regranskning...37$ 3.8.1$Brukervennlighetsskala...38$ 3.9 Tilbakemeldingssystem...40$ 3.10 Tyding av testsettet...40$ 3.11 Utvikling av programvare...41$ 4.0$Resultater...42$ 4.1 System spesifikasjon...42$ 4.1.1$Screeningmammogrammer$i$testsettene...43$ 4.1.2$Use$case$og$sekvensdiagram...45$ 4.1.3$Kravspesifikasjoner...48$ 4.2 Validering...53$ 4.2.1$Regranskning$og$brukbarhetstesting...53$ 4.2.2$Utprøving$av$testsett$med$brukbarhetstesting...55$ 5.0$Diskusjon...58$ 5.1 Læringsteorier...58$ 5.2 Kravspesifikasjoner...61$ 5.3 Praktiske forhold...65$ 5.4 Brukermedvirkning...67$ 5.5 Resultat av egentesting...70$ 5.6 Videre planer...75$ 6.0$Konklusjon...78$ 7.0$Referanser...80$ Vedlegg...85$ Vedlegg 1 Fremdriftsplan for etablering av testsett...85$ Vedlegg 2 Tillatelser og annen korrespondanse...85$ Vedlegg 3 Screeningmammogrammer i testsettene...86$ Vedlegg$3a$Testsett$GE$(Haukeland)...86$ Vedlegg$3b$Testsett$2$Hologic$(Vestfold)...87$ Vedlegg$3c$Testsett$3$Philips$Sectra$(Trøndelag$St$Olav)...88$ Vedlegg$3d$Testsett$4$Siemens$(Vestre$Viken,$Drammen)...89$ $ 105$

Vedlegg 4 Skjermbilder...90$ Vedlegg$4a$Innlogging$1...90$ Vedlegg$4b$oversikt$over$egne$tester...91$ Vedlegg$4c$Start$av$test...92$ Vedlegg 5 Parameterutvalg i registreringsløsning...95$ Vedlegg 6 Brukervennlighetsskala...98$ Vedlegg$6a$Resultat$SUS$test$ved$regranskning...98$ Vedlegg$6b$Resultat$SUS$test,$Radiolog$1...99$ Vedlegg$6c$Resultat$SUS$test,$Radiolog$2...100$ Vedlegg$6d$Resultat$SUS$test,$Radiolog$3...101$ Vedlegg$6e$Resultat$SUS$test,$Radiolog$4...102$ Vedlegg 7 Poster...103$ Innholdsfortegnelse...104$ Liste$over$tabeller$og$figurer...107$ $ $ 106$

Liste&over&tabeller&og&figurer& Tabell$1:$Ord$og$utrykk$med$forklaring...4$ Tabell$2:$Screening$test$for$brystkreft...11$ Tabell$3:$Kvalitetsmål$for$radiologisk$virksomhet$i$Mammografiprogrammet...15$ Tabell$4:$Testsett$sammensetning...29$ Tabell$5:$Antall$screeningundersøkelser$etter$tyderesultat$og$alder,$Testsett$1$(GE)...30$ Tabell$6:$Antall$screeningundersøkelser$etter$tyderesultat$og$alder,$Testsett$2$(Hologic)...30$ Tabell$7:$Antall$screeningundersøkelser$etter$tyderesultat$og$alder,$Testsett$3$(Philips$ Sectra)...30$ Tabell$8:$Antall$screeningundersøkelser$etter$tyderesultat$og$alder,$Testsett$4$ (Siemens)...30$ Tabell$9:$Fremdriftsplan$for$innhenting$av$screeningmammogrammer...31$ Tabell$10:$Fremdriftsplan$for$brukerinvolvering...33$ Tabell$11:$Anvendbarhet$og$Brukbarhet,$del$1...37$ Tabell$12:$Anvendbarhet$og$Brukbarhet,$del$2....38$ Figur$1:$ System$Usability$Scale $(SUS)...39$ Tabell$13:$Testsett$sammensetning$med$eksludering...44$ Figur$2:$Pålogging...46$ Figur$3:$Brukeridentifisering$ $misuse$case...47$ Figur$4:$Tyding$av$testsett...47$ Figur$5:$Rapporter...48$ Tabell$14:$Brukerkrav$for$OPTIMA...50$ Tabell$15:$Systemkrav$for$OPTIMA...53$ Tabell$16:$Spørsmål$og$svar$fra$andre$involvering...54$ Tabell$17:$Spørsmål$og$svar,$tredje$involvering...55$ Tabell$18:$Resultater$fra$tyding$av$testsett$og$brukbarhetstesting...56$ & & & $ $ 107$

Sammendrag Effekten'av'mammografiscreeningprogrammer'er'avhengig'av'at'radiologene'har' høy'kompetanse.'et'sentralt'spørsmål'er'hvordan'vedlikeholde'og'videreutvikle' radiologenes'tydekompetanse.'å'benytte'testsett'for'egentesting'kan'være'et'bidrag' til'å'øke'sensitiviteten'på'tyding'av'screeningmammogrammer,'som'et'supplement' til'anbefalt'kvalitetssikringsarbeid.' Vi'har'etablert'systemet'OPTIMA'som'består'av'programvare'for'tyding'av' screeningmammogrammer,'inklusive'fire'testsett'bestående'av'100' screeningundersøkelser.'systemet'har'et'registreringssystem'og'en'rapportmodul.' ' Hvert'testsett'består'av'100'screeningundersøkelser'med'mammogrammer'fra'én' utstyrsleverandør;'general'electric,'hologic,'philips'sectra'eller'siemens.'testsettene' består'av'sanne'negative'(85o75%)'og'sanne'positive'screeningundersøkelser'(15o 25%),'tilfeldig'valgt'etter'et'randomisert'utrekk'fra'den'nasjonale' mammografidatabasen.'mammogrammene'er'hentet'fra'fire'ulike'sykehus'pacs'og' deretter'anonymisert.' ' Systemet'samler'informasjon'om'tydernes'ferdigheter'ved'å'benytte'modifisert'BIO RADS'klassifisering'benyttes'for'registrering'av'selekterte'funn.'OPTIMA'gir' umiddelbar'tilbakemelding'på'testers'ferdigheter'sammenlignet'med' fasit.' Systemet'gir'mulighet'for'å'gå'tilbake'og'vurdere'mammogrammene'på'nytt'der'eget' tyderesultat'eller'biorads'klassifisering'er'i'uoverensstemmelse'med' fasit.' Systemet'gir'mulighet'for'å'benytte'zoom'og'window/level'i'tydeprosessen.' ' Radiologer'bidro'i'planlegging,'testing'og'ferdigstilling'av'systemet.' Brukermedvirkning'har'vært'hensiktsmessig'for'å'utvikle'og'forbedre'våre' kravspesifikasjoner'for'sammensetning'av'testsettene,'programvaren'og'innhold'i' registreringsløsningen.''detaljerte'brukerkrav'ble'etablert'for'sikre'at'systemet'var'i' henhold'til'radiologenes'ønsker'og'behov.'gode'brukerkrav'og'innspill'har'resultert'i'

et'brukervennlig'system,'noe'radiologene'bekrefter'ved'å'gi'programvaren'høy'score' i'brukervennlighetstesting.' ' Fire'radiologer'har'tydet'ett'testsett'hver.'Resultatene'viser'liten'variasjon'i'seleksjon' av'de'sanne'positive'funnene,'men'det'var'interobservatørvariasjon'i'hvordan' radiologene'klassifiserte'biorads'for'sanne'positive'funn.'vi'mener'testsettene'kan' stimulere'til'læring'og'kompetanseutvikling'for'radiologers'tyding'av'screeningo mammogrammer,'spesielt'for'å'redusere'variasjonen'i'biorads'klassifisering'av'funn.' ' Summary+ ' The'effectiveness'of'mammographic'screening'depends'on'the'radiologist s'ability'to' interpret'the'screening'mammograms.'a'key'issue'is'to'maintain'and'improve'the' interpretation'skills.'one'way'to'do'this'is'to'let'the'radiologists'participate'in'a' regular'educational'selfoassessment'scheme.'test'sets'of'screening'mammograms' might'be'one'way'to'increase'the'sensitivity'of'the'reader'performance'as'a' supplement'to'the'recommended'quality'assurance.'' ' We'have'created'a'software'system'called'OPTIMA'for'interpreting'screening' mammograms.'optima'include'four'test'sets'of'screening'mammograms,'a' registration'system'and'a'report'module.'' ' Each'set'of'100'screening'mammograms'contains'mammograms'from'one'supplier;' General'Electric,'Hologic,'Philips'Sectra'or'Siemens.'Screening'examinations'including' true'negative'(85o75%)'and'true'positive'cases'(15o25%)'are'randomly'selected'from' the'national'screening'database.'all'mammograms'are'obtained'from'a'hospital' PACS'and'thereafter'anonymoused.' ' The'system'collects'information'about'the'radiologist'interpretation'of'the'screening' mammograms'by'using'modified'biorads'classification'of'the'mammographic' findings'of'positive'cases.'optima'include'a'report'module'to'give'immediate'

feedback'of'the'interpretation'and'classification.'it'is'possible'to'return'to' mammograms'with'incorrect'interpretation'and/or'classification.'there'are'options' related'to'zoom,'window'and'level'during'interpretation.' + Radiologists'contributed'in'the'planning,'testing'and'finalizing'the'system.'We' established'detailed'requirements'to'ensure'that'the'softwareosystem'is'in' accordance'with'radiologists'needs.'the'radiologists'validate'software'usability'by' using'a'"system'usability'scale.'' + Four'radiologists'interpreted'the'test'sets.'The'results'show'little'variation'in'the' selection'of'true'positive'findings.'however,'there'was'a'variation'in'how'the' radiologists'used'the'modified'biorads'classification'for'breast'cancer'cases.'the'test' set'will'work'as'an'educational'selfoassessment'and'training'scheme'for'radiologists,' particularly'as'a'tool'to'reduce'the'variability'in'biorads'classifications'for' mammographic'findings.'' '

1"Innledning" Mammografiscreeningerbasertpåenrøntgenologiskprosedyre,og mammografibildenevurderes(tydes)avenradiolog.bådedennorskeogeuropeiske kvalitetsmanualenfororganisertmammografiscreeninganbefaleratradiologersom arbeiderimammografiscreeningskaltydeminst5000screeningundersøkelserårlig,i tilleggtilåarbeidemedkliniskmammografi,ultralyd,mrogværeøveti trippeldiagnostikk(1,2).dobbeluavhengigtydingavscreeningmammogrammeneer anbefalt(1,2). MammografiprogrammeterdetoffentligemammografiscreeningprogrammetiNorge sominvitererkvinnerialderen50g69årtiltobildescreeningundersøkelsehvertannet år.kreftregisteretadministrererprogrammetoghardatabasermedoversiktoveralle opplysningerknyttettilscreeningprosessen.mammografiprogrammetbenytter utelukkenderadiologersomscreenere(tydere)avmammogrammene,hvilketogsåer tilfelleideflestelandogkontinenter(1,2).foråoppnåanbefaltekvalitetsmål (tidligindikatorer)erdetviktigatradiologeneharhøyfagligkompetanse. SelvevalueringeretbærendeelementikvalitetssikringiMammografiprogrammet(1). Deteretablertretningslinjersomhartilhensiktåfremmekvalitet,forbedre arbeidsrutinerogredusereantallfeiliarbeidet(1).regelmessigegentestingvedå benyttetestsettmedscreeningmammogrammerkanværeetvirkemiddeliåfremme læringogetviktigverktøyforkvalitetssikringogkvalitetsutviklingavtydeprosessen (3,4,5,6,7).Etprogramogtestsettkanbrukessomenavmangeetablerte opplæringsmetoderogtilåtesteindividuelleferdigheterknyttettiltydeprosessenav screeningbilder.sliketestsettkanværesammensattavscreeningmammogrammer medulikefunn;normale,suspektefunnogklaremalignitetssuspekteforandringer. Viønskeråetablereetsystemsometbidragtilåopprettholdeoghevekompetanse knyttettilinterpretasjonogpersepsjonavmammografi.itilleggvildetkunnebidratil åopprettholdehøykvalitetpådetradiologfagligearbeidetimammografiprogrammet. 1

Programvarenvilhaenrapportmodulsomgjøratradiologenefårumiddelbar tilbakemeldingpåtesten. 1.1#Oppgavens#omfang#og#avgrensning# Dennerapportenersammenmedutvikletprogramvarevårmasteroppgaveistudiet helseinformatikkifagetmdv6191vedntnu.dokumentasjonenavkravutviklingener beskrevetimetodegogresultatkapittelet. Rapporteninneholderteoriomscreening,brystkreftepidemiologiog Mammografiprogrammet,radiologiskvirksomhetimammografiscreening,metoderfor evalueringavdiagnostisketester,hvordankompetanseetableresoghvordantestsett avmammogrammerkanbenyttessomeglæringsverktøy.rapporteninneholder beskrivelseavmetodeforidentifikasjonavscreeningmammogrammerogkravutvikling forprogramvare.ograpporteninneholderresultatersomersystemspesifiksjonenog validering,samtdiskusjonforåbesvareoppgavensproblemstillinger. 1.1.1"Målsetting"for"masteroppgaven" Målsettingenmedmasteroppgaveneråetableretestsettmed screeningmammogrammersamtutvikleprogramvarefortydingbildene.programmet børumiddelbartgiresultaterettergjennomførttydetest.målsettingeneråbidratilå opprettholdeoghevekompetanseknyttettilinterpretasjonogvariabiliteterknyttettil persepsjonavmammografi.viønskerprogramvarenmedtestsettenekanstimulere interessefortydingavmammogrammerogværeetverktøysomradiologenekan benytteforåtesteindividuelleferdigheteritydeprosessenogsomen opplæringsmetodeinnenmammadiagnostikk. Masteroppgavenbeståravflerepraktiskedeloppgaver: 1. Identifikasjonavetrandomisertutvalgavscreeningmammogrammerfra Mammografidatabasenutfragittekriterier 2. InnhentescreeningmammogrammerfrafiresykehusPACSogsammensetning avtestsettene 2

3. Utvikleprogramvarefortydingavmammogrammeneogklassifiseringav positivefunnitestsettene 4. Brukbarhetstestingavprogramvare 5. Utvikleettilbakemeldingssystemforgjennomførttydingavtestsettene 6. Utprøvingavtestsettene Oppgaveerprimærtetkravutviklingsprosjektsomkreverenbredteoretiskforankring. Sidenviskaletablereprogramvarefortydingavtestsettvilutviklingavprogramvaren væreendelavmasteroppgavensmetode.metodedelenvilderforbeskrivefaserav utviklingsarbeidetmedbrukerstyrtutviklingogbrukbarhetstestingavenprogramvareg prototype.dokumentasjonavkravspesifikasjoneneogprogramvarenutgjør resultatdelenavoppgaven. 1.2#Problemstillinger# Målsettingenmedtestsetteneeråetablereetutvalgscreeningmammogrammersom kanreflektereennormalscreeninggogtydesituasjon.testsettenevilbeståav mammogrammerfraenscreeningundersøkelse.testsetteneinneholderkunsanne negative(sn)ogsannepositive(sp)screeningfunn. Oppgavenvilhaenteoretiskogenpraktisktilnærmingogproblemstillingeneersom følger: o Hvilkelæringsteorierbørværegrunnlagforåutvikleprogramvarefortydingav testsettmedscreeningmammogrammer? o Hvilkekravspesifikasjonerkrevesforåutvikleprogramvarefortydingavtestsettog sammensetningavtestsettene? o Hvilkepraktiskeforholdbørdettashensyntilvedutviklingavetsystemfortyding avscreeningmammogrammer? o Vilbrukermedvirkningøkeprogrammetsanvendbarhetogbrukbarhet? 1.2.2."Begrensninger"ved"oppgaven" Beggestudenterharhelsefagligbakgrunn,noesomkanværeenbegrensendefaktori utviklingavprogramvare.prosjektetharikkehattøkonomiskstøtte.dettebegrenser valgavtestpersoneroguthentingavbilder,rentgeografisk. 3

Masteroppgavenfokusererpååteoretisere,kravspesifisereogprogrammere programvarefortestsett.programvarefortestsetteneerferdigstilt,menikke distribuerttilallelandetsbdsinnenforvårprosjektperiode. 1.2.3"Definisjoner"og"terminologi" Detbenyttesordogutrykkbådeframedisinoghelseinformatikk.Disseerbeskreveti tabellenunder. Tabell"1:"Ord"og"utrykk"med"forklaring" Ord/uttrykk" ArbitrationGcancere BIGRADS Brukskvalitet(usability) Brystkreft DCIS Deteksjonsrate Dismissed HPR Hengeprotokoll Insidens Forklaring" Screeningoppdagetbrystkreft,selekterttilkonsensus (diskusjon)avkunenavdetotyderne BreastImagingReportingandDatabaseSystem:kodeverk utarbeidetforåstandardiserebrystdiagnostikkog fasilitereovervåkingavutfallet Denopplevdekvalitetenavetproduktibruk,idenne oppgavenavradiologer BegrepetbrukesombådeDuctaltcarsinomInSitu=DCIS (malignsvulsttype2)oginfiltrerendebrystkreft/cancer (malignsvulsttype3) DuctaltcarsinomInSitu;kreftlokalisertimelkegangene (preginvasiv/ikkeginfiltrerendebrystkreft) Rateavkvinnerdiagnostisertmedbrystkreftper1000 screenede.deteksjonsratenkanværefordcisogfor infiltrerendebrystkreftogfordcisoginfiltrerendesamlet Funnpåmammogrammersometterdiskusjonpå konsensusmøtetdeselekteresogkvinnenblirikkeinnkalt tiletterundersøkelse Helsepersonellregistereterhelsemyndighetenesregister overalthelsepersonellmedautorisasjonellerlisensetter helsepersonelloven Ønsketvisningavscreeningbildene.Eksempel:Høyreskrå bildevisesøversttilvenstre,venstreskråbildevisesi øversttilhøyre;høyrefrontbildeinedrevenstreog venstrefrontbildenedrehøyre Forekomst:Antallnyetilfelleravsykdomienspesifikk 4

5 populasjoniløpetavetgitttidsrom Insidensrate Antallsyke/personår(per100000) Intervallkreft Brystkreft(DCISellerinfiltrerende)detektertetteren negativscreeningundersøkelse,medelleruten tilleggsbilderognåleprøve,førnesteplanlagte screeningundersøkelse Kohort Gruppesomharenfellesfaktor.Enstatistisktermsom blirbruktvedinndelingavetundersøkelsesmateriale,eks. kvinnerfødti1955 Mammografiprogrammet DetoffentligescreeningprogrammetiNorge,som invitererkvinnerimålgruppen50g69årtilmammografi hvert2.år. Mortalitet Dødelighet:Antallsomdøravengittsykdomienspesifikk populasjoniløpetavetgitttidsrom OPTIMA EteGlærinsgssystemsominneholderprogramvareog mammogrammerfortyding PACS PictureArchivingandCommunicationSystemG elektroniskbildarkivsombenyttesforålagre røntgenbildervedhelseforetakene PPV Positivprediktivverdi:Andelbrystkrefttilfellerblant kvinnersomerinnkalttiltilleggsundersøkelsepågrunnav mammografifunn Prevalens Andelmedsykdomienspesifikkpopulasjonpåetgitt tidspunkt(forbrystkreft;andelkvinnersomlevermed sykdommen) Prevalentscreenet FørstescreeningundersøkelseiMammografiprogrammet RIS Radiologiskinformasjonssystem ROC ReceiverOperatingCharacteristic.ROCkurveerengrafisk fremstillingavsensitivitetvsspesifisitet Sensitivitet Testensevnetilåpåvisesykdom,detvilsiådiagnostisere dereeltpositive Spesifisitet Sannsynlighetforåhanegativtesthvismanerfriskdvs. testensevnetilåoppdagedereeltnegative STARD StandardsforReportingofDiagnosticAccuracyG Standarderforrapporteringavdiagnostisknøyaktighet Subsekventscreenet Enpåfølgendescreeningundersøkelse.Tidligere undersøkelseiprogrammeterfortoellerflereårsiden. Tidligindikatorer Overordnedekvalitetsparametrefor screeningprogrammet(surrogatgellerdelmål)

Tyder UML(TheUnified Modelling Language ) Validering WindowandLevel Radiologsomvurderermammogrammene Standardisertgrafisknotasjonforåstøtteobjektorientert analyseogutforming Vurderingavomsystemettilfredsstillerønskerogat utførelsentilfredsstillerkrav Etinteraktivtverktøyforkontrastforbedringbenyttet innenbildebehandling 1.2.4"Gjennomføring"av"arbeidet"" Viharvalgtenpraktisktilnærmingtilarbeidsmøterogveiledningdastudenterog veiledererbosattiulikedeleravlandet.studenteneerbosattibergenogoslo.to veilederebefinnersegitrondheimogenioslo.viharbruktdropboxforådele manuskriptogprogrammertmateriale,medegnemapperforstudenterogveiledere. StudenterogtoavveilederneharetteravtalehattSkypeGogtelefonmøterom fremdriftavogveiledningiarbeidet.studenterogenveiledermøttesvåren2012i Oslohverannenukeiforbindelsemedjobbreise.Notatiforkantogreferatietterkant avveiledninghardokumentertfremdriftoggjøremåliarbeidet. 6

2"Teori" Mammografiscreeningerbasertpåenrøntgenologiskprosedyre.I mammografiscreeningtasdetprimærttobilderavhvertbryst.bildenescreenes uavhengigavtoradiologer.effektenavscreeningprogrammererdermedavhengigav atradiologeneharenhøyfagligkompetanseinnenscreeningmammografi.deter etablertemålforradiologiskvirksomhetimammografiscreeninginorskogeuropeisk sammenheng(1,2).radiologeneskompetanseopparbeidesgjennom spesialistutdanningogerfaring. 2.1#Screening# Masseundersøkelsermotkreft(screening)hartilhensiktåoppdagekrefttilfellereller forstadiertilkreftførsykdommenharspredtseg(8).målsetningmedtidlig diagnostiseringeråkunneiverksettekurativetiltaksåtidligsommulig,ellergjennom tidligbehandlingendresykdomsforløpet.daharbehandlingenbedreforutsetninger forålykkes.screeningogtidligdiagnostiseringkanrettesmotdengenerelle befolkningenellerpersonermedantatthøyererisikoforåutviklesykdom.screening sommetodebenyttesoftestsomleddiforebyggendehelseprogramdermålet (endepunktet)eråreduseresykdomogdød.forutsetningerietscreeningprogramer atsykdommenmågialvorligehelseproblemer,harenrelativtlangsymptomfrifase, ikkebørværeensjeldensykdomogscreeningtestenmåværepålitelig.grunnlagetfor åtenkescreeningeratdeteksistererenscreeningtestsomeristandtilåindikere aktuellsykdom,attestenerenkel,akseptertavbefolkningenogerkostnadseffektiv. WHObeskrivertipunktersomgrunnlagforåetablereetscreeningprogramforen sykdom(8) Mammografiscreeningerbeheftetmedfordelerogulemper.Ulempervedscreening kanværeøktinsidensogprevalens,falskepositivefunn,urovedetterinnkalling (9,10,11,12),overdiagnose(13,14),overbehandlingogintervallkreft(15).Fordeler nevnessomredusertdødelighet,stadieforskyvningveddiagnose,mindreomfattende 7

behandlingogøkttverrfagligkunnskapblantannetvedetableringavbrystdiagnostiske sentra(15,16,17).deterbredinternasjonalenighetomatmammografiscreening redusererdødelighetenavbrystkreft(18,19,20,21,22,24).reduksjonener25%og31 %blantdesominviterestilscreening( intentiontotreat ),mensdenermellom38% og48%blantdesomfaktiskdeltariprogrammet.effektenermestoverbevisende blantkvinner50 69årogharblittvistirandomisertekontrollerteforsøk (18,19,20,21,22,23,24).Fordeleneerstørreennulempenevedorganisert mammografiscreening(25).deterikkeinnenfordenneoppgavensrammerådiskutere fordelerogulemperytterligere. 2.1.1"Mammografiprogrammet" Påbakgrunnavprøveprosjektmedmasseundersøkelseforbrystkreftmed mammografivedtokstortingeti1998åinnføremammografiscreeningsomet landsdekkendeprogram,mammografiprogrammet,somendelavdetoffentlige helsetjenestetilbudet(26).i2001blekreftregisteretutpektavsosialgog helsedepartementettilåværeetnasjonaltscreeningsenterinorge.peridaghar Kreftregisteretansvarfordriftavnasjonalescreeningprogrammetmotbrystkreft, livmorhalskreftogetforprosjektmedtarmkreftscreening(27). Mammografiprogrammetinvitererallekvinnerialdersgruppen50G69årtil screeningundersøkelsehvertannetår.målgruppeni2012er565000kvinner. Målsettingenmedprogrammeteråreduseredødelighetenblantdeinviterte.Sidenet sliktendepunktkanmålesførstmangeåretteroppstartblirprogrammettilenhvertid måltforenrekkeprosessindikatorerellerdelmål. Allinformasjonknyttettilkvinnensscreeningundersøkelsefrainvitasjon,oppmøte, tyderergistreringerogeventuelleetterundersøkelserersamletienfellesdatabasepå Kreftregisteret.Deterpublisertomlag120vitenskapligeartiklerfradatafraden nasjonalescreeningdatabasenmedulikeaspekterfraprogrammet (9,10,11,12,13,14,15,16,17,18,28,29,30).Ytterligereeksternevalueringenavulike 8

aspekteravmammografiprogrammetsomskalgjennomføresav7forskningsgrupperi regiavnorskforskningsråd.evalueringenstartetvåren2012. 2.1.2"Brystkreft"i"Norge" Foråkunnetesteforensykdommåenhakunnskapomsykdommenvedåstudere densforekomstrelaterttilulikedimensjoner.dissekanværetid(forekomstenog eventuellendringoverenvissperiode),sted(geografiskeforskjeller)ogpersoner(er forekomstenknyttettilspesielleegenskaperellereksponeringersompersonerhar ellerutsettesfor).noenmålpåsykdomogdøderprevalens,insidensogmortalitet (31).BrystkrefterdenhyppigstekreftformenblantkvinneriNorge.I2010fikk2839 kvinnerdiagnostisertsykdommen(32).idetsammeåretdøde673kvinnerav sykdommen.forekomstenavbrystkreftharøktjevntfra50gtallet,medenutpreget økningiperiodenhvordenoffentligemammografiscreeningeninorgestarteti1996g 97.Overlevelseavbrystkrefternærtrelaterttilhistopatologisktumorkarakteristikkog avstadiumveddiagnose.kreftregisteretregistreresopplysningeromtumorstørrelse,g grad,lymfeknutegoghormonreseptorstatusoguliketyperbehandling.dettegjøresfor åanalyserebrystkreftutviklingenovertidogårelatereinformasjonentiloverlevelseog dødelighetsamtforåvurdereulikebehandlingsoppleggforkvinnene. 2.2#Evaluering#av#diagnostiske#tester# Systematiskeoversikteravdiagnostisketesteroppsummereregenskapervedtestens ytelsemenbeskriverikkeutfalletforpasienten(33).sammenhengenmellom testegenskapogpasientutfallerkompleks.denultimatehensiktenmeddiagnostiske testermålesvedomresultatetavtestenpåvirkerutfalletforpasientenogsomdermed påvirkerendepunktsommorbiditet,dødelighetellerlivskvalitetsparametre(34). Diagnostisketesterkanpåvirkeutfalletdirekte,menoftesterpåvirkningenindirekte. Rentprinsipieltpåvirkertestresultatetbehandlingsmessigevalgsomeventueltvil innvirkepåresultatetforpasienten.testensytelseellerdiagnostiskenøyaktighetkan uttrykkessomsensitivitet,spesifisitet,positivnegativratio,positivprediktivverdi 9

(PPV),ReceiverOperatingCharacteristic(ROC)ogeroftesurrogatmålpåveimotet endepunkt.deflestediagnostisketestererbeheftetmedstyrkerogsvakheter. DeterviktigeprinsipielleforskjellermellomscreeningGogdiagnostisketester.En diagnostisktestharsomformålåklarleggeensituasjonellertilstandhosdensomblir testet.screeningtestererundersøkelserforå sileut hvemsommågjennomgå ytterligeretesterforåstilleensikkerdiagnose.screeningkandefineressom undersøkelseavasymptomatiskeindividerforåklassifiseredemsomsannsynligfriske ellersannsynligsykeiforholdtildensykdommendeundersøkesfor (8).Sensitivitet, spesifisitetogprediktivverdiervelkjentemålietscreeningprogramogharanbefalte verdierformammografiscreening.enhetligogkomplettrapporteringeressensieltforå kunnevurderesensitivitetogspesifisitetforulikefylker/områderogradiologenes ferdigheterietmammografiscreeningprogram.resultatenekanbetraktessometmål påradiologenesferdigheter. 2.2.1"Sensitivitet,"spesifisitet,"PPV"og"NPV" Sensitivitetogspesifisitetgirutrykkfortestensnøyaktighet(31).Diagnostisk sensitivitetdefineressomsannsynlighetenforattestenerpositivhvismanersykdvs. testensevnetilåoppdagedereeltpositive.sensitivitetregnesutvedådelesann positivmedsannpositivplussfalsknegativ(sp/sp+fn).lavsensitivitetbetyrattesten girfalskopplysningomatkvinnenerfrisk.diagnostiskspesifisitetdefineressom sannsynlighetforåhanegativtesthvismanerfriskdvs.testensoppdagedereelt negative.spesifisitetenberegnesvedådelesannenegativepåsannenegativeog falskepositive(sn/sn+fp).lavspesifisitetbetyratmangefriskefårbeskjedomatde muligensersyke.spesifisitetogsensitivitetfortellernoeomhvornøyaktigtestener, detvilsidensevnetilågirettsvarpåomdensomtestesfaktiskerellerikkeerbærer avtilstandendettestespå. Enprediktivverdigiruttrykkforandelensykeblantdefriske.Prediktivverdiaventest avhengeravellervarierermedforekomstenavaktuellsykdom(prevalens)iden 10

befolkningpasientenkommerfra.prediktivverdiangirsannsynlighetenforaten personmedutslagpåtesten(positivtest)virkeligersykellervirkeligharbrystkreft (positivprediktivverdi(sp/fn+sp)),elleromsannsynlighetenforatenpersonuten utslagpåtestenvirkeligerfrisk(negativprediktivverdi(sn/sn+fn)). Tabell2viserhvordansensitivitetogspesifisitetkaneksemplifiseresfor mammografiscreening.gittengruppepå10000personer,100sykeog9900friske. Mammografiidentifiserer96sykesompositive(SP),menogså594friskesompositiv (FP).Testenangir9390friskesomnegative(SN),menogså4sykesomnegative(FN). Tabell"2:"Screening"test"for"brystkreft" Virkelig"forekomst"av" brystkreft" BrysttkreftJA BrystkreftNEI Antalltotalt Prøveresultat" (screeningtest) Positiv+ 96(SP) 594(FP) 690(SP+FP) NegativG 4(FN) 9390(SN) 9310 (FN+SN) 100(SP+FN) 9900(FP+SN) 10000(alle) Sensitivitet=SP/(SP+FN)=96/100=0,96.Mammografiscreeningtestensevnetilå påvisesykdomer96%. Spesifisitet=SN/(SN+FP)=9390/9900=0,95.Mammografiscreeningtestensevnetilå utelukkefriskeer95%. PPV=a/(a+b)=96/690=0,13.Dettebetyrat13%avdesykefangesoppog87%er falskpositive.prevalens=(a+c)/(a+b+c+d)=100/10000=1/100eller1%. Fordiagnostisketesterønskeshøyestmuligsensitivitetogspesifisitet;viønskerat verdieneersånær1sommulig.prediktivverdiavenscreeningmetodeeravhengigav metodenssensitivitetogspesifisitetsamtdenaktuelletilstandensprevalensiden undersøktebefolkningen.ppvformammografiscreeningvilnaturlignokværelavi 11

forholdtilppvavdiagnostiskmammografi.detvilienpopulasjonværedelvis overlappendeverdiermellom friske og syke,ogoverlappingenblirstørrejo dårligerepresisjonogreproduserbarhetmetodenhar.foråoptimaliserefordelerog redusereulemperkanscreeningprogrametableregrenseverdierforønsketog akseptabeletterinnkallingsrate,ppvogdeteksjonsrate(1). 2.3#Radiologisk#virksomhet#i#mammografiscreening# Forånåmåletomredusertedødelighetogsykelighetavbrystkreftvedådetektere sykdommeniettidligstadiumkrevesnitidigarbeidfraenrekkeprofesjoner.siden mammografiscreeningerenradiologiskprosedyreavhengermyeaveffektenav radiologeneskompetanse,deresevnetilåoppdagebrystkreftsamtkorrekttolkingav funn. Detnorskescreeningprogrammetgjennomføresetterretningslinjerbeskreveti kvalitetsmanualen(1),somertuftetpådeneuropeiskekvalitetsmanualen(2). Nasjonaleretningslinjerermentsomethjelpemiddelforåoppnåforsvarlighetoggod kvalitetitjenesten(1).etscreeningprogrammåtilenhvertiddriftesettergjeldende retningslinjervedåoppnåkvalitetogforåidentifisereforbedringspotensiale.både dennorskeogeuropeiskkvalitetsmanualenfororganisertmammografiscreeninggir akseptableogønskedemålforenrekkekvalitetskontrollparametreforvirksomheten: Indikatorereroppmøte,etterinnkallingsrate,PPV,deteksjonsrate,stadiumved diagnose,tumorkarakteristikaogintervallkreft(1,2).flereavindikatorenefortellernoe omtestenseffektivitet,somkanbetraktessometutrykkforradiologenferdigheter.et nasjonaltprogram,brystsenterellerenkeltpersonbørtidligstmuligblioppmerksompå mangelfullkvalitetslikatnødvendigeforbedringstiltakkaniverksettes.løpende evalueringogkvalitetssikringerderforetkrav.detbærendekravetinnen kvalitetssikringerselvevaluering.kvalitetsmanualenimammografiprogrammethar sommålåfremmekvalitet,forbedrearbeidsrutinerogredusereantallfeil(1). 12

VedoppstartavMammografiprogrammetbledetetablertbrystdiagnostiskesentre (BDS).BDSerregionenssenterforbrystdiagnostikkderscreeningGogdiagnostiske mammogrammertydesoglagres.herforegåretterundersøkelser,samteventuell viderediagnostikkogbehandling.hvertbdsertilknyttetenellerflere bildetakingsenheter,derscreeningundersøkelsenefinnersted.norgehar16bds.disse ertverrfagligeenheteneereffektivbrukavspesialisthelsetjenesten(35)godearenaer forhelsepersonellslæring(36,37).etsliktsamarbeideravbetydningforåetablere, opprettholdeoghevekvalitetogspisskompetanse,bådeinnenbrystdiagnostikkog behandling(1,2). INorgebenyttesutelukkenderadiologersomtydereavscreeningundersøkelser, hvilketogsåertilfelleideflestelandogkontinenter.retningslinjerfordetradiologiske arbeidetpåpekernødvendighetenavfaglighetogtverrfaglighetiarbeidetsomutføres vedbds(1).deterviktigatradiologeneerfagliggodeforatanbefaltetidligindikatorer oppfyllesogforånåmammografiprogrammetsmålomredusertdødelighetav brystkreftblantdeinviterte.erfaringharvistatdetkanværevanskeligåoppfyllealle anbefalingene(15,16). EtkravtilradiologersomarbeideriMammografiprogrammeteratdeogsåskaljobbe medkliniskmammografiogultralydsamtværeøvetitrippeldiagnostikk.åarbeide medmammografiscreeningmåsåledesseessammenmedenkliniskkontekstvedå forholdesegtilvidereutredningogfunnogkrevertverrfaglighetiarbeidet(1).videre børradiologenkunnevurderebrukavmrgmammaoghatilgangtilkliniske opplysningerogpatologidataforåbyggeoppogøkeegenkompetanse.etannetkrav eratradiologerbørhagjennomførtlegeforeningensgrunnkursimammadiagnostikk ellerhatilsvarendekompetanseoghadeltattietinternasjonaltkursi mammadiagnostikk.deterkravtilatradiologersomskalarbeidei Mammografiprogrammetmåfåindividuelttilpassetopplæring.Detmåværeetablerte arenaerfortverrfaglighet,kunnskapsformidlingoglæring(37)foråetableremedisinsk fagligkunnskapogdetkreveretstorttydevolumforåoppnåogopprettholde 13

kompetanse.norskeogeuropeiskeretningslinjeranbefalerogsåatdetskaltydeset visstvolumscreeningundersøkelserårlig(5000undersøkelser).læringskurvener brattestdeførsteåreneentyderscreeningbilder(38,39).detharvistsegåvære nødvendigavåfokuserepåtrening/øvelseføroppstartavbildetydingforåøke kompetansenitydeprosessenforåtilfredsstillekvalitetskrav,spesieltvedovergangfra analogetildigitaletydeprosesser(40,41).radiologeneserfaringogtydevolumpåvirker risikoenforenfalskpositivscreeningundersøkelse(42). Dobbeluavhengigtydingavscreeningmammogrammeranbefalesogervanligpraksisi Mammografiprogrammet(1).Dobbeluavhengigtydingmedkonsensusøker deteksjonsratensammenlignetmedomenradiologhaddetydetscreeningbildene(40). Tydingenavscreeningbilderkrevermindrerapporteringogbeskrivelserenn diagnostisketester.imammografiprogrammetbenyttesenfemdelttydeskalaforå angiresultatetavscreeningtesten,standardisertforallescreeningundersøkelser. Tydescore1indikerernegativt/normaltfunn,2sannsynligbenigntfunn,3usikkert funn,4sannsynligmaligntfunnog5maligntfunn.uliktydescore(2ellerhøyere)fører tilatundersøkelsenvurderesavtoellerflereradiologerikonsensus,førendelig resultatsettes.omenavradiologeneklassifisertundersøkelsentil3,4eller5skal kvinnenetterinnkallestilundersøkelse.dettekanfravikesienopplæringssituasjon,og eretviktiglæringsmomentiopplæringavnyeradiologer. Ennorskstudieviserat24%avscreeningoppdagedekrefttilfellerbleselektertavkun avenavdetoradiologene(28).deteranbefaltåinkludereforegåendeundersøkelse forsammenligningogatmammografibilderfratidligereundersøkelserertilgjengelig (1,44). Radiologensomtyderscreeningundersøkelserkanidentifiseresogresultatenefølges påindividnivå,bådeveddetenkeltebdsogvedkreftregisteret.opplysningerom screeningresultat,etterundersøkelserogpatologiresultatkanhentesutvedhvertbds forkvalitetssikringavegenvirksomhet.fornasjonaloglokalkvalitetssikringerdenne 14

15 formenforselvevalueringviktig,dalæringsaspektetknyttettilintervallkrefterviktigi etscreeningprogram(1,2).regranskningsstudierviseratomlag20%av undersøkelsenehaddetegnsomkunneværtoppdagetvedscreening,andelenvarierte fra1.3til35,9%avhengigavstudiedesign(29).foråstimulerelæringbørdetved regranskningavmammogrammerværemuligågjennomføredettebådemedoguten informasjonomfunnvedscreeningogdiagnostiskebilder(fasiten). Arbeidmedbrystdiagnostikkkreverfokuspåbildekvalitet,somettavdeviktigste aspektene(45,46).deteretablertekravtilatradiologenmåsørgeforatkravtilteknisk utstyrogarbeidsprosedyrer,tillysoglyd,ogselvevalueringfølges(1,2).digitale mammogrammerfremstårsomvisueltsværtulike,hvaangårkontrast,metningav svart/hvitt,skarphet,støyogartefaktergrunnetulikbildeprosesseringfortyder(45). 2.3.1"Kvalitetsmål"for"radiologisk"virksomhet"i"Mammografiprogrammet" Etutdragavkvalitetsmåleneforradiologiskvirksomhetervistitabellenunder. Ønskedeogakseptablemålikvalitetsmanualenbaserespåerfaringerfraprøveprosjekt imammografiprogrammetogdeneuropeiskekvalitetsmanualenfororganisert mammografiscreening(1,2).begrepeneitabellenerbeskrevetikap2.2.1sensitivitet, spesifisitet,ppv. Tabell"3:"Kvalitetsmål"for"radiologisk"virksomhet"i"Mammografiprogrammet" Indikator Ønsket"mål Akseptabelt" mål Mammografifunnsomførertilat kvinnenselekterestiletterundersøkelse førsterunde påfølgenderunder 5% 3% 4G5% 3G4% Deteksjonsrate førsterunde påfølgenderunder Bakgrunnsinsidens førsterunde påfølgenderunder 7/1000 3/1000 >3xinsidens >1,5xinsidens 6/1000 3/1000 3xinsidens 1,5xinsidens

PPVpåbakgrunnavpositiv mammografi førsterunde påfølgenderunder 16% 16% >12% >12% AndelDuctalcarsinominsitu(DCIS) 10G20% 10% Intervallkrefttilfellerpr10000screenet <16 <18 Ihovedsakpåpekermåleneatdeterønskeligåetterinnkallesåfåkvinnersommulig samtidigsomenønskeråoppdagekrefttilfellene. 2.4#Etablering#av#kompetanse## Etableringavtestsettforradiologerkreveratviharkjennskaptilhvordankompetanse etableresforyrkesgruppen.kompetanseopparbeidesgjennomdetformelle utdanningssystemetvedundervisningoginstruksjon,ogvidereutviklesiarbeidslivetog gjennomforskning(47). 2.4.1"Profesjonsstudiet"og"spesialistutdanning"i"medisin" Utdanningavhelsepersonellispesialisthelsetjenestenomfattergrunnutdanning, videregogetterutdanning,turnustjeneste,spesialistutdanningoguliketyperkurs." Medisinstudieteret6Gårigprofesjonsstudiumveduniversitetogførertilgradencand. med.studietinneholderbådeteoretiskeogpraktiskefag.praksisdelenav grunnutdanningenskjerihelseforetakene.turnustjenestenerendelav grunnutdanningenogetvilkårforåfåautorisasjonsomlege(47).statens autorisasjonskontorforhelsepersonell(safh)girprofesjonsgodkjenningtil helsepersonell(47).innenformedisinerdetenrekkespesialistutdanninger. Legeforeningenharetablertetstortfagligapparatgjennomspesialitetskomiteer, spesialistrådet,kurskomiteerogutredningsutvalgforåsikreogutviklekvalitetog fagutviklingavspesialister(48).peridagerspesialistutdanningenistorgradstyrtav ferdighetskrav,sjekklister,kravtiloperasjonslisterosv.itilleggerdetmålbeskrivelser fordeulikespesialistutdanningene.detteerviktigforåbeskrivekjerneinnholdihver spesialitet,slikatdenblirrelativtlikuavhengigavutdanningssted. 16

2.4.2"Radiologi"og"diagnostikk" Radiologierenavspesialistutdanningeneinnenmedisin.Sentraleelementeri radiologiskmetodeerevnentilåoppdagepatologiskeforandringer(persepsjon)og tolkingeravdisse(interpretasjon).dettevilværesubjektiveferdigheter. Erfaringsgrunnlagogfagligskjønnmedblantannetavgrensningmedtankepå normalvarianterogaldersbetingedeforandringereravenvesentligbetydning. Utfyllendekliniskeopplysningervilherkunneavgrensedifferensialdiagnostikkenog væreenviktigforutsetningforenmestmuligpresisradiologiskdiagnose.premissene forbildediagnostikkogvurderingavundersøkelsenesegnethetvedulike problemstillingervilofteværeradiologensansvar.dendiagnostiskeprosesskanvære komplisertdadebildemessigeforandringeneofteerbeskjedneogsubtile,f.eks.usikre fortetningerpårøntgenthoraxogasymmetriervedmammografi.samarbeidmellom klinikerogradiologerderforheltnødvendigforåoptimaliseredendiagnostiske prosessogvilogværeenviktiglæringsarenaforbegge.dettaromlag12åråerverve segdennespesialiteten.enytterligerespesialiseringerkunnskapimammadiagnostikk, sometfåtallavdagensradiologerbesitter.peridagetdet77radiologersomtyder screeningmammogrammerimammografiprogrammet.deterikkekravtilåerverve segkunnskapinnenmammadiagnostikkispesialistutdanningenforradiologi. 2.4.3"Læringsarenaer" Detmesteavlæringstartersomoftestmedatmedisinstudenterobservererforså gradvisåprøvepåegenhånd.læringforegårogsågjennomveiledning,somerden uformelledagligelæringen.fordeulikegruppervildetteværeradiologiskarbeid, previsitter,visitter,morgenmøter,labratoriearbeid,polikliniskarbeidog avdelingsarbeid.herkanstudentene,spørreogfåumiddelbartilbakemelding.detteer ofteengodlæringssituasjon.dessutenforegårmyepraktiskyrkesopplæringveddetvi omtalersommestersvenn,derenerfarenspesialistermesterog utdanningskandidatenersvenn.detteegnerseggodtforinnøvingavkliniske ferdigheter. 17

Læringinnenradiologietableresselvsagtetterhvertsomenfårerfaringoganvender sinkunnskap.persepsjonoginterpretasjonavrøntgenbilderkreverkunnskapog relevansforaktuellundersøkelsesomkanværeomsykdommensrisikofaktorer, utbredelseogaldersvariasjoner.observasjonkreverogsåtreningiformavatenmå kjennetilulikefunnognormalvarianteravfunn.åanalyserekarakteristikkersom form,mønster,hvasomerpatologiogdetåkunnetolkebakgrunnsinformasjonkrever medisinskfagligkunnskap.kommunikasjonmedhenvisendelege,ogsåetteratbildene erbeskreveterviktig.dettestøtternødvendighetenavlæringsarenaerogviktigheten avbådetausogeksplisittkunnskapforåkunneøveinnferdigheter(36,37). Mammaradiologisklæringetableresvedbrystdiagnostisksenter,derdettverrfaglige arbeiderenviktiglæringsarena. Mammaradiologenslæringskurvevilværepåvirketavbådeantallutførteprosedyrer, tverrfagligsamarbeidmedegenogandreyrkesgrupperoglæringsmiljøvedegen arbeidsplass.innenflerefeltispesialisthelsetjenestenkrevesogsåetvissttydegeller behandlingsvolumforåbligodpåetfagfelt.enlæringarenainnenradiologisk virksomheterbrukavkontrasigneringmederfarenradiolog,dertilbakemeldingved uoverensstemmelsererviktig.imammografiscreeningtydingkrevestverrfagligheti arbeidetvedåsesammenhengmedkliniskkontekstogdermedoppfølgingogvidere behandling.dettekrevergodkommunikasjonmedsamarbeidendelegerogerviktig medtankepånivåogkontekstomkringkunnskapservervelse.organisasjonerskaper kunnskapgjennomaksjonoginteraksjonogdetteerendynamiskogtilenhvertid pågåendeprosess(37).kunnskapsskapelseforegårgjennomkonverteringavtausog eksplisittkunnskapogvedåetablereetgodtmiljø/bevissthet/teamfor kunnskapsutvikling.ledenderollermåmedtydelighetformidle avdelingens/organisasjonenskunnskapsvisjon,slikatdetteerforankreti organisasjonen.formuleringenkanogsåkommefraeksternthold,dergittekravog kvalitetsparametresominnenmammografiscreeningkanværeenpådriverfor måloppnåelseogkunnskapsskapelse.enformidlingfra mellomledere eratdesom kunnskapsprodusenter måaktiviserearenaerforkunnskapsutvikling.etableringog 18

mulighetforåbenytteettestsettvedetbrystsenterunderstøttesavatutøvelse fremmesvedvirtuellinteraksjonmedrefleksjongjennomhandlingviaitsystemer. 2.4.4"Simulatorer"og"ITVsystemer"for"ferdighetstrening" InnenflereområderavmedisinenbenyttessimulatorerogITsystemerfor ferdighetstreningføroppstartogforerfarnebrukere.simulatortreningkaninngåsom obligatorisktreningforenkeltespesialiteter,menulikeavdelingeroggruppervilha forskjelligebehov.ferdighetstreninggynekologisklapraskopiskkirurgihalverte operasjonstidenførreelleoperasjoner(49).ferdighetstreningkangjøremanøvrering oghåndteringavmedisinskeopplysningerletterevedåbenyttehypotetiskeeller funksjonsbaserteelektroniskepasientjournaler(50).inorgeermangegrupper helsepersonellkjentmedsimuleringsprogrammedlærdalsøvingsdukkerforhjerteg /lungeredning(51).simuleringsprogramkanetableresvedattreningenforegåriteam elleratdettrenespåkritiskemedisinskesituasjonerunderveiledningavinstruktør. Refleksjonogdebrifingavegenogteametsinnsatseretviktiglæringsaspekt. Etableringavkasuistikkeriformavbildefunnvedegenavdelingellerforetfagforum innenradiologienkanværesimulatorforferdighetstrening.programvareogtestsett medmammogrammerkanhauliklæringsfokussompersepsjonoginterpretasjon,med uliksammensetningogandelavfunnpåmammogrammer,antallbilder,kravtil registreringsogtilbakemeldingssystem. 2.5#Testsett#av#screeningmammogrammer#som#eBlæring#verktøy# Hvordanferdigheteritydeprosessenkanoppnås,opprettholdesellerforbedreseret nøkkelbegrepforradiologerogandresomtyderscreeningmammogrammer.etbidragi dettekanværeregelmessigegentestingvedåbenytteprogramvareogtestsettsomet eglæringsverktøyforopplæringogkvalitetssikring individueltogforegetsenter.og bruk/egentestingavetsliktverktøykanværeetvirkemiddelforbyggingav kompetanse.åøkedenenkelteskompetansenivåogferdighetereretmålfor simulatortrening 19

Vedåfokuserepåutfordringenvedåtydescreeningmammogrammeharnoenland utvikletgoderutinerogtilbakemeldingssystemertilradiologeneforåkvalitetssikre screeningarbeidet.enkeltelandbenytterogsåopplærings/testsettforat screeningtyderekanvurdereogforbedreegneferdigheter.internationalcancer ScreeningNetworkkartlajuni2012medlemslandenessystemerfortilbakemeldingtil screeningtydere,dermanblantannetspurteomdeltagerlandenesbrukavtestsett (52).Detteforankrernytteverdienavprogramvareogtestsettforferdighetstreningog tilbakemeldingsystem. IEnglandbenytterstestsettforåmåleradiologenestydeferdigheterav screeningmammogrammer.testsettene PERFORMS (PersonalPerformancein MammographicScreening)harværtbenyttetsiden1991,etparåretteroppstartav detnasjonalescreeningprogrammet TheNationalHealthServiceBreastScreening Program(3,4,5,6,7).PERFORMSharimangeårfungertsometselvevalueringsverktøy. Screeningtyderegjennomgåretstandardtestsettsammensattavuliktutfordrende mammogrammerhvertannetår.desombenyttertestsettenemottartilbakemelding påegentydingenumiddelbartettertest.tilbakemeldingengisiformavengrafisk fremstillingavferdighetersammenlignetmedtydingenforetattavetekspertpanelav radiologer,ensåkalt fasit.deteretablerttestsettmedulikvanskelighetsgradog malignitetssuspekthetidebildemessigeforandringerforbrukiopplæring, selvevalueringogforsertifisering.detteerviktigeaspekterbådeforåoppnå, opprettholdeogforbedrekunnskap.ienglandhardeogsåbenyttettestsettmed1000 mammogrammerforåvurdereomradiograferstydeferdigheterkansammenlignes medradiologer(53). Testsettkanværesammensattavscreeningmammogrammermedulikefunnogmed forskjelligregistreringsløsningforklassifiseringavdiagnostiskefunn.fokusvildavære påpersepsjonoginterpretasjonavaktuellefunn.testsettmed screeningmammogrammerbørideeltsettinneholdebildermedoguten 20

abnormaliteterogmalignitetssuspektefunn.vedbrukavtestsettsomsimulatorkan enkartleggeomdeterspesiellelesjoner,kjerteltetthet,typerkalkellerforandringer somerspesieltvanskeligåtolke.egenoppfølgingoglæringkandermediverksettes innenfordisseområdene ellervedsenereåsettesammenspesieltvanskelige testsett. Kjerteltettheterenselvstendigrisikofaktorforbrystkreft(54,55).Forklassifiseringav kjerteltetthetibrystetharamericancollegeofradiology(acr),somendelavbreast ImagingReportingandDataSystemAtlas(BIGRADS Atlas)utvikletet klassifiseringssystemmedfirekategorier.kategori1ersammensetningenibrystet nestenbarefettvev.kategori4anseesåværeekstremtkjerteltette.forenkletkanvisi atfettvevsynessortogkjertelvevhvittpåmammogrammer.sidenmaligitetssuspekte funnoftestoppstårsomhviteforteningerietmammogram,vilpersepsjonog klassifikasjonblivanskeligereietmammogrammedtettkjertelvev.tettkjertelvevkan reduseresensitivitetenpåmammografitydingfra98vedkjetreltetthet1til48%ved tetthet4(56). Mammadiagnostiskrapporteringoginterpretasjonbørbaserespåstandardiserteog etablerteklassifikasjonersombigrads(57,58,59,60),foråkunnekvalitetssikreog sammenligneresultaterbådenasjonaltoginetrnasjonalt(1,2,33,34,59).ved retrospektivtåkategoriserelesjonerpåmammogrammedbigradser interobservatørvariasjonenforpvvgodogdermedenvalidmetode(59). Godartedeforteningersomcysterogfirbroadenomerervanligvisrundeog velavgrensede.ondartedefortetningerervanligvismeruregelmessigeogmedenmer uklaravgrensingsamtinnvekstiomkringliggendevev.medevtinnholdavuensartede mikroforkalkninger.forkalkningerkanseessomsomsmåspredtesaltkorn ogdette kanværeutrykkformailignitet.sannsynlighetenforatatdetersnakkomkreftøkes nårforkalkningeneergrupperteoguensartede.deenkelteforkalkningersutseende 21

kansinoeomsannsynlighetenforkreft.vedatdiagnostiskklassifiseringmåregistrerer formasseogkalkgjøressamtidigenvurderingavlesjonensmaligitetsuspekthet. Ienreellscreeningsituasjontydesomlag60undersøkelserpertime,mentidsbruk varierermedradiologenstydeerfaringogerfaringmednyetydemodalitet(40).har radiologenlitenerfaringinnenmammadiagnostikkøkertidsbrukvedtydingsamt andelenfalskpositivetyderersultater(61).entest/studiesettingvilmedføreendret arbeidsmetodesidendetkrevesmerdiagnostiskklassifisering.detvilogværeen forståelseavatandelenselekterteerhøyereiettestsettenniscreeningsituasjonav enpopulasjon. Deterinterobservatørvariasjonisensitivitetogspesifisitetiscreeningtyding. InterobservatørvariasjoniBIGRADSterminologienerrelativtliten(59).Vedåbenytte testsettkanenògmåleomdeterintraobservatørvariasjon,dersomsammetestsett fleregangeravsammeperson. " 22

" 3"Metode" Dennemasteroppgavenbeståravflerepraktiskedeloppgaver.Deloppgaveneer: 1. Kravutviklingsmetoderforprogramvarenmedbrukersentertdesign 2. Innhentingavtillatelser 3. Identifikasjonavetrandomisertutvalgavscreeningmammogrammerfra Mammografidatabasen 4. InnhentescreeningmammogrammerfrafiresykehusPACSogsettesammen testsett 5. Utvikleetregistreringssystemfortydingavmammogrammer 6. Brukbarhetstestingogregranskning 7. Utvikleettilbakemeldingssystemfortestsettet 8. Utprøvingavtestsettet 3.1#Kravutvikling#av#testsett#og#programvare# Systemutviklingkangjøresmeduliketilnærmingsmetoderforådrivefremutviklingen avetsystem.modellenegjenspeilerutviklingenavprogramvareutvikling.deterflere hovedklasseravutviklingsmodellerhvorvannfallgogsmidigemetoderertoavdisse (62).Viharbenyttetflereutviklingsmetoderiarbeidet. Viskisserteogplanlamyeavinnholdiregistreringsløsning,sammensetningav testsetteneogfremdriftistartenavprosjektet.vietablerteendetaljert kravspesifikasjon,somenklassisktilnærmingettervannfallsmetoden. Vannfallsmetodenbeskrivessomenplanstyrtprosessmodellsomgirprosjektledelsen godkontrolloverutviklingsprosessensframdriftogkostnader(62).metodengårutpå engrundiganalyseogspesifiseringavsystemetførmanstartermeddesignog implementeringavprogramvaren.prosessmodellendelerutviklingsprosessenoppi tydeligefasersomfølgerpåhverandreoghverfaseskalhelstavsluttesog 23

dokumenteresførnestefasepåbegynnes(62).metodenssvakheteratdenilitengrad leggeropptilendringerideavgjørelsersomertattiforrigefase. Realitetenioppgavenogønskeombrukermedvirkingiarbeidetvisteatdetvarbehov foråoppdatereogendrekravspesifikasjonen.åutvikleeteglæringstestsettforen litengruppefagpersonerkreverbrukermedvirking(63).mammaradiologeneblederfor involverttidligiprosessen.utviklingavvårtprogramvilikkeblioptimaltuten brukerinvolvering,ogkjennskaptilatarbeidetikkeblirriktigførstegangerviktig(63). Vilaopptilåfåinnspillpåbehovogsammensetningavbilderitestsett,ogomfangav innholdiregistreringsløsningentidligiprosessen.metodenvibenyttetfor utviklingsprosessenblederforbasertpåerfaringogmedvirkningienfleksibel utviklingsprosess. 3.1.1"Brukersentrert"design" Vibenytterbrukersentrertdesignforåfokuserepååtilfredsstillebrukerensbehov.Vi harfokusertpåhvordandesignetkanstøttebestemtebrukeretilåutføregitte oppgaveridetåbenytteettestsett,menviharikkefokusertpådeteknologiske løsninger.vibenyttermetodenogsåmeddenhensiktåskapedialogmedradiologenei utviklingsprosessen.medtankepåbrukskvalitetharvifokusertpåbrukerei designprosessen,menradiologeneharikkedeltattiselvedesignetav brukergrensesnittet.viharinvolvertradiologeneforåkartleggedomenetsom brukergrensesnittetskalfungerei. Viharbenyttetbrukersentrertdesignforåetablere(63): o Krav;derviønskeråforståogspesifiserebrukavsystemet o Kravspesifikasjon:viønskethjelptilåspesifiserebrukerkrav o Design:viønskethjelptilåetablereetsystemmedhensiktsmessigdesign o Evaluering:vihargjennomførtenbrukerbasertvurderingavprogrammet Iutviklingsogdesignprosessenvilvivurderehvordanvikanfåsvarpå problemstillingene.innspillogideerfrabrukereerinnhentetmedkvantitativog 24