God klinisk praksis og behov for normering ved bruk av kunstig intelligens innen radiologi

1 2 3 4 5 6 7 God klinisk praksis og behov for normering ved bruk av kunstig intelligens innen radiologi 8 9 10 11 12 13 Sammenstilling av innsikt fra "idéfasen" i mars 2021 Utkast for innspill 15.04.2021 14 0

15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 Innhold Om dokumentet... 3 Send oss innspill... 4 Om utredningsarbeidet... 4 Organisering... 4 Prosess... 4 Tidsplan... 5 Involvering i arbeidet... 6 Innspill på prosessen hittil... 6 Økt kompetanse og behov for informasjon blant helsepersonell... 7 Samvalg og informasjon til pasienten... 7 Tverrfaglig kompetanse... 7 Tiltak på nasjonalt nivå... 8 Øvrige tiltak... 8 Tettere samarbeid mellom forskning, produktutvikling og klinikk... 8 Felles problemforståelse... 9 Dele erfaringer på tvers av fag... 9 Tiltak på nasjonalt nivå... 9 Tilgang til tilstrekkelig gode datasett... 10 Forskere, næringslivet og de kliniske miljøene har behov for data... 10 Data må være klinikknære, relevante og strukturerte... 10 Juridiske aspekter hindrer tilgang til data... 11 Pågående prosjekter i dag... 11 Tiltak på nasjonalt nivå... 11 Juridisk veiledning... 11 Må kjenne til de juridiske rammene for å ta i bruk et anskaffet produkt... 11 Behov for kunnskap rundt juridiske forhold som pasienten kan be om informasjon om... 12 Ansvar når noe går galt... 12 Problemstillinger som ikke er tett knyttet til klinisk praksis... 12 Tips og kommentarer til regelverksarbeidet... 13 Etiske problemstillinger ved klinisk bruk av kunstig intelligens... 13 Etikk ved utvikling og innsamling av data... 13 Etikk ved kunstig intelligens i daglig bruk... 14 Etikk når noe går galt... 15 Tiltak på nasjonalt nivå... 18 Tips og kommentarer til etikkarbeidet... 18 1

51 52 53 54 Vedlegg: Kompetansemålet "Bruk av kunnskapsteknologi og beslutningssystemer"... 19 Vedlegg: Deltakere workshops mars 2021... 19 Vedlegg: Forkortelser i dokumentet... 20 55 56 2

57 58 59 60 61 62 63 64 65 66 Om dokumentet Dette dokumentet oppsummerer utredningsgruppens forståelse av innspillene fra inviterte representanter i arbeidsverkstedene i uke 10. De samarbeidende etatene har ikke vurdert riktigheten av det som har kommet frem, og har heller ikke lagt inn sin tolkning og vurdering av innholdet. Forslag til tiltak kom frem i 3 arbeidsverksteder som ble holdt i uke 10. Det var i underkant av 40 deltakere som møtte på arbeidsverstedene fordelt på ledere/prosjektledere, brukere, pasient- og brukerorganisasjoner, anskaffere, klinisk personell, samt forskning og næringsliv. Arbeidsverkstedene ble gjennomført i blandende grupper. Se Deltakere workshops mars 2021 for detaljer om hvilke virksomheter som deltok med representanter. 3

67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 Send oss innspill Vi ønsker innspill på innholdet. Vi er særlig interessert i det som kan påvirke den kliniske praksisen, men alle innspill tas imot med takk. Innspill kan sendes til kunstigintelligensnhsp@helsedir.no. Det er satt opp et åpent innspillsmøte 22.04.2021 kl. 12:00-14:00. Se kalenderinvitasjon og ytterligere informasjon her. Om utredningsarbeidet Organisering Utredningen gjøres i regi av det nasjonale koordineringsprosjektet "Bedre bruk av kunstig intelligens" som er organisert under Program Nasjonal helse- og sykehusplan. Arbeidet ledes av Helsedirektoratet og utføres i samarbeid med Direktoratet for e-helse, Statens legemiddelverk og de regionale helseforetakene. Interessenter og deltakere i utredningen er plukket ut i samarbeid med Helse Sør-Øst, som er koordineringsansvarlige for RHF-ene. Vi har i tillegg fått god hjelp til å involvere andre med god kjennskap til området. Det har foreløpig vært ca. 70 personer med ulike bakgrunner som har vært involvert i utredningen. Se vedlegg Deltakere workshops mars 2021 for detaljer om hvilke virksomheter som deltok med representanter. Prosess Utredningen følger en tjenestedesignprosess. For å sikre at arbeidet gjøres i tett samarbeid med helsetjenesten, og at helsetjenesten kan påvirke arbeidet i alle faser, har vi valgt å kun utføre bemanning av utredningsgruppen og interessentanalyse før vi starter opp arbeidet med å involvere helsetjenesten og andre interessentgrupper. Vi har brukt de fire delene i den "doble diamanten" som brukes i tjenestedesign. De første to fasene går ut på å finne: Hva er utfordringer og behov ved bruk av kunstig intelligens innenfor dette området? Hvilke av disse utfordringene og behovene bør vi fokusere på i det videre arbeidet for å sikre god klinisk praksis ved bruk av kunstig intelligens innenfor radiologi? Vi fikk innspill på at spørsmålene som ble stilt i møtene burde omformuleres slik at fokuset blir "Hvordan kan kunstig intelligens bidra til å bedre pasientomsorgen innenfor radiologi?", og vi har derfor hatt større fokus på det senere i prosessen. I denne utredningen vil vi fokusere på innsikt som er mest relatert til tilrettelegging for og ivaretakelse av god klinisk praksis ved bruk av kunstig intelligens. I undersøkefasen ble det gjennomført møter med gruppene som i dag og sannsynligvis fremover vil sitte tettest på bruk av kunstig intelligens innenfor radiologi. I undersøkelsesfasen gjennomførte vi 6 innsiktsmøter på ca. 2 timer for å få innsikt fra ulike perspektiver. Vi valgte å gjennomføre disse møtene i adskilte grupper for å sikre at vi fikk frem dybden i de ulike gruppenes behov og utfordringer. Fordelingen av grupper var derfor slik: 1. Ledere/prosjektledere 2. Klinisk personell 4

106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 3. Anskaffere 4. Brukerrepresentanter og pasientforeninger 5. Næringsliv og forskning (2 møter) I analysefasen har vi analysert innspillene fra undersøkelsesfasen for å nærmere forstå behov og utfordringer, med utgangspunkt i punktene ovenfor. Vi har bedt om innspill på hva som er suksesskriterier for det videre arbeidet og involvert aktører som vi mener må være med for å løse utfordringene. I innsiktsmøtene i februar ble det avdekket en rekke behov og utfordringer relatert til innføring og bruk av kunstig intelligens innenfor radiologi. De som er knyttet til utførelsen av god klinisk praksis vil tas videre i regi av denne utredningen: Behov for økt kompetanse og erfaringsdeling blant helsepersonell Tilgang til tilstrekkelig gode datasett, både for forskning, produktutvikling og verifikasjon Veiledning innenfor regelverk Etiske problemstillinger ved klinisk bruk av kunstig intelligens Helsepersonellets informasjonsbehov Tettere samarbeid mellom forskning, produktutvikling og klinikk "Trygghetsskapende tiltak for pasienten" har kommet inn som et eget tema. Her ser vi behov for ytterligere involvering av brukere, deriblant brukere med psykiske lidelser og rusutfordringer. Vi vil derfor arbeid videre med dette punktet etter innspill og diskusjoner i Helsedirektoratets BrukerROP og eventuelt andre fora. Øvrige innspill er løftet opp til hovedprosjektet "Bedre bruk av kunstig intelligens": Krav til anskaffelser Teknisk infrastruktur Oversikt over pågående initiativer Tettere samarbeid mellom helseregioner, og mellom helseforetak Tilrettelegging for helsenæringen Harmonisering av tolkning av regelverk nasjonalt Harmonisering av regelverk på tvers av landegrenser "Direct to consumer"-løsninger I idéutviklingsfasen (denne rapporten) har det blitt gjennomført 3 arbeidsverksteder der fokuset var hvordan utfordringer og behov kan løses. I denne fasen har det imidlertid også dukket opp noen nye behov og utfordringer som også vil oppsummeres i denne rapporten. I leveransefasen skal det utarbeides en rapport som skal leveres til Helse- og omsorgsdepartementet medio 2021. Dersom det er noe som er av begrenset omfang kan dette leveres omgående. Ellers vil det levers forslag til videre tiltak. Tidsplan I perioden frem til ca. mai 2021 vil vi arbeide videre med: Å samle flere innspill på utfordringer, hva som bør prioriteres og hvordan det bør løses Sende oppsummering med oppfordring til å komme med innspill til alle radiologiske avdelinger Se innspillene opp mot forskning og internasjonalt arbeid Lage en rapport 5

148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 23.04.2021 vil det bli holdt et åpent innspillsmøte der vi presenterer resultater fra arbeidet hittil og ber om innspill og diskusjon. Mer info om dette ligger på Helsedirektoratets temaside for kunstig intelligens. I mai planlegges det å publisere en liten oppsummering med resultater fra spørsmål sendt til Kreftforeningens brukerpanel og diskusjoner i Helsedirektoratets BrukerROP. Vi planlegger videre at rapporten legges ut for høring ca. 4 uker før leveranse, men ønsker så mye tilbakemeldinger som mulig før dette. Arbeidet leveres som en rapport til Helse- og omsorgsdepartementet medio 2021. Involvering i arbeidet I idéutviklingsfasen gjennomførte vi 3 arbeidsverksteder for å se på forslag til tiltak for utfordringer og behov som kom frem i undersøkelsesfasen. Her valgte vi å gjennomføre arbeidsverkstedene i blandede grupper for å sikre at det kom forslag til tiltak som dekket flere behov, og ikke bare behovene til én enkelt gruppe. Hensikten med den tette involveringen i dette arbeidet har vært å få de som arbeider i eller tett på helsetjenesten til å fortelle oss hvilke behov og utfordringer de opplever eller tror vil komme, slik at vi sammen kan skape løsninger og forslag til tiltak som vi kan videreutvikle sammen med helsetjenesten. Innspill på prosessen hittil Vi har jevnlig bedt om tilbakemeldinger på prosessen og justerer fortløpende i henhold til disse tilbakemeldingene. For å sikre bedre representativitet i innsikten har vi: Utarbeidet spørsmål sammen med Kreftforeningen som sendes ut på vegne av oss til deres brukerpanel Avtalt å presentere temaet og få innspill fra Helsedirektoratets BrukerROP i slutten av april Samlet inn innspill fra clustrene sine egne miljøer Tatt kontakt med Sámi klinihkka ved Finnmarkssykehuset for å få med det samiske perspektivet Andre innspill vi har fått er hvordan vi kan tydeliggjøre at innføring av kunstig intelligens skal bedre pasientomsorgen. 6

177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 Økt kompetanse og behov for informasjon blant helsepersonell I arbeidsverkstedene som ble holdt i uke 10 så vi nærmere på hvilke grupper av helsepersonell som trenger mer kompetanse, og hvilke konkrete forhold de trenger kompetanse på/opplæring i. Det ble også diskutert hvordan helsepersonell kan få informasjonen de trenger for å yte forsvarlig helsehjelp og bedre pasientomsorgen. Her kom det frem at informasjonen bør skreddersys snarere enn å være generisk. Deltakerne fra arbeidsverkstedene trakk frem både behov for generell kompetanseheving om innføring av ny teknologi blant helsepersonell, og spesifikke kunnskapsbehov innen kunstig intelligens. Det er viktig at det er fagpersonellet selv som gir opplæringen og at virksomheten sikrer god opplæring og implementering i helsetjenesten, på lik linje som ved innføring av nye verktøy generelt. Følgende punkter ble nevnt under spesifikke kunnskapsbehov innen kunstig intelligens: De fleste i helsevesenet bør ha kjennskap til grunnleggende prinsipper om hvordan kunstig intelligens fungerer og utvikles slik at de forstår hvordan dette påvirker deres arbeid Helsepersonell bør ha kjennskap til bruksområder (beslutningsstøtte) og begrensninger for kunstig intelligens for å kunne tolke informasjonen verktøyene gir, gi pasienten god informasjon om behandlingsalternativene videre og forstå hvordan dette vil påvirke arbeidshverdagen deres Radiografer, radiologer, stråleterapeuter og fysikere bør ha tilstrekkelig kunnskap om kunstig intelligens slik at de kan bidra til utvikling av KI-produkter som understøtter god klinisk praksis Samvalg og informasjon til pasienten Allmennleger, helsepersonell i kommunal-helse og omsorgstjenester og i spesialisthelsetjenesten har et behov for informasjon om hvor mye og hvilken type informasjon som skal gis til pasienter om bruk av kunstig intelligens i bildeanalyser. Deltakerne i arbeidsverkstedene hadde ulikt syn på hvilken informasjon som skal formidles til pasienten. Se "Etikk ved kunstig intelligens i daglig bruk" for mer informasjon. Kunnskap om samvalg kan bidra til å skape trygghet mellom pasient og helsepersonell. I felles kompetansemål for alle deler av spesialistutdanningen ligger samvalg under kunnskapshåndtering. Læringsmålet går ut på å selvstendig gjennomføre en god beslutningsprosess om behandlingsalternativer sammen med pasienten (samvalg) 1. Tverrfaglig kompetanse Blant dagens klinikere er det mange med teknisk interesse. Det er viktig at disse får mulighet til å kombinere dette med sitt fagfelt. Det kom frem ønske om å se nærmere på hva som regnes som helsepersonell, da f.eks. lab-teknikere mest sannsynlig vil være sentrale fremover. Videre ble det påpekt at man i større grad bør slippe til andre faggrupper for å skape tverrfaglige team i innføringen og bruken av kunstig intelligens i helsesektoren. Det bør etableres samarbeid på tvers av faggrupper der man sammen kan dele erfaringer og kunnskap, samt samarbeide om pågående prosjekter/initiativer. 1 Helsedirektoratet Felles kompetansemål for alle deler av spesialistutdanningen Kunnskapshåndtering - Samvalg 7

216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 Tiltak på nasjonalt nivå Det ble foreslått en rekke tiltak som bør gjennomføres fra nasjonalt nivå: Lage informasjonsmateriell som kan gjenbrukes over hele landet Lage veiledere, holde konferanser/seminarer som gir tydelige føringer fra et overordnet nivå for å unngå ulik tolkning ved innføring og bruk av kunstig intelligens i klinikk Sikre at kunnskap om kunstig intelligens kommer inn i spesialistutdanningen. Kompetansemål i spesialistutdanningen vil bidra til en universell plan for hvordan utdanningsinstitusjoner skal komplementere kunnskap om og bruk av ny teknologi og kunstig intelligens i den kliniske praksisen. o I utarbeidelsen av kompetansemål bør det konkretiseres hvilken type kompetanse det vil være behov for at klinikerne har for å støtte oppunder bruk av kunstig intelligens. Se vedlegg "Kompetansemål: Bruk av kunnskapsteknologi og beslutningssystemer". Koordinere med de regionale helseforetakene for å sikre felles forståelse og likt tilbud i hele landet o Her bør det fokuseres på hvordan ting kan gjøres, hvor man kan starte, hvordan KI kan brukes etc. Ta initiativ til nasjonale anskaffelser med opsjoner av KI-produkter med deltakelse fra hele landet for å underlette arbeid og ressurser hos de enkelte sykehusene Øvrige tiltak Følgende tiltak kom frem i arbeidsverkstedene, utover de som gruppene mente lå på et nasjonalt nivå: Avdelingsledere eller lignende bør i større grad dele informasjon om bruk av kunstig intelligens innfor helsetjenesten på allerede eksisterende arenaer, som f.eks. avdelingsmøter og intranett. Helseforetakene bør skape arenaer for samarbeid mellom klinikerne, gjerne på et overordnet nivå med tydelige retningslinjer. o Et slikt samarbeid vil gi muligheter for å dele erfaringer, presentere caser, diskutere aktuelle saker og bidra til lik tolkning innenfor regelverk og bruk av kunstig intelligens i klinisk praksis. Foreninger kan holde webinarer for å øke kompetansen og informasjonen på området o Norsk radiografforbund har for eksempel holdt webinarer om kunstig intelligens Det bør utarbeides kurs eller e-læring for helsepersonell og ledere som igjen kan ta med seg kunnskap tilbake i egne helseforetak. I dag er mye av kurs og utdanninger utviklet av lokale ildsjeler. Regionale ulikheter i kurs- og utdanningstilbud bør unngås og det er derfor viktig at slike kurs samordnes og tilgjengeliggjøres på tvers av landet. o Eksempelvis er det opprettet et web-basert kurs om kunstig intelligens i Bergen i regi av Digital Life Norway. Kurset er tilgjengelig for alle og kan dras inn i doktorgraden Tettere samarbeid mellom forskning, produktutvikling og klinikk I arbeidsverkstedene i uke 10 ble det diskutert hvordan man kan få til et tettere samarbeid mellom forskning, produktutvikling og klinikk. For å få best mulig helsehjelp basert på tilgjengelig teknologi er det behov for at klinikere, forskere, utviklere og produsenter samarbeider. For at et samarbeid skal finne sted må det enten foreligge et 8

260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 behov, en ide til løsning eller nye hypoteser på et klinisk problem. Dette gjelder selv om det er kliniker selv som forstår og melder behovet eller ideen. Det er behov for samarbeid mellom ulike aktører i alle steg fra ide til klinisk bruk av KI-produktet. I implementeringsfasen er det også viktig at man kobler på mindre sykehus og ikke kun de store. Felles problemforståelse Ulike aktører forstår ikke alltid hverandres behov og muligheter, og det mangler felles problemforståelse blant dem. Aktørene kjenner hverandre i varierende grad og er usikre på handlingsrommet ved offentlig-privat-samarbeid. Hvordan problemstillinger prioriteres oppfattes derfor heller ikke alltid like realistiske. Noen av problemstillingene som kom frem i arbeidsverkstedene var: Manglende fleksibilitet i og prioritering av utkjøp av kliniker til prosjekter Finansieringssystemet tar ikke høyde for videre forskning, implementering og kommersialisering Hvem tar ansvar for videre utvikling og implementering. TTO-ene har en viktig rolle, men rollen utøves forskjellig Det er behov for lokale tilpasninger av løsningene Det er manglende karriereveier for klinikere innen innovasjon Dele erfaringer på tvers av fag Det er behov for å dele erfaringer både innenfor egne fagmiljøer, på tvers av fagmiljøer, med aktører i og utenfor sektor. Innenfor dette området kan vi lære av virksomheter som har gjort seg attraktive for industrien ved gjennomføring av kliniske studier. Eksempel på dette er radiumhospitalets enhet for tidlig utprøving av legemidler. Ved å opprette nettverks- og klyngestryktur for klinikk, innovasjon, forskning og private aktører kan man oppnå samarbeid og tverrfaglighet. Et eksempel på et slikt nettverk er NORA. Nasjonale kompetansetjenester bidrar til å heve kompetansen gjennom blant annet forskerlinje. Bruk av tjenestedesign kan bidra til tverrfaglighet og samarbeid, og det er viktig å legge til rette for innovasjonssoner gjennom lik tilgang til data i offentlig/privat-samarbeid. Det er behov for å vurdere hvordan innovasjonsanskaffelser kan tas i bruk i større grad og hvordan offentlige virksomheter kan finansiere personer fra privat sektor. Incentivene er samtidig forskjellige for forskere og produktutviklere. NFR må være sikker på at søkere får lov til å prosessere dataen. Det brukes for mye ressurser på prosjekter som ikke kan gjennomføres på grunn av manglende tilgang til data og store nok datasett. Gjennom London-AI-senter gis det for eksempel mange bedrifter tilgang til data for å spinne videre til produktutvikling. Helsetjenesten har behov for veiledning om hvilke rammer og hva som er handlingsrommet for samarbeid med private leverandører. Store organisasjoner som f.eks. KS kan også spille en rolle som pådriver ved å f.eks. invitere til bredt samarbeid for kommunene. Tiltak på nasjonalt nivå Følgende innspill til tiltak og bidrag kom frem i arbeidsverkstedene: Veiledning om o anskaffelsesreglement, hva det skal beskytte og muligheter for samarbeid o produktregelverk o eksempler på klinisk bruk av kunstig intelligens Støtte opp under nettverk og samarbeid: 9

303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 o Dialog med departementet om oppfølging av helsenæringsmeldingen o Etablering og fasilitering av møteplasser for erfaringsdeling og læring i sektor og mellom sektorer o Innkalling til møte mellom offentlige virksomheter og privat industri som å se på muligheten for offentlig-privat-samarbeid o Bruk av nasjonale virkemidler for møteplasser o Vurdering av nasjonal overbygning av regionale sentre for pasientnær AI Vurdering om gjenbruk av internasjonale retningslinjer og veiledninger f.eks. NHSx 2 Utvikling av avtalemaler slik at private aktører blant annet kan få tilgang til kliniske data Utrede behov for nasjonal kompetansetjeneste for KI i helsenæringen Normering og standardisering av begrepsapparatet innen KI, jf. NSE Nasjonal virkemiddelbruk for å gi insentiver for spesialisering og karrierevei innen innovasjon for helsepersonell i kliniske stillinger, delt stilling innovasjon/klinikk på linje som forskning/klinikk. Dialog med NFR om krav til prosjekters gjennomføringsevne og tilgang til data Tilgang til tilstrekkelig gode datasett Forskere, næringslivet og de kliniske miljøene har behov for data Det er stort behov for data i alle steg fra forskning til bruk av KI produkter. Forskningsmiljøene og næringslivet har behov for relevante og klinikknære data i sine prosjekter. De kliniske miljøene har behov for norske data ved verifisering av anskaffede modeller som er utviklet fra utenlandske data. Data må være klinikknære, relevante og strukturerte Innen radiologi er det primære behovet billeddata/informasjon fra PACS/RIS-systemer knyttet opp mot annen informasjon fra pasientjournalen. I alle ledd er det viktig at datasettene er relevante for norske forhold. Dette gjelder for forskning, men også dersom formålet er å teste/validere en KIløsning som er utviklet utenfor Norge uten bruk av norske data. I Norge har vi den fordelen at vi kan dele data på tvers uten veldig store kostnader. Data må inneholde både pasienter med sykdom og uten sykdom slik at presisjonen til modellen kan verifiseres. I tillegg er det viktig at data er strukturert og standardisert, da det kan være svært ressurskrevende å sette sammen data med ulik struktur og lite standardisering. For forskningsgrupperinger er det viktig å ha tilgang på data som er relevante for flere pasientgrupper f.eks. MR av hode og CT av lunger. Datasett som skal brukes til forskning, utvikling og testing/validering kan være anonymisert, men det er en fordel om de ikke er det. Alternativ kan være "digital tvilling" av den pasientpopulasjonen man skal anvende/anskaffede produkter på, for å teste ut om produktene faktisk er nyttig og relevante. Forskere kan få tilgang på database hos GE/VingMed. Disse ligger i Norge og samles inn på vegne av helseforetakene. Det finnes også eksempler på tilgjengelige datasett for å lage algoritmer som https://datasets.simula.no/. Det er mulig det finnes tilsvarende databaser uten at gruppen kjenner til flere. 2 https://www.nhsx.nhs.uk/ 10

341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 Juridiske aspekter hindrer tilgang til data Gruppene trekker frem eksempler der det finnes data, men der juridiske aspekter hindrer tilgang og deling. Et eksempel er fra Mammografiprogrammet, der man har jobbet med DPIA for å få data fra alle screeningsentrene, inkludert informasjon om kvinnene. Regionene tolker personvernreglene ulikt og dette gir ulik tilgang til data. "Det legges et stort ansvar på enkeltpersonene som skal tolke regelverket. Forskere bruker mer tid på den juridiske tilgangen enn selve forskningen." Tilgang til data er spesielt utfordrende med diagnostiske verktøy som lærer fortløpende, både når det gjelder personvern og versjonshåndtering. Pågående prosjekter i dag Pågående prosjekter som ble nevnt i gruppene er I Tromsø jobbes med å lage regional forskningsdatabase for utvikling av algoritmer basert på pasientjournal (Fritekstdokumenter, blodprøvesvar, prosedyrekoder, diagnosekoder, etc) MMIV (Bergen/UiB/Haukeland) arbeider med å utvikle en god forskningsinfrastruktur innen radiologi og KI Helse Vest/NTNU har et nasjonalt prosjekt for å lagre syntetiske pasientdata Mammografiprogrammet har etablert et prosjekt for bruk av KI i screeningprogrammet for å diagnostisere Det er en gruppe prosjekter i Trondheim som dekker problemstillinger som ikke faller under begrepet diagnostisering, men som er verktøy for visualisering ved kirurgi KI-modeller brukes i klinikk i dag for eksempel innen patologi og ultralyd av hjertet. Tiltak på nasjonalt nivå Gruppene mener koordineringsgruppen bør fokusere på å: etablere og formidle en felles nasjonal tolkning av regelverk for deling og utlevering av data drive informasjonsvirksomhet ovenfor klinisk personell, pasientgrupper og produsenter legge til rette for samarbeid mellom forskere, utviklere og klinikere Samle ulike initiativ, slik at man ikke dupliserer arbeidet, men drar nytte av arbeide som gjøres andre steder/ved andre sentere Juridisk veiledning Vi har fått mange innspill på juridiske problemstillinger, og dette går i et eget spor i prosjektet. I workshopene bad vi derfor om innspill på juridiske behov som må ivaretas i klinisk praksis. F.eks. veilednings/informasjonsbehov. Det kom ikke frem helt nye behov/innspill i denne runden. Dette er et funn i seg selv, og viser kanskje at vi etter hvert har fått oversikt over de juridiske problemstillingene. Innspillene oppsummeres derfor bare kort: Må kjenne til de juridiske rammene for å ta i bruk et anskaffet produkt I workshopen kom det frem at produkter slippes under forutsetning av at de bare skal brukes for forskning, merket "for research use only". Dersom man ønsker å ta dette produktet i klinisk bruk, trenger virksomheten å kjenne til hvordan dette kan gjøres på en forsvarlig måte. 11

380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 En annen, nærliggende problemstilling som ble nevnt er hvordan klinikeren kan stole på at anskaffet produkt er trent på representative data. Klinikeren trenger både veiledning og systemer utover f.eks. CE-merking for å være trygg på at produktet kan brukes i klinikk. Tiltak som ble nevnt var regulatorisk veiledning, som f.eks. oversikt over hvilke regelverk som gjelder for ulike prosjekter/situasjoner. Datatilsynets "Sandkasse for ansvarlig kunstig intelligens" ble tatt frem som et eksempel på et godt tiltak. Behov for kunnskap rundt juridiske forhold som pasienten kan be om informasjon om For de som skal bruke løsningene vil dette innebære å forholde seg til ny teknologi og ny hverdag. De vil ha behov for veiledning i forhold som pasienten kan komme til å spørre om. Når det gjelder juridiske forhold gjelder dette blant annet hvor dataene er lagret, behov for samtykke til bruk av personopplysninger, innsyn i hva som ligger bak beslutningen og informasjon om reservasjonsrett. Retten til å reservere seg mot at egne opplysninger lagres ble fremhevet som viktig i denne sammenheng. Ansvar når noe går galt I mange sammenhenger og fra mange personer har vi fått innspill på at det er behov for at det er behov for å vite hvem som har ansvaret dersom nore går feil. Typiske situasjoner som tas frem er når beslutningsstøtten gir ett svar, og helsepersonellet mener noe annet. Merknad fra Helsedirektoratet: Helse- og omsorgstjenester skal alltid være forsvarlige. Kravet innebærer en overordnet plikt til systematisk styring av virksomhetene i helse- og omsorgstjenesten, plikter for utøvende personell om forsvarlig yrkesutøvelse og et kvalitativt og kvantitativt krav til de tjenestene som ytes til den enkelte pasient eller bruker. Så lenge KI brukes som beslutningsstøtte, antas det at ansvaret for å yte forsvarlig helsehjelp fortsatt påhviler både virksomheten og det enkelte helsepersonell. Mer komplisert blir det dersom det er snakk om helautomatiserte avgjørelser. En annen side ved dette er om KI-utstyret svikter og/eller har feil og mangler, og man for eksempel mener det er grunn til å stille produsenten/utvikleren av KI til ansvar for dette. Vi vil derfor arbeide videre med disse uavklarte problemstillingene. Problemstillinger som ikke er tett knyttet til klinisk praksis Behov for hjelp til tolkning Alle som forvalter dataansvaret (f.eks. personvernombud og informasjonssikkerhetsleder) har behov for veiledning når det gjelder tolkning av lovverket. Når dataansvaret er lokalt, så blir det lokal tolkning av lovverket. På nye områder er det mangelfull praksis å lene seg til, noe som også bidrar til stor variasjon. EUs bøter for brudd på Personvernforordningen virker skremmende, og det enkleste blir å si nei, inntil man har en trygghet i forhold til veileder/praksis andre steder mm. Behov for veiledning rundt anskaffelser Det er behov for veiledning også underveis i anskaffelsen, slik at man er forberedt før løsningen tas i bruk. Anskaffelse av produkt som krever at man lagrer person- eller helseopplysninger i skyen oppleves som veldig kompliserende, spesielt etter "Schrems II"-dommen 3. Man må vurdere land, leverandører, underleverandører, eierskap og hvor driftspersonell sitter. 3 https://www.datatilsynet.no/regelverk-og-verktoy/internasjonalt/retningslinjer-og-uttalelser-frapersonvernradet/utfyllende-veiledning-om-schrems-ii/ 12

419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 Tiltak som ble nevnt på dette punktet er at de som skal ta avgjørelser i en anskaffelse må arbeide med å redusere risikoer, f.eks. risiko for feil som oppstår ved endring av arbeidsprosesser og risikoer i forhold til regelverk. Tips og kommentarer til regelverksarbeidet I tillegg til tiltakene under hvert område som ble diskutert, kom det noen generelle kommentarer: For å få frem gode eksempler må man ned i detaljene, case-by-case. I startfasen bør man veilede enkeltprosjekter, men samtidig kommunisere bredt erfaringene fra de initielle prosjektene Man bør høste erfaringer fra andre land, i Norden og EU Hvilke utfordringer har de hatt og løst innenfor dette området Sverige har startet tidlig og har innført flere produkter. De har samme regelverk, så hvorfor har de kommet lenger? Digitaliseringsdirektoratet/datatilsynet har noe regulatorisk veiledning, men ikke bare for helse. Bør vi bruke "generelle" fora for dette, eller skal vi se det (kun) i lys av helsetjenesten. DFØ har også veiledning (og lenker til andre steder) på anskaffelser.no. Hva skjer når "kunstig intelligens"-baserte produkter får mer ansvar enn å "bare" være beslutningsstøtte? Etiske problemstillinger ved klinisk bruk av kunstig intelligens Merknad fra helsedirektoratet: Etikk har ikke vært diskutert i tilstrekkelig stor grad i innsiktsmøtene, og samtalene bestod derfor i stor grad av hvilke etiske utfordringer aktørene ser, og sekundært hvilke mulige løsninger de foreslår. Utredningsgruppen ser behov for å arrangere flere møter om etikk med miljøer og personer vi er blitt tipset om, og også se til forskning og rapporter på dette og lignende områder. Vi spurte deltakerne om hva deres mening er rundt følgende problemstillinger: Hvilke etiske problemstillinger vil helsepersonellet stå overfor når man tar i bruk kunstig intelligens? Hvordan kan vi best støtte aktørene i etiske problemstillinger? Hvordan og hvilke parter bør arbeide sammen for å få dette til? Resten av teksten i dette kapittelet oppsummerer dette. Vi har systematisert det og laget overskrifter etter arbeidsverkstedene. Etikk ved utvikling og innsamling av data Et forhold som flere trakk frem var selve innsamlingen av data. Selv om innsamlingen er gjort riktig, og algoritmen gir gode resultater, er det forhold ved innsamlingen som kan gjøre den mindre egnet til bruk i Norge: Er det greit at sykehuset/institusjonen bruker algoritmen, men ikke gir noe tilbake (ikke bidrar med data for videre trening) Skal pasienten kunne velge å ikke bidra med data når man benytter seg av slike produkter selv? Er det greit at algoritmen er utviklet eller trent på data hvor personene som har avgitt data har hatt mindre rettigheter / råderett over egne data enn norske innbyggere har? 13

459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 Det ble også så vidt nevnt at evt bruk av norske data til utvikling eller trening av algoritmer bør kompenseres økonomisk til det norske helsevesenet. Etikk ved kunstig intelligens i daglig bruk Hva skal og skal ikke pasienten få informasjon om? En problemstilling som dukket opp i workshopene er hvorvidt pasienten skal vite at kunstig intelligens er en del av produktet som brukes eller ikke. På den ene siden hevdes det at dette ligger "under panseret" og helsepersonellet beskriver ikke vanligvis hvordan maskiner og programmer virker, selv når de er nye og kanskje banebrytende; "Det er fortsatt en røntgenlege som har ansvaret. Hvordan svaret er fremkommet på sykehuset er kanskje ikke viktig?" På den andre siden kan pasienten være interessert i spesielle sider ved kunstig intelligens som man ikke finner i andre produkter, som hvorvidt produktet er utviklet etter etiske prinsipper og om / hvor pasientens data lagres. Merknad: Hva pasienten bør få informasjon om vil også undersøkes ved spørreundersøkelse til Kreftforeningens brukerpanel i vår. Beskyttelse av personopplysninger og beskyttelse av helse Deltakerne i workshopen viste til et dilemma hvor beskyttelse av personopplysninger i noen tilfelle kan stå i et motsetningsforhold til beskyttelse av helse: Det er på den ene siden viktig at innbyggerne er trygge på det norske offentlige helsevesenet. Innbyggerne må stole på produktene som bruker kunstig intelligens: at personvernet er godt at informasjonssikkerheten er god, f.eks. at lagring av data gjøres på en trygg og lovmessig riktig måte at de kan reservere seg mot sekundærbruk (brukes til noe annet enn i journalen) av personopplysningene På den andre siden er pasienten gjerne på sykehus fordi vedkommendes liv og helse står på spill. I slike situasjoner er pasientene mest opptatt av å få tilgang til beste utstyr og behandling, mens beskyttelse av personopplysningene blir mindre viktig for dem. Godt personvern krever at man behandler så lite data som mulig (dataminimeringsprinsippet fra Personvernforordningen), mens man får bedre kvalitet på algoritmer dersom man trenger på at stort (nok) datasett. Dette oppleves som vanskelig å balansere. Pasienten som aktiv deltaker Pasienten skal ha gitt nødvendige samtykker/informasjon, for å unngå forvirring i videre digital behandling. Selv om pasienten er gitt informasjon og forstår innholdet, så kan det likevel være behov for mer forklaring. Utfordringer ved psykiske lidelser og ruslidelser Pasienter med utfordringer relatert til psykiske utfordringer er generelt en utfordrende gruppe å arbeide med. Hvordan møter man dem? Hvilke eventuelle ekstra utfordringer bør man ta høyde for? Merknad: For å fylle ut under denne overskriften vil koordineringsprosjektet også snakke med Helsedirektoratets BrukerROP og få deres råd og tanker om temaet. 14

498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 Bemanning og opprettholdelse av kompetanse På en av workshopene ble det tatt opp at man kan oppleve negative langtidseffekter ved å ta i bruk kunstig intelligens: Kunstig intelligens vil trolig kunne øke kapasiteten f.eks. på en radiologisk avdeling. Dette kan gi gevinster i at flere pasienter får sin sykdom oppdaget, og kvaliteten på pasientbehandlingen kan øke. Det ble stilt spørsmål ved hvorvidt det også kan føre til nedbemanning. Kan et program på sikt gjøre arbeidet som et helsepersonell gjør i dag? Spesielt små enheter blir da sårbare, siden helsepersonell trenger å diskutere med andre mennesker for å opprettholde og øke den faglige kompetansen. "Hvordan påvirker teknologien radiologens kompetanse i et lengre tidsperspektiv?" Selv om initielle resultater er lovende og viser høy presisjon ved bruk av produkter med kunstig intelligens, så må det likevel skaffes nøyaktig kunnskap om hva som skjer på lengre sikt når radiolog og kunstig intelligens skal spille sammen på ulike måter. "Effektene som må vurderes bør omfatte både de kortvarige mtp selve tolkningene og evt resulterende endringer i etterundersøkelser, sensitivitet og spesifisitet" Andre forslag til undersøkelser av langtidseffekter: I hvilken grad det skjer en vridning mot en helt annen enn tiltenkt arbeidsflyt (kanskje at KI brukes i større grad som siling slik at arbeidsmengden krymper mer) I hvilken grad kunstig intelligens påvirker utdanningssituasjon og kompetansenivå til radiologene over tid Relatert til punktet over: I hvilken grad det er en ønskelig / kompenserbar utvikling, eller om den er uønskelig (for helsepersonellet og pasientomsorgen) En siste problemstilling som ble nevnt er hvorvidt kompetansen fra sykehusene kan blir flyttet til kommersielle aktører. Spørsmål som kom opp var: Kan ikke-fagpersonell anskaffe utstyr som de ikke er kompetente til å betjene? Kan man risikere å komme i en situasjon hvor en lege erstattes med et program som bruker kunstig intelligens, eller at en "kvakksalver" betjener programmet? Etikk når noe går galt Hvordan skal helsepersonellet håndtere råd fra KI som ikke stemmer med helsepersonellets vurdering Den problemstillingen som flest nevnte innenfor etikk er hvem som har ansvaret når noe går galt. Det er flere varianter av denne problemstillingen, og vi fikk tilbakemeldinger på at man kunne se på denne problemstillingen i to perspektiver; helsepersonellets og pasientens. Problemstillingen er relatert til når helsepersonellet og produktet som brukes kommer til to ulike konklusjoner. Det er flere forhold rundt dette: 1. Helsepersonellet ønsker å kjenne til de juridiske rammene for denne situasjonen 2. Helsepersonellet ønsker kompetanse på kunstig intelligens og det konkrete produktet for å håndtere disse situasjonene på en korrekt måte 3. Helsepersonellet ønsker en eller flere diskusjonspartnere i situasjoner hvor det er et produkt med kunstig intelligens som gir råd 15

539 540 541 542 543 544 545 546 547 4. Hvordan kan helsepersonellet sjekke troverdigheten til rådet når vedkommende ikke kjenner kunnskapsgrunnlaget som algoritmen baserer rådet sitt på? Vil dette føre til et etisk dilemma for helsepersonellet som er vant med å arbeide kunnskapsbasert? 5. Helsepersonellet kan oppleve det som et dilemma når et produkt med KI-algoritme har kommet frem til et svar hvor det er vanskelig å forklare svaret. Hvordan kan helsepersonellet kommunisere på en slik måte at pasienten skjønner at det som kommer fra helsepersonellet er viktigere/riktigere enn det som kommer fra en programvare, slik at pasienten skal føle seg trygg? 6. Hvordan skal dokumentasjonen være i tilfelle det oppdages feil i etterkant 548 549 Figur 1 Problemstillinger knyttet til at helsepersonellet og KI konkluderer ulikt 550 551 552 553 554 555 556 557 558 559 560 Det ble stilt spørsmål ved i hvilken grad man vil kunne oppleve at to ulike versjoner av produktet gir ulike råd, og hvordan de situasjonene skal håndteres. Tilsvarende dersom algoritmen blir trent under klinisk bruk, og at ny trening gir nye råd til helsepersonellet. Problemstillinger dersom KI-produktet og helsepersonellet kommer til ulike konklusjoner ble disk Det ble adressert hvorvidt det i praksis oppstår utfordringer dersom helsepersonell og produktet kommer til ulike konklusjoner. Helsepersonellet vil stole på egen vurdering og spørre kollegaer dersom de ser noe annet enn KI-algoritmen viser. For å sikre faglig dialog mellom helsepersonell ble det påpekt at kunstig intelligens som beslutningsstøtte ikke bør erstatte radiologene. I arbeidsverstedene ble mulige tiltak nevnt. Eksempelvis ble det foreslått Opplæring og veiledning i hvordan trygge pasienten når man tar i bruk nye verktøy 16

561 562 563 564 565 566 567 568 569 570 571 572 573 574 575 576 577 578 579 Algoritmer som er forklarbare vil kunne øke tilliten. Mange miljøer i Norge satser på dette. Pr i dag er de beste algoritmene "sorte bokser" Det ble på den andre siden hevdet at helsepersonell er vant med maskiner som ikke alltid viser riktig resultat, og at de stoler på seg selv og vil spørre kolleger dersom de ser noe annet enn det KIproduktet viser. Fare for over-, under- eller feildiagnostisering Et tema som ble diskutert er fare for overdiagnostisering og underdiagnostisering. Det er en rekke faktorer som kan føre til feil diagnoser, og som man derfor må være oppmerksomme på under utvikling av kunstig intelligens. Kunstig intelligens arbeider raskt i forhold til mennesker, og det er nærliggende å tro at kapasiteten økes. Flere bilder som man ellers ikke ville vurdert, vil man ha kapasitet til å vurdere. Det vil da øke sannsynligheten for funn som ikke er reelle. Selv om dette blir håndtert av helsepersonell vil dette kunne føre til engstelse hos pasienten og behov for flere undersøkelser og mer ressursbruk. Det er en rekke faktorer under utvikling og trening som øker faren for over-, under- og feildiagnostisering. Eksempelvis hvorvidt dataene som algoritmen er trent på representerer den konkrete pasienten godt nok. Noen faktorer er oppsummert i figuren under. I dag oppdages en del sykdomstilfeller basert på funn i medisinske bilder hvor man egentlig leter etter noe annet (bifunn). Det er uklart om en kunstig intelligens-algoritme vil finne flere eller færre bifunn. 580 581 Figur 2 Noen fakturer som kan føre til over/under/feildiagnostisering 17

582 583 584 585 586 587 588 589 590 591 592 593 594 595 596 597 598 599 600 601 602 603 604 605 606 607 608 609 Tiltak på nasjonalt nivå Det ble foreslått en rekke tiltak som bør gjennomføres fra nasjonalt nivå: Det er behov for etiske råd / retningslinjer for generelle problemstillinger, i tillegg til støttetelefon for spesielle tilfeller Man må diskutere problemstillinger videre. Her er tips som kom inn når det gjaldt hvem som bør være med i den videre dialogen: o Dataforeningen har en helsedata-etikk gruppe. o Etikere, samfunnsmedisinere og filosofer o Erfaringskompetanse fra dem som møter etiske dilemmaer o Pasientmøter Pasientene trenger kanskje også støtte i etiske problemstillinger. Det er mulig at Norsk pasientskadeerstatning (NPE) kan hjelpe Tips og kommentarer til etikkarbeidet Et tema som kom opp var hvorvidt det er en parallell å se til hvordan man tar i bruk medisiner; Medisiner leveres ut med pakningsvedlegg hvor virkning og bivirkning beskrives. Hva skal være med i "pakningsvedlegget" til et "kunstig intelligens"-basert produkt? Har man noe å lære av regelverk som regulerer legemidler? Rapportering av usikkerhet mm. Er kanskje ikke så ulikt? Noen modeller er svært treffsikre. Radiologene gjør også feil, men regelverket er der for å håndtere det. Ellers ble det fremhevet at fagsjef radiologi og IKT må sørge for god opplæring, og at enhetens internkontroll er viktig. Etter workshopene fikk vi: Skriftlige innspill fra en av deltakerne. Dette er innarbeidet i dette dokumentet Innspill fra EHIN som arbeider med en rapport om etikk og deres tanker om innspillene hittil Forslag til forskningsartikler som sammenligner bruk av radiologer og programvare med "kunstig intelligens"-algoritme De to siste punktene vil ikke innarbeides i dette dokumentet, siden dette dokumentet oppsummerer innsikt og ikke forskning. De vil i stedet innarbeides i den ferdige rapporten som oppsummerer innsiktsarbeid og forskning. 610 18

611 612 613 614 615 616 617 618 619 620 621 Vedlegg: Kompetansemålet "Bruk av kunnskapsteknologi og beslutningssystemer" "E-helseverktøy" ligger som et felles kompetansemål under "Kvalitet og pasientsikkerhet" for spesialistutdanningen. Læringsmålet går ut på å "Kunne anvende relevante e-helseverktøy i arbeidet med forbedring av klinisk praksis, pasientforløp, administrative arbeidsprosesser og samhandling" 4. Det er videre etablert et felles kompetansemål for leger i spesialisering om "Bruk av kunnskapsteknologi og beslutningssystemer" under " Kunnskapshåndtering" 5 som Helsedirektoratet skal utdype og arbeide videre med sommeren 2021. Vedlegg: Deltakere workshops mars 2021 FORDELING TILHØRINGHET Tilhørighet Antall deltakere Sykehusinnkjøp 2 Helse Nord RHF (inkludert 8 universitetssykehuset i Nord-Norge og SPKI) Helse Vest RHF (inkludert Stavanger sykehus, 4 Stavanger Medical Imaging Laboratory ved UiS) Helse Sør-Øst RHF (inkludert Sykehuset i 6 Østfold, Vestfold, OUS/Rikshospitalet, Akershus Universitetssykehus) Norsk radiologisk forening 2 Helse Vest IKT 1 Høgskolen på Vestlandet (Mohn Medical 1 Imaging and Visualization Centre) Oslo Cancer Cluster 1 Norsk forening for medisinsk fysikk 1 Helse Midt RHF (inkludert Trondheim 5 universitetssykehus, St. Olav hospital) Legeforeningen 1 BigMed/DNV GL 1 Norway Health Tech 1 Sykehuspartner 2 SINTEF Digital 1 NORA AI 1 Nasjonalt senter for e-helseforskning 1 Rolle Antall deltakende 08.03.21 Antall deltakende 09.03.21 Antall deltakende 10.03.21 Anskaffere 2 1 0 3 Brukerrepresentanter og/eller pasientforeninger 3 2 2 7 Totalt per gruppe 4 Helsedirektoratet Felles kompetansemål for alle deler av spesialistutdanningen Kvalitet og pasientsikkerhet E-helseverktøy 5 Spesialistutdanning for leger del 1-3 (FKM) 19

Klinisk personell 5 5 1 11 Ledere/prosjektledere 2 2 2 6 Næringsliv og forskning 4 5 3 12 TOTALT: 16 15 8 39 622 623 624 625 626 627 628 Vedlegg: Forkortelser i dokumentet KI = Kunstig intelligens NSE = Nasjonalt senter for e-helseforskning NFR = Forskningsrådet SLV = Statens legemiddelverk Hdir = Helsedirektoratet DPIA = Vurdering av personvernkonsekvenser 629 630 631 20