Brukskvalitet (usability) i EPJ-systemer: En utfordring på mange plan. Dag Svanæs (Norsk Senter for Elektronisk Pasientjournal & Dept. of Computer and Information Science, NTNU Trondheim Norway dags@idi.ntnu.no, http://dag.idi.ntnu.no
Norsk Senter for Elektronisk Pasientjournal Forskningssenter etablert i 2004. Finansiert av Norges Forskningsråd (den norske stat). Finansiering for 5 år (5 x 5 mill. NKr.). Fokus på systemintergrasjon, brukermedvirkning, feltstudier av EPJ bruk, og mobil EPJ. Inneholder et brukbarhetslaboratorium for testing av stasjonære og mobile EPJ-løsninger.
Hvordan måler man et produkts brukskvalitet (usability)?
Definisjon av Usability: ISO 9241-11 Brukskvalitet er... the effectiveness, efficiency, and satisfaction with which specified users achieve specified goals in particular environments Anvendbarhet, Effektivitet og Tilfredsstillelse for bestemte brukere med bestemte mål i bestemte omgivelser
for bestemte brukere med bestemte mål i bestemte omgivelser
Brukbarhet vs. andre egenskaper Brukbarhet er en kontekst-avhengig egenskap ved et produkt. Eksempler på det motsatte (kontekst-uavhengige egenskaper): Vekt, Størrelse, Farge, Prosessorhastighet. Disse egenskapene er de samme på mandag og tirsdag, for Ole og for Kari, på kontoret og på gaten. Det er bare meningsfylt å måle brukbarhet når man kan svare på: Hvem er brukerne av produktet? Hva ønsker de å bruke det til? Hvor, og i hvilken sammenheng skal det brukes?
Konsekvenser for EPJ Utfordringer for evaluering av EPJ-systemers usability: Hvem er brukerne av produktet? Krever tilgang til faktiske brukere: leger, sykepleiere, pasienter, administratorer,, Hva ønsker de å bruke det til? Krever detaljert kartlegging av arbeidspraksis og informasjonsflyt. Hvor, og i hvilken sammenheng skal det brukes? Krever kunnskap om fysiske omgivelser, og mulighet til å teste på sykehus eller simulere disse i et laboratorium. Store hindre i forhold til testing på sykehus: sikkerhet, pasientdata, medisinske grunner,,,.
Brukbarhetslab med mobile vegger
Laboratoriet i bruk Kameraer og mikrofoner i taket. Helsearbeidere i en simulert sengepost Videoopptak og analyse (bl.a. Noldus)
Aktiviteter knyttet til lab Brukbarhetstesting av prototyp og ferdige systemer. Som del av M.Sc. og Ph.D. Industriprosjekter med ekstern finansiering. Metodeutvikling Deltagende design og bruk av rollespill (PhD prosjekt + ekstern) Forbedring av testmetodikk Utviklingsomgivelser for mobil og context-aware EPJ. Studier av systemutvikling og dens rammebetingelser Feltstudier med intervjuer etc. av faktiske prosjekter, med fokus på graden av brukermedvirkning og usability. (M.Sc. & PhD)
Prosjekttyper og finansieringmodeller Prosjekttyper: Basic research, Applied research, Development. Finansiering: External (industry) & Government EU & Research Council. Internal (university) Research/ Development Development. Applied res. Basic Res. X X X X XX XXX XX X Funding Univ. EU/Res.Council. Gov/Industry Mange kombinasjoner er mulig.
Testing av web-løsninger Eksempel: Et system for kommunikasjon primærlege pasient over web. Oppdraget var finansiert av utviklingsfirmaet. Fokus på autentisering og pålogging. Leveranse: Evalueringsrapport og en redigert DVD med video av kritiske problemer. Brukbarhetstest med 9 pasienter i NSEPs laboratorium. Scenarie med simulert kommunikasjon pasient-lege over web. Pålogging skjer ved at kode sendes pasienten via SMS på dennes mobiltelefon.
Eksempel: Lage ny bruker
Erfaringer Konkrete funn: Store problemer i forhold til grensesnittets begrepsapparat ( concepts ): kode, melding,,,. Behov for å rydde opp skjermbilder og informasjonsstruktur. Generelt funn: Mange pasienter bruker sterke medisiner, noe som fører til lav toleranse for problemer i brukergrensesnittet. Dette gjør at det må settes ekstra store krav til enkelhet og kvalitet for EPJsystemer med grensesnitt direkte mot pasienter. Feedback fra systemutviklerne: Nyttige tilbakemeldinger som de umiddelbart vil ta hensyn til i neste versjon av systemet. Behov for ikke bare identifisering av problemområder, men også konkrete forslag til redesign. Ønske om å lære å kunne gjøre brukbarhetstesting selv, og å lære mer om design av brukervennlige gresnesnitt.
Mobil EPJ, noen momenter Forgrunn / Bakgrunn Mind/Body En bruker/ Flere brukere Omgivelsesdata Hardware og ergonomi Skjerm og input, nye GUIs. PC/internett Hovedfokuset er på bruk av PCen. Symbolmanipulasjon (mind) Ofte en bruker. Samhandling over nett Fysiske posisjon er irrelevant (CyberSpace) PCen har funnet sin fysiske form (desktop/laptop). Store skjermer, tastatur og mus Mobil, trådløs IT PDA/mobil er integrert med andre aktiviteter Også fysiske handlinger (body-mind) Flere brukere samtidig, i den fysiske verden. Lokasjon og sensordata kan brukes av software. Hardware/form blir viktig (størrelse, vekt, form, materialer, batterilevetid,) Små skjermer, sollys. Penn, knapper, en-hånds løsninger, nye løsninger.
Testing av mobile løsninger Eksempel: Samordner bruk av pasientterminal og PDA på sengepost. M.Sc. oppgave i samarbeid med leverandør (Cardiac). Utvikling av 8 prototyper for forskjellige måter å samordne grensesnittene (remote control, shared screen, PDA som keyboard,,) Testing i NSEPs lab med 5 par av sykepleiere og potensielle pasienter. Scenarie: Sykepleier skal vise pasient Røntgenbilder (X-rays) før en operasjon.
Teknologi PDA Pasientterminal
Testing og registrering Kamera mot pasientterminal Mirroring av PDA over WLAN. Kamera mot seng Samlet skjermbilde lagres som digital video for senere analyse
Evaluering av 8 alternativer Card Sort Lege og pasient samarbeider om å rangere interaksjonsmetodene Fører til interessant diskusjon
8 7 6 5 4 3 2 1 0 Resultater, kvantitative Snitt Varians URL Direkte på terminal Skjermutvidelse Fakkel Dra og slipp Speiling Input Fjernkontrol Poeng Metafor
Resultater, kvalitative Direkte interaksjon med pasientterminal er enklest Lege har større fokus på pasient PDA blir et forstyrrende mellomledd URL foretrekkes: Direkte valg på PDA og pasientterminal som framvisningsvindu. Sykepleier/lege vil bruke PDA til å skjule ting for pasienten Personsensitiv informasjon Forvirrende informasjon (medisinske utrykk, prøvesvar) Forvirrende skjermelementer Pålogging Navigering og leting etter informasjon
Brukersentrert systemutvikling Analyse og scenariebygging Kravanalyse og design Krav og design Prototypbygging Scenarier og personas Bilder, Video, Intervjuer Video, mock-ups og notater Papirprototyp/ Flash prototyp Evaluering Hos utvikler Hos bruker eller i lab. Feltstudie Dramaworkshop Brukbarhetstesting m/ analyse
Ny teknologi, Ny praksis Ny teknologi åpner for nye måter å utføre oppgaver, og nye samhandlingsmønstre. Teknologi Framtid Oppgaveanalyse Drama workshop med prototyp improvisasjon Nåtid Feltstudier Nåtid Future workshops Framtid Praksis
Dramaworkshop En dag i fullskalamodell 6-8 helseabeidere i to grupper 1-2 dramainstruktører / fasilitatorer Bruk av lo-fi mockups (skum, Post-it,,,) Registrering på video (1-2 personer) 2-3 utviklere som observatører.
Nåtid Framtid Nåtid Ny teknologi Framtid 1. Brukerne improviserer fram et nåtidsscenarie fra egen hverdag. 2. Brukerne introduserer ny teknologi som forandrer scenariet til et framtidsscenarie. 3. Det ferdige framtidsscenariet spilles ut og kommenteres av andre. Resultat: Ny teknologi og nye arbeidsformer.
Erfaringer Drama og improvisert prototyping fungerer meget godt med sluttbrukere. Metoden gir oss dyp innsikt i deres arbeidshverdag. Sluttbrukerne er selv istand til å spesifiesere hva de ønsker av teknologien. Drama virker som metode fordi alt er konkret og knyttet sterkt opp til brukerens verden.
Studie av utviklingsprosesser ISO13407 er en prosess-standard (som ISO 9000). Det finnes flere skalaer for modenhetsmåling av organisasjoner. Forskningsfokus: Studie av brukerkontakt i faktisk systemutvikling. Bevissthetsnivå hos utviklere, management, kunder og brukere. Organisatoriske rammebetingelser for UCD.
Rammebetingelsene for brukersentrert systemutvikling av EPJ-systemer Utvikler Bruker Software
Eksempel: Studie av anbudsprosess Utfordring: Hvordan planlegge for kontinuerlig kontakt mellom utviklere og brukere.
Fokus på usability Faktisk forandring av dagens praksis krever: 1. Empirisk basert kunnskap om hvordan dagens EPJsystemer blir utviklet: Hvordan blir brukerne involvert? Hvem er aktørene, og hva er deres relasjoner? Hvilke metoder og teknikker er i bruk? Hvilke rammebetingelser arbeider utviklerne under? Hvordan tenker de? 2. Metodeutvikling i nært samarbeid med utviklingsfirmaer, brukere, sykehus og det offentlige. 1. Anvendelse av bruker-sentrerte metoder I prosjekter, med fokus på faktiske rammebetingelser m.h.t. time-to-market, ressurser og. 2. Arbeid på flere nivåer samtidig: utviklere, prosjektledere, og top management. 3. Fokus på hele utviklingsløpet: anbud, konktrakt, analyse, design, testing, utplassering, vedlikehold,,,
Planlagt brukbarhetstest i ELIN-prosjektet ELIN er et stort nasjonalt prosjekt for EPJutveksling mellom primærleger, sykehus, og statens registre. Brukskvalitet planlegges inn i prosjektets fase II: Utarbeidelse av testbare brukbarhetskrav. Verifisering av at kravene er testbare og kan inngå i kontrakter (juridisk) Brukbarhetstester gjennom flere faser av systemutviklingen. Akseptansetester før produkter blir godkjent.
Visjon: EPJ-usability i Norge 2015 Usability er inkludert som testbare krav i kontraktene for alle EPJ-anskaffelser. Det finnes en offentlig sertifiseringsordning i forhold til usability for EPJ, og for laboratorier som skal gjøre evaluering. Kompetansen er høy i forhold til usability og metoder for brukerinvolvering både hos politikere, hos ledelsen ved sykehus, hos utviklere og hos brukergruppene.