Pasientsikkerhetskonferansen 2018

Transkript

1 Pasientsikkerhetskonferansen 2018 P15b: Måleverksted for viderekomne #itryggehender

2 Velkommen! Hvorfor skal vi bruke statistisk prosesskontroll? Hvordan analyserer vi kontrolldiagrammer? Når skal vi bruke ulike kontrolldiagrammer? Og noen eksempler

3 Hvorfor skal vi måle

4 Hvorfor og hvordan måler vi? Forskning Forbedring Styring og kontroll Hensikt Finne ny generaliserbar kunnskap Ta i bruk/forbedre bruk av kunnskap i klinisk praksis Dokumentere, bedømme, sammenligne Tester (stikkprøver) En stor «blind» test Mange små, observerbare tester Ingen stikkprøve eller test Hypotese Statisk Dynamisk Ingen hypotese Data Krever store mengder data for å finne små forskjeller Passe mengde data til å lære om prosessen for å forbedre den «alle tilgjengelige data» Hyppighet Et eller få måletidspunkter Hyppige målinger (dager/uker/mnd.) Sjeldne, tilbakevendende (kvartal, år) Analyse metode Komparative metoder Statistisk analyse og prosessstyring Deskriptive metoder Etter Solberg L. et al The three faces of performance measurement: improvement, accountability, and research. Jt Comm J Qual Improv. Mar;23(3):

5

6 Managing a process on the basis of monthly (or quarterly) averages is like trying to drive a car by looking in the rear view mirror. D. Wheeler Understanding Variation, 1993.

7 Inndeling av indikatorer og målinger Objektive målinger Direkte ved registrering av eksempelvis: saksbehandlingstid ventetid økonomiske størrelser eller ved hjelp av måleinstrumenter: temperatur i rommet støy fra maskiner osv. Subjektive målinger Basert på menneskelig vurdering som: pasienter/pårørendes opplevelser eller erfaringer ansattes vurderinger av arbeidsprosesser og rutiner, arbeidsmiljø osv. ledelsens vurderinger eller politikernes vurderinger Resultat Prosess Struktur Utfall for bruker Brukeres erfaringer og opplevelser Tjenester gitt i henhold til lovverk/beste praksis Klinisk resultat Hvordan vi gir tjenester Arbeidsprosesser Pasientflyt Koordinering og samhandling Hva som finnes av grunnleggende rammer Ressurser og organisering

8 Hva er statistisk prosesskontroll? En grafisk fremstilling av data over tid som kan skille mellom tilfeldig variasjon og ikke-tilfeldig/spesiell variasjon Analyseregler gjør det mulig å trekke konklusjoner av run-diagrammer og kontrolldiagrammer Passer til å følge data over tid - som pasienter i rekkefølge, per dag, per uke Verktøy til å reflektere over og følge med på egen praksis

9 Hensikten ved å måle med SPC er: å oppnå en stabil og forutsigbar prosess, på et akseptabelt gjennomsnittsnivå, og med en akseptabel grad av variasjon. Walter Shewhart 1931

10 SPC handler om å forstå variasjon Tilfeldig variasjon Naturlig variasjon er en iboende egenskap ved en prosess Kroppstemperaturen varierer normalt mellom 36,5 og 37,5 grader gjennom døgnet Ventetiden ved en legevakt varierer mellom 0 og 90 minutter avhengig av pågang Tilfeldig variasjonen skyldes vanlige og naturlige årsaker En prosess som kun viser tilfeldig variasjon er som oftest stabil og forutsigbar innenfor statistiske grenser Ikke-tilfeldig/Spesiell variasjon Spesielle variasjoner kommer som resultat av irregulære, unaturlige årsaker som ikke er iboende i prosessen Spesiell variasjon kan være både ønsket og uønsket (utilsiktet). Spesiell variasjon i behandling kan være ønsket etter at man igangsetter et forbedringsarbeid Uønsket spesiell variasjon kan være forårsaket av utstyrsmangel (u)vaner/kultur, mangel på standardisering av en særskilt behandlingsprosess eller manglende evne til å takle akutte tilfeller på en god måte En prosess som har spesielle variasjoner er som oftest ustabil og ikke forutsigbar

11 Vi må både tolke og analysere variasjon Faglige tolkninger: Spredning Er graden av variasjon faglig akseptabel, eller bør praksis samordnes bedre? Nivå Er nivået (gjennomsnittet/medianen) tilfredsstillende? Er nivået god praksis/god kvalitet? Grenseverdier Finnes det en faglig grense for hvilke verdier som kan aksepteres og er denne grensen overskredet? Statistisk analyse: Vurdere om prosessen stabil og forutsigbar eller om det spesielle variasjoner tilstede i prosessen? Vurdere resultatet av intervensjoner i prosesser Er praksis endret/forbedret?

12 Diskusjon med sidemann (2 eller 3 sammen) Se til et pågående prosjekt/forbedringsarbeid eller tilbake til forrige: Hvilke målinger gjør/gjorde dere? Bruker dere SPC? Evaluerer dere variasjon? (om prosessen består av tilfeldig eller spesiell variasjon?) Hvis ikke, hvilke kriterier brukes for å bestemme om en prosess forbedres eller forværres? Er målingen/-e subjektive eller objektive? Er målingen/-e av struktur, prosess eller resultat?

13 Gevinster av å måle Vite hva status er Har vi et problem? Hvor stort? Hvordan ser det ut? Vite om tiltak skaper ønsket forbedring Få oversikt over utvikling og forbedringer over tid Dokumentere hva vi leverer Vise pasienter, pårørende, ledelse og oss selv hvordan våre tjenester er Gi rom for refleksjon Målingene kan hjelpe oss til å reflektere over egen virksomhet og gir grunnlag for egen læring og utvikling.

14 Dersom man ikke måler eller forstår variasjon i data kan man bli fristet til å Nekte for at dataene stemmer (passer ikke med ens virkelighetsoppfatning) Se trender som ikke eksisterer Prøve å forklare naturlig variasjon som spesiell variasjon Ansvarliggjøre folk for forhold de ikke har kontroll over Synsing, spekulasjoner, intuisjoner og subjektive observasjoner. Kill the messenger!

15

16 Ulike SPC-diagrammer og tester for spesiell variasjon

17 Antall minutter Hva forteller et run-diagram? Tid til ett eller annet Y-aksen Serie median mållinje Per bruker x-aksen

18 Tester for spesiell variasjon i run-diagram 1. Nivåskifte i prosessen Flere enn 6 punkter etter hverandre på samme side av medianen indikerer et skifte i prosessen (enten over eller under) 2. Astronomisk datapunkt/sporadisk avvik Et punkt som ligger langt fra de andre datapunktene i tidsserien (bruk øyemål) 3. Trend 5 eller flere punkter som går i samme retning indikerer en trend 4. Spesielt mange eller spesielt få runs. I en tidsserie vil både for få og for mange runs gi inntrykk av at variasjonen ikke er tilfeldig. Matematikere har utviklet en sannsynlighetstabell som gir svar på dette

19 Measument Y-aksen Verdier (indikator) Hva forteller et kontrolldiagram? IChart - Verdi Sentrallinje (aritmetisk gjennomsnitt) Data legges ut på en tidsakse Dato/periode/pasienter i rekkefølge Mean: LCL: 8.21 UCL: X-aksen Tid (periode/pasienter i rekkefølge) Øvre kontrollgrense Nedre kontrollgrense EpiData Analysis Graph

20 Measument Kontrollgrensene ligger tre sigma fra sentrallinjen. Det er sannsynlig at % av et datasett vil ligge innenfor kontrollrensene og variere tilfeldig rundt gjennomsnittet. Øvre kontrollgrense + 3 sigma Nedre kontrollgrense - 3 sigma IChart - Verdi Mean: LCL: 8.21 UCL: EpiData Analysis Graph

21 Ventetid i minutter I-diagram - eksempeldata I-diagram: Ventetid i akuttmottak Eksempeldata Måling av baseline Måling etter forbedringstiltak Dato Mean: UCL: Mean: UCL: EpiData Analysis Graph

22 Tre tester for å avdekke spesielle variasjoner Nivåskifte (1) i en tidsserie (2) i fht en tidligere fase Sporadisk avvik Trend

23 Nivåskifte (1) i en tidsserie Åtte eller flere datapunkter på rad på samme side av sentrallinjen (gjennomsnittet) hvis det er 20 datapunkter. Sju eller flere datapunkter på rad på samme side av sentrallinjen hvis det er < 20 datapunkter.

24 Measument Nivåskifte (1) i en tidsserie IChart - Verdi Mean: LCL: 0.44 UCL: EpiData Analysis Graph

25 Nivåskifte (2) i fht en tidligere fase Åtte eller flere datapunkter på rad på samme side av sentrallinjen (gjennomsnittet) fra en tidligere fase, hvis det er 20 datapunkter. Sju eller flere datapunkter på rad på samme side av sentrallinjen (fra en tidligere fase) hvis det er < 20 datapunkter.

26 Measument Nivåskifte (2) i fht en tidligere fase IChart - Verdi Mean: LCL: 0.15 UCL: Mean: LCL: 1.72 UCL: EpiData Analysis Graph Endring av praksis

27 Sporadiske avvik Ett eller flere datapunkter utenfor øvre eller nedre kontrollgrense Øvre kontrollgrense + 3 sigma Measument IChart - Verdi Nedre kontrollgrense - 3 sigma Mean: LCL: 8.21 UCL: EpiData Analysis Graph Kontrollgrensene ligger tre sigma fra sentrallinjen. Det er sannsynlig at % av et datasett vil ligge innenfor kontrollrensene og variere tilfeldig rundt gjennomsnittet.

28 Measument Sporadisk avvik IChart - Verdi Mean: LCL: UCL: EpiData Analysis Graph

29 Trend Syv eller flere datapunkter på rad i stigende eller synkende retning hvis det er 20 datapunkter. Seks eller flere datapunkter på rad i stigende eller synkende retning hvis det er <20 datapunkter. Datapunktene må være konstant stigende eller synkende, hvis to av dem er på samme nivå, skal de telles som ett punkt. Obs Epidata bruker 6 punkter på rad uansett antall observasjoner

30 Measument Trend 60 IChart - Verdi Mean: LCL: UCL: EpiData Analysis Graph

31 Measument Measument Measument I kontrolldiagrammer ser vi etter spesielle variasjoner som: Sporadisk avvik IChart - Verdi IChart - Verdi Nivåskifte Mean: LCL: UCL: EpiData Analysis Graph IChart - Verdi1 Trend Mean: LCL: 0.44 UCL: EpiData Analysis Graph Mean: LCL: UCL: EpiData Analysis Graph

32 Measument Tolkningsøvelse - kontrolldiagram IChart - Verdi Mean: LCL: 0.44 UCL: EpiData Analysis Graph

33 Measument Tolkningsøvelse - kontrolldiagram IChart - Verdi Mean: LCL: UCL: EpiData Analysis Graph

34 Measument Tolkningsøvelse - kontrolldiagram 50 IChart - Verdi Mean: LCL: 4.44 UCL: EpiData Analysis Graph

35 Mest brukte SPCdiagrammer

36 Mest brukte SPC-diagrammer Run-diagram kan lages med blyant, papir og linjal. Mangler kontrollgrenser, gir derfor mindre informasjon I-diagram (også kalt ImR, eller XmR) Hoveddiagram: hvert datapunkt er en observasjon eller en gruppe/periode med observasjoner (subgruppe) Hjelpediagram: Hvert datapunkt viser moving range (forskjellen på nabo-observasjoner. Når ett datapunkt=4 og det neste=7, blir differansen/mr=3) P-diagram hvert datapunkt viser forholdet mellom en teller og en nevner U-diagram hvert datapunkt viser forholdet mellom en teller og en nevner G-diagram Hvert datapunkt viser antall suksesser/gode dager/gode vurderinger mellom hver uønsket hendelse/observasjon/«uheldige dag» X-Bar S-diagram Hoveddiagram: Hvert datapunkt er en gjennomsnittsverdi. Hjelpediagram: Hvert datapunkt viser standardavviket på den tilhørende gjennomsnittsverdien Brukes til monitorering av pasienterfaringer med huller i tidsrekken (svarandel <100%)

37

38 Run-diagram Kan lages med blyant, papir og linjal. Plott dataene langs tidsaksen med tid på x-aksen og indikatoren (det du skal måle) på y-aksen. Beregn medianen og tegn den inn i diagrammet som en horisontal strek. Mangler kontrollgrenser, gir derfor mindre informasjon. Run-diagram kan ikke avsløre alle typer spesielle variasjoner i prosessen.

39 I-diagram I-diagram også kalt ImR, eller XmR er for data som kan måles på en skala (måledata) Hoveddiagram (I): hvert datapunkt er en observasjon eller en gruppe/periode med observasjoner (subgruppe) Hjelpediagram (mr): Hvert datapunkt viser moving range (forskjellen på naboobservasjoner. Når ett datapunkt=4 og det neste=7, blir differansen/mr=3) Diagrammet har rette kontrollgrenser Eksempler på hva man kan måle: Tid; ventetid, liggetid, tid til tildelt time, tid brukt på ulike prosesser Antall pasienter, timer etc. per dag, uke, måned Score på sjekklister/tester per pasient eller gjennomsnittelig per dag/uke Pasienters vekt, blodsukker, kolesterol, blodtrykk, tempratur, score på div tester osv. over tid Kostnader

40 I-diagram - eksempeldata

41 Ventetid i minutter I-diagram - eksempeldata I-diagram: Ventetid i akuttmottak Eksempeldata Måling av baseline Måling etter forbedringstiltak Dato Mean: UCL: Mean: UCL: EpiData Analysis Graph

42 Moving Range Ventetid i minutter Hjelpediagram: Moving range diagram I-diagram Ventetid i akuttmottak Eksempeldata mr-diagram Dato Mean: UCL: Mean: UCL: Hjelpediagram (mr): Hvert datapunkt viser moving range (forskjellen på naboobservasjoner. Når ett datapunkt=4 og det neste=7, blir differansen/mr=3) MRBar: UCL: MRBar: UCL: EpiData Analysis Graph

43 Eksempel i-diagram - Ventetid poliklinisk prøvetakning Bakgrunn: For lang ventetid i poliklinikken Stor variasjon i løpet av dag/uke Baseline kartlegging av ventetid per dag og i tidsintervaller Iverksatt tiltak i henhold til kartlegging Tidligere åpning Ekstra personell på utvalgte dager og tidspunkt

44 Eksempel i-diagram - Ventetid poliklinisk prøvetakning

45 Eksempel i-diagram - Ventetid poliklinisk prøvetakning

46 P-diagram I et P-diagram viser hvert datapunkt forholdet mellom en teller og en nevner Prosentandel betyr at telleren representerer en andel av nevneren, dvs at nevneren begrenser tellerens størrelse Prosent på y-aksen, tid på x-aksen Eksempler på hva man kan måle: Prosent/andel Infeksjoner Beltelagte pasienter Sectio og operasjonelle forløsninger Dokumentasjon som fyller krav Utførte prosedyrer som fyller krav Kontrollgrensene regnes ut for hvert punkt (blir flytende )

47 P-diagram - eksempeldata

48 uke 1 uke 2 uke 3 uke 4 uke 5 uke 6 uke 7 uke 8 uke 9 uke 10 uke 11 uke 12 uke 13 uke 14 uke 15 uke 16 uke 17 uke 18 uke 19 uke 20 uke 21 uke 22 uke 23 uke 24 Andel infeksjoner (%) P-diagram - eksempeldata 7 6 P-diagram: Andel infeksjoner etter operasjon Eksampeldata Uke Mean: 2.63 Kontinuerlig måling EpiData Analysis Graph

49 Eksempel P-diagram Prosent beltelagte i forhold til innlagte pasienter per måned Run-diagram I-diagram P-diagram Måleansvarlig: Aker u.s.hus: Øyvind Antonsen

50 Prosent Run-diagram Prosent beltelagte i forhold til antall innlagte pasienter pr måned. Run-diagram % b.lagte(p) Måleansvarlig: Aker u.s.hus: Øyvind Antonsen apr.99 mai.99 jun.99 jul.99 aug.99 sep.99 okt.99 nov.99 des.99 jan.00 feb.00 mar.00 apr.00 mai.00 jun.00 jul.00 aug.00 sep.00 okt.00 Median p

51 prosent I diagram/xmr-diagram 30 Prosent beltelagte i forhold til antall innlagte pasienter pr måned. XmR-diagram 25 Måleansvarlig: Aker u.s.hus: Øyvind Antonsen apr.99 mai.99 jun.99 jul.99 aug.99 sep.99 okt.99 nov.99 des.99 jan.00 feb.00 mar.00 apr.00 mai.00 jun.00 jul.00 aug.00 sep.00 okt.00 ØKG % b.lagte(p) Gj.sn 51

52 apr.99 mai.99 jun.99 jul.99 aug.99 sep.99 okt.99 nov.99 des.99 jan.00 feb.00 mar.00 apr.00 mai.00 jun.00 jul.00 aug.00 sep.00 okt.00 prosent P-diagram Teller: Antall beltelagte pr mnd Nevner: Antall innlagte pr mnd 30 Prosent beltelagte i forhold til antall innlagte pasienter pr måned. (p-diagram) ØKG p % b.lagte(p) pbar (gj.snitt) 5 0 Måleansvarlig: Aker u.s.hus: Øyvind Antonsen 52

53 U-diagram I U-diagram viser hvert datapunkt forholdet mellom en teller og en nevner U-diagram skal brukes når telleren kan være høyere enn nevneren Rate/forholdstall på y-aksen, tid på x- aksen Forholdstall: Rate: antall fall antall pasienter i perioden antall fall x 1000 antall pasientdøgn i perioden Eksempler på hva man kan måle: Fall Trykksår Avviksmeldinger Medisinfeil

54 G-diagram I G-diagram viser hvert datapunkt antall suksesser/gode dager/gode vurderinger mellom hver uønsket hendelse/observasjon/ «uheldige dag» Y-aksen viser dager/suksesser mellom hver uønsket hendelse X-aksen markerer de uønskede hendelsene Eksempler på hva man kan måle: Antall dager mellom uønskede hendelser som fall, trykksår, med mer. Antall suksesser mellom uønskede hendelser hvor det kan telles som operasjoner uten infeksjoner,

55 G-diagram eksempeldata dager mellom fall

56 2015/01/ /01/ /01/ /02/ /02/ /03/ /04/ /04/ /05/ /06/ /07/ /07/ /08/ /09/ /10/10 Antall dager mellom fall G-diagram eksempeldata dager mellom fall G-diagram Antall dager mellom fall Eksempeldata Dato for fall Mean: UCL: EpiData Analysis Graph

57 G-diagram eksempeldata Antall sectio uten infeksjoner

58 2015/01/ /01/ /01/ /01/ /01/ /02/ /03/ /03/ /04/ /05/ /05/26 G-diagram eksempeldata Antall sectio uten infeksjoner G-diagram: Antall sectio mellom hver sectio med infeksjon Eksempeldata Dato for sectio med infeksjon Mean: UCL: EpiData Analysis Graph

59 antall gode dager G-diagram Monitorering av fall ved Geri psychiatric Unit (GPU), Elliot hospital, USA G-diagram: Antall (gode) dager mellom hver gang pasienter faller på GP-avdeling Sporadiske avvik Nivåskifte Aleidis Skard Brandrud 2008

60 Det er viktig å sette gode mål før man bestemmer målingene

61 Hvordan gå frem for å utarbeide gode målinger? Samle brukbare data, ikke perfekte data Bruk eksisterende data hvis det finnes Bruk penn og papir til et bedre system er etablert Gjør datainnsamlingen til en del av de daglige rutinene Ikke bruk tid på å samle inn mer data enn nødvendig Bruk kvalitativ og kvantitativ data sammen La de som eier dataene være med på å definere målingene, involver ansatte! ALDRI utsett forbedringsarbeid i påvente av IT-avdelingen!!

62 Hvordan gå frem for å utarbeide gode målinger? Forts. Lag en plan som spesifiserer: Hvem Hvem skal samle inn dataene, en eller flere personer? Hva Hvilke data skal samles inn? Når Når skal målingene gjøres? Hvor Hvor skal målingene gjøres? Hvordan Hvordan skal dataene samles inn? Manuelle tellinger? Fra rapportsystem? Gjerne lag steg for steg -prosedyrer

63 Hvordan gå frem for å utarbeide gode målinger? Forts. Er vi enige i definisjonene? Er vi enige om hva som defineres som en forbedring? Er vi enige om når vi har nådd målene? Stages of Facing Reality - Reaction to Data The data are wrong The data are right, but it s not a problem The data are right; it is a problem; but it is not my problem. I accept the burden of improvement Det er et lederansvar å forstå variasjon og spørre hvorfor from Escape Fire, Don Berwick, (2002 Forum Speech), page

64 Gruppeoppgave diskusjon på bordene Ta utgangspunkt i et pågående forbedringsarbeid: Har dere en plan som spesifiserer? Hvem Hvem skal samle inn dataene, en eller flere personer? Hva Hvilke data skal samles inn? Når Når skal målingene gjøres? Hvor Hvor skal målingene gjøres? Hvordan Hvordan skal dataene samles inn? Manuelle tellinger? Fra rapportsystem? Gjerne lag steg for steg -prosedyrer Hvor diskuterer dere målingene underveis? Er dere enige om når målet er nådd?

65 Viktig å huske på når du bruker SPC SPC passer ikke til samtidige data Tid må være en faktor det du måler må representere en prosess/noe som skjer over tid Kan ikke brukes hvis det er huller i tidsrekken hvis noen av observasjonene mangler Datapunktene må sorteres i kronologisk rekkefølge Plottes kronologisk etter hendelsesdato, innleggelsesdato, utskrivingsdato, operasjonsdato, klokkeslett etc. Det du måler før og etter endring/i ulike faser - må måles på samme måte

66 Ofte stilte spørsmål Hvor lenge må vi måle? Vurder hvor lang tid det vil ta å få tilstrekkelig antall datapunkter (tommelfingerregel - minimum 20 datapunkter) Sørg for å ha tilstrekkelig antall datapunkter for å kunne gjøre en statistisk analyse Søk nytte i målingene, ikke perfeksjon Del opp måleperioden hvis det er hensiktsmessig Når skal man legge inn brudd/ny utregning av median? Ved utslag på en av testene (eks nivåskifte) Ved gjennomføring av nye tiltak/endring av praksis Hva skal vi måle? (flere eksempler på neste slide) Tid, Andeler Kvalitative indikatorer? Kan vi lage en sjekkliste? Hvor finner vi gode tall? Det avhenger av hva man vil måle Kvalitet på det man putter inn = kvalitet på det vi får ut

67 Eksempler på hva man kan måle Måledata (som kan måles på en skala) Tid; ventetid, liggetid, tid til tildelt time, tid brukt på ulike prosesser Antall brukere/pasienter, timer etc. per dag, uke, måned Score på sjekklister/tester per pasient eller gjennomsnittelig per dag/uke Pasienters vekt, blodsukker, kolesterol, blodtrykk, tempratur, score på div tester osv. over tid Kostnader Prosent/andelsdata (forhold mellom en teller og en nevner) Infeksjoner Beltelagte pasienter Sectio og operasjonelle forløsninger Dokumentasjon som fyller krav Utførte prosedyrer som fyller krav Forholdstall/rater Fall Trykksår Avviksmeldinger Medisinfeil Antall dager/suksesser mellom uønskede hendelser (for sjeldne/få hendelser) Antall dager mellom uønskede hendelser som fall, trykksår, med mer. Antall suksesser mellom uønskede hendelser hvor det kan telles som operasjoner uten infeksjoner

68 Eksempler på bruk av SPC i forbedringsarbeid

69 SPC brukes til å: Monitorere/utrede praksis i sanntid og retrospektivt Undersøke om myter stemmer Teste endringstiltak Sammenligne nåværende praksis med beste praksis og variasjoner før og etter en endring Følge opp for å se om endringene vedvarer Varsle om uønskede hendelser så tidlig som mulig

70 Teste endringstiltak Eksempel: nasjonalt forbedringsprosjekt psykiatri a) Skriftlig materiale om ASL + faste undervisningsdager b) Kartlegging affektive symptomer MADRS+YMRS c) Heldagsseminar om kommunikasjon og dokumentasjon

71 Sammenligne variasjon og teste endringstiltak Eksempel: nasjonalt forbedringsprosjekt reduksjon av tvang

72 Kontrolldiagram indikerer at en endring har skjedd, og at denne ikke skyldes tilfeldigheter

73 Følge opp for å se om endringene vedvarer Eksempel: nasjonalt forbedringsprosjekt reduksjon av tvang (6 måneder etter prosjektslutt)

74 Antall dager mellom trykksår tiltak?

75 Spørsmål? Kontaktinformasjon: Maria Bergli (Planrådgiver Drammen kommune)

76 Lykke til! #itryggehender