Workshop Målinger i forbedringsarbeid

Workshop Målinger i forbedringsarbeid LN2 Pasient- og brukersikre kommuner Maria Bergli, Planrådgiver i Drammen Kommune og sekretær i nasjonalt forum for statistisk prosesskontroll

Workshop Målinger i forbedringsarbeid 12:45-13:25 Om måling og hvorfor måle med statistisk prosesskontroll (SPC) i forbedringsarbeid? Pause 15 min 13:40-14:20 Hvordan analysere og forstå diagrammer med eksempler Pause 15 min 14:35-15:15 Hvordan gå frem for å finne gode målinger i egne prosjekter/arbeider

Hvorfor og hvordan måler vi? Forskning Forbedring Styring og kontroll Hensikt Finne ny generaliserbar kunnskap Ta i bruk/forbedre bruk av kunnskap i klinisk praksis Dokumentere, bedømme, sammenligne Tester (stikkprøver) En stor «blind» test Mange små, observerbare tester Ingen stikkprøve eller test Hypotese Statisk Dynamisk Ingen hypotese Data Krever store mengder data for å finne små forskjeller Passe mengde data til å lære om prosessen for å forbedre den «alle tilgjengelige data» Hyppighet Et eller få måletidspunkter Hyppige målinger (dager/uker/mnd.) Sjeldne, tilbakevendende (kvartal, år) Analyse metode Komparative metoder Statistisk analyse og prosessstyring Deskriptive metoder Solberg L. et al. 1997. The three faces of performance measurement: improvement, accountability, and research. Jt Comm J Qual Improv. Mar;23(3):135-47.

Brystkreft pakkeforløp, Helse Sør-Øst; 01.01.2016 tom 31.10.2016

05.01.2016 07.01.2016 13.01.2016 15.01.2016 21.01.2016 26.01.2016 03.02.2016 04.02.2016 09.02.2016 11.02.2016 16.02.2016 18.02.2016 25.02.2016 03.03.2016 08.03.2016 10.03.2016 16.03.2016 29.03.2016 05.04.2016 07.04.2016 14.04.2016 19.04.2016 21.04.2016 27.04.2016 03.05.2016 11.05.2016 19.05.2016 25.05.2016 31.05.2016 07.06.2016 10.06.2016 16.06.2016 23.06.2016 28.06.2016 30.06.2016 07.07.2016 14.07.2016 29.07.2016 12.08.2016 23.08.2016 25.08.2016 01.09.2016 07.09.2016 13.09.2016 15.09.2016 22.09.2016 29.09.2016 04.10.2016 13.10.2016 25.10.2016 Brystkreft Oslo universitetssykehus. Målsetningen er at behandlingen skal igangsettes innen 27 dager. Her er bruddene lagt inn tertialvis. Blå linje = 27 dager (Standard forløpstid) Grønn linje = Resultat (gjennomsnitt) Rød linje = kontrollgrenser 1.Tertial 2016 32,2 dager gjsnitt Brystkreft OUS Kirurgi Alle forløp i 2016 2.Tertial 2016 30,2 dager gjsnitt 3.Tertial 2016 26,3 dager gjennomsnitt 100 90 80 70 60 50 40 30 20 10 Opererte i tidsrekkefølge Mean: 32.31 UCL: 81.02 Mean: 30.27 UCL: 72.81 Mean: 26.33 UCL: 65.18 EpiData Analysis Graph

Managing a process on the basis of monthly (or quarterly) averages is like trying to drive a car by looking in the rear view mirror. D. Wheeler Understanding Variation, 1993.

Inndeling av indikatorer og målinger Objektive målinger Direkte ved registrering av eksempelvis: saksbehandlingstid ventetid økonomiske størrelser eller ved hjelp av måleinstrumenter: temperatur i rommet støy fra maskiner osv. Subjektive målinger Basert på menneskelig vurdering som: pasienter/pårørendes opplevelser eller erfaringer ansattes vurderinger av arbeidsprosesser og rutiner, arbeidsmiljø osv. ledelsens vurderinger eller politikernes vurderinger Resultat Utfall for bruker Brukeres erfaringer og opplevelser Tjenester gitt i henhold til lovverk/beste praksis Klinisk resultat Prosess Hvordan vi gir tjenester Arbeidsprosesser Pasientflyt Koordinering og samhandling Struktur Hva som finnes av grunnleggende rammer Ressurser og organisering

Diskusjon på bordet: Hvordan jobber dere med tall? Hvilke tall/grafer følges dere opp på i deres organisasjon? Evaluerer dere variasjon? (om det består av tilfeldig eller spesiell variasjon?) Hvis ikke, hvilke kriterier brukes for å bestemme om en prosess forbedres eller forværres?

Hva er statistisk prosesskontroll? En grafisk fremstilling av data over tid som kan skille mellom tilfeldig variasjon og ikke-tilfeldig/spesiell variasjon Analyseregler gjør det mulig å trekke konklusjoner av rundiagrammer og kontrolldiagrammer Passer til å følge data over tid - som pasienter i rekkefølge, per dag, per uke Verktøy til å reflektere over og følge med på egen praksis

Hensikten ved å måle med SPC er: å oppnå en stabil og forutsigbar prosess, på et akseptabelt gjennomsnittsnivå, og med en akseptabel grad av variasjon. Walter Shewhart 1931

SPC handler om å forstå variasjon Tilfeldig variasjon Naturlig variasjon er en iboende egenskap ved en prosess Kroppstemperaturen varierer normalt mellom 36,5 og 37,5 grader gjennom døgnet Ventetiden ved en legevakt varierer mellom 0 og 90 minutter avhengig av pågang Tilfeldig variasjonen skyldes vanlige og naturlige årsaker En prosess som kun viser tilfeldig variasjon er som oftest stabil og forutsigbar innenfor statistiske grenser Ikke-tilfeldig/Spesiell variasjon Spesielle variasjoner kommer som resultat av irregulære, unaturlige årsaker som ikke er iboende i prosessen Spesiell variasjon kan være både ønsket og uønsket (utilsiktet). Spesiell variasjon i behandling kan være ønsket etter at man igangsetter et forbedringsarbeid Uønsket spesiell variasjon kan være forårsaket av utstyrsmangel (u)vaner/kultur, mangel på standardisering av en særskilt behandlingsprosess eller manglende evne til å takle akutte tilfeller på en god måte En prosess som har spesielle variasjoner er som oftest ustabil og ikke forutsigbar

Hvordan tolke og analysere variasjon Faglige tolkninger: Spredning Er graden av variasjon faglig akseptabel, eller bør praksis samordnes bedre? Nivå Er nivået (gjennomsnittet/medianen) tilfredsstillende? Er nivået god praksis/god kvalitet? Grenseverdier Finnes det en faglig grense for hvilke verdier som kan aksepteres og er denne grensen overskredet? Statistisk analyse: Vurdere om prosessen stabil og forutsigbar eller om det spesielle variasjoner tilstede i prosessen? Vurdere resultatet av intervensjoner i prosesser Er praksis endret/forbedret?

Hvor ligger forbedringsfokuset?

Dersom man ikke måler eller forstår variasjon i data kan man bli fristet til å Nekte for at dataene stemmer (passer ikke med ens virkelighetsoppfatning) Se trender som ikke eksisterer Prøve å forklare naturlig variasjon som spesiell variasjon Ansvarliggjøre folk for forhold de ikke har kontroll over Synsing, spekulasjoner, intuisjoner og subjective observasjoner. Kill the messenger!

Gevinsten av å måle vite hva status er Har vi et problem? Hvor stort? Hvordan ser det ut? vite om tiltak skaper ønsket forbedring Få oversikt over utvikling og forbedringer over tid dokumentere hva vi leverer Vise pasienter, pårørende, ledelse og oss selv hvordan våre tjenester er gi rom for refleksjon Målingene kan hjelpe oss til å reflektere over egen virksomhet og gir grunnlag for egen læring og utvikling.

Pause 15 minutter

Hvordan analysere og tolke SPC-diagrammer med eksempler Analyse av RUN-diagrammer

Antall minutter Hva forteller et run-diagram? Tid til ett eller annet Y-aksen 90 80 Serie 70 60 50 median mållinje 40 30 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 Per bruker x-aksen

Tester for spesiell variasjon i run-diagram 1. Nivåskifte i prosessen Flere enn 6 punkter etter hverandre på samme side av medianen indikerer et skifte i prosessen (enten over eller under) 2. Astronomisk datapunkt/sporadisk avvik Et punkt som ligger langt fra de andre datapunktene i tidsserien (bruk øyemål) 3. Trend 5 eller flere punkter som går i samme retning indikerer en trend 4. Spesielt mange eller spesielt få runs. I en tidsserie vil både for få og for mange runs gi inntrykk av at variasjonen ikke er tilfeldig. Matematikere har utviklet en sannsynlighetstabell som gir svar på dette

Nivåskifte i prosessen Flere enn 6 punkter etter hverandre på samme side av medianen indikerer et skifte i prosessen. (Enten over eller under)

Astronomisk datapunkt/sporadisk avvik Et punkt som ligger langt fra de andre datapunktene i tidsserien (bruk øyemål)

Trend 5 eller flere punkter som går i samme retning indikerer en trend.

Spesielt mange eller spesielt få runs I en tidsserie vil både for få og for mange runs gi inntrykk av at variasjonen ikke er tilfeldig. Matematikere har utviklet en sannsynlighetstabell som gir svar på dette Et run = ett eller flere datapunkter på rad på samme siden av medianen. Når vi teller antall run, så skal vi ikke inkludere datapunkter med medianverdi (ikke datapunkter som ligger på medianen) Hensikten med å telle antall run er å identifisere en type spesielle variasjoner.

Sannsynlighetstabell for run-diagrammer Antall datapunkter som ikke treffer medianen Nedre grense for antall "run" Øvre grense for antall "run" 14 4 11 15 4 12 16 5 12 17 5 13 18 6 13 19 6 14 20 6 15 21 7 15 22 7 16 23 8 16 24 8 17 25 9 17 26 9 18 27 9 19 28 10 19 29 10 20 30 11 21

Eksempel fra Extranet: 12.05 Responstid for MIG tiltak

Klinikerne bruker SPC til å Sammenligne nåværende praksis med beste praksis og variasjoner før og etter en endring Følge opp for å se om endringene vedvarer Teste endringstiltak Undersøke om mytene stemmer Monitorere/utrede praksis i sanntid og retrospektivt Varsle om uønskede hendelser så tidlig som mulig

Sammenlikne variasjon og teste endringtiltak Eksempel: Forbedringsarbeid om utskrivningssamtalen, oropedisk post, Bærum Sykehus Sjekklisten generer en skåre for total måloppnåelse per pasient og gjøres om til prosent.

07.12.2015 07.12.2015 09.12.2015 09.12.2015 09.12.2015 10.12.2015 11.12.2015 11.12.2015 11.12.2015 11.12.2015 11.12.2015 11.12.2015 13.12.2015 14.12.2015 14.12.2015 14.12.2015 14.12.2015 14.12.2015 14.12.2015 16.12.2015 18.12.2015 18.12.2015 Score prosent «Nå-situasjonen» - des 2015 100 90 80 70 60 50 40 30 20 10 0 I-diagram Score sjekkliste utskrivningssamtaler Ortopedisk seksjon BS Dato Mean: 39.05 UCL: 112.39 EpiData Analysis Graph

Etter måling av baseline ble det igangsatt flere tiltak Ark til pasienten Nytt fast møtepunkt: Kl. 0915-0925 hver dag Gjennomgang av pasientlisten med fokus på utreise og organisering rundt dette. Hvem? - Visittsykepleier - Visittlegen - Fysioterapeut Visittstol Utskrivningsnotat

07.12.2015 09.12.2015 09.12.2015 11.12.2015 11.12.2015 11.12.2015 13.12.2015 14.12.2015 14.12.2015 14.12.2015 18.12.2015 11.03.2016 13.03.2016 16.03.2016 17.03.2016 18.03.2016 19.03.2016 31.03.2016 01.04.2016 01.04.2016 01.04.2016 02.04.2016 Score i prosent Mars/April 2016 100 90 80 70 60 50 40 30 20 10 0 Utreisesamtale - Ortopedisk sengepost BS I-diagram Dato Mean: 39.05 UCL: 112.39 Mean: 89.36 LCL: 34.52 UCL: 144.21 EpiData Analysis Graph

Sjekkliste mottak av ny bruker sykehjem

Teste endringstiltak Eksempel: nasjonalt forbedringsprosjekt psykiatri a) Skriftlig materiale om ASL + faste undervisningsdager b) Kartlegging affektive symptomer MADRS+YMRS c) Heldagsseminar om kommunikasjon og dokumentasjon

Sammenligne variasjon og teste endringstiltak Eksempel: nasjonalt forbedringsprosjekt reduksjon av tvang

Kontrolldiagram indikerer at en endring har skjedd, og at denne ikke skyldes tilfeldigheter A.S. Brandrud 12. mai 2015 37

Følge opp for å se om endringene vedvarer Eksempel: nasjonalt forbedringsprosjekt reduksjon av tvang (1 år etter prosjektslutt)

01.12.2014 02.12.2014 03.12.2014 04.12.2014 05.12.2014 08.12.2014 09.12.2014 10.12.2014 11.12.2014 12.12.2014 15.12.2014 16.12.2014 17.12.2014 18.12.2014 13.04.2015 14.04.2015 15.04.2015 16.04.2015 17.04.2015 20.04.2015 21.04.2015 22.04.2015 23.04.2015 24.04.2015 27.04.2015 28.04.2015 29.04.2015 30.04.2015 01.05.2015 Dobbeltsignering av kontinuerlige medikamentinfusjoner P-chart: Dobbeltsignatur kontinuerlige medikamentinfusjoner 100 90 80 70 60 50 40 30 20 10 0 Intensivavdelingen, Drammen Sykehus Dato Mean: 23.55 Mean: 79.30 EpiData Analysis Graph

09.01. Trykksår: Antall dager mellom hvert trykksår tiltak?

2017/03/10 2017/03/19 2017/03/26 2017/04/03 2017/04/11 2017/04/23 2017/04/23 2017/04/25 2017/04/25 2017/05/10 2017/05/31 2017/06/22 2017/07/13 2017/07/16 2017/07/19 2017/08/02 2017/08/08 2017/08/15 2017/09/22 2017/10/02 2017/10/16 2017/11/11 2017/12/19 2017/12/26 Avviksmeldinger hjemmesykepleie Antall dager mellom medisiner ikke gitt i hjemmesykepleien Konnerud 2017 35 30 25 20 15 10 5 0 Dato for meldinger Mean: 4.10 UCL: 17.82 Mean: 5.43 UCL: 23.15 Mean: 8.73 UCL: 36.37 EpiData Analysis Graph

Refleksjoner De samme dataene kan vise forskjellige mønstre av variasjon avhengig av hvor mye av det du presenterer og hvordan du snalyserer og fremstiller de. Gå så tett på en prosess som mulig. Data presentert over tid i tidsserier (for eksempel per dag, per uke eller per måned) er den beste måten å forbedre kvalitet og pasientsikkerhet Unngå å bruke aggregerte data og tall i tabellform hvis du ønsker å bruke dataene til forbedring Det er et lederansvar å forstå variasjon og spørre hvorfor

MEN gode målinger forteller deg ikke alt Grafene må analyseres og tolkes av de som eier prosessene for å finne ut: Årsaker til spesielle variasjoner Om en prosess bør forbedres Hvordan prosessen burde forbedres/redesignes

Analyser diagrammet er det spesiell variasjon?

Pause 15 minutter

Skap en dialog om målingene

If I had to reduce my message for management to just a few words, I d say it all had to do with reducing variation. Walter Edwards Deming

Det er viktig å sette gode mål før man bestemmer målingene

Diskusjon med sidemann (2 eller 3 sammen) Se til et pågående prosjekt/forbedringsarbeid eller tilbake til forrige. Hvilke målinger gjør/gjorde dere? Er målingen/-e subjektive eller objektive? Er målingen/-e av struktur, prosess eller resultat?

Hvordan gå frem for å utarbeide gode målinger? Samle brukbare data, ikke perfekte data Bruk eksisterende data hvis det finnes Bruk penn og papir til et bedre system er etablert Gjør datainnsamlingen til en del av de daglige rutinene Ikke bruk tid på å samle inn mer data enn nødvendig Bruk kvalitativ og kvantitativ data sammen La de som eier dataene være med på å definere målingene, involver ansatte! ALDRI utsett forbedringsarbeid i påvente av IT-avdelingen!!

Hvordan gå frem for å utarbeide gode målinger? Forts. Lag en plan som spesifiserer: Hvem Hva Når Hvor Hvem skal samle inn dataene, en eller flere personer? Hvilke data skal samles inn? Når skal målingene gjøres? Hvor skal målingene gjøres? Hvordan Hvordan skal dataene samles inn? Manuelle tellinger? Fra rapportsystem? Gjerne lag steg for steg -prosedyrer

Hvordan gå frem for å utarbeide gode målinger? Forts. Er vi enige i definisjonene? Er vi enige om hva som defineres som en forbedring? Er vi enige om når vi har nådd målene? Stages of Facing Reality - Reaction to Data The data are wrong The data are right, but it s not a problem The data are right; it is a problem; but it is not my problem. I accept the burden of improvement Det er et lederansvar å forstå variasjon og spørre hvorfor from Escape Fire, Don Berwick, (2002 Forum Speech), page 287-288

Gruppeoppgave diskusjon på bordene Ta utgangspunkt i et pågående forbedringsarbeid: Har dere en plan som spesifiserer? Hvem Hva Når Hvor Hvem skal samle inn dataene, en eller flere personer? Hvilke data skal samles inn? Når skal målingene gjøres? Hvor skal målingene gjøres? Hvordan Hvordan skal dataene samles inn? Manuelle tellinger? Fra rapportsystem? Gjerne lag steg for steg -prosedyrer Hvor diskuterer dere målingene underveis? Er dere enige om når målet er nådd?

Viktig å huske på når du bruker SPC SPC passer ikke til samtidige data Tid må være en faktor det du måler må representere en prosess/noe som skjer over tid Kan ikke brukes hvis det er huller i tidsrekken hvis noen av observasjonene mangler Datapunktene må sorteres i kronologisk rekkefølge Plottes kronologisk etter hendelsesdato, innleggelsesdato, utskrivingsdato, operasjonsdato, klokkeslett etc. Det du måler før og etter endring/i ulike faser - må måles på samme måte

Ofte stilte spørsmål Hvor lenge må vi måle? Vurder hvor lang tid det vil ta å få tilstrekkelig antall datapunkter (tommelfingerregel - minimum 20 datapunkter) Søk nytte i målingene, ikke perfeksjon Del opp måleperioden hvis det er hensiktsmessig Når skal man legge inn brudd/ny utregning av median? Ved utslag på en av testene (eks nivåskifte) Ved gjennomføring av nye tiltak/endring av praksis Hva skal vi måle? (flere eksempler på neste slide) Tid, Andeler Kvalitative indikatorer? Kan vi lage en sjekkliste? Hvor finner vi gode tall? Det avhenger av hva man vil måle Kvalitet på det man putter inn = kvalitet på det vi får ut

Eksempler på hva man kan måle Måledata (som kan måles på en skala) Tid; ventetid, liggetid, tid til tildelt time, tid brukt på ulike prosesser Antall brukere/pasienter, timer etc. per dag, uke, måned Score på sjekklister/tester per pasient eller gjennomsnittelig per dag/uke Pasienters vekt, blodsukker, kolesterol, blodtrykk, tempratur, score på div tester osv. over tid Kostnader Prosent/andelsdata (forhold mellom en teller og en nevner) Infeksjoner Beltelagte pasienter Sectio og operasjonelle forløsninger Dokumentasjon som fyller krav Utførte prosedyrer som fyller krav Forholdstall/rater Fall Trykksår Avviksmeldinger Medisinfeil Antall dager/suksesser mellom uønskede hendelser (for sjeldne/få hendelser) Antall dager mellom uønskede hendelser som fall, trykksår, med mer. Antall suksesser mellom uønskede hendelser hvor det kan telles som operasjoner uten infeksjoner

Noen avsluttende tips og råd La en som er interessert i målinger være måleansvarlig Ledelsen må forstå og bruke målingene underveis i prosjektet/arbeidet, ikke kun ved prosjektslutt Søk nytte i målingene, ikke perfeksjon

Spørsmål? Kontaktinformasjon: Maria Bergli Planrådgiver Drammen kommune maria.bergli@drmk.no