Gode måleverktøy - i forbedringsarbeid Kunnskapsesenterets nye PPT-mal Kvalitetskommuneprogrammet Nettverksamling pulje II, gruppe 1 og 2 Bjørnar Nyen, GRUK
Lære av egne data De som behandler pasienter må følge med i og forsøke å lære av sine egne data for å bedre de tjenester de gir. Fritt oversatt etter Raymond G.Carey (2002) Bjørnar Nyen, 02.04.08 2
Brukerundersøkelse ved fire fastlegekontorer i Grenland Vi ønsket å få fram pasientenes syn på tilgjengelighet hvordan de opplever møtet med oss ved å gjennomføre en enkel brukerundersøkelse ved legekontorene Bjørnar Nyen, 02.04.08 3
Hovedfunn Ganske like resultater (med noen variasjoner) Hos alle: Dårligst skår på spørsmål om Å komme gjennom på telefon Ventetid på venterom Anledning til å snakke med lege på telefon Ventetid på time På de andre spørsmålene gjennomsnittlig midt mellom "Svært fornøyd" og "Fornøyd Bjørnar Nyen, 02.04.08 4
Resultater fra legekontorene A, B, C og D Skår fra 1 (svært fornøyd) til 5 (svært misfornøyd) A B C D Å komme gjennom på telefon 2,1 * 2,4 2,0 Snakke med legen på telefon 2,2 1,8 2,4 2,0 Ventetid på venterom 2,6 2,0 2,0 2,2 Rask hjelp i akutte situasjoner 1,7 1,6 1,6 1,4 Imøtekommenhet fra medarbeider 1,5 1,5 1,5 1,4 Ventetid på time 2,2 1,9 2,1 1,8 Generell fornøydhet 1,6 1,5 1,6 1,4 Medarbeiders forståelse 1,6 1,5 1,5 1,5 Legens evne til å ta deg på alvor 1,4 1,4 1,4 1,3 Info fra legen om sykdommen 1,5 1,5 1,6 1,5 Info fra legen om behandlingen 1,5 1,5 1,6 1,4 Tilstrekkelig tid hos legen 1,6 1,7 1,6 1,4
Hva oppnådde vi? Det enkelte legekontor fikk vite hva pasienter var mindre fornøyde med Denne kunnskapen ga "dytt" i forhold til å fortsette forbedringsarbeidet Undersøkelsen ga hjelp til å velge forbedringsområde Undersøkelsen virket positivt på medarbeidere og leger: Pasientene er stort sett fornøyde med hvordan de blir møtt! Bjørnar Nyen, 02.04.08 6
Lærdommer fra brukerundersøkelsen Pasientene syntes det var positivt at de ble spurt om hvordan de opplever tjenesten vi gir Brukerundersøkelse kan hjelpe oss å holde pasientfokus Det tar ikke veldig mye tid å gjøre en slik spørreundersøkelse Undersøkelsen bidro til økt engasjement i forhold til organisering av virksomheten Bjørnar Nyen, 02.04.08 7
Eksempel fra ett legekontor Spørreundersøkelsen blant pasientene: Dårligst skår på ventetiden på venterommet før de kom inn til avtalt time hos lege En av legene bestemte seg for å se nærmere på dette Spørreundersøkelser og intervjuer skaper forventninger: IKKE spør om dere ikke har tenkt å gjøre forbedringer ut fra svarene Bjørnar Nyen, 02.04.08 8
Bjørnar Nyen, 02.04.08 9
Metode for kvalitetsforbedring bygger på Nolan og Langleys tre spørsmål Forbedringssirkelen (Demings sirkel, PDSA-/ PUKK-sirkelen) Bjørnar Nyen, 02.04.08 10
Bjørnar Nyen, 02.04.08 11
Ventetid på venterom for pasienter med timeavtale Antall pasienter 158 Gjennomsnittlig ventetid Median ventetid 19,4 min 20 min Minste ventetid 0 Maksimal ventetid 50 min Range 50 Standardavvik 12,1 Ventetid på venterommet Pasienter med time 3 uker januar 2007 Antall 30 25 20 15 10 5 0 50-54 45-49 40-44 35-39 30-34 25-29 20-24 15-19 10-14 5-9 0-4 Minutter Bjørnar Nyen, 02.04.08 12
Ventetid på venterom for pasienter med timeavtale Antall pasienter 158 Gjennomsnittlig ventetid 19,4 min Median ventetid 20 min Minste ventetid 0 Maksimal ventetid 50 min Range 50 Standardavvik 12,1 Run-diagram. Gjennom snittlig ventetid på venterom m et 40 35 30 D r E L, 3 u k e r ja n u a r 2 0 0 7 Minutter 25 20 15 10 5 0 08:00 08:15 08:30 08:45 09:00 09:20 09:40 10:00 10:20 Klokkeslett for tim e Median: 20.00 Sett opp dataene i tidsrekkefølge!! 10:40 11:00 11:20 11:45 12:30 12:45 13:00 13:15 13:30 13:45 14:00 14:15 14:30 14:45 EpiData Analysis G raph
Bjørnar Nyen, 02.04.08 14
Run-diagram. Gjennomsnittlig ventetid på venterommet 40 Dr EL, før og etter endringer 35 30 25 20 Minutter 08:00 08:15 08:30 08:45 09:00 09:20 09:40 10:00 10:20 10:40 11:00 11:20 11:45 12:30 12:45 13:00 13:15 13:30 13:45 14:00 14:15 14:30 14:45 08:00 08:15 08:30 08:50 09:00 09:20 09:45 10:10 10:30 10:50 11:10 11:30 12:30 12:50 13:10 13:30 15 10 5 13:45 14:00 14:15 14:30 14:45 15:00 0 Klokkeslett for time Median: 20.00 Median: 14.00 EpiData Analysis Graph Bjørnar Nyen, 02.04.08 15
Bjørnar Nyen, 02.04.08 16
Tellinger Sykehjem: Registrere positive samtaler med beboere Registrere vanskelig atferd koblet med tiltak for å øke kompetanse/bedre mestringsstrategier Skole: Ved spesielle problemer i klassen: Ta med elevene i å finne strategier for bedre mestring. Finne aktuelle indikatorer: Registrere situasjoner med god mestring Registrere vanskelige episoder Bjørnar Nyen, 02.04.08 17
Tellinger/målinger Voksenopplæring fremmedspråklige Elevene registrer en gang i uka på en VAS-skala hvor mye kontakt de har hatt med nordmenn Ingen kontakt Svært mye kontakt Skår 0-10 Voksenopplæringa. Kontakt med nordmenn pr uke. Bedømt med VAS-skala 0-10. Uke 2 til 12 2007 10 9 8 7 6 5 4 3 2 1 0 2 3 4 5 6 7 Uke 8 9 10 11 12 EpiData Analysis G raph
En video To lag hver med 3 ungdommer som Oppgave kaster ball til hverandre. Hvor mange ganger samlet tar ungdommene ballen i mot? Bjørnar Nyen, 02.04.08 19
Hva slags verktøy er SPC? SPC er et pedagogisk verktøy SPC er et kommunikasjonsverktøy SPC er et verktøy i forbedringsarbeid SPC er statistikk-verktøy Bjørnar Nyen, 02.04.08 20
Noen få indikatorer Bjørnar Nyen, 02.04.08 21
Flere indikatorer Bjørnar Nyen, 02.04.08 22
Real time -data med SPC Får ut data i real time (eller nesten det) ikke nødvendig å samle opp store datasett Plot a dot! Dette gir oss mulighet til å avsløre prosessendringer tidlig med høy grad av sikkerhet hvis testene benyttes Bjørnar Nyen, 02.04.08 23
Eksempel data samlet opp Dødelighet ved coronar by-pass-kirurgi før og etter endret prosedyre Eksempel fra Raymon G. Carey 2002 Dødelighet i prosent 6 5 4 3 2 1 0 5 1998 Ny prosedyre innført fra januar 1999 1 2 År Bjørnar Nyen, 02.04.08 24 4 1999
Samme data satt inn i en tidsserie 9 Run-diagram: Dødelighet ved Coronar by-pass-kirurgi Før og etter endret prosedyre. Eksempel fra Raymond G. Carey 2002. 8 7 Endret prosedyre Prosent 6 5 4 3 2 1 0 jan feb mar apr mai jun jul aug Stikkord: tidsserie! sep okt nov des jan Måned feb mar apr mai jun 1998 1999 Median: 5.00 Median: 4.00 Bjørnar Nyen, 02.04.08 EpiData Analysis Graph 25 jul aug sep okt nov des
Målinger Spørsmål som alle tjenesteytere bør stille: 1. Er nivået av resultater tilfredsstillende? 2. Leverer vi stabile nok tjenester? Bjørnar Nyen, 02.04.08 26
Variasjon Alt varierer To typer variasjon: Naturlig/normal variasjon en variasjon innenfor det som kan kalles tilfeldig Spesiell variasjon når prosessen ikke er stabil, at den forstyrres av noe utenfra Bjørnar Nyen, 02.04.08 27
SPC gir forståelse av variasjon Det er viktig å skille mellom tilfeldig variasjon og spesiell variasjon Reell forbedring eller forverring? Oppfatte prosessens signaler Som oftest er det ugunstig med stor variasjon Bjørnar Nyen, 02.04.08 28
Ulike typer statistikk Tradisjonell statistisk analyse er bra for til mange ting, bl.a. til forskning Statistisk prosesskontroll er en gren av statistikk som gjør bruk av tidsserier kan brukes på ganske små datamaterialer gjør bruk grafisk presentasjon av data for bedre forståelse og bedre kommunikasjon egner seg spesielt godt til bruk i forbedringsarbeid ikke er utviklet primært for forskning Bjørnar Nyen, 02.04.08 29
Diagrammene i SPC To hovedtyper 1. Run-diagram viser observasjonsrekka langs tidsaksen og MEDIAN-verdien 2. Kontroll-diagram viser observasjonsrekka langs tidsaksen, gjennomsnittsverdien og øvre og nedre kontrollgrense som uttrykk for grad av variasjon av enkeltobservasjonene. Det finnes mange ulike typer kontrolldiagram Bjørnar Nyen, 02.04.08 30
Run-diagram. Skår på kartlegging av psykisk lidelse 13 12 11 ARA, Kristiansand, 2006 Skår (0-16) 10 9 8 7 6 5 4 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Pasienter i rekkefølge Median: 9.00 EpiData Analysis Graph Et rundiagram er et linjediagram + medianen
I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, 2006. Før og etter nye retningslinjer 18 Skår (0-16) 16 14 12 10 8.. 6 4.. 1 2 3 4 5 6 7 8 91011 13 15 1718 2021 23 24 26 28 30 31 33 35 37 3940 Pasienter i rekkefølge Mean: 8.80 UCL: 19.30 Mean: 11.45 UCL: 15.93 LCL: 6.97 EpiData Analysis Graph Et I-diagram er et linjediagram med gjennomsnitt og kontrollgrenser. Kontrollgrensene er et uttrykk for variasjonen i datamaterialet
I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, 2006. Før og etter nye retningslinjer 18 16 Skår (0-16) 14 12 10 8 6 4 1 2 3 4 5 6 7 8 91011 13 15 1718 2021 23 24 26 28 30 31 33 35 37 3940 Pasienter i rekkefølge Mean: 8.80 UCL: 19.30 Mean: 11.45 UCL: 15.93 LCL: 6.97 EpiData Analysis Graph Et I-diagram er et linjediagram med gjennomsnitt og kontrollgrenser. Kontrollgrensene er et uttrykk for variasjonen i datamaterialet
20 I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, 2006. Før og i to faser etter nye retningslinjer 18 16 Skår (0-16) 14 12 10 8 6 4 2 1 2 4 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 394041 43 45 47 49 51 53 55 57 Pasienter i rekkefølge Mean: 8.80 UCL: 19.30 Mean: 11.45 UCL: 15.93 LCL: 6.97 Mean: 9.94 UCL: 17.42 LCL: 2.46 EpiData Analysis Graph Bjørnar Nyen, 02.04.08 34
Sykefravær i Porsgrunn kommune 2004-2007 Bjørnar Nyen, 02.04.08 35
Måned 2004 2005 2006 2007 Januar 10,6% 8,8% 10,2% 10,2% Februar 10,6% 8,7% 11,5% 11,5% Mars 10,1% 7,8% 10,3% 9,8% April 9,8% 8,9% 9,2% 8,9% Mai 9,6% 8,4% 8,9% 9,4% Juni 9,2% 9,2% 8,4% 9,1% Juli 9,7 % 10,2% 7,6% 8,4% August 5,5 % 6,9% 7,0% 7,2% September 6,5 % 8,4% 8,7% 8,3% Oktober 6,2 % 8,8% 9,4% 8,8% November 7,9 % 9,9% 9,6% 8,7% Desember 7,1% 9,3% 10,4% Hele året 9,0% 9,0 10,0%
Sykefravær i prosent 11.5 11 10.5 10 9.5 9 8.5 8 7.5 7 I-diagram. Sykefravær i Porsgrunn kommune i prosent Januar 2007- november 2007 Januar07 Februar Mars April Mai Juni Måned Mean: 9.12 UCL: 11.33 LCL: 6.91 Juli August September Oktober EpiData Analysis Graph Bjørnar Nyen, 02.04.08 37 November
Sykefravær i Porsgrunn kommune 2006 (jan-des) og 2007 (jan-nov) Februar Mars April Mai Juni Juli August September Oktober November Desember Januar07 Februar Mars April Mai Juni Juli August September Oktober November Måned Mean: 9.27 UCL: 11.49 LCL: 7.04 Mean: 9.12 UCL: 11.33 LCL: 6.91 EpiData Analysis Graph Bjørnar Nyen, 02.04.08 38 Januar06 11.5 11 10.5 10 9.5 9 8.5 8 7.5 7 Sykefrvær i prosent
I-diagram. Sykefravær i Porsgrunn kommune i prosent Januar 2004 - november 2007 11 10 9 8 Januar04 Februar Mars April Mai Juni Juli August September Oktober November Desember Januar05 Februar Mars April Mai Juni Juli August September Oktober November Desember Januar06 Februar Mars April Mai Juni Juli August September Oktober November Desember Januar07 Februar Mars April Mai Juni Juli August September Oktober November 7 6 Måned Mean: 8.67 UCL: 11.32 LCL: 6.02 Mean: 9.20 UCL: 11.34 LCL: 7.06 EpiData Analysis Graph Bjørnar Nyen, 02.04.08 39 Sykefrvær i prosent
Tester på spesiell variasjon Det er utarbeidet diverse tester for påvisning av signaler om spesiell variasjon i SPC-diagrammer, basert på enkel statistisk tenkning Testene er laget for datasett på mellom 20 og 30 punkter; de to viktigste: Test 1: sporadiske avvik (punkt utenfor kontrollgrensene) Test 2: Nivåskifte (mange punkter på rad på samme side av senterlinjen) Det finnes en rekke andre tester!
Statistisk prosesskontroll Hva oppnås ved oppsett og analyse av data i en tidsserie? 1. Nivåkontroll (i overensstemmelse med god praksis/god kvalitet?) 2. Variasjonskontroll (stabile og forutsigbare tjenester?) 3. Forbedringskontroll (sikre at forbedringer dokumenteres) Bjørnar Nyen, 02.04.08 41
Eksempler på hva som kan måles med SPC Tid Ventetider Epikrisetid/rapporttid Varighet av prosedyrer, behandlingstid etc Antall Antall brukere/klienter/pasienter Aktivitet Produksjon Andel Andel feilsendte regninger Keisersnitt Dødelighet Komplikasjoner Bjørnar Nyen, 02.04.08 42
Eksempler på hva som kan måles med SPC Skåringsskjema Kvalitet på henvisninger/meldinger Kvalitet på epikriser/rapporter Utredningskvalitet Måloppnåelse/programoppfyllelse Brukertilfredshet Økonomi Inntekter Utgifter Takstbruk Ressursbruk Bjørnar Nyen, 02.04.08 43
SPC - lett eller komplisert? Svaret er JA! SPC kan gjøres veldig enkelt. Run-diagram er det enkleste noen ganger tilstrekkelig Man kan klare seg med I-diagram og P-diagram i tillegg Man kan klare seg med en test for spesiell variasjon (nivåskifte) eller to tester (nivåskifte + punkter utenfor kontrollgrensen) I tillegg må diagrammene vurderes med faglig/klinisk skjønn, særlig av dem som kjenner virksomheten Bjørnar Nyen, 02.04.08 44
SPC lett eller komplisert? SPC kan gjøres veldig komplisert I tillegg til de tre nevnte diagramtypene finnes det mange ulike diagramtyper som kan passe i ulike situasjoner (de vanligste er X-bar S-diagram, X-bar R- diagram, u-diagram, c-diagram, np-diagram, g- diagram) Det er beskrevet mange tester på spesiell variasjon RÅD: Keep it simple men ikke for enkelt!! Bjørnar Nyen, 02.04.08 45
3 minutters aktivitet ved bordene Bruk ett minutt på å tenke på hva det kunne ha vært interessant/morsomt/spennende/nyttig å måle på i din organisasjon/din hverdag noe dere ikke måler på nå! Gjerne noe helt utenom det vanlige! Legg dette fram for personen ved siden av deg bruk ett minutt hver. Bjørnar Nyen, 02.04.08 46
Tester på spesiell variasjon Det er utarbeidet diverse tester for påvisning av signaler om spesiell variasjon i SPC-diagrammer, basert på enkel statistisk tenkning Testene er laget for datasett på mellom 20 og 30 punkter; de to viktigste: Test 1: sporadiske avvik (punkt utenfor kontrollgrensene) Test 2: Nivåskifte (mange punkter på rad på samme side av senterlinjen) Det finnes en rekke andre tester! Bjørnar Nyen, 02.04.08 47
Statistisk prosesskontroll Hva oppnås ved oppsett og analyse av data i en tidsserie? 1. Nivåkontroll (i overensstemmelse med god praksis/god kvalitet?) 2. Variasjonskontroll (stabile og forutsigbare tjenester?) 3. Forbedringskontroll (sikre at forbedringer dokumenteres) Bjørnar Nyen, 02.04.08 48
Hvorfor måle? Vite Hva vi leverer For læring og utvikling Om tiltak skaper bedring Vise brukere, ledelse og andre hvordan våre tjenester er for eksempel: Informere brukere hvor lang ventetid de kan regne med Informere ledelsen hvordan brukertilfredsheten er Informere publikum hvordan tjenesten har utviklet seg
Dataprogram og litteratur EpiData Analysis: www.epidata.dk Brukerveiledning til SPC-modulen: www.gruk.no Metoder og verktøy i forbedringsarbeid: http://www.ogbedreskaldetbli.no/metoder_verktoy Hefte om forbedringsarbeid og SPC: www.gruk.no Carey RG. and Lloyd RC. Measuring Quality Improvement in Healthcare: A Guide to Statistical Process Control Applications. ASQ Quality Press, 2001 Carey RG.. Improving healthcare with control charts. Basic and advanced SPC methods and case studies. ASQ Quality Press, 2003 Lloyd RC. Quality Health Care. A guide to Developing and Using Indicators, Jones and Bartlett Publishers, 2004. Bjørnar Nyen, 02.04.08 50