Marie Brudvik og Bjørnar Nyen Kvalitetsforbedring og SPC Kunnskapsesenterets nye PPT-mal Kvalitetskommuneprosjektet Oslo 10. og 11. november 2008
Valg av område i forbedringsarbeid Vanlig Området omfatter mange pasienter Viktig Området har vesentlig betydning for brukerne Vanskelig Området har erkjente mangler, kan være vanskjøttet Virkelighetsnært Det skal være realistisk å få til endring
Tre grunnleggende spørsmål 1. Hva ønsker vi å oppnå? 2. Når er en endring en forbedring? 3. Hvilke endringer kan iverksettes for å skape en forbedring?
SMARTE mål Spesifikke Målbare Ansporende Realistiske Tidsbestemte Enighet om målene
Prosessen med å arbeide med SPC Finne forbedringsområde Definere mål Tiltak Finne indikatorer Utvikle måleverktøy Registrere data Fremstille data Reflektere om data lære av data handle på grunnlag av erfaringene inkl. data
Hvorfor måle? Vite Hva vi leverer Om tiltak skaper bedring For læring og utvikling Vise brukere, ledelse og andre hvordan våre tjenester er for eksempel: Informere brukerne hvor lang ventetid de kan regne med Informere ledelsen hvordan brukertilfredsheten er Informere publikum hvordan tjenesten har utviklet seg
Finne gode indikatorer En indikator er en målbar variabel som avspeiler kvaliteten innenfor et område Indikatorene kan være Prosess-indikatorer som sier noe om prosessen Resultat-indikatorer som sier noe om resultatet
Ulike typer statistikk Tradisjonell statistisk analyse er bra for til mange ting, bl.a. til forskning Statisk prosesskontroll er en gren av statistikk som gjør bruk av tidsserier gjør bruk grafisk presentasjon av data som sammen gir raskere forståelse og bedre kommunikasjon egner seg godt til bruk i forbedringsarbeid
Hva slags verktøy er SPC? SPC er et pedagogisk verktøy SPC er et kommunikasjonsverktøy SPC er et verktøy i forbedringsarbeid SPC er statistikk -verktøy
Eksempel ventetid En avdeling hadde fått klager på at pasienter måtte vente så lenge på lege ved innleggelse. De bestemte seg for å gjøre en dataregistrering Eksempel fra Ove Kjell Andersen
VENTETID PÅ LEGE VED INNLEGGELSE Antall pasienter 348 Gjennomsnittlig ventetid 48 minutter Median ventetid 27 minutter Minimum ventetid 6 minutter Maksimum ventetid 103 minutter Range 97 minutter Standard avvik 18 minutter 90 Gj.sn. ventetid på lege i m ottakelsen Planlagte innleggelser Avd N, X HF 80 Minutter 70 60 50 40 30 Søndag M andag Tirsdag O nsdag Torsdag Fredag Lørdag Søndag M andag Tirsdag O nsdag D a g Torsdag Median: 40.00 Fredag Lørdag Søndag M andag Tirsdag O nsdag Torsdag Fredag Lørdag EpiD ata Analysis G raph
Variasjon Alt varierer To typer variasjon: Naturlig/normal variasjon en variasjon innenfor det som kan kalles tilfeldig Spesiell variasjon når prosessen ikke er stabil, at den forstyrres av noe utenfra
Linjediagram ANTALL 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 Antall konsultasjoner pr. dag 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 DAG EpiData Analysis Graph
Diagrammene i SPC To hovedtyper 1. Run-diagram viser observasjonsrekka langs tidsaksen og MEDIAN-verdien 2. Kontroll-diagram viser observasjonsrekka langs tidsaksen, gjennomsnittsverdien og øvre og nedre kontrollgrense som uttrykk for grad av variasjon av enkeltobservasjonene. Det finnes mange ulike typer kontroll-diagram
Run-diagram 18 Antall konsultasjoner pr. dag 16 14 12 ANTALL 10 8 6 4 2 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 DAG Median: 10.00 EpiData Analysis Graph Et rundiagram er et linjediagram + medianen
RUN og MEDIAN Run er ett eller flere på hverandre følgende datapunkter på samme side av medianen MEDIAN er middeltallet i en rangordnet distribusjon (altså det midterste tallet) Tallrekke Rangordnet Median 3, 13, 2, 158, 11 2, 3, 11, 13, 158 11 3, 13, 389, 2, 158, 11 2, 3, 11, 13, 158, 389 (11+13)/2 = 12
I-diagram 20 Antall konsultasjoner pr. dag 18 16 14 ANTALL 12 10 8 6 4 2 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 DAG Mean: 10.20 UCL: 18.04 LCL: 2.36 EpiData Analysis Graph Et I-diagram er et linjediagram + gjennomsnitt + kontrollgrenser. Kontrollgrensene er et uttrykk for variasjonen i datamaterialet
P-diagram 26 P-diagram. Prosent primær-keisersnitt KK HF 24 22 20 18 Prosent 16 14 12 10 8 6 ja n.04 feb.04 mar.04 apr.04 mai.04 ju n.04 ju l.04 aug.04 sep.04 okt.04 nov.04 des.04 ja n.05 feb.0 5 Måned og år mar.05 apr.05 mai.05 ju n.05 ju l.05 aug.05 sep.05 okt.05 nov.05 des.05 des.05 Mean: 15.13 EpiData Analysis Graph Et P-diagram er et linjediagram som prosent (resultat av en teller og en nevner), gjennomsnitt + kontrollgrenser. Kontrollgrensene er et uttrykk for variasjonen i datamaterialet. Smalere kontrollgrense jo større nevner er.
Statistisk prosesskontroll Oppsett og analyse av data i en tidsserie 1. Nivåkontroll (i overensstemmelse med god praksis/god kvalitet) 2. Variasjonskontroll (stabile og forutsigbare tjenester) 3. Forbedringskontroll (sikre at forbedringer dokumenteres)
Tester på spesiell variasjon Det er utarbeidet diverse tester for påvisning av signaler om spesiell variasjon i SPC-diagrammer, basert på enkel statistisk tenkning Testene er laget for datasett på mellom 20 og 30 punkter Test 1: sporadiske avvik (punkt utenfor kontrollgrensene) Test 2: Nivåskifte (mange punkter på rad på samme side av senterlinjen) Test 3: Trend (mange stigende eller synkende punkter på rad) Det finnes en rekke andre tester!
Punkt utenfor kontrollgrensen
I-diagram. Skåring av kvalitet på IUP 1. og 2. trinn Fjernland skole 2007-2008 18.09.2007 22.09.2007 25.09.2007 29.09.2007 01.10.2007 04.10.2007 15.10.2007 18.10.2007 22.10.2007 25.10.2007 29.10.2007 02.11.2007 05.11.2007 09.11.2007 12.11.2007 12.11.2007 19.11.2007 23.11.2007 26.11.2007 30.11.2007 03.12.2007 07.12.2007 10.12.2007 04.01.2008 07.01.2008 11.01.2008 14.01.2008 18.01.2008 21.01.2008 25.01.2008 28.01.2008 01.02.2008 04.02.2008 08.02.2008 11.02.2008 40 35 30 25 20 15 10 01.09.2007 04.09.2007 08.09.2007 11.09.2007 15.09.2007 5 7 punkter over gammelt gjennomsnitt Dato Mean: 13.65 UCL: 35.07 Mean: 21.42 UCL: 39.89 LCL: 2.95 EpiData Analysis Graph Skår (0-40)
I-diagram ANTALL 20 18 16 14 12 10 8 Antall konsultasjoner pr. dag 6 påhverandrefølgende synkende punkter 6 4 2 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 DAG Mean: 10.20 UCL: 18.04 LCL: 2.36 EpiData Analysis Graph
SANNSYNLIGHET uttrykkes som p-verdi ( p = probability = sannsynlighet) En p-verdi på 1,00 er den absolutte visshet, mens p=0,00 er uttrykk for noe helt umulig. p=0,05 = 5% p=0,01 = 1% p<0,05 p<0,01
p<0,05 og p<0,01 1: 0,5 2: 0,5 x 0,5 = 0,25 3: 0,5 x 0,5 x 0,5=0,125 4: 0,5 x 0,5 x 0,5 x 0,5= 0,0625 5: 0,5 x 0,5 x 0,5 x 0,5 x 0,5= 0,03125 6: 0,5 x 0,5 x 0,5 x 0,5 x 0,5 x 0,5= 0,0156 7: 0,5 x 0,5 x 0,5 x 0,5 x 0,5 x 0,5 x0,5 =0,0078
Mer om kontroll-diagrammer Senterlinjen i et kontroll-diagram er gjennomsnittet av dataverdiene Det beregnes en øvre og nedre kontrollgrense som faller sammen med +/- 3 standardavvik fra gjennomsnittet
SPC kan si noe om ytelsen i fremtiden Ved stabil prosess (dvs at alle punkter ligger innenfor kontrollgrensene), vil et kontrolldiagram kunne si hva vi/brukere/ledere kan forvente - hvis ikke endringer gjøres
Mer om kontroll-diagrammer Det betyr at 99,73 % av datapunktene vil ligge innenfor kontrollgrensene med en normaldistribusjon Det er 0,27 % sjanse for at et datapunkt ligger utenfor kontrollgrensene ved tilfeldighet Med 25 datapunkter er det ca 6,5 % sjanse for en falskt positiv verdi
Hva kan måles med SPC? Svar: Data som dannes i en tidsrekkefølge Tid Ventetider Varighet av prosedyrer, behandlingstid etc Rapporttid Antall Antall brukere/klienter/pasienter Aktivitet Produksjon Andel (ja/nei-data må omdannes til andeler) Andel feilsendte regninger Keisersnitt Dødelighet Komplikasjoner Andel med individuell (eller annen)plan
Hva kan måles med SPC? Skåringsskjema Kvalitet (henvisninger/meldinger/epikriser/rapporter) Utredningskvalitet Måloppnåelse/programoppfyllelse Brukertilfredshet Økonomi Inntekter Utgifter Takstbruk Ressursbruk
Gruppearbeid om indikatorer (30 min) Ta utgangspunkt i egen virksomhet og område for forbedring i KKP en kommune om gangen Drøft ulike mulige indikatorer som kan analyseres som tidsserie (SPC) Hvordan samle inn data?
Øvelse - Svanesjøen legekontor Bruk fila Ex10 Tlfinn Lag i-diagram for ubesvarte uke 49 Få fram Dagtime langs x-aksen i 45 graders vinkel Sett inn korrekt tittel/navn på y-aksen Ta bort datapunktene for tiden 12 13 Lag god tittel og undertittel Lag i-diagrammer for ukene 50 og 51 Legg inn brudd dag for dag Ekstraoppgave: Lag diagram over gjennomsnitt
Øvelse ventetid Bruk fila Ex1 snitt ventetid 2006-2008 Gjør fila om til en fil som EpiData Analysis lever (side 5/6 i Brukerveiledningen) Lag et I-diagram av hele materialet Få med tester på spesiell variasjon (side 9) Få fram Måned på x-aksen (45 graders vinkel) Sett inn korrekt tittel/navn på y-aksen Lag gode titler/subtitler Skriv egnet tekst i fotnoten (side 7) Velg ut dataene fra Januar 2007 (side 9) Legg inn minimum (0) og maksimum (110) på y-aksen (side 10) Legg inn en horisontal linje svarende til 60 dager (mål max ventetid)
Eksempel data samlet opp Dødelighet ved coronar by-pass-kirurgi før og etter endret prosedyre Eksempel fra Raymon G. Carey 2002 Dødelighet i prosent 6 5 4 3 2 1 0 5 1998 1 2 Ny prosedyre innført fra januar År 1999 4 1999 Skyldes bedringen den nye prosedyren?
Samme data satt inn i en tidsserie 9 Run-diagram: Dødelighet ved Coronar by-pass-kirurgi Før og etter endret prosedyre. Eksempel fra Raymond G. Carey 2002. 8 7 Endret prosedyre Prosent 6 5 4 3 2 1 0 jan feb mar apr mai jun jul aug Lærdom: Gå Måned sep okt nov des jan feb mar apr mai jun 1998 1999 Median: 5.00 Median: 4.00 nærmere! jul aug Bedringen skyldes ikke den nye prosedyren den har kanskje hatt en negativ effekt! sep okt nov des EpiData Analysis Graph
Eksempel på ustabil prosess
SPC - lett eller komplisert? Svaret er JA! SPC kan gjøres veldig enkelt. Run-diagram er det enkleste noen ganger tilstrekkelig Man kan klare seg med I-diagram og P-diagram i tillegg Man kan klare seg med en test for spesiell variasjon (nivåskifte) eller to tester (nivåskifte + punkter utenfor kontrollgrensen) I tillegg må diagrammene vurderes med faglig/klinisk skjønn, særlig av dem som kjenner virksomheten
SPC lett eller komplisert? SPC kan gjøres veldig komplisert I tillegg til de tre nevnte diagramtypene finnes det mange ulike diagramtyper som kan passe i ulike situasjoner (de vanligste er X-bar S-diagram, X-bar R- diagram, u-diagram, c-diagram, np-diagram, g- diagram) Det er beskrevet mange tester på spesiell variasjon RÅD: Keep it simple men ikke for enkelt!!
Dataprogram EpiData Analysis med en SPC-modul kan lastes ned fra www.epidata.dk (freeware, men ønske om donasjoner til Epidata-forening for utviklingsarbeidet) En brukerveiledning til SPC-modulen kan lastes ned fra www.gruk.no Et lite hefte om forbedringsarbeid og SPC kan lastes ned fra www.gruk.no