Hvordan tall taler om målinger og bruk av SPC

Hvordan tall taler om målinger og bruk av SPC Legeforeningens gjennombruddsprosjekt Forbedringsprosjekt obstetrikk 15.09.14 Kommuneoverlege Bjørnar Nyen 1

Telleøvelse Tre og tre ungdommer kaster ball til hverandre (to lag). Oppgave: Hvor mange ganger tar ungdommen i mot ballen til sammen? 2

Kontinuerlig forbedringsprosess Aleidis Brandrud et al etter Deming, Langley, Nolan, Ashe 3

Eksempel 1: Aggregerte data Dødelighet ved coronar by-pass-kirurgi før og etter endret prosedyre Eksempel fra Raymon G. Carey 2002 Dødelighet i prosent 6 5 4 3 2 1 0 5 1998 1 2 Ny prosedyre innført År fra januar 1999 4 1999 4

9 Samme data satt inn i en tidsserie Run-diagram: D delighet ved Coronar by-pass-kirurgi F r og etter endret prosedyre. Eksempel fra Raymond G. Carey 2002. 8 7 Endret prosedyre 6 Prosent 5 4 3 2 1 0 jan feb mar apr mai jun jul aug sep okt nov des MÂned jan feb mar apr mai jun jul aug 1998 1999 Median: 5.00 Median: 4.00 sep okt nov des EpiData Analysis Graph 5

Eksempel 2: Ventetid En avdeling hadde fått klager på at pasienter måtte vente så lenge på lege ved planlagte innleggelse De bestemte seg for å gjøre en dataregistrering Eksempel fra Ove Kjell Andersen 6

VENTETID PÅ LEGE VED INNLEGGELSE Antall pasienter 348 Gjennomsnittlig ventetid 48 minutter Median ventetid 27 minutter Minimum ventetid 6 minutter Maksimum ventetid 103 minutter Range 97 minutter Standard avvik 18 minutter Data for bedømmelse 90 80 Gj.sn. ventetid pâ lege i mottakelsen Planlagte innleggelser Avd N, X HF Minutter 70 60 50 40 30 S ndag Mandag Tirsdag Onsdag Torsdag Fredag L rdag S ndag Mandag Tirsdag Onsdag Dag Median: 40.00 Dataene i tidsrekkefølge: data til forbedring! EpiData Analysis Graph Torsdag Fredag L rdag S ndag Mandag Tirsdag Onsdag Torsdag Fredag L rdag 7

8

Ulike SPC-diagrammer Det finnes mange ulike typer SPC-diagrammer Man kommer veldig langt med Run-diagram (kan lages uten datamaskin/ dataprogram) I-diagram (hvert datapunkt er en observasjon) P-diagram (hvert datapunkt er forholdet mellom en teller og en nevner) I tillegg er det av og til nyttig med U-diagram (hvert datapunkt er forholdet mellom en teller og en nevner, teller kan bli større enn nevner) G-diagram (diagram for sjeldne hendelser) X-Bar S-diagram (når hvert datapunkt er et resultat av flere enn en observasjon)

Antall 700 650 600 550 500 450 400 350 300 250 200 150 100 50 0 sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 Rundiagram. Antall konsultasjoner. Nye pasienter. ØNH-pol, STHF sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 jun.10 aug.10 sep.10 okt.10 nov.10 jul.10 Måned Median: 447.50 des.10 jan.11 feb.11 mar.11 apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 Et rundiagram er et linjediagram + medianen jan.12 feb.12 mar.12 EpiData Analysis Graph 10 apr.12

Antall 700 650 600 550 500 450 400 350 300 250 200 150 100 50 0 sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 Rundiagram. Antall konsultasjoner. Nye pasienter. ØNH-pol, STHF sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 jun.10 aug.10 sep.10 okt.10 nov.10 jul.10 des.10 jan.11 feb.11 mar.11 Måned Median: 376.50 Median: 524.50 apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 EpiData Analysis Graph 11 apr.12

I-diagram. Antall konsultasjoner. Nye pasienter. ØNH-pol, STHF 700 650 600 550 Antall 500 450 400 350 300 250 sep.08 okt.08 nov.08 des.08 jan.09 200 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 jun.10 aug.10 sep.10 okt.10 nov.10 des.10 jul.10 jan.11 feb.11 mar.11 apr.11 Måned Mean: 459.59 LCL: 192.23 UCL: 726.95 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 apr.12 EpiData Analysis Graph Et I-diagram er et linjediagram med gjennomsnitt og kontrollgrenser. Kontrollgrensene er et uttrykk for variasjonen i datamaterialet 12

I-diagram er egentlig ett av to diagrammer i ImR-diagram: mr-diagram 300 250 Moving Range 200 150 100 50 0 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 MRBar: 100.51 UCL: 328.38 mar.10 apr.10 mai.10 jun.10 jul.10 aug.10 sep.10 okt.10 nov.10 des.10 jan.11 feb.11 mar.11 apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 13 mar.12 apr.12 EpiData Analysis Graph

700 I-diagram. Antall konsultasjoner. Nye pasienter. ØNH-pol, STHF 650 600 550 500 Antall 450 400 350 300 250 200 sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 jun.10 aug.10 sep.10 okt.10 nov.10 jul.10 des.10 jan.11 feb.11 mar.11 Måned Freeze: 18 Mean: 375.78 LCL: 184.88 UCL: 566.67 apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 EpiData Analysis Graph 14 apr.12

I-diagram. Antall konsultasjoner. Nye pasienter. ØNH-pol, STHF Antall 800 750 700 650 600 550 500 450 400 350 300 250 200 sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 jun.10 aug.10 sep.10 okt.10 nov.10 jul.10 Måned des.10 jan.11 feb.11 mar.11 apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 Mean: 375.78 LCL: 184.88 UCL: 566.67 Mean: 517.62 LCL: 220.76 UCL: 814.47 EpiData Analysis Graph 15 apr.12

I-diagram. Antall dager pasienter på venteliste gjenomsnittlig har ventet Nyhenviste pasienter til ØNH-pol. STHF sept 08 - april 12 70 65 60 55 50 Antall dager 45 40 35 30 25 20 15 10 5 0 30.09.08 31.10.08 30.11.08 31.12.08 31.01.09 28.02.09 31.03.09 30.04.09 31.05.09 30.06.09 31.07.09 31.08.09 30.09.09 31.10.09 30.11.09 31.12.09 31.01.10 28.02.10 31.03.10 30.04.10 31.05.10 30.06.10 30.09.10 31.10.10 30.11.10 31.12.10 31.01.11 31.07.10 31.08.10 Dato Mean: 48.43 LCL: 36.25 UCL: 60.62 28.02.11 31.03.11 30.04.11 31.05.11 30.06.11 31.07.11 31.08.11 30.09.11 31.10.11 30.11.11 31.12.11 31.01.12 29.02.12 31.03.12 30.04.12 EpiData Analysis Graph 16

1 600 I-diagram. Antall pasienter på venteliste Nyhenviste pasienter til ØNH-pol. STHF sept 08 - april 12 1 500 1 400 Antall pasienter 1 300 1 200 1 100 1 000 900 800 30.09.08 31.10.08 30.11.08 31.12.08 31.01.09 700 28.02.09 31.03.09 30.04.09 31.05.09 30.06.09 31.07.09 31.08.09 30.09.09 31.10.09 30.11.09 31.12.09 31.01.10 28.02.10 31.03.10 30.04.10 30.09.10 31.10.10 30.11.10 31.12.10 31.01.11 31.05.10 30.06.10 31.07.10 31.08.10 Dato Mean: 1052.93 LCL: 896.86 UCL: 1209.01 28.02.11 31.03.11 30.04.11 31.05.11 30.06.11 31.07.11 31.08.11 30.09.11 31.10.11 30.11.11 31.12.11 31.01.12 29.02.12 31.03.12 30.04.12 EpiData Analysis Graph 17

Et P-diagram er et linjediagram som prosent (resultat av en teller og en nevner), gjennomsnitt + kontrollgrenser. Kontrollgrensene er et uttrykk for variasjonen i datamaterialet. Smalere 18 kontrollgrense jo større nevner er.

80 P-diagram. Prosent kontrollkonsultasjoner av alle konsultasjoner ØNH-pol. STHF sept 08 - april 12 78 76 74 Prosent 72 70 68 66 64 62 60 sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 aug.10 sep.10 okt.10 jun.10 jul.10 nov.10 des.10 jan.11 Mnd Mean: 71.74 Mean: 67.72 feb.11 mar.11 apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 apr.12 EpiData Analysis Graph 19

80 P-diagram. Prosent kontrollkonsultasjoner av alle konsultasjoner ØNH-pol. STHF sept 08 - april 12 78 76 74 Prosent 72 70 68 66 64 62 60 sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 aug.10 sep.10 okt.10 jun.10 jul.10 nov.10 des.10 jan.11 feb.11 mar.11 apr.11 Mnd Mean: 71.74 Mean: 66.92 Mean: 73.87 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 apr.12 EpiData Analysis Graph 20

Mette Walberg et al, 2008 21

22

Dessuten: Diagrammer for sjeldne hendelser: t- diagram, g- diagram

Viktig å vite hvorfor vi måler Forskning? Bedømmelse? Forbedring? v Formålet vil langt på vei avgjøre hvordan vi gjør og presenterer målingene v De tre formålene kan gli over i hverandre 2 4

Aspekt Forbedring Bedømmelse Forskning Mål Testoberverbarhet Bias Datamengde Fleksibilitet av hypotese Tre områder for målinger i helsetjenester Forbedring av tjenesten Åpent Bias er ok, men skal beskrives Nok data, små datamengder tatt ut i sekvens Hypotesen fleksibel kan forandres underveis Sammenlikning, valg, beroligelse, spore til endring Ingen tester, evaluerer nåværende ytelse Begrense bias Mest mulig av tilgjengelig og relevante data Ingen hypotese Ny kunnskap Blindede eller kontrollerte tester Design for å eliminere bias Styrke-beregning Hypotesen ligger fast Test-strategi Sekvensielle tester Ingen tester En stor test Er forandring forbedring? Konfidensialitet Kontroll-diagrammer Intet endringsfokus Statistiske tester (ttest, chi-square), p- verdier Data brukes av dem som er involverte i forbedringsarbeidet Data offentlig tilgjengelig Beskyttelse av forskningssubjekters identitet Etter L Solberg (1997) og RC Lloyd

Helsetjenestesystemet som en omvendt pyramide Frontlinjeenheter (mikrosystemer) Q m1 + Q m2 + Q m3 + Q m4 = Q HS AM HjKat Int Post Pasientens gang gjennom systemet Kliniske kunnskapsbaser Mesosystem avdelinger og programmer Målesystemer Nasjonale kompetansesentre, FHI, Hdir etc HF og RHFledere Finansieringssystemer Styre, departement Trustees of Dartmouth College, Nelson 2005 - Bearbeidet

Trustees of Dartmouth College, Nelson 2005 - Bearbeidet

SPC er en metode som kan gjøre det mulig å lære av prosessdataene gir signaler når prosessen forandrer seg hjelpe deg til å identifisere årsakene til disse forandringene. sette deg i stand til å styre prosessene forutsigbart på målet med så liten variasjon som mulig Donald J. Wheeler 28

Statistisk prosesskontroll Oppsett og analyse av data i en tidsserie for 1. Nivåkontroll (i overensstemmelse med god praksis/god kvalitet) 2. Variasjonskontroll (stabile og forutsigbare tjenester) 3. Vurdere resultatet av intervensjoner i prosesser 29

Et eksempel fra et tidligere gjennombruddsprosjekt 30

20 I-diagram. SkÂr pâ kartlegging av psykisk lidelse Pas. henvist for rusproblematikk til ARA, Kr.s., f r nye retningslinjer ( ) 18 16 14 12 10 8 6 4 2 0 Baseline 20 observasjoner.... 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Pasienter i rekkef lge Mean: 8.80 UCL: 19.30 EpiData Analysis Graph

I-diagram. Skår på kartlegging av psykisk lidelse Pasienter henvist til ARA for rusproblematikk 18 16 Baseline-data Data etter tiltak 14 Skår (0 16) 12 10 8 6 4 2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 Pasientjournaler i rekkefølge Mean: 10.13 LCL: 2.15 UCL: 18.11 EpiData Analysis Graph Bjørnar Nyen, 16.02.10

I-diagram. Skår på kartlegging av psykisk lidelse Pasienter henvist til ARA for rusproblematikk 20 18 16 Baseline-data Tiltak 14 12 10 8 6 4 2 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 Pasientjournaler i rekkefølge Freeze: 20 Mean: 8.80 UCL: 19.30 EpiData Analysis Graph Bjørnar Nyen, 16.02.10

I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, 2006. Før og etter nye retningslinjer 18 16 14 12 10 8 6 4 Baseline 20 observasjoner Etter innsatte tiltak 20 observasjoner 1 2 3 4 5 6 7 8 9 10 11 13 15 17 18 20 21 23 24 26 28 30 31 33 35 37 3940 Pasienter i rekkefølge Mean: 8.80 UCL: 19.30 Mean: 11.45 UCL: 15.93 LCL: 6.97 Bjørnar Nyen, 16.02.10 EpiData Analysis Graph

20 18 16 I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, 2006. Før og i to faser etter nye retningslinjer Etter få måneder Etter innsatte tiltak Baseline 14 12 10 8 6 4 2 1 2 4 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 394041 43 45 47 49 51 53 55 57 Pasienter i rekkefølge Mean: 8.80 UCL: 19.30 Mean: 11.45 UCL: 15.93 LCL: 6.97 Mean: 9.94 UCL: 17.42 LCL: 2.46 Bjørnar Nyen, 16.02.10 EpiData Analysis Graph

36

37

Ulike typer variasjon Naturlig variasjon Er en naturlig del av prosessen Skyldes vanlige og naturlige årsaker Resulterer i en stabil prosess som er forutsigbar Spesiell variasjon Skyldes irregulære eller spesielle årsaker som ikke er en naturlig del av prosessen Resulterer i en ustabil prosess som ikke er forutsigbar Oftest viktig å skille 39

Tester i SPC Det finnes diverse tester på spesiell variasjon for SPC-diagrammer Typen variasjon skal hjelpe oss med å bedre prosessene å evaluere effekten av forbedringsarbeidet Bjørnar Nyen, 16.02.10

Tester på spesiell variasjon Testene er laget for datasett på mellom 20 og 30 punkter Test 1: sporadiske avvik (punkt utenfor kontrollgrensene) Test 2: Nivåskifte (mange punkter på rad på samme side av senterlinjen) Test 3: Trend (mange stigende eller synkende punkter på rad) Det finnes en rekke andre tester men bruk av flere tester øker faren for å få falskt positive signaler! Alltid viktig å se etter mønstre i diagrammet repeterende mønstre kan være tegn på spesiell variasjon

Tester på spesiell variasjon Test 1: sporadiske avvik (punkt utenfor kontrollgrensene) Bjørnar Nyen, 16.02.10

I-diagram. Tid fra start pâ legekontakt til overf til post, overf ringspasienter 160 140 120 100 80 60 40 20 Uke 30 og 31. Akuttmottaket STHF Punkt utenfor kontrollgrensen 21.07.08 13:45 21.07.08 13:45 21.07.08 17:05 21.07.08 17:25 22.07.08 15:45 23.07.08 14:30 24.07.08 16:40 24.07.08 22:25 25.07.08 15:35 27.07.08 10:00 29.07.08 13:40 29.07.08 15:00 29.07.08 21:10 30.07.08 14:05 30.07.08 14:35 30.07.08 20:15 31.07.08 13:30 01.08.08 12:45 02.08.08 14:50 02.08.08 14:50 Innkomsttid Mean: 55.00 UCL: 146.70 Bjørnar Nyen, 16.02.10 EpiData Analysis Graph

Tester på spesiell variasjon Test 2: Nivåskifte (mange punkter på rad på samme side av senterlinjen Bjørnar Nyen, 16.02.10

Skår (0 16) 20 18 16 14 12 10 8 6 4 2 0 I-diagram. Skår på kartlegging av psykisk lidelse Pasienter henvist til ARA for rusproblematikk Tester på spesiell variasjon Test 2: Nivåskifte (åtte eller flere punkter på rad på samme side av senterlinjen) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 Pasientjournaler i rekkefølge Freeze: 20 Mean: 8.80 UCL: 19.30 EpiData Analysis Graph Bjørnar Nyen, 16.02.10 Minst 8 punkter etterhverandre på samme side av sentrallinjen

Tester på spesiell variasjon Test 3: Trend (mange stigende eller synkende punkter på rad) Bjørnar Nyen, 16.02.10

Tester på spesiell variasjon Prosent 9 8 7 6 5 4 3 Run-diagram: D delighet ved Coronar by-pass-kirurgi F r og etter endret prosedyre. Eksempel fra Raymond G. Carey 2002. Minst 7 eller flere verdier i en rekke som enten øker eller synker. Endret prosedyre Test 3: Trend (seks eller flere stigende eller synkende punkter på rad) 2 1 0 jan feb mar apr mai jun jul aug sep okt nov des MÂned jan feb mar apr mai jun 1998 1999 Median: 5.00 Median: 4.00 Bjørnar Nyen, 16.02.10 jul aug sep okt nov des EpiData Analysis Graph

Falskt positive Hvis man setter grenser som gjør at diagrammene blir for sensitive Hvis man bruker mange tester «Overtolkning» - særlig dersom testene ikke brukes Konsekvens: Man jakter etter forklaringer som ikke finnes! To typer feil Falskt negative Hvis man setter grenser som gjør at diagrammene ikke blir sensitive nok Få datapunkter Konsekvens: Man går glipp av noe man kunne ha lært! Med 3-sigma kontrollgrenser og de tre testene balanseres dette rimelig bra 48

Mer om kontroll-diagrammer Senterlinjen i et kontroll-diagram er gjennomsnittet av dataverdiene Det beregnes en øvre og nedre kontrollgrense som er plassert +/- 3 sigma fra gjennomsnittet (tilnærmet lik standardavvik om dataene er rimelig normalfordelt) Fordi det brukes sigma og ikke standardavvik og testene er konservativt satt, er kontrolldiagrammene å stole på også om dataene ikke er normalfordelt

Donald J. Wheeler: «Three-sigma limits work by brute force. They are sufficiently general to work with all types and shapes of histograms. They work with skewed data, and they work even when our estimates are based on few data. Therefore, we do not have to pre-qualify our data before we place them on a process behavior chart. We do not need to define a reference distribution prior to computing limits.» Fra «Twenty Things You Need to Know, 2009 50

Mer om kontroll-diagrammer Med kontrollgrenser på 3 sigma fra gjennomsnitt vil 99,73 % av datapunktene ligge innenfor kontrollgrensene med en normaldistribusjon Det er altså 0,27 % sjanse for at et datapunkt ligger utenfor kontrollgrensene ved tilfeldighet Med 25 datapunkter er det ca 6,5 % sjanse for en falskt positiv verdi

Raymond G.Carey: Lære av egne data: De som behandler pasienter må følge med i og forsøke å lære av sine egne data for å bedre de tjenester de gir. Fritt etter Raymond G.Carey (2002)

Real time -data med SPC Får ut data i real time (eller nesten det) ikke nødvendig å samle opp store datasett Plot a dot! Dette gir oss mulighet til å avsløre prosessendringer tidlig med høy grad av sikkerhet Bjørnar Nyen, 16.02.10

8 råd for bruk av målinger i forbedringsarbeid (Nelson og medarbeidere i Annals of Internal Medicin, 1998) 1. Søk nytte, ikke perfeksjon, i målingene 2. Bruk helst et balansert sett av ulike målinger (prosess, resultat, kostnader) 3. Gjør enkle målinger 4. Bruk både kvalitative og kvantitative data 5. Bli enige om de operasjonelle definisjonene av det som måles 6. Bruk små, representative datauttrekk 7. Bygg målinger inn i den daglige virksomheten 8. Nyttig å utvikle et måle-team 54

Noen råd i tillegg 9. Kontrolldiagram må tolkes både statistisk og klinisk 10. Bruk ferske data (real time) og gå tettest mulig på prosessene 11. Hvis man får til å bruke tidsserie: Tilstrebe å ha 20 til 30 punkter i hver serie 12. Velg indikatorer som gir energi 13. Ha det gøy underveis! 55

Det kreves motivasjon og trening for å oppnå nye resultater 57