Hvordan tall taler om målinger og bruk av SPC

Transkript

1 Hvordan tall taler om målinger og bruk av SPC Legeforeningens gjennombruddsprosjekt Forbedringsprosjekt obstetrikk Kommuneoverlege Bjørnar Nyen 1

2 Telleøvelse Tre og tre ungdommer kaster ball til hverandre (to lag). Oppgave: Hvor mange ganger tar ungdommen i mot ballen til sammen? 2

3 Kontinuerlig forbedringsprosess Aleidis Brandrud et al etter Deming, Langley, Nolan, Ashe 3

4 Eksempel 1: Aggregerte data Dødelighet ved coronar by-pass-kirurgi før og etter endret prosedyre Eksempel fra Raymon G. Carey 2002 Dødelighet i prosent Ny prosedyre innført År fra januar

5 9 Samme data satt inn i en tidsserie Run-diagram: D delighet ved Coronar by-pass-kirurgi F r og etter endret prosedyre. Eksempel fra Raymond G. Carey Endret prosedyre 6 Prosent jan feb mar apr mai jun jul aug sep okt nov des MÂned jan feb mar apr mai jun jul aug Median: 5.00 Median: 4.00 sep okt nov des EpiData Analysis Graph 5

6 Eksempel 2: Ventetid En avdeling hadde fått klager på at pasienter måtte vente så lenge på lege ved planlagte innleggelse De bestemte seg for å gjøre en dataregistrering Eksempel fra Ove Kjell Andersen 6

7 VENTETID PÅ LEGE VED INNLEGGELSE Antall pasienter 348 Gjennomsnittlig ventetid 48 minutter Median ventetid 27 minutter Minimum ventetid 6 minutter Maksimum ventetid 103 minutter Range 97 minutter Standard avvik 18 minutter Data for bedømmelse Gj.sn. ventetid pâ lege i mottakelsen Planlagte innleggelser Avd N, X HF Minutter S ndag Mandag Tirsdag Onsdag Torsdag Fredag L rdag S ndag Mandag Tirsdag Onsdag Dag Median: Dataene i tidsrekkefølge: data til forbedring! EpiData Analysis Graph Torsdag Fredag L rdag S ndag Mandag Tirsdag Onsdag Torsdag Fredag L rdag 7

8 8

9 Ulike SPC-diagrammer Det finnes mange ulike typer SPC-diagrammer Man kommer veldig langt med Run-diagram (kan lages uten datamaskin/ dataprogram) I-diagram (hvert datapunkt er en observasjon) P-diagram (hvert datapunkt er forholdet mellom en teller og en nevner) I tillegg er det av og til nyttig med U-diagram (hvert datapunkt er forholdet mellom en teller og en nevner, teller kan bli større enn nevner) G-diagram (diagram for sjeldne hendelser) X-Bar S-diagram (når hvert datapunkt er et resultat av flere enn en observasjon)

10 Antall sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 Rundiagram. Antall konsultasjoner. Nye pasienter. ØNH-pol, STHF sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 jun.10 aug.10 sep.10 okt.10 nov.10 jul.10 Måned Median: des.10 jan.11 feb.11 mar.11 apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 Et rundiagram er et linjediagram + medianen jan.12 feb.12 mar.12 EpiData Analysis Graph 10 apr.12

11 Antall sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 Rundiagram. Antall konsultasjoner. Nye pasienter. ØNH-pol, STHF sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 jun.10 aug.10 sep.10 okt.10 nov.10 jul.10 des.10 jan.11 feb.11 mar.11 Måned Median: Median: apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 EpiData Analysis Graph 11 apr.12

12 I-diagram. Antall konsultasjoner. Nye pasienter. ØNH-pol, STHF Antall sep.08 okt.08 nov.08 des.08 jan feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 jun.10 aug.10 sep.10 okt.10 nov.10 des.10 jul.10 jan.11 feb.11 mar.11 apr.11 Måned Mean: LCL: UCL: mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 apr.12 EpiData Analysis Graph Et I-diagram er et linjediagram med gjennomsnitt og kontrollgrenser. Kontrollgrensene er et uttrykk for variasjonen i datamaterialet 12

13 I-diagram er egentlig ett av to diagrammer i ImR-diagram: mr-diagram Moving Range okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 MRBar: UCL: mar.10 apr.10 mai.10 jun.10 jul.10 aug.10 sep.10 okt.10 nov.10 des.10 jan.11 feb.11 mar.11 apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb mar.12 apr.12 EpiData Analysis Graph

14 700 I-diagram. Antall konsultasjoner. Nye pasienter. ØNH-pol, STHF Antall sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 jun.10 aug.10 sep.10 okt.10 nov.10 jul.10 des.10 jan.11 feb.11 mar.11 Måned Freeze: 18 Mean: LCL: UCL: apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 EpiData Analysis Graph 14 apr.12

15 I-diagram. Antall konsultasjoner. Nye pasienter. ØNH-pol, STHF Antall sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 jun.10 aug.10 sep.10 okt.10 nov.10 jul.10 Måned des.10 jan.11 feb.11 mar.11 apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 Mean: LCL: UCL: Mean: LCL: UCL: EpiData Analysis Graph 15 apr.12

16 I-diagram. Antall dager pasienter på venteliste gjenomsnittlig har ventet Nyhenviste pasienter til ØNH-pol. STHF sept 08 - april Antall dager Dato Mean: LCL: UCL: EpiData Analysis Graph 16

17 1 600 I-diagram. Antall pasienter på venteliste Nyhenviste pasienter til ØNH-pol. STHF sept 08 - april Antall pasienter Dato Mean: LCL: UCL: EpiData Analysis Graph 17

18 Et P-diagram er et linjediagram som prosent (resultat av en teller og en nevner), gjennomsnitt + kontrollgrenser. Kontrollgrensene er et uttrykk for variasjonen i datamaterialet. Smalere 18 kontrollgrense jo større nevner er.

19 80 P-diagram. Prosent kontrollkonsultasjoner av alle konsultasjoner ØNH-pol. STHF sept 08 - april Prosent sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 aug.10 sep.10 okt.10 jun.10 jul.10 nov.10 des.10 jan.11 Mnd Mean: Mean: feb.11 mar.11 apr.11 mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 apr.12 EpiData Analysis Graph 19

20 80 P-diagram. Prosent kontrollkonsultasjoner av alle konsultasjoner ØNH-pol. STHF sept 08 - april Prosent sep.08 okt.08 nov.08 des.08 jan.09 feb.09 mar.09 apr.09 mai.09 jun.09 jul.09 aug.09 sep.09 okt.09 nov.09 des.09 jan.10 feb.10 mar.10 apr.10 mai.10 aug.10 sep.10 okt.10 jun.10 jul.10 nov.10 des.10 jan.11 feb.11 mar.11 apr.11 Mnd Mean: Mean: Mean: mai.11 jun.11 jul.11 aug.11 sep.11 okt.11 nov.11 des.11 jan.12 feb.12 mar.12 apr.12 EpiData Analysis Graph 20

21 Mette Walberg et al,

22 22

23 Dessuten: Diagrammer for sjeldne hendelser: t- diagram, g- diagram

24 Viktig å vite hvorfor vi måler Forskning? Bedømmelse? Forbedring? v Formålet vil langt på vei avgjøre hvordan vi gjør og presenterer målingene v De tre formålene kan gli over i hverandre 2 4

25 Aspekt Forbedring Bedømmelse Forskning Mål Testoberverbarhet Bias Datamengde Fleksibilitet av hypotese Tre områder for målinger i helsetjenester Forbedring av tjenesten Åpent Bias er ok, men skal beskrives Nok data, små datamengder tatt ut i sekvens Hypotesen fleksibel kan forandres underveis Sammenlikning, valg, beroligelse, spore til endring Ingen tester, evaluerer nåværende ytelse Begrense bias Mest mulig av tilgjengelig og relevante data Ingen hypotese Ny kunnskap Blindede eller kontrollerte tester Design for å eliminere bias Styrke-beregning Hypotesen ligger fast Test-strategi Sekvensielle tester Ingen tester En stor test Er forandring forbedring? Konfidensialitet Kontroll-diagrammer Intet endringsfokus Statistiske tester (ttest, chi-square), p- verdier Data brukes av dem som er involverte i forbedringsarbeidet Data offentlig tilgjengelig Beskyttelse av forskningssubjekters identitet Etter L Solberg (1997) og RC Lloyd

26 Helsetjenestesystemet som en omvendt pyramide Frontlinjeenheter (mikrosystemer) Q m1 + Q m2 + Q m3 + Q m4 = Q HS AM HjKat Int Post Pasientens gang gjennom systemet Kliniske kunnskapsbaser Mesosystem avdelinger og programmer Målesystemer Nasjonale kompetansesentre, FHI, Hdir etc HF og RHFledere Finansieringssystemer Styre, departement Trustees of Dartmouth College, Nelson Bearbeidet

27 Trustees of Dartmouth College, Nelson Bearbeidet

28 SPC er en metode som kan gjøre det mulig å lære av prosessdataene gir signaler når prosessen forandrer seg hjelpe deg til å identifisere årsakene til disse forandringene. sette deg i stand til å styre prosessene forutsigbart på målet med så liten variasjon som mulig Donald J. Wheeler 28

29 Statistisk prosesskontroll Oppsett og analyse av data i en tidsserie for 1. Nivåkontroll (i overensstemmelse med god praksis/god kvalitet) 2. Variasjonskontroll (stabile og forutsigbare tjenester) 3. Vurdere resultatet av intervensjoner i prosesser 29

30 Et eksempel fra et tidligere gjennombruddsprosjekt 30

31 20 I-diagram. SkÂr pâ kartlegging av psykisk lidelse Pas. henvist for rusproblematikk til ARA, Kr.s., f r nye retningslinjer ( ) Baseline 20 observasjoner Pasienter i rekkef lge Mean: 8.80 UCL: EpiData Analysis Graph

32 I-diagram. Skår på kartlegging av psykisk lidelse Pasienter henvist til ARA for rusproblematikk Baseline-data Data etter tiltak 14 Skår (0 16) Pasientjournaler i rekkefølge Mean: LCL: 2.15 UCL: EpiData Analysis Graph Bjørnar Nyen,

33 I-diagram. Skår på kartlegging av psykisk lidelse Pasienter henvist til ARA for rusproblematikk Baseline-data Tiltak Pasientjournaler i rekkefølge Freeze: 20 Mean: 8.80 UCL: EpiData Analysis Graph Bjørnar Nyen,

34 I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, Før og etter nye retningslinjer Baseline 20 observasjoner Etter innsatte tiltak 20 observasjoner Pasienter i rekkefølge Mean: 8.80 UCL: Mean: UCL: LCL: 6.97 Bjørnar Nyen, EpiData Analysis Graph

35 I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, Før og i to faser etter nye retningslinjer Etter få måneder Etter innsatte tiltak Baseline Pasienter i rekkefølge Mean: 8.80 UCL: Mean: UCL: LCL: 6.97 Mean: 9.94 UCL: LCL: 2.46 Bjørnar Nyen, EpiData Analysis Graph

36 36

37 37

38

39 Ulike typer variasjon Naturlig variasjon Er en naturlig del av prosessen Skyldes vanlige og naturlige årsaker Resulterer i en stabil prosess som er forutsigbar Spesiell variasjon Skyldes irregulære eller spesielle årsaker som ikke er en naturlig del av prosessen Resulterer i en ustabil prosess som ikke er forutsigbar Oftest viktig å skille 39

40 Tester i SPC Det finnes diverse tester på spesiell variasjon for SPC-diagrammer Typen variasjon skal hjelpe oss med å bedre prosessene å evaluere effekten av forbedringsarbeidet Bjørnar Nyen,

41 Tester på spesiell variasjon Testene er laget for datasett på mellom 20 og 30 punkter Test 1: sporadiske avvik (punkt utenfor kontrollgrensene) Test 2: Nivåskifte (mange punkter på rad på samme side av senterlinjen) Test 3: Trend (mange stigende eller synkende punkter på rad) Det finnes en rekke andre tester men bruk av flere tester øker faren for å få falskt positive signaler! Alltid viktig å se etter mønstre i diagrammet repeterende mønstre kan være tegn på spesiell variasjon

42 Tester på spesiell variasjon Test 1: sporadiske avvik (punkt utenfor kontrollgrensene) Bjørnar Nyen,

43 I-diagram. Tid fra start pâ legekontakt til overf til post, overf ringspasienter Uke 30 og 31. Akuttmottaket STHF Punkt utenfor kontrollgrensen : : : : : : : : : : : : : : : : : : : :50 Innkomsttid Mean: UCL: Bjørnar Nyen, EpiData Analysis Graph

44 Tester på spesiell variasjon Test 2: Nivåskifte (mange punkter på rad på samme side av senterlinjen Bjørnar Nyen,

45 Skår (0 16) I-diagram. Skår på kartlegging av psykisk lidelse Pasienter henvist til ARA for rusproblematikk Tester på spesiell variasjon Test 2: Nivåskifte (åtte eller flere punkter på rad på samme side av senterlinjen) Pasientjournaler i rekkefølge Freeze: 20 Mean: 8.80 UCL: EpiData Analysis Graph Bjørnar Nyen, Minst 8 punkter etterhverandre på samme side av sentrallinjen

46 Tester på spesiell variasjon Test 3: Trend (mange stigende eller synkende punkter på rad) Bjørnar Nyen,

47 Tester på spesiell variasjon Prosent Run-diagram: D delighet ved Coronar by-pass-kirurgi F r og etter endret prosedyre. Eksempel fra Raymond G. Carey Minst 7 eller flere verdier i en rekke som enten øker eller synker. Endret prosedyre Test 3: Trend (seks eller flere stigende eller synkende punkter på rad) jan feb mar apr mai jun jul aug sep okt nov des MÂned jan feb mar apr mai jun Median: 5.00 Median: 4.00 Bjørnar Nyen, jul aug sep okt nov des EpiData Analysis Graph

48 Falskt positive Hvis man setter grenser som gjør at diagrammene blir for sensitive Hvis man bruker mange tester «Overtolkning» - særlig dersom testene ikke brukes Konsekvens: Man jakter etter forklaringer som ikke finnes! To typer feil Falskt negative Hvis man setter grenser som gjør at diagrammene ikke blir sensitive nok Få datapunkter Konsekvens: Man går glipp av noe man kunne ha lært! Med 3-sigma kontrollgrenser og de tre testene balanseres dette rimelig bra 48

49 Mer om kontroll-diagrammer Senterlinjen i et kontroll-diagram er gjennomsnittet av dataverdiene Det beregnes en øvre og nedre kontrollgrense som er plassert +/- 3 sigma fra gjennomsnittet (tilnærmet lik standardavvik om dataene er rimelig normalfordelt) Fordi det brukes sigma og ikke standardavvik og testene er konservativt satt, er kontrolldiagrammene å stole på også om dataene ikke er normalfordelt

50 Donald J. Wheeler: «Three-sigma limits work by brute force. They are sufficiently general to work with all types and shapes of histograms. They work with skewed data, and they work even when our estimates are based on few data. Therefore, we do not have to pre-qualify our data before we place them on a process behavior chart. We do not need to define a reference distribution prior to computing limits.» Fra «Twenty Things You Need to Know,

51 Mer om kontroll-diagrammer Med kontrollgrenser på 3 sigma fra gjennomsnitt vil 99,73 % av datapunktene ligge innenfor kontrollgrensene med en normaldistribusjon Det er altså 0,27 % sjanse for at et datapunkt ligger utenfor kontrollgrensene ved tilfeldighet Med 25 datapunkter er det ca 6,5 % sjanse for en falskt positiv verdi

52 Raymond G.Carey: Lære av egne data: De som behandler pasienter må følge med i og forsøke å lære av sine egne data for å bedre de tjenester de gir. Fritt etter Raymond G.Carey (2002)

53 Real time -data med SPC Får ut data i real time (eller nesten det) ikke nødvendig å samle opp store datasett Plot a dot! Dette gir oss mulighet til å avsløre prosessendringer tidlig med høy grad av sikkerhet Bjørnar Nyen,

54 8 råd for bruk av målinger i forbedringsarbeid (Nelson og medarbeidere i Annals of Internal Medicin, 1998) 1. Søk nytte, ikke perfeksjon, i målingene 2. Bruk helst et balansert sett av ulike målinger (prosess, resultat, kostnader) 3. Gjør enkle målinger 4. Bruk både kvalitative og kvantitative data 5. Bli enige om de operasjonelle definisjonene av det som måles 6. Bruk små, representative datauttrekk 7. Bygg målinger inn i den daglige virksomheten 8. Nyttig å utvikle et måle-team 54

55 Noen råd i tillegg 9. Kontrolldiagram må tolkes både statistisk og klinisk 10. Bruk ferske data (real time) og gå tettest mulig på prosessene 11. Hvis man får til å bruke tidsserie: Tilstrebe å ha 20 til 30 punkter i hver serie 12. Velg indikatorer som gir energi 13. Ha det gøy underveis! 55

56

57 Det kreves motivasjon og trening for å oppnå nye resultater 57