Bjørnar Nyen Kunnskapsesenterets nye PPT-mal Målinger i prosjektet Innføring i bruk av SPC (statistisk prosesskontroll) FS1 16.02.10 Tidlig oppdagelse og behandling av første gangs psykoser Gjennombruddsprosjekt 2010-2011
Lære av egne data De som behandler pasienter må følge med i og forsøke å lære av sine egne data for å bedre de tjenester de gir. Fritt oversatt etter Raymond G.Carey (2002)
Viktig å vite hvorfor vi måler Forskning? Bedømmelse? Forbedring? Formålet vil langt på vei avgjøre hvordan vi gjør og presenterer målingene De tre formålene kan gli over i hverandre
Aspect Improvement Accountability Research Aim Improvement of care Comparison, choice, reassurance, spur for change Test Observability Test observable No test, evaluate current performance Bias Accept consistent bias Measure and adjust to reduce bias Sample Size Flexibility of Hypothesis The Three Faces of Performance Measurement Just enough data, small sequential samples Hypothesis flexible, changes as learning takes place Obtain 100% of available, relevant data No hypothesis New knowledge Test blinded or controlled Design to eliminate bias Just in case data Fixed hypothesis Testing Strategy Sequential tests No tests One large test Determining if a change is an improvement Confidentiality of the data Run charts or Shewhart control charts Data used only by those involved with improvement No change focus Data available for pulic consumption and review Hypothesis, statistical tests (t-test, F-test, chi square), p-values Research subjects identities protected Etter L Solberg (1997) og RC Lloyd (2008)
Tre grunnleggende spørsmål - og en sirkel Nolan og Langleys tre spørsmål Forbedringssirkelen (Demings sirkel, PDSAsirkelen)
Ventetid på venterom for pasienter med timeavtale Antall pasienter 158 Gjennomsnittlig ventetid Median ventetid 19,4 min 20 min Minste ventetid 0 Maksimal ventetid 50 min Range 50 Standardavvik 12,1 Ventetid på venterommet Pasienter med time 3 uker januar 2007 Antall 30 25 20 15 10 5 0 50-54 45-49 40-44 35-39 30-34 25-29 20-24 15-19 10-14 5-9 0-4 Data for bedømmelse Minutter
Ventetid på venterom for pasienter med timeavtale Antall pasienter 158 Gjennomsnittlig ventetid 19,4 min Median ventetid 20 min Minste ventetid 0 Maksimal ventetid 50 min Range 50 Standardavvik 12,1 Run-diagram. Gjennom snittlig ventetid på venterom m et 40 35 30 D r E L, 3 u k e r ja n u a r 2 0 0 7 Minutter 25 20 15 10 5 0 08:00 08:15 08:30 08:45 09:00 09:20 09:40 10:00 10:20 10:40 11:00 11:20 Klokkeslett for tim e Median: 20.00 Dataene satt opp i tidsrekkefølge er data EpiData til Analysis forbedring! G raph 11:45 12:30 12:45 13:00 13:15 13:30 13:45 14:00 14:15 14:30 14:45
Målinger To spørsmål som alle tjenesteytere bør stille: 1. Er nivået på tjenesten vi leverer tilfredsstillende? 2. Leverer vi stabile nok tjenester?
Ulike typer statistikk Tradisjonell statistisk analyse er bra til mange ting, bl.a. til forskning Statistisk prosesskontroll er en gren av statistikk som ikke er utviklet primært for forskning egner seg spesielt godt til bruk i forbedringsarbeid gjør bruk av tidsserier kan brukes på ganske små datamaterialer gjør bruk grafisk presentasjon av data for bedre forståelse og bedre kommunikasjon
Eksempel 2: Aggregerte data Dødelighet ved coronar by-pass-kirurgi før og etter endret prosedyre Eksempel fra Raymon G. Carey 2002 Dødelighet i prosent 6 5 4 3 2 1 0 5 1998 1 2 Ny prosedyre innført fra januar År 1999 4 1999 Skyldes bedringen den nye prosedyren?
Samme data satt inn i en tidsserie 9 Run-diagram: Dødelighet ved Coronar by-pass-kirurgi Før og etter endret prosedyre. Eksempel fra Raymond G. Carey 2002. 8 7 Endret prosedyre Prosent 6 5 4 3 2 1 0 jan feb mar apr mai jun jul aug Lærdom: Gå Måned sep okt nov des jan feb mar apr mai jun 1998 1999 Median: 5.00 Median: 4.00 nærmere! jul aug Bedringen skyldes ikke den nye prosedyren den har kanskje hatt en negativ effekt! sep okt nov des EpiData Analysis Graph
20 I-diagram. Skår på kartlegging av psykisk lidelse Pas. henvist for rusproblematikk til ARA, Kr.s., før nye retningslinjer Skår (0-16) 18 16 14 12 10 8 6 4 2 0 Baseline 20 observasjoner.... 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Pasienter i rekkefølge Mean: 8.80 UCL: 19.30 EpiData Analysis Graph Et I-diagram er et linjediagram med gjennomsnitt og kontrollgrenser. Kontrollgrensene er et uttrykk for variasjonen i datamaterialet
I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, 2006. Før og etter nye retningslinjer 18 16 Baseline 20 observasjoner Etter innsatte tiltak 20 observasjoner Skår (0-16) 14 12 10 8 6 4 1 2 3 4 5 6 7 8 91011 13 15 1718 2021 23 24 26 28 30 31 33 35 37 3940 Pasienter i rekkefølge Mean: 8.80 UCL: 19.30 Mean: 11.45 UCL: 15.93 LCL: 6.97 EpiData Analysis Graph
20 18 16 I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, 2006. Før og i to faser etter nye retningslinjer Etter få måneder Etter innsatte tiltak Baseline Skår (0-16) 14 12 10 8 6 4 2 1 2 4 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 394041 43 45 47 49 51 53 55 57 Pasienter i rekkefølge Mean: 8.80 UCL: 19.30 Mean: 11.45 UCL: 15.93 LCL: 6.97 Mean: 9.94 UCL: 17.42 LCL: 2.46 EpiData Analysis Graph
Variasjon Alt varierer To typer variasjon: Naturlig/normal variasjon en variasjon innenfor det som kan kalles tilfeldig Spesiell variasjon når prosessen ikke er stabil, at den forstyrres av noe utenfra Ofte viktig å skille - SPC kan hjelpe oss med det
Tester i SPC Det finnes diverse tester på spesiell variasjon; tester som kan brukes på SPC-diagrammer Typen variasjon skal hjelpe oss med å bedre prosessene å evaluere effekten av forbedringsarbeidet
I-diagram. Tid fra start på legekontakt til overf til post, overføringspasienter Diagrammer i SPC 160 Det 140 finnes mange slags SPC-diagrammer mest aktuelle: I-diagram og P-diagram 120 100 80 Det finnes diverse tester på spesiell variasjon; 60 tester som kan brukes på SPC-diagrammer 40 20 Typen variasjon og nivå skal hjelpe oss med å bedre prosessene Uke 30 og 31. Akuttmottaket STHF å evaluere effekten av forbedringsarbeidet Punkt utenfor kontrollgrensen 21.07.08 13:45 21.07.08 13:45 21.07.08 17:05 21.07.08 17:25 22.07.08 15:45 23.07.08 14:30 24.07.08 16:40 24.07.08 22:25 25.07.08 15:35 27.07.08 10:00 29.07.08 13:40 29.07.08 15:00 29.07.08 21:10 30.07.08 14:05 30.07.08 14:35 30.07.08 20:15 31.07.08 13:30 01.08.08 12:45 02.08.08 14:50 02.08.08 02.08.08 14 Minutter fra start på legekontakt til overf til post Innkomsttid Mean: 55.00 UCL: 146.70 EpiData Analysis Grap
I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, 2006. Før og etter nye retningslinjer 18 16 8 punkter eller flere over gammelt gjennomsnitt = nivåskifte Skår (0-16) 14 12 10 8 6 4 1 2 3 4 5 6 7 8 91011 13 15 1718 2021 23 24 26 28 30 31 33 35 37 3940 Pasienter i rekkefølge Mean: 8.80 UCL: 19.30 Mean: 11.45 UCL: 15.93 LCL: 6.97 EpiData Analysis Graph
En telleøvelse To lag hver med 4 ungdommer som Oppgave kaster ball til hverandre. Hvor mange ganger samlet tar ungdommene i hvitt imot ballen? Telling Clip-1.wmv
Real time -data med SPC Får ut data i real time (eller nesten det) ikke nødvendig å samle opp store datasett Plot a dot! Dette gir oss mulighet til å avsløre prosessendringer tidlig med høy grad av sikkerhet hvis testene benyttes
Noen få indikatorer
Flere indikatorer
Finne gode indikatorer En indikator er en målbar variabel som avspeiler kvaliteten innenfor et område Indikatorene kan være Resultat-indikatorer som sier noe om resultatet Brukertilfredshet Andel 1.episode psykose med remisjon innen 1 år Varighet av ubehandlet psykose (VUP - indirekte pga sammenheng med prognose/forløp)
Finne gode indikatorer Indikatorene kan også være Prosess-indikatorer som sier noe om prosessen Antall henvendelser til TIPS-telefon pr tidsenhet Ventetid Varighet av ubehandlet psykose (VUP) Tid før diagnose er stilt Tid før behandling er startet Behandlingstid Grad av etterlevelse av prosedyre Kvalitet på henvisninger/epikriser Antall felleskonsultasjoner
www.helsedirektoratet.no/vp/multimedia/archive/00105/n-015_vop-bup_varig_105879a.pdf
Indikatorer i gjennombruddsprosjekt Tre typer mål anbefales: Ett resultatmål (hvis vi ikke får sikre resultater i prosjektperioden, må man måle etter prosjektslutt) Ett eller flere prosessmål Ett eller flere balanserte mål (sjekke om tiltakene vi setter inn går ut over noe annet)
Fra evaluering av tidligere GBP: Hva mener fhv. deltakere om måling? Nesten 90 % svarte at det å presentere målinger fortløpende i prosjektperioden hadde betydning for å holde motivasjonen oppe i endringsarbeidet. Nesten 80 % svarte at bruken av SPC var av betydning for å lykkes med forbedringsarbeidet Ca. halvparten mente tidsrammen var for kort til å gjennomføre gode målinger Nesten 80 % svarte at interessen for å følge med på egne data hadde økt etter GBP (Aleidis Skard Brandrud, Gro Helljesen, Bjørnar Nyen og Ada Schreiner)
SPC - lett eller komplisert? Svaret er JA! SPC kan gjøres veldig enkelt. Man kan klare seg med to typer diagrammer (Idiagram og P-diagram) Man kan klare seg med to tester for spesiell variasjon (nivåskifte + punkter utenfor kontrollgrensen) I tillegg må diagrammene vurderes med faglig/klinisk skjønn, særlig av dem som kjenner virksomheten
SPC lett eller komplisert? SPC kan gjøres veldig komplisert I tillegg til de tre nevnte diagramtypene finnes det mange ulike diagramtyper som kan passe i ulike situasjoner (de vanligste er X-bar S-diagram, X- bar R-diagram, u-diagram, c-diagram, npdiagram, g-diagram) Det er beskrevet mange tester på spesiell variasjon RÅD: Keep it simple men ikke for enkelt!!
Lenker/litteratur Noe om SPC finner du her: http://www.ogbedreskaldetbli.no/metoder_verktoy/verktoykasse/planlegg e/statistisk_prosesskontroll_spc_ Her er et kompendium jeg har skrevet om forbedringsarbeid og SPC: http://www.kunnskapssenteret.no/publikasjoner/6330.cms Du kan laste ned et freeware dataprogram (EpiData Analysis) som inneholder en SPC-modul fra http://www.epidata.dk/download.php Her er en god håndbok i SPC og bruk av SPC-modulen i EpiData Analysis: http://www.epidata.dk/downloads/spcbrugerhaandbogrs.pdf Hvis dere ønsker å lese om SPC står det litt på dette nettstedet som er nyttig også i forhold til andre verktøy samt metoder for forbedringsarbeid: www.ogbedreskaldetbli.no/metoder_verktoy Bok om SPC: Carey RG.. Improving healthcare with control charts. Basic and advanced SPC methods and case studies. ASQ Quality Press, 2003 Bok om forbedringsarbeid: Ogrinc GS and Headrick LA: Fundamentals of Health Care Improvement. A Guide to Improving Your Patients Care Joint Commission Resources