Målinger i prosjektet

Transkript

1 Bjørnar Nyen Kunnskapsesenterets nye PPT-mal Målinger i prosjektet Innføring i bruk av SPC (statistisk prosesskontroll) FS Tidlig oppdagelse og behandling av første gangs psykoser Gjennombruddsprosjekt

2 Lære av egne data De som behandler pasienter må følge med i og forsøke å lære av sine egne data for å bedre de tjenester de gir. Fritt oversatt etter Raymond G.Carey (2002)

3 Viktig å vite hvorfor vi måler Forskning? Bedømmelse? Forbedring? Formålet vil langt på vei avgjøre hvordan vi gjør og presenterer målingene De tre formålene kan gli over i hverandre

4 Aspect Improvement Accountability Research Aim Improvement of care Comparison, choice, reassurance, spur for change Test Observability Test observable No test, evaluate current performance Bias Accept consistent bias Measure and adjust to reduce bias Sample Size Flexibility of Hypothesis The Three Faces of Performance Measurement Just enough data, small sequential samples Hypothesis flexible, changes as learning takes place Obtain 100% of available, relevant data No hypothesis New knowledge Test blinded or controlled Design to eliminate bias Just in case data Fixed hypothesis Testing Strategy Sequential tests No tests One large test Determining if a change is an improvement Confidentiality of the data Run charts or Shewhart control charts Data used only by those involved with improvement No change focus Data available for pulic consumption and review Hypothesis, statistical tests (t-test, F-test, chi square), p-values Research subjects identities protected Etter L Solberg (1997) og RC Lloyd (2008)

5 Tre grunnleggende spørsmål - og en sirkel Nolan og Langleys tre spørsmål Forbedringssirkelen (Demings sirkel, PDSAsirkelen)

6 Ventetid på venterom for pasienter med timeavtale Antall pasienter 158 Gjennomsnittlig ventetid Median ventetid 19,4 min 20 min Minste ventetid 0 Maksimal ventetid 50 min Range 50 Standardavvik 12,1 Ventetid på venterommet Pasienter med time 3 uker januar 2007 Antall Data for bedømmelse Minutter

7 Ventetid på venterom for pasienter med timeavtale Antall pasienter 158 Gjennomsnittlig ventetid 19,4 min Median ventetid 20 min Minste ventetid 0 Maksimal ventetid 50 min Range 50 Standardavvik 12,1 Run-diagram. Gjennom snittlig ventetid på venterom m et D r E L, 3 u k e r ja n u a r Minutter :00 08:15 08:30 08:45 09:00 09:20 09:40 10:00 10:20 10:40 11:00 11:20 Klokkeslett for tim e Median: Dataene satt opp i tidsrekkefølge er data EpiData til Analysis forbedring! G raph 11:45 12:30 12:45 13:00 13:15 13:30 13:45 14:00 14:15 14:30 14:45

8 Målinger To spørsmål som alle tjenesteytere bør stille: 1. Er nivået på tjenesten vi leverer tilfredsstillende? 2. Leverer vi stabile nok tjenester?

9 Ulike typer statistikk Tradisjonell statistisk analyse er bra til mange ting, bl.a. til forskning Statistisk prosesskontroll er en gren av statistikk som ikke er utviklet primært for forskning egner seg spesielt godt til bruk i forbedringsarbeid gjør bruk av tidsserier kan brukes på ganske små datamaterialer gjør bruk grafisk presentasjon av data for bedre forståelse og bedre kommunikasjon

10 Eksempel 2: Aggregerte data Dødelighet ved coronar by-pass-kirurgi før og etter endret prosedyre Eksempel fra Raymon G. Carey 2002 Dødelighet i prosent Ny prosedyre innført fra januar År Skyldes bedringen den nye prosedyren?

11 Samme data satt inn i en tidsserie 9 Run-diagram: Dødelighet ved Coronar by-pass-kirurgi Før og etter endret prosedyre. Eksempel fra Raymond G. Carey Endret prosedyre Prosent jan feb mar apr mai jun jul aug Lærdom: Gå Måned sep okt nov des jan feb mar apr mai jun Median: 5.00 Median: 4.00 nærmere! jul aug Bedringen skyldes ikke den nye prosedyren den har kanskje hatt en negativ effekt! sep okt nov des EpiData Analysis Graph

12 20 I-diagram. Skår på kartlegging av psykisk lidelse Pas. henvist for rusproblematikk til ARA, Kr.s., før nye retningslinjer Skår (0-16) Baseline 20 observasjoner Pasienter i rekkefølge Mean: 8.80 UCL: EpiData Analysis Graph Et I-diagram er et linjediagram med gjennomsnitt og kontrollgrenser. Kontrollgrensene er et uttrykk for variasjonen i datamaterialet

13 I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, Før og etter nye retningslinjer Baseline 20 observasjoner Etter innsatte tiltak 20 observasjoner Skår (0-16) Pasienter i rekkefølge Mean: 8.80 UCL: Mean: UCL: LCL: 6.97 EpiData Analysis Graph

14 I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, Før og i to faser etter nye retningslinjer Etter få måneder Etter innsatte tiltak Baseline Skår (0-16) Pasienter i rekkefølge Mean: 8.80 UCL: Mean: UCL: LCL: 6.97 Mean: 9.94 UCL: LCL: 2.46 EpiData Analysis Graph

15 Variasjon Alt varierer To typer variasjon: Naturlig/normal variasjon en variasjon innenfor det som kan kalles tilfeldig Spesiell variasjon når prosessen ikke er stabil, at den forstyrres av noe utenfra Ofte viktig å skille - SPC kan hjelpe oss med det

16 Tester i SPC Det finnes diverse tester på spesiell variasjon; tester som kan brukes på SPC-diagrammer Typen variasjon skal hjelpe oss med å bedre prosessene å evaluere effekten av forbedringsarbeidet

17 I-diagram. Tid fra start på legekontakt til overf til post, overføringspasienter Diagrammer i SPC 160 Det 140 finnes mange slags SPC-diagrammer mest aktuelle: I-diagram og P-diagram Det finnes diverse tester på spesiell variasjon; 60 tester som kan brukes på SPC-diagrammer Typen variasjon og nivå skal hjelpe oss med å bedre prosessene Uke 30 og 31. Akuttmottaket STHF å evaluere effekten av forbedringsarbeidet Punkt utenfor kontrollgrensen : : : : : : : : : : : : : : : : : : : Minutter fra start på legekontakt til overf til post Innkomsttid Mean: UCL: EpiData Analysis Grap

18 I-diagram. Skår på kartlegging av psykisk lidelse ARA, Kristiansand, Før og etter nye retningslinjer punkter eller flere over gammelt gjennomsnitt = nivåskifte Skår (0-16) Pasienter i rekkefølge Mean: 8.80 UCL: Mean: UCL: LCL: 6.97 EpiData Analysis Graph

19 En telleøvelse To lag hver med 4 ungdommer som Oppgave kaster ball til hverandre. Hvor mange ganger samlet tar ungdommene i hvitt imot ballen? Telling Clip-1.wmv

20 Real time -data med SPC Får ut data i real time (eller nesten det) ikke nødvendig å samle opp store datasett Plot a dot! Dette gir oss mulighet til å avsløre prosessendringer tidlig med høy grad av sikkerhet hvis testene benyttes

21 Noen få indikatorer

22 Flere indikatorer

23 Finne gode indikatorer En indikator er en målbar variabel som avspeiler kvaliteten innenfor et område Indikatorene kan være Resultat-indikatorer som sier noe om resultatet Brukertilfredshet Andel 1.episode psykose med remisjon innen 1 år Varighet av ubehandlet psykose (VUP - indirekte pga sammenheng med prognose/forløp)

24 Finne gode indikatorer Indikatorene kan også være Prosess-indikatorer som sier noe om prosessen Antall henvendelser til TIPS-telefon pr tidsenhet Ventetid Varighet av ubehandlet psykose (VUP) Tid før diagnose er stilt Tid før behandling er startet Behandlingstid Grad av etterlevelse av prosedyre Kvalitet på henvisninger/epikriser Antall felleskonsultasjoner

25

26 Indikatorer i gjennombruddsprosjekt Tre typer mål anbefales: Ett resultatmål (hvis vi ikke får sikre resultater i prosjektperioden, må man måle etter prosjektslutt) Ett eller flere prosessmål Ett eller flere balanserte mål (sjekke om tiltakene vi setter inn går ut over noe annet)

27 Fra evaluering av tidligere GBP: Hva mener fhv. deltakere om måling? Nesten 90 % svarte at det å presentere målinger fortløpende i prosjektperioden hadde betydning for å holde motivasjonen oppe i endringsarbeidet. Nesten 80 % svarte at bruken av SPC var av betydning for å lykkes med forbedringsarbeidet Ca. halvparten mente tidsrammen var for kort til å gjennomføre gode målinger Nesten 80 % svarte at interessen for å følge med på egne data hadde økt etter GBP (Aleidis Skard Brandrud, Gro Helljesen, Bjørnar Nyen og Ada Schreiner)

28 SPC - lett eller komplisert? Svaret er JA! SPC kan gjøres veldig enkelt. Man kan klare seg med to typer diagrammer (Idiagram og P-diagram) Man kan klare seg med to tester for spesiell variasjon (nivåskifte + punkter utenfor kontrollgrensen) I tillegg må diagrammene vurderes med faglig/klinisk skjønn, særlig av dem som kjenner virksomheten

29 SPC lett eller komplisert? SPC kan gjøres veldig komplisert I tillegg til de tre nevnte diagramtypene finnes det mange ulike diagramtyper som kan passe i ulike situasjoner (de vanligste er X-bar S-diagram, X- bar R-diagram, u-diagram, c-diagram, npdiagram, g-diagram) Det er beskrevet mange tester på spesiell variasjon RÅD: Keep it simple men ikke for enkelt!!

30 Lenker/litteratur Noe om SPC finner du her: e/statistisk_prosesskontroll_spc_ Her er et kompendium jeg har skrevet om forbedringsarbeid og SPC: Du kan laste ned et freeware dataprogram (EpiData Analysis) som inneholder en SPC-modul fra Her er en god håndbok i SPC og bruk av SPC-modulen i EpiData Analysis: Hvis dere ønsker å lese om SPC står det litt på dette nettstedet som er nyttig også i forhold til andre verktøy samt metoder for forbedringsarbeid: Bok om SPC: Carey RG.. Improving healthcare with control charts. Basic and advanced SPC methods and case studies. ASQ Quality Press, 2003 Bok om forbedringsarbeid: Ogrinc GS and Headrick LA: Fundamentals of Health Care Improvement. A Guide to Improving Your Patients Care Joint Commission Resources