Hvordan analysere og presentere data?

Transkript

1 Hvordan analysere og presentere data? Bruk av statistisk prosesskontroll (SPC) Maria Bergli, Planrådgiver i Drammen Kommune og sekretær i nasjonalt forum for statistisk prosesskontroll

2

3 Tid i minutter I-diagram - Personlig SPC prosjekt Aktivitet/trening i minutter pr dag Dager Mean: UCL: EpiData Analysis Graph

4 Vekt I-diagram - Personlig SPC prosjekt Vekt i september - oktober Dager Mean: LCL: UCL: EpiData Analysis Graph

5 Hvorfor og hvordan måler vi? Forskning Forbedring Styring og kontroll Hensikt Finne ny generaliserbar kunnskap Ta i bruk/forbedre bruk av kunnskap i klinisk praksis Dokumentere, bedømme, sammenligne Tester (stikkprøver) En stor «blind» test Mange små, observerbare tester Ingen stikkprøve eller test Hypotese Statisk Dynamisk Ingen hypotese Data Krever store mengder data for å finne små forskjeller Passe mengde data til å lære om prosessen for å forbedre den «alle tilgjengelige data» Hyppighet Et eller få måletidspunkter Hyppige målinger (dager/uker/mnd.) Sjeldne, tilbakevendende (kvartal, år) Analyse metode Komparative metoder Statistisk analyse og prosessstyring Deskriptive metoder Solberg L. et al The three faces of performance measurement: improvement, accountability, and research. Jt Comm J Qual Improv. Mar;23(3):

6 Brystkreft pakkeforløp, Helse Sør-Øst; tom

7 Brystkreft Oslo universitetssykehus. Målsetningen er at behandlingen skal igangsettes innen 27 dager (OF4K). Her er det delt inn i tertial i Fin utvikling og bedring, har fortsatt litt å jobbe med for lokalsykehus pasienter Blå linje = 27 dager (Standard forløpstid) Grønn linje = Resultat (gjennomsnitt) Rød linje = kontrollgrenser 1.Tertial ,2 dager gjsnitt Brystkreft OUS Kirurgi Alle forløp i Tertial ,2 dager gjsnitt 3.Tertial ,3 dager gjennomsnitt Opererte i tidsrekkefølge Mean: UCL: Mean: UCL: Mean: UCL: EpiData Analysis Graph

8 Managing a process on the basis of monthly (or quarterly) averages is like trying to drive a car by looking in the rear view mirror. D. Wheeler Understanding Variation, 1993.

9 Hva er statistisk prosesskontroll? En grafisk fremstilling av data over tid som kan skille mellom tilfeldig variasjon og ikke-tilfeldig/spesiell variasjon Analyseregler gjør det mulig å trekke konklusjoner av rundiagrammer og kontrolldiagrammer Passer til å følge data over tid - som pasienter i rekkefølge, per dag, per uke Verktøy til å reflektere over og følge med på egen praksis

10 Hensikten ved å måle med SPC er: å oppnå en stabil og forutsigbar prosess, på et akseptabelt gjennomsnittsnivå, og med en akseptabel grad av variasjon. Walter Shewhart 1931

11 SPC handler om å forstå variasjon Tilfeldig variasjon Naturlig variasjon er en iboende egenskap ved en prosess Kroppstemperaturen varierer normalt mellom 36,5 og 37,5 grader gjennom døgnet Ventetiden ved en legevakt varierer mellom 0 og 90 minutter avhengig av pågang Tilfeldig variasjonen skyldes vanlige og naturlige årsaker En prosess som kun viser tilfeldig variasjon er som oftest stabil og forutsigbar innenfor statistiske grenser Ikke-tilfeldig/Spesiell variasjon Spesielle variasjoner kommer som resultat av irregulære, unaturlige årsaker som ikke er iboende i prosessen Spesiell variasjon kan være både ønsket og uønsket (utilsiktet). Spesiell variasjon i behandling kan være ønsket etter at man igangsetter et forbedringsarbeid Uønsket spesiell variasjon kan være forårsaket av utstyrsmangel (u)vaner/kultur, mangel på standardisering av en særskilt behandlingsprosess eller manglende evne til å takle akutte tilfeller på en god måte En prosess som har spesielle variasjoner er som oftest ustabil og ikke forutsigbar

12 Hvordan tolke og analysere variasjon i SPC-diagrammer? Faglige tolkninger: Spredning Er graden av variasjon faglig akseptabel, eller bør praksis samordnes bedre? Nivå Er nivået (gjennomsnittet/medianen) tilfredsstillende? Er nivået god praksis/god kvalitet? Grenseverdier Finnes det en faglig grense for hvilke verdier som kan aksepteres og er denne grensen overskredet? Statistisk analyse: Vurdere om prosessen stabil og forutsigbar eller om det spesielle variasjoner tilstede i prosessen? Vurdere resultatet av intervensjoner i prosesser Er praksis endret/forbedret?

13 Antall minutter Hva forteller et run-diagram? Tid til ett eller annet Y-aksen Serie median mållinje Per pasient x-aksen

14 Eksempel: Responstid for MIG tiltak

15 Analyseregler for spesiell variasjon i run-diagram 1. Nivåskifte i prosessen Flere enn 6 punkter etter hverandre på samme side av medianen indikerer et skifte i prosessen. (Enten over eller under) 2. Trend 5 eller flere punkter som går i samme retning indikerer en trend. 3. Astronomisk datapunkt Et punkt som ligger langt fra de andre datapunktene i tidsserien (bruk øyemål). 4. Spesielt mange eller spesielt få runs. I en tidsserie vil både for få og for mange runs gi inntrykk av at variasjonen ikke er tilfeldig. Matematikere har utviklet en sannsynlighetstabell som gir svar på dette

16 Measument Y-aksen Verdier (indikator) Hva forteller et kontrolldiagram? IChart - Verdi Øvre kontrollgrense Nedre kontrollgrense Data legges ut på en tidsakse Dato/periode/pasienter i rekkefølge Mean: LCL: 8.21 UCL: X-aksen Tid (periode/pasienter i rekkefølge) Sentrallinje (aritmetisk gjennomsnitt) EpiData Analysis Graph

17 Measument I kontrolldiagrammer ser vi etter spesielle variasjoner som: 70 IChart - Verdi1 Sporadisk avvik IChart - Verdi Mean: LCL: UCL: EpiData Analysis Graph Nivåskifte IChart - Verdi1 Trend Mean: LCL: 0.44 UCL: EpiData Analysis Graph Mean: LCL: UCL: EpiData Analysis Graph

18 Klinikerne bruker SPC til å Sammenligne nåværende praksis med beste praksis variasjonene før og etter en endring Følge opp for å se om endringene vedvarer Teste endringstiltak Undersøke om mytene stemmer Monitorere/utrede praksis i sanntid retrospektivt Varsle om uønskede hendelser så tidlig som mulig

19 Sammenlikne variasjon og teste endringtiltak Eksempel: Forbedringsarbeid om utskrivningssamtalen, oropedisk post, Bærum Sykehus Sjekklisten generer en skåre for total måloppnåelse per pasient og gjøres om til prosent.

20 Score prosent «Nå-situasjonen» - des I-diagram Score sjekkliste utskrivningssamtaler Ortopedisk seksjon BS Dato Mean: UCL: EpiData Analysis Graph

21 Etter måling av baseline ble det igangsatt flere tiltak Ark til pasienten Nytt fast møtepunkt: Kl hver dag Gjennomgang av pasientlisten med fokus på utreise og organisering rundt dette. Hvem? - Visittsykepleier - Visittlegen - Fysioterapeut Visittstol Utskrivningsnotat

22 Score i prosent Mars/April Utreisesamtale - Ortopedisk sengepost BS I-diagram Dato Mean: UCL: Mean: LCL: UCL: EpiData Analysis Graph

23 Teste endringstiltak Eksempel: nasjonalt forbedringsprosjekt psykiatri a) Skriftlig materiale om ASL + faste undervisningsdager b) Kartlegging affektive symptomer MADRS+YMRS c) Heldagsseminar om kommunikasjon og dokumentasjon

24 Sammenligne variasjon og teste endringstiltak Eksempel: nasjonalt forbedringsprosjekt reduksjon av tvang

25 Kontrolldiagram indikerer at en endring har skjedd, og at denne ikke skyldes tilfeldigheter A.S. Brandrud 12. mai

26 Følge opp for å se om endringene vedvarer Eksempel: nasjonalt forbedringsprosjekt reduksjon av tvang (1 år etter prosjektslutt)

27 Sammenlikne variasjon før og etter endring Eksempel: innføring av automasjonssystem lab I-diagram: Antall minutter fra prøve ankommet til svar et utgitt MOBS BS - juni 15-mai Dato Mean: UCL: Mean: UCL: 85.17

28 Poliklinisk prøvetaking Ventetid poliklinikk oktober + uke I-diagram Brudd lagt inn ved nivåskifte Redusert ventetid (nivåskifte) Dato Mean: UCL: Mean: LCL: 1.19 UCL: Gjennomsnittlig ventetid redusert til 12 min! Smalere kontrollgrenser viser at det er redusert variasjon

29 Dobbeltsignering av kontinuerlige medikamentinfusjoner P-chart: Dobbeltsignatur kontinuerlige medikamentinfusjoner Intensivavdelingen, Drammen Sykehus Dato Mean: Mean: EpiData Analysis Graph

30 MEN gode målinger forteller deg ikke alt Grafene må tolkes av de som eier prosessene for å finne ut: Årsaker til spesielle variasjoner Om en prosess bør forbedres Hvordan prosessen burde forbedres/redesignes

31 Skap en dialog om målingene 31

32 If I had to reduce my message for management to just a few words, I d say it all had to do with reducing variation. Walter Edwards Deming

33 Det er viktig å sette gode mål før man bestemmer målingene

34 Hvordan gå frem for å utarbeide gode målinger? Samle brukbare data, ikke perfekte data Bruk eksisterende data hvis det finnes Bruk penn og papir til et bedre system er etablert Gjør datainnsamlingen til en del av de daglige rutinene Ikke bruk tid på å samle inn mer data enn nødvendig Bruk kvalitativ og kvantitativ data sammen La de som eier dataene være med på å definere målingene, involver klinikerne! ALDRI utsett forbedringsarbeid i påvente av IT-avdelingen!!

35 Hvordan gå frem for å utarbeide gode målinger? Forts. Lag en plan som spesifiserer: Hvem Hva Når Hvor Hvem skal samle inn dataene, en eller flere personer? Hvilke data skal samles inn? Når skal målingene gjøres? Hvor skal målingene gjøres? Hvordan Hvordan skal dataene samles inn? Manuelle tellinger? Fra rapportsystem? Gjerne lag steg for steg -prosedyrer

36 Hvordan gå frem for å utarbeide gode målinger? Forts. Er vi enige i definisjonene? Er vi enige om hva som defineres som en forbedring? Er vi enige om når vi har nådd målene? Stages of Facing Reality - Reaction to Data The data are wrong The data are right, but it s not a problem The data are right; it is a problem; but it is not my problem. I accept the burden of improvement Det er et lederansvar å forstå variasjon og spørre hvorfor from Escape Fire, Don Berwick, (2002 Forum Speech), page

37 Gevinsten av å måle vite hva status er Har vi et problem? Hvor stort? Hvordan ser det ut? vite om tiltak skaper ønsket forbedring Få oversikt over utvikling og forbedringer over tid dokumentere hva vi leverer Vise pasienter, pårørende, ledelse og oss selv hvordan våre tjenester er gi rom for refleksjon Målingene kan hjelpe oss til å reflektere over egen virksomhet og gir grunnlag for egen læring og utvikling.

38

39 Viktig å huske på når du bruker SPC SPC passer ikke til samtidige data Tid må være en faktor det du måler må representere en prosess/noe som skjer over tid Kan ikke brukes hvis det er huller i tidsrekken hvis noen av observasjonene mangler Datapunktene må sorteres i kronologisk rekkefølge Plottes kronologisk etter hendelsesdato, innleggelsesdato, utskrivingsdato, operasjonsdato, klokkeslett etc. Det du måler før og etter endring/i ulike faser - må måles på samme måte

40 Dersom man ikke måler eller forstår variasjon i data kan man bli fristet til å Nekte for at dataene stemmer (passer ikke med ens virkelighetsoppfatning) Se trender som ikke eksisterer Prøve å forklare naturlig variasjon som spesiell variasjon Ansvarliggjøre folk for forhold de ikke har kontroll over Synsing, spekulasjoner, intuisjoner og subjective observasjoner. Kill the messenger!

41 Sannsynlighetstabell for run-diagrammer Antall datapunkter som ikke treffer medianen Nedre grense for antall "run" Øvre grense for antall "run"