Hvordan analysere måledata vha statistisk prosesskontroll? 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 2

Hvordan vet vi at en endring er en forbedring? Dødelighet ved coronar by-pass kirurgi før og etter endret prosedyre (Ved å presentere årsgjennomsnittet gir vi et statisk bilde av situasjonen) 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 3

Førte den nye prosedyren til en prosessforbedring? Endringen på 20 % reduksjon i dødelighet er klinisk signifikant... men er den også statistisk signifikant var prosessen stabil? Benytt statistisk prosesskontroll til å undersøke om prosessen var stabil (forutsigbar). Stabiliteten kan sjekkes ved f.eks. å plotte de månedlige dødelighetsratene i et run-diagram 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 4

Hvordan vet vi at en endring er en forbedring? Dødelighet ved coronar by-pass kirurgi før og etter endret prosedyre (Ved å plotte de månedlige dataene i en tidsserie får vi et mer dynamisk bilde av situasjonen) 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 5

Førte den nye prosedyren til en prosessforbedring? Bedringen vi observerer i søylediagrammet skyldes ikke den nye prosedyren, den har sågar kanskje hatt en negativ effekt! Hva vi kan lære av dette eksemplet: Aggregerte data kan noen ganger lede oss til gale konklusjoner Tidsserier er å foretrekke i forbedringsarbeid gir som oftest mer og riktigere informasjon Hovedtese: Gå tettere på prosessen! 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 6

Datainnsamling tre innfallsvinkler (kilde: Solberg et al., Jt Comm J Qual Improv. 1997 Mar;23(3):135-47.) Forskning Forbedring Kontroll Formål Skape ny viten Implementere eksisterende viten Dokumentere, bedømme og sammelikne Hypotese Statisk Dynamisk Ingen hypotese Variasjon Kontrollér Studér Justér Stikkprøve Stor Liten Ingen stikkprøve Målehyppighet En eller få målinger Dager, uker, måneder Kvartaler, år Statistiske metoder Komparative metoder (t-test, chi2, regresjon, ) Prosessanalyse (statistisk prosesskontroll) Deskriptive metoder (gjennomsnitt, spredning, ) 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 7

Forskning versus forbedringsarbeid I forskning benyttes vanligvis avansert statistikk. krever høy statistikkompetanse krever store datamengder I forbedringsarbeid kan man nøye seg med en enklere form for statistikk. I pasientsikkerhetskampanjen benytter vi statistisk prosesskontroll (SPC) til å analysere våre måledata 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 8

En introduksjon til statistisk prosesskontroll med vekt på bruk av run-diagram 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 9

Vi kan analysere en prosess mht kvalitet ved å måle og plotte en kvalitetsindikator med en fast tidsfrekvens (time, dag, uke, eller pre måned) 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 10

Statistisk prosesskontroll (SPC) Data framstilles visuelt og enkelt Lav brukerterskel (ved enkel bruk av SPC) Velegnet statistisk verktøy i forbedringsarbeid Vi kan kjapt trekke statistisk sikre konklusjoner selv med små datamengder Det er mulig å trekke statistisk sikre konklusjoner på grunnlag av ganske få observasjoner dersom observasjonene utgjør en tidsserie. SPC is pragmatic science (Paul Plsek, IHI) 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 11

Verden sett fra statistikkens ståsted Alt er prosesser Prosesser varierer naturlig variasjon (common causes) er innebygget i enhver prosess spesiell variasjon (special causes) skyldes påvirkning av prosessen utenfra Prosesser taler til oss gjennom målinger prosessens stemme 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 12

Det vi ønsker å få svar på vha SPC er om vår prosess er statistisk stabil Dersom vi kun observerer naturlig variasjon er prosessen statistisk stabil (forutsigbar) Dersom vi observerer spesiell variasjon regnes prosessen som ustabil (uforutsigbar) Obs: Spesiell variasjon kan være både ønsket (f.eks. i et forbedringsarbeid hvor vi er på vei mot et nytt mål) og uønsket (f.eks. Dent-o-sept skandalen). 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 13

Naturlig eller spesiell variasjon? Case: Liggetid på sykehus A 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 14

Naturlig eller spesiell variasjon? Case: Liggetid på sykehus B 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 15

Naturlig eller spesiell variasjon? Case: Liggetid på sykehus C 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 16

Gjennomsnittlig liggetid for de tre sykehusene (merk deg at denne formen for statistikk ikke kan fortelle deg om prosessene er stabile eller ikke) 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 17

En tidsserie der vi har plottet en median kaller vi et run-diagram Median: En horisontal linje som deler tallmaterialet i to like store deler Må ha minst 12 datapunkter før median kan plottes (15 pkt første gang, eksklusive punkter på medianen) 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 18

Måledata plottet i en tidsserie i Extranet 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 19

Måledata plottet i en tidsserie i Extranet 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 20

Samme tidsserie med medianen plottet inn 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 21

Samme tidsserie på et senere tidspunkt 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 22

Når kan det være grunnlag for å opprette en ny median? Diagrammer bør splittes ved at det opprettes en ny median både der det er opphold i målingene, og der det skjer grunnleggende endringer i prosessen. 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 23

14.02.2013 - www.pasientsikkerhetskampanjen.no Side 24

I SPC kan vi benytte et run-diagram til å undersøke om vår prosess er stabil Kjennetegn på en stabil prosess: Ved kun naturlig variasjon tilstede i en prosess vil datapunktene i tidsserien fordele seg tilfeldig rundt medianen Med tilfeldig mener vi at vi på forhånd ikke kan vite på hvilken side av medianen det neste datapunktet vil falle, men at sannsynligheten for begge utfall er like stor (dvs. 50 %) 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 25

I SPC ser vi etter datapunkter som kan tyde på spesiell variasjon Vi benytter 3 enkle tester for å sjekke om spesiell variasjon er tilstede i prosessen vår antall ganger grafen krysser medianen nivåskifte i prosessen trend 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 26

Test 1 antall ganger grafen krysser medianen grenseverdiene (øvre og nedre grense) angitt i en standardtabell, variere med antall pkt i tidsserien, vi teller opp antall ganger grafen krysser medianen + 1 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 27

Test 1, slik den refereres til i litteraturen for få eller for mange punktserier ( runs ) grenseverdiene (øvre og nedre grense) angitt i en standardtabell, variere med antall pkt i tidsserien [ run = ett, eller flere etterfølgende punkter, på samme side av medianen, der punkter på medianen skal ignoreres. Men det er enklere å heller tenke antall krysninger av median + 1 ] 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 28

Test 2 nivåskifte i prosessen uvanlig mange pkt på samme side av medianen (8++), eksklusive eventuelle punkter på medianen vanlig å benytte grensen 7++ dersom tidsserien består av 20 eller færre punkter 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 29

Test 3 trend uvanlig lang serie av etterfølgende punkter (7++) med økende eller synkende verdier (punkter med samme verdi som det foregående skal ikke telles med) 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 30

Naturlig eller spesiell variasjon? Case: Liggetid på sykehus A 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 32

Sykehus A har en ustabil prosess I dette eksemplet slår alle tre tester inn: for få krysninger av medianen: kun 3 krysninger til tross for at tidsserien inneholder 30 pkt. (sjekktallet blir 3+1=4) nivåskifte i prosessen: for mange pkt på samme side av medianen (grensen overskrides ved 8++) trend: uvanlig lang serie av etterfølgende stigende/synkende punkter (overskrides ved 7++) Liggetiden øker så denne spesielle variasjonen er uønsket, prosessen går i negativ retning. (Hadde dette vært en del av et vellykket forbedringsarbeid hadde jo grafen pekt 14.02.2013 nedover.) - www.pasientsikkerhetskampanjen.no Side 33

Sykehus B har en ustabil prosess I dette eksemplet slår én av tre tester inn nivåskifte i prosessen: 9 pkt på samme side av medianen er for mange (grensen overskrides ved 8++) Denne spesielle variasjonen er muligens ønsket, da det her har skjedd noe som har fått liggetiden ned som jo er vårt ønskede mål. Men i etterkant av dette ser vi av grafen at datapunktene igjen ligger på oversiden av medianen, så her har man ikke i mål med forbedringsprosessen. 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 36

Walberg et al 2008 37

Naturlig eller spesiell variasjon? Case: Liggetid på sykehus C 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 38

Sykehus C: Ingen tegn til spesiell variasjon her har man en stabil prosess! I dette eksemplet slår ingen av våre 3 tester inn, så statistisk sett er prosessen stabil. Tidsserien inneholder mange krysninger av medianen. En opptelling gir tallet 20 (19 krysninger + 1) som er innenfor grenseverdiene angitt i standardtabell for en tidsserie bestående av 30 pkt: Øvre grenseverdi for en tidsserie på 30 pkt er 21 runs og nedre verdi er 11, se neste slide. Obs. Selv om vi har en stabil prosess er det ikke dermed sagt at man er fornøyd med nivået (ca 3 liggedager) og kanskje er variasjonen også større enn ønsket. 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 39

Sannsynlighetstabell for antall forventede runs i et run-diagram i forhold til antall pkt i tidsserien (kilde: F. Sweed and C. Eisenhart) Antall datapunkter som ikke treffer medianen Nedre grense for antall "run" Øvre grense for antall "run" 14 4 11 15 4 12 16 5 12 17 5 13 18 6 13 19 6 14 20 6 15 21 7 15 22 7 16 23 8 16 24 8 17 25 9 17 26 9 18 27 9 19 28 10 19 29 10 20 30 11 21 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 40

Statistisk prosesskontroll i et nøtteskall Målet med bruk av SPC i forbedringsarbeid er å kunne fastslå at en prosess er stabil (forutsigbar) på et akseptabelt nivå og har en akseptabel grad av variasjon 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 41

Statistisk prosesskontroll i et nøtteskall SPC er et statistisk verktøy som, på en objektiv måte, kan hjelpe oss til å forstå fortiden forutsi fremtiden handle i nåtid Side 42

post@pasientsikkerhetskampanjen.no www.pasientsikkerhetskampanjen.no

Ekstra stoff Prosesser med sjeldne hendelser må plottes på eget vis: dager mellom hendelser 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 44

G-diagram : Dager mellom hendelser Et kontrolldiagram for sjeldne hendelser 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 46

Dent-o-sept epidemien vinteren 2001-2002 - kontaminerte munnpensler spredt rundt på avdelinger i Norge 71 av pasientene med utbruddsstammen døde mens de var innlagt på sykehus. Dersom Rikshospitalet hadde benyttet metoden statistisk prosesskontroll kunne man ha slått alarm om pseudomonasinfeksjoner enda tidligere enn Folkehelseinstituttet. Monitorert med G-diagram kunne nivåskiftet i antall pseudomonas-infeksjoner vært oppdaget 11. jan. 2002, 3 uker før utbruddet ble oppdaget ved tradisjonelle metoder, og 9 uker før målingene ble identifisert som et nasjonalt utbrudd. Walberg, Mette, Frøslie, Kathrine Frey, Røislien, Jo. Local Hospital Perspective on a Nationwide outbreak of Pseudomonas Aeroginosa in Norway. Infection Control and hospital epidemiology 2008; 29: 635-41. 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 48

Walberg et al 2008 49

T.o.: I forbindelse med SPC benyttes i hovedsak to typer diagrammer Run-diagram (tilgjengelig i Extranet) Krever en tidsserie på minimum 15 pkt (ekskl. pkt på median) Benytter median og ingen kontrollgrenser Finnes som kun én type Kontrolldiagram (f.eks. tilgjengelig fra epidata.dk) Krever en tidsserie på 20 til 30 pkt Benytter gjennomsnitt og øvre og nedre kontrollgrense (+/-3 standardavvik) Det finnes en rekke ulike typer kontrolldiagram (eks. P-, G- og I-diagram) velges etter gitte regler for ulike case. Høyere brukerterskel! Mer følsomt enn run-diagram 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 50

Eksempel på bruk av kontrolldiagram (Dette er samme tidsserie som vi så på tidligere ifm run-diagram) 14.02.2013 - www.pasientsikkerhetskampanjen.no Side 51