Hvordan analysere måledata vha statistisk prosesskontroll? Side 2

Transkript

1

2 Hvordan analysere måledata vha statistisk prosesskontroll? Side 2

3 Hvordan vet vi at en endring er en forbedring? Dødelighet ved coronar by-pass kirurgi før og etter endret prosedyre (Ved å presentere årsgjennomsnittet gir vi et statisk bilde av situasjonen) Side 3

4 Førte den nye prosedyren til en prosessforbedring? Endringen på 20 % reduksjon i dødelighet er klinisk signifikant... men er den også statistisk signifikant var prosessen stabil? Benytt statistisk prosesskontroll til å undersøke om prosessen var stabil (forutsigbar). Stabiliteten kan sjekkes ved f.eks. å plotte de månedlige dødelighetsratene i et run-diagram Side 4

5 Hvordan vet vi at en endring er en forbedring? Dødelighet ved coronar by-pass kirurgi før og etter endret prosedyre (Ved å plotte de månedlige dataene i en tidsserie får vi et mer dynamisk bilde av situasjonen) Side 5

6 Førte den nye prosedyren til en prosessforbedring? Bedringen vi observerer i søylediagrammet skyldes ikke den nye prosedyren, den har sågar kanskje hatt en negativ effekt! Hva vi kan lære av dette eksemplet: Aggregerte data kan noen ganger lede oss til gale konklusjoner Tidsserier er å foretrekke i forbedringsarbeid gir som oftest mer og riktigere informasjon Hovedtese: Gå tettere på prosessen! Side 6

7 Datainnsamling tre innfallsvinkler (kilde: Solberg et al., Jt Comm J Qual Improv Mar;23(3): ) Forskning Forbedring Kontroll Formål Skape ny viten Implementere eksisterende viten Dokumentere, bedømme og sammelikne Hypotese Statisk Dynamisk Ingen hypotese Variasjon Kontrollér Studér Justér Stikkprøve Stor Liten Ingen stikkprøve Målehyppighet En eller få målinger Dager, uker, måneder Kvartaler, år Statistiske metoder Komparative metoder (t-test, chi2, regresjon, ) Prosessanalyse (statistisk prosesskontroll) Deskriptive metoder (gjennomsnitt, spredning, ) Side 7

8 Forskning versus forbedringsarbeid I forskning benyttes vanligvis avansert statistikk. krever høy statistikkompetanse krever store datamengder I forbedringsarbeid kan man nøye seg med en enklere form for statistikk. I pasientsikkerhetskampanjen benytter vi statistisk prosesskontroll (SPC) til å analysere våre måledata Side 8

9 En introduksjon til statistisk prosesskontroll med vekt på bruk av run-diagram Side 9

10 Vi kan analysere en prosess mht kvalitet ved å måle og plotte en kvalitetsindikator med en fast tidsfrekvens (time, dag, uke, eller pre måned) Side 10

11 Statistisk prosesskontroll (SPC) Data framstilles visuelt og enkelt Lav brukerterskel (ved enkel bruk av SPC) Velegnet statistisk verktøy i forbedringsarbeid Vi kan kjapt trekke statistisk sikre konklusjoner selv med små datamengder Det er mulig å trekke statistisk sikre konklusjoner på grunnlag av ganske få observasjoner dersom observasjonene utgjør en tidsserie. SPC is pragmatic science (Paul Plsek, IHI) Side 11

12 Verden sett fra statistikkens ståsted Alt er prosesser Prosesser varierer naturlig variasjon (common causes) er innebygget i enhver prosess spesiell variasjon (special causes) skyldes påvirkning av prosessen utenfra Prosesser taler til oss gjennom målinger prosessens stemme Side 12

13 Det vi ønsker å få svar på vha SPC er om vår prosess er statistisk stabil Dersom vi kun observerer naturlig variasjon er prosessen statistisk stabil (forutsigbar) Dersom vi observerer spesiell variasjon regnes prosessen som ustabil (uforutsigbar) Obs: Spesiell variasjon kan være både ønsket (f.eks. i et forbedringsarbeid hvor vi er på vei mot et nytt mål) og uønsket (f.eks. Dent-o-sept skandalen) Side 13

14 Naturlig eller spesiell variasjon? Case: Liggetid på sykehus A Side 14

15 Naturlig eller spesiell variasjon? Case: Liggetid på sykehus B Side 15

16 Naturlig eller spesiell variasjon? Case: Liggetid på sykehus C Side 16

17 Gjennomsnittlig liggetid for de tre sykehusene (merk deg at denne formen for statistikk ikke kan fortelle deg om prosessene er stabile eller ikke) Side 17

18 En tidsserie der vi har plottet en median kaller vi et run-diagram Median: En horisontal linje som deler tallmaterialet i to like store deler Må ha minst 12 datapunkter før median kan plottes (15 pkt første gang, eksklusive punkter på medianen) Side 18

19 Måledata plottet i en tidsserie i Extranet Side 19

20 Måledata plottet i en tidsserie i Extranet Side 20

21 Samme tidsserie med medianen plottet inn Side 21

22 Samme tidsserie på et senere tidspunkt Side 22

23 Når kan det være grunnlag for å opprette en ny median? Diagrammer bør splittes ved at det opprettes en ny median både der det er opphold i målingene, og der det skjer grunnleggende endringer i prosessen Side 23

24 Side 24

25 I SPC kan vi benytte et run-diagram til å undersøke om vår prosess er stabil Kjennetegn på en stabil prosess: Ved kun naturlig variasjon tilstede i en prosess vil datapunktene i tidsserien fordele seg tilfeldig rundt medianen Med tilfeldig mener vi at vi på forhånd ikke kan vite på hvilken side av medianen det neste datapunktet vil falle, men at sannsynligheten for begge utfall er like stor (dvs. 50 %) Side 25

26 I SPC ser vi etter datapunkter som kan tyde på spesiell variasjon Vi benytter 3 enkle tester for å sjekke om spesiell variasjon er tilstede i prosessen vår antall ganger grafen krysser medianen nivåskifte i prosessen trend Side 26

27 Test 1 antall ganger grafen krysser medianen grenseverdiene (øvre og nedre grense) angitt i en standardtabell, variere med antall pkt i tidsserien, vi teller opp antall ganger grafen krysser medianen Side 27

28 Test 1, slik den refereres til i litteraturen for få eller for mange punktserier ( runs ) grenseverdiene (øvre og nedre grense) angitt i en standardtabell, variere med antall pkt i tidsserien [ run = ett, eller flere etterfølgende punkter, på samme side av medianen, der punkter på medianen skal ignoreres. Men det er enklere å heller tenke antall krysninger av median + 1 ] Side 28

29 Test 2 nivåskifte i prosessen uvanlig mange pkt på samme side av medianen (8++), eksklusive eventuelle punkter på medianen vanlig å benytte grensen 7++ dersom tidsserien består av 20 eller færre punkter Side 29

30 Test 3 trend uvanlig lang serie av etterfølgende punkter (7++) med økende eller synkende verdier (punkter med samme verdi som det foregående skal ikke telles med) Side 30

31 Side 31

32 Naturlig eller spesiell variasjon? Case: Liggetid på sykehus A Side 32

33 Sykehus A har en ustabil prosess I dette eksemplet slår alle tre tester inn: for få krysninger av medianen: kun 3 krysninger til tross for at tidsserien inneholder 30 pkt. (sjekktallet blir 3+1=4) nivåskifte i prosessen: for mange pkt på samme side av medianen (grensen overskrides ved 8++) trend: uvanlig lang serie av etterfølgende stigende/synkende punkter (overskrides ved 7++) Liggetiden øker så denne spesielle variasjonen er uønsket, prosessen går i negativ retning. (Hadde dette vært en del av et vellykket forbedringsarbeid hadde jo grafen pekt nedover.) - Side 33

34 Naturlig eller spesiell variasjon? Case: Liggetid på sykehus B Side 34

35 Naturlig eller spesiell variasjon? Case: Liggetid på sykehus B Side 35

36 Sykehus B har en ustabil prosess I dette eksemplet slår én av tre tester inn nivåskifte i prosessen: 9 pkt på samme side av medianen er for mange (grensen overskrides ved 8++) Denne spesielle variasjonen er muligens ønsket, da det her har skjedd noe som har fått liggetiden ned som jo er vårt ønskede mål. Men i etterkant av dette ser vi av grafen at datapunktene igjen ligger på oversiden av medianen, så her har man ikke i mål med forbedringsprosessen Side 36

37 Walberg et al

38 Naturlig eller spesiell variasjon? Case: Liggetid på sykehus C Side 38

39 Sykehus C: Ingen tegn til spesiell variasjon her har man en stabil prosess! I dette eksemplet slår ingen av våre 3 tester inn, så statistisk sett er prosessen stabil. Tidsserien inneholder mange krysninger av medianen. En opptelling gir tallet 20 (19 krysninger + 1) som er innenfor grenseverdiene angitt i standardtabell for en tidsserie bestående av 30 pkt: Øvre grenseverdi for en tidsserie på 30 pkt er 21 runs og nedre verdi er 11, se neste slide. Obs. Selv om vi har en stabil prosess er det ikke dermed sagt at man er fornøyd med nivået (ca 3 liggedager) og kanskje er variasjonen også større enn ønsket Side 39

40 Sannsynlighetstabell for antall forventede runs i et run-diagram i forhold til antall pkt i tidsserien (kilde: F. Sweed and C. Eisenhart) Antall datapunkter som ikke treffer medianen Nedre grense for antall "run" Øvre grense for antall "run" Side 40

41 Statistisk prosesskontroll i et nøtteskall Målet med bruk av SPC i forbedringsarbeid er å kunne fastslå at en prosess er stabil (forutsigbar) på et akseptabelt nivå og har en akseptabel grad av variasjon Side 41

42 Statistisk prosesskontroll i et nøtteskall SPC er et statistisk verktøy som, på en objektiv måte, kan hjelpe oss til å forstå fortiden forutsi fremtiden handle i nåtid Side 42

43

44 Ekstra stoff Prosesser med sjeldne hendelser må plottes på eget vis: dager mellom hendelser Side 44

45 Side 45

46 G-diagram : Dager mellom hendelser Et kontrolldiagram for sjeldne hendelser Side 46

47 Side 47

48 Dent-o-sept epidemien vinteren kontaminerte munnpensler spredt rundt på avdelinger i Norge 71 av pasientene med utbruddsstammen døde mens de var innlagt på sykehus. Dersom Rikshospitalet hadde benyttet metoden statistisk prosesskontroll kunne man ha slått alarm om pseudomonasinfeksjoner enda tidligere enn Folkehelseinstituttet. Monitorert med G-diagram kunne nivåskiftet i antall pseudomonas-infeksjoner vært oppdaget 11. jan. 2002, 3 uker før utbruddet ble oppdaget ved tradisjonelle metoder, og 9 uker før målingene ble identifisert som et nasjonalt utbrudd. Walberg, Mette, Frøslie, Kathrine Frey, Røislien, Jo. Local Hospital Perspective on a Nationwide outbreak of Pseudomonas Aeroginosa in Norway. Infection Control and hospital epidemiology 2008; 29: Side 48

49 Walberg et al

50 T.o.: I forbindelse med SPC benyttes i hovedsak to typer diagrammer Run-diagram (tilgjengelig i Extranet) Krever en tidsserie på minimum 15 pkt (ekskl. pkt på median) Benytter median og ingen kontrollgrenser Finnes som kun én type Kontrolldiagram (f.eks. tilgjengelig fra epidata.dk) Krever en tidsserie på 20 til 30 pkt Benytter gjennomsnitt og øvre og nedre kontrollgrense (+/-3 standardavvik) Det finnes en rekke ulike typer kontrolldiagram (eks. P-, G- og I-diagram) velges etter gitte regler for ulike case. Høyere brukerterskel! Mer følsomt enn run-diagram Side 50

51 Eksempel på bruk av kontrolldiagram (Dette er samme tidsserie som vi så på tidligere ifm run-diagram) Side 51