MÅLING ANALYSE AV MÅLEDATA VHA SPC

Transkript

1

2 MÅLING ANALYSE AV MÅLEDATA VHA SPC Side 2

3 Hvorfor benytte statistikk? Statistikk: beskrivelse og tolkning av kvantitative data Man kan trekke statistisk sikre konklusjoner basert på måledataene. (Har vi oppnådd en signifikant forbedring?) Gir grunnlag for objektivitet! ( Antakelse er alle feils mor.) Side 3

4 Hvordan vet vi at en endring representerer en forbedring? Noen ganger taler et tidsserie for seg selv Side 4

5 Hvordan vet vi at en endring representerer en forbedring? Noen ganger taler et tidsserie for seg selv Side 5

6 Hvordan vet vi at en endring representerer en forbedring? Andre ganger er tidsserien vanskeligere å tolke og vi har behov for å analysere tidsserien vha statistiske metoder Side 6

7 Side 7

8 Forskning versus forbedringsarbeid I forskning benyttes vanligvis avansert statistikk. krever høy kompetanse i matematikk krever store datamengder I forbedringsarbeid kan man nøye seg med en enklere og visuell form for statistikk. lav brukerterskel krever relativt små datamengder Side 8

9 I kampanjen plottes måledataene i tidsserier. Kan analyseres vha statistisk prosesskontroll (SPC) Side 9

10 Innen SPC benyttes i hovedsak to typer diagrammer Run-diagram (benyttes i Extranet) kun én type, mindre følsomt enn kontrolldiagram median benyttes som midtlinje, ingen kontrollgrenser tidsserien må være på min. 15 pkt (ekskl. pkt på median) Kontrolldiagram (=Shewhart-diagram) en rekke ulike typer for ulike case, mer følsom diagramtype aritmetisk gjennomsnitt benyttes som midtlinje benytter øvre og nedre kontrollgrense (+/-3 standardavvik) tidsserien må være på mellom 20 og 30 pkt Side 10

11 Hva kan SPC hjelpe oss med? Målet med bruk av SPC i forbedringsarbeid er hjelp til å kunne fastslå om en prosess er stabil (forutsigbar) på et akseptabelt nivå og har en akseptabel grad av variasjon Side 11

12 Hva kan SPC hjelpe oss med? Målet med bruk av SPC i forbedringsarbeid er å kunne fastslå at en prosess er stabil (forutsigbar) på et akseptabelt nivå og har en akseptabel grad av variasjon Side 12

13 Verden sett fra statistikkens ståsted (naturlig variasjon vs. unaturlig variasjon) Alt er prosesser Prosesser varierer Naturlig variasjon (common causes) er innebygget i enhver prosess Spesiell variasjon (special causes) skyldes påvirkning av prosessen utenfra Prosesser taler til oss gjennom målinger prosessens stemme Side 13

14 Ett spørsmål vi ønsker å besvare vha SPC er om vår prosess er statistisk stabil Dersom vi kun observerer naturlig variasjon er prosessen statistisk stabil (forutsigbar) Dersom vi observerer spesiell variasjon regnes prosessen som ustabil (uforutsigbar) ønsket (i første fase av forbedringsarbeid) uønsket Side 14

15 Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus A Side 15

16 Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus B Side 16

17 Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus C Side 17

18 Gjennomsnittlig liggetid for de tre foregående sykehusene (merk deg at denne formen for statistikk ikke kan fortelle deg om prosessene er stabile eller ikke) Side 18

19 En tidsserie der vi har plottet en median kaller vi et run-diagram Median: En horisontal linje som deler tallmaterialet i to like store deler Må ha minst 12 datapunkter før median kan plottes (15 pkt første gang, eksklusive punkter på medianen) Side 19

20 Måledata plottet i en tidsserie i Extranet Side 20

21 Måledata plottet i en tidsserie i Extranet Side 21

22 Samme tidsserie med medianen plottet inn Side 22

23 Samme tidsserie på et senere tidspunkt Side 23

24 Når kan det være grunnlag for å opprette en ny median? Diagrammer bør splittes ved at det opprettes en ny median både der det er opphold i målingene, og der det skjer grunnleggende endringer i prosessen Side 24

25 Side 25

26 Eksempel på tilfeldig variasjon: Myntkast Side 26

27 I SPC-diagram ser vi etter målepunkter som kan tyde på spesiell variasjon Vi benytter 3 enkle tester for å sjekke om spesiell variasjon er tilstede i prosessen vår antall ganger grafen krysser medianen (+1) nivåskifte i prosessen trend i tillegg må vi være obs på eventuelle åpenbart avvikende punkt Side 27

28 Test 1 antall ganger grafen krysser medianen - tell opp antall ganger grafen krysser medianen + 1 (men ikke ta med ev. punkter som ligger på medianen) - øvre og nedre grenseverdi kan man finne i en standardtabell, og de variere med ant pkt i tidsserien Side 28

29 Tabell som angir det forventede antall krysninger + 1 av medianen i et run-diagram i forhold til antall punkter i tidsserien (kilde: F. Sweed and C. Eisenhart) Side 29

30 Test 2 nivåskifte i prosessen uvanlig mange pkt på samme side av medianen (8++), eksklusive eventuelle punkter på medianen vanlig å benytte grensen 7++ dersom tidsserien består av 20 eller færre punkter Side 30

31 Test 3 trend uvanlig lang serie av etterfølgende punkter (7++) med økende eller synkende verdier (punkter med samme verdi som det foregående skal ikke telles med) Side 31

32 Tidsseriediagram for OUS: Baseline + 3 måneder Side 32

33 Tidsseriediagram for OUS: Kun baseline Side 33

34 baseline 34

35 Side 35

36 Side 36

37 Side 37

38 Side 38

39 3 oppgaver å bryne din SPC-kunnskap på! Side 39

40 Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus A (det er 30 pkt i tidsserien) Side 40

41 Sykehus A: Spesiell variasjon tilstede her har man en ustabil prosess! I dette eksemplet slår alle tre tester inn: for få krysninger av medianen: kun 3 krysninger til tross for at tidsserien inneholder 30 pkt. (sjekkverdien blir 3+1=4: ø.g. for 30 pkt er 21 og n.g. er 11) nivåskifte i prosessen: for mange pkt på samme side av (grensen overskrides ved 8++) trend: uvanlig lang serie av etterfølgende stigende/synkende punkter (overskrides ved 7++) Liggetiden øker så denne spesielle variasjonen er uønsket, prosessen går i negativ retning. (Hadde dette vært en del av et vellykket forbedringsarbeid ville grafen pekt nedover.) Side 41

42 Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus B (det er 30 pkt i tidsserien) Side 42

43 Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus B (det er 30 pkt i tidsserien) Side 43

44 Sykehus B: Spesiell variasjon tilstede her har man en ustabil prosess! I dette eksemplet slår én av tre tester inn Nivåskifte i prosessen: 9 pkt på samme side av medianen er for mange (grensen overskrides ved 8) Den spesielle variasjonen er muligens ønsket, da det her har skjedd noe som har fått liggetiden ned som jo er det ønskede mål. Men i etterkant av dette ser vi av grafen at datapunktene igjen ligger på oversiden av medianen, så her har man ikke i mål med forbedringsprosessen Side 44

45 Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus C (det er 30 pkt i tidsserien) Side 45

46 Sykehus C: Ingen tegn til spesiell variasjon her har man en stabil prosess! Tidsserien inneholder mange krysninger av medianen. En opptelling gir sjekkverdien 20 (19 krysninger + 1) som er innenfor grenseverdiene angitt i standardtabell for en tidsserie bestående av 30 pkt (øvre grenseverdi for en tidsserie på 30 pkt er 21 og nedre grenseverdi er 11). I dette eksemplet slår ingen av våre tre tester inn, så statistisk sett er prosessen stabil. Men selv om vi har en stabil prosess er det ikke dermed sagt at man er fornøyd med nivået (ca 3 liggedager) og kanskje er variasjonen også større enn ønsket Side 46

47 Statistisk prosesskontroll i et nøtteskall Målet med bruk av SPC i forbedringsarbeid er å kunne fastslå at en prosess er stabil (forutsigbar) på et akseptabelt nivå og har en akseptabel grad av variasjon Side 47

48 Statistisk prosesskontroll i et nøtteskall SPC er et statistisk verktøy som, på en objektiv måte, kan hjelpe oss til å forstå fortiden forutsi fremtiden handle i nåtid Side 48

49

50 Hvordan vet vi at en endring er en forbedring? Dødelighet ved coronar by-pass kirurgi før og etter endret prosedyre (Ved å presentere årsgjennomsnittet i form av søylediagram gir vi et statisk bilde av situasjonen) Side 50

51 Førte den nye prosedyren til en prosessforbedring? Endringen på 20 % reduksjon i dødelighet er klinisk signifikant... men er den også statistisk signifikant var prosessen stabil? Benytt statistisk prosesskontroll til å undersøke om prosessen var stabil (forutsigbar). Stabiliteten kan sjekkes ved å plotte de månedlige dødelighetsratene i en tidsserie Side 51

52 Hvordan vet vi at en endring er en forbedring? Dødelighet ved coronar by-pass kirurgi før og etter endret prosedyre (Ved å plotte de månedlige dataene i en tidsserie får vi et mer dynamisk bilde av situasjonen) Side 52

53 Hvordan vet vi at en endring er en forbedring? Dødelighet ved coronar by-pass kirurgi før og etter endret prosedyre (Ved å plotte de månedlige dataene i en tidsserie får vi et mer dynamisk bilde av situasjonen) Side 53

54 Førte den nye prosedyren til en prosessforbedring? Bedringen vi observerer i søylediagrammet skyldes ikke den nye prosedyren, den har sågar kanskje hatt en negativ effekt! Hva vi kan lære av dette eksemplet: Aggregerte data kan noen ganger lede oss til gale konklusjoner Tidsserier er å foretrekke i forbedringsarbeid gir som oftest mer og riktigere informasjon Hovedtese: Gå tettere på prosessen! Side 54