Hvordan kan målinger bidra til forbedring? Side 2

Transkript

1

2 Hvordan kan målinger bidra til forbedring? Side 2

3 KORTVERSJONEN AV «HVA SKAL TIL FOR Å LYKKES MED MÅLINGER»: Forbedringsteamet må måle regelmessig og studere og analysere egne måledata. NB! Husk at resultatene skal knyttes til forbedringsarbeidet Side 3

4 MÅLINGER ~ KAN HA TRE ULIKE FORMÅL Side 4

5 Side 5

6 Side 6

7 Side 7

8 FORSKEREN «Hva er den beste behandlingen?» FORBEDRINGSAGENTEN «Hvordan går vi frem for å gi den beste behandlingen til alle våre pasienter?» KONTROLLØREN: «Lever avdelingen opp til standarden?» Side 8

9 The Three Faces of Performance Measurement: Improvement, Accountability, and Research Solberg et al., Joint Commission Journal on Quality Improvement. Mar 1997;23(3): Forskning Forbedring Kontroll Formål Skape ny viten Implementere eksisterende viten Dokumentere, bedømme og sammenlikne Hypotese Statisk Dynamisk Ingen hypotese Variasjon Kontrollér Studér Justér Stikkprøve Stor Liten Ingen stikkprøve Målehyppighet En eller få målinger Dager, uker, måneder Kvartaler, år Statistiske metoder Komparative metoder (t-test, chi2, regresjon, ) Prosessanalyse (statistisk prosesskontroll) Deskriptive metoder (gjennomsnitt, spredning, ) Side 9

10 HVORFOR MÅLE? Side 10

11 Vi ønsker å. vite om tiltak skaper forbedring Hensikten med målingene som inngår i kampanjen er å gi oversikt over utvikling og forbedringer over tid ved den enkelte enhet etter implementering av tiltakspakken Side 11

12 MÅL MÅLINGER TILTAK (ENDRINGER) Act Plan Study Do

13 MÅL MÅLINGER TILTAK (ENDRINGER) Act Plan Study Do

14 MÅL Hvordan vet vi at en endring er en forbedring? TILTAK (ENDRINGER) Act Plan Study Do

15 Forskning viser at målinger er avgjørende i forbedringsarbeid, også i helsetjenesten «Measurements are absolutely essential to efforts for improving the processes of medical care» (Solberg et al., Jt Comm J Qual Improv Mar;23(3): ) Side 15

16 Florence Nightingale påpekte allerede på 1800-tallet at målinger må til i kvalitetsarbeid «The ultimate goal is to manage quality. But you cannot manage it until you have a way to measure it, and you cannot measure it until you can monitor it.» Side 16

17 Vi ønsker å. vite om tiltak skaper forbedring Hensikten med målingene som inngår i kampanjen er å gi oversikt over utvikling og forbedringer over tid ved den enkelte enhet etter implementering av tiltakspakkene. dokumentere hva vi leverer Vise pasienter, pårørende, ledelse og oss selv hvordan våre tjenester er Side 17

18 «Antakelse» er alle feils mor Side 18

19 Side 19

20 Vi ønsker å. vite om tiltak skaper forbedring Hensikten med målingene som inngår i kampanjen er å gi oversikt over utvikling og forbedringer over tid ved den enkelte enhet etter implementering av tiltakspakkene. dokumentere hva vi leverer Vise brukere, pårørende, ledelse og oss selv hvordan våre tjenester er. gi rom for refleksjon Målingene kan hjelpe oss til å reflektere over egen virksomhet og gi grunnlag for egen læring og utvikling Side 20

21 Læringsnettverk legemiddelbruk, Vest-Agder Et utvalg sitater hentet fra sluttrapporten, 2013 Det er større bevissthet rundt hvilke legemidler som gis. Mer fokus på virkning/bivirkning av medikamenter. Økt kunnskap og bevisstgjøring av medisineringens bakside hos sykepleierne. De som deler ut medisiner føler seg mer trygg fordi de kan svare på hva medisinen er god for. fører til at pårørende opplever at deres nærmeste blir tatt på alvor. dette har vi nok alltid gjort men tingene blir bedre og rettere dokumentert nå Side 21

22 Å lære av egne data «De som behandler pasienter må følge med på og forsøke å lære av egne data for å bedre de tjenester de gir» [Raymond G. Carey (2002)] Side 22

23 Side 23

24 Målinger er til stor hjelp når vi ønsker å. vite om tiltak skaper forbedring Hensikten med målingene som inngår i kampanjen er å gi oversikt over utvikling og forbedringer over tid ved den enkelte enhet etter implementering av tiltakspakkene. dokumentere hva vi leverer Vise pasienter, pårørende, ledelse og oss selv hvordan våre tjenester er. gi rom for refleksjon Målingene kan hjelpe oss til å reflektere over egen virksomhet og gi grunnlag for egen læring og utvikling Side 25

25 samlet sett dreier alt dette seg om å gi den enkelte pasient best mulig behandling! Pasienten Hans Andersen Side 26

26 HVA SKAL MÅLES, OG HVORDAN? Side 27

27 Hvordan måle kvalitet? Det er ikke mulig å finne ett objektivt mål på kvalitet, men ved å benytte et sett med kvalitetsindikatorer kan man danne seg et godt bilde av situasjonen. To hyppig benyttede indikatortyper er: Prosessindikatorer Belyser i hvilken grad klinisk praksis er i samsvar med ønsket praksis (dvs. i hvor stor grad et tiltak gjennomføres, f.eks. «sjekklistebruk») Side 28

28 Våre fire prosessindikatorer for innsatsområdet «Riktig legemiddelbruk i sykehjem» Andel langtidspasienter som har hatt LMG siste halvår Andel pasienter med dokumentert legemiddelrelatert oppfølgingsplan i EPJ Andel legemidler med indikasjon oppført bak forskrivning Gjennomsnittlig antall faste legemidler med ATC-kode (valgfri) Side 29

29 Hvordan måle kvalitet? Det er ikke mulig å finne ett objektivt mål på kvalitet, men ved å benytte et sett med kvalitetsindikatorer kan man danne seg et godt bilde av situasjonen. To hyppig benyttede indikatortyper er: Prosessindikatorer Belyser i hvilken grad klinisk praksis er i samsvar med ønsket praksis (f.eks. i hvor stor grad et tiltak gjennomføres) Resultatindikatorer Belyser utfallet for pasientene de helsemessige effekter av behandlingen (f.eks. overlevelse, fallrate, antall dager mellom trykksår) Side 30

30 Resultatindikatorer er ikke alltid tilgjengelige og per i dag har vi dessverre ingen for sykehjem Forbedringsarbeid er evidensbasert endring av praksis. Det er ikke et eksperiment som skal bevise verdien av et tiltak. Noen ganger må vi derfor starte uten å ha et godt resultatmål, og ofte før målingene er stabile. Det kan også ta lang tid før vi kan måle resultater av arbeidet vårt. Derfor bør vi også ha minst ett mål for prosessen Side 31

31 Vi kan analysere en prosess mht kvalitet ved å plotte en kvalitetsindikator kronologisk i en tidsserie med en fast frekvens Side 32

32 Nok et eksempel på en kvalitetsindikator plottet kronologisk i en tidsserie med en fast frekvens («Bruk av sjekkliste for kirurgi») Side 33

33 Overordnet målestrategi 1. Velge kvalitetsindikatorer + opprette respektive målinger Side 34

34 Overordnet målestrategi 1. Velge kvalitetsindikatorer + opprette respektive målinger 2. Utarbeide plan for datainnsamling Side 35

35 Overordnet målestrategi 1. Velge kvalitetsindikatorer + opprette respektive målinger 2. Utarbeide plan for datainnsamling 3. Samle inn og presentere måledata Side 36

36 Side 37

37 Side 38

38 Side 39

39 Side 40

40 Tavlemøte ved Vestfold Sykehus Side 41

41 Overordnet målestrategi 1. Velge kvalitetsindikatorer + opprette respektive målinger 2. Utarbeide plan for datainnsamling 3. Samle inn og presentere måledata 4. Analysere måledataene for hver indikator Side 42

42 Overordnet målestrategi 1. Velge kvalitetsindikatorer + opprette respektive målinger 2. Utarbeide plan for datainnsamling 3. Samle inn og presentere måledata 4. Analysere måledataene for hver indikator 5. Hvordan går det? Koble analyseresultatene til eget forbedringsarbeid forstå dine tall! Side 43

43 Side 44

44 Overordnet målestrategi 1. Velge kvalitetsindikatorer + opprette respektive målinger 2. Utarbeide plan for datainnsamling 3. Samle inn og presentere måledata 4. Analysere måledataene for hver indikator 5. Hvordan går det? Koble analyseresultatene til eget forbedringsarbeid forstå dine tall! Repetere punkt 3 5 i henhold til aktuelle målefrekvenser Side 45

45 Nyttige tips Nyttig å etablere et måle-team. Husk tydelige rollefordelinger (hvem har ansvaret for hva?) Side 46

46 Nyttige tips Nyttig å etablere et måle-team. Husk tydelige rollefordelinger (hvem har ansvaret for hva?) Bygg målingene inn i den daglige virksomheten Side 47

47 Nyttige tips Nyttig å etablere et måle-team. Husk tydelige rollefordelinger (hvem har ansvaret for hva?) Bygg målingene inn i den daglige virksomheten Bruk ferske data («real time») og gå tettest mulig på prosessen (la hver avdeling gjøre sine egne målinger) Side 48

48 Nyttige tips Nyttig å etablere et måle-team. Husk tydelige rollefordelinger (hvem har ansvaret for hva?) Bygg målingene inn i den daglige virksomheten Bruk ferske data («real time») og gå tettest mulig på prosessen (la hver avdeling gjøre sine egne målinger) Måledataene må tolkes både statistisk og med faglig/klinisk skjønn (av dem som kjenner prosessen) Side 49

49 Nyttige tips Nyttig å etablere et måle-team. Husk tydelige rollefordelinger (hvem har ansvaret for hva?) Bygg målingene inn i den daglige virksomheten Bruk ferske data («real time») og gå tettest mulig på prosessen (la hver avdeling gjøre sine egne målinger) Måledataene må tolkes både statistisk og med faglig/klinisk skjønn (av dem som kjenner prosessen) Viktig å kommunisere resultatene (heng opp linjediagram for hver måleperiode) Side 50

50 Tommelfingerregel i forbedringsarbeid Søk nytte i målingene, ikke perfeksjon Side 51

51 KAMPANJEMÅLINGENE OG EXTRANET Side 53

52 De fire målingene for innsatsområdet «Riktig legemiddelbruk i sykehjem» 1. Andel langtidspasienter som har hatt LMG siste halvår 2. Andel pasienter med dokumentert legemiddelrelatert oppfølgingsplan i EPJ 3. Andel legemidler med indikasjon oppført bak forskrivning 4. Gjennomsnittlig antall faste legemidler med ATC-kode (valgfri måling) Side 54

53 De fire målingene for innsatsområdet «Riktig legemiddelbruk i sykehjem» 1. Andel langtidspasienter som har hatt LMG siste halvår 2. Andel pasienter med dokumentert legemiddelrelatert oppfølgingsplan i EPJ 3. Andel legemidler med indikasjon oppført bak forskrivning 4. Gjennomsnittlig antall faste legemidler med ATC-kode (valgfri måling) Side 55

54 Side 56

55 Side 57

56 Side 58

57 Side 59

58 Side 60

59 Side 61

60 Side 62

61 Målingen er en «operasjonell definisjon av indikatoren» Andel pasienter med dokumentert legemiddelrelatert oppfølgingsplan i EPJ Nevner: Antall pasienter totalt. Teller: Antall pasienter med dokumentert legemiddelrelatert oppfølgingsplan i EPJ. Måles månedlig Side 63

62 Grafisk illustrasjon av måling 2 De 20 pasientene avbildet under symboliserer pasientene ved en gitt avdelingen Side 64

63 Grafisk illustrasjon av måling 2 Av avdelingens 20 pasienter hadde siste måned 12 pasienter dokumentert legemiddelrelatert oppfølgingsplan Side 65

64 Side 66

65 Side 67

66 Side 68

67 HVORDAN ANALYSERE MÅLINGENE STATISTISK? Side 69

68 1. Valg av statistisk metode forskning versus forbedringsarbeid Side 70

69 1. Valg av statistisk metode forskning versus forbedringsarbeid I forskning benyttes vanligvis avansert statistikk krever høy statistikkompetanse krever store datamengder I forbedringsarbeid kan man nøye seg med en enklere form for statistikk. I kampanjen benyttes metoden statistisk prosesskontroll til analyse av målingene lav brukerterskel målingene presenteres visuelt man kan trekke statistisk sikre konklusjoner selv ved små datamengder Side 71

70 Hva kan statistisk prosesskontroll (SPC) bidra med i forbedringsarbeid? Ved analyse av måledata plottet i en tidsserie oppnås nivåkontroll i overensstemmelse med god praksis/god kvalitet? variasjonskontroll stabile (forutsigbare) tjenester? forbedringskontroll sikre at forbedringer dokumenteres! Side 72

71 Et eksempel som illustrerer hvorfor SPC er velegnet i forbedringsarbeid Side 73

72 Statisk vs. dynamisk presentasjon av måledata Case: Postoperativ dødelighet ved coronar by-pass kirurgi før og etter endret prosedyre Side 74

73 Statisk vs. dynamisk presentasjon av måledata Case: Postoperativ dødelighet ved coronar by-pass kirurgi før og etter endret prosedyre Side 75

74 Førte den nye prosedyren til en prosessforbedring? Endringen på 20 % reduksjon i dødelighet er klinisk signifikant... men er den også statistisk signifikant var prosessen stabil? Benytt statistisk prosesskontroll til å undersøke om prosessen var stabil (forutsigbar). Stabiliteten kan sjekkes ved å plotte de månedlige dødelighetsratene i en tidsserie Side 76

75 Ved å plotte månedlige måledata i en tidsserie får vi et dynamisk og mer informativt bilde av situasjonen! Side 77

76 Ved å plotte månedlige måledata i en tidsserie får vi et dynamisk og mer informativt bilde av situasjonen! Side 78

77 Førte den nye prosedyren til en prosessforbedring? NEI! Bedringen vi observerer i søylediagrammet skyldes ikke den nye prosedyren, den har sågar kanskje hatt en negativ effekt! Hva vi kan lære av dette eksemplet? Aggregerte data kan noen ganger lede oss til gale konklusjoner Tidsserier er å foretrekke i forbedringsarbeid gir som oftest mer og riktigere informasjon Gå tettere på prosessen! Side 79

78 Statistisk prosesskontroll (SPC) i et nøtteskall SPC er et statistisk verktøy som på en objektiv måte, kan hjelpe oss til å forstå fortiden forutsi fremtiden handle i nåtid Side 80

79 2. Statistisk analyse av målingene vha SPC HVORDAN VET VI AT EN ENDRING ER EN FORBEDRING? Side 81

80 MÅL Hvordan vet vi at en endring er en forbedring? TILTAK (ENDRINGER) Act Plan Study Do

81 Endring versus forbedring «All forbedring krever endring, men ikke alle endringer vil gi forbedring» [Don Berwick, IHI] Side 83

82 Som man reder, ligger man «Et hvert system er perfekt designet for å oppnå nøyaktig de resultatene det oppnår» Side 84

83 Noen ganger taler et linjediagram for seg selv FORBEDRING? Ja, det er åpenbart at dette teamet har nådd sitt mål! Ergo har vi ikke behov for statistisk analyse her Side 85

84 Andre ganger er et linjediagram uoversiktlig FORBEDRING? Ja, men her har vi behov for å analysere måledataene Side 86

85 Analyse av måledata vha run-diagram ( bruk av sjekklista ved SSHF Arendal ) Side 87

86 Side 88

87 Hvorfor er ny median lagt inn akkurat her? Side 89

88 Hvordan opprette en ny median i Extranet? Side 90

89 Slik legges nye medianer inn i et run-diagram i Extranet -> I en tidsserie bør det opprettes en ny median der det er opphold i målingene på tidspunkt der det skjer grunnleggende endringer i prosessen (når et nytt nivå nås, som vist i foregående diagram) Side 91

90 Den viktigste testen som indikerer en statistisk signifikant endring i et run-diagram nivåskifte i prosessen 8 eller flere etterfølgende pkt på samme side av medianen, eksklusive eventuelle punkter på medianen ( vanlig å benytte grensen 7++ dersom tidsserien består av 20 eller færre punkter ) Side 92

91 Her finner vi 8 punkter på rad på samme side av medianen (indikerer en statistisk signifikant endring i et run-diagram) Side 93

92 Analyse av måledata vha kontrolldiagram ( bruk av sjekklista ved SSHF Arendal ) Side 94

93 Analyse av måledata vha kontrolldiagram ( bruk av sjekklista ved SSHF Arendal ) Spesiell variasjon (=>ustabil prosess): 4 målinger utenfor kontrollgrensene Side 95

94 Analyse av måledata vha kontrolldiagram ( bruk av sjekklista ved SSHF Arendal ) Et kontrolldiagram er mer følsomt enn et run-diagram (epidata.dk) Side 96

95 LYKKE TIL VIDERE MED FORBEDRINGSARBEIDET Side 97

96