30.oktober 2014 Brukerorientering Kunnskapsesenterets av helsetjenesten: bakgrunn, målemetoder nye PPT-mal og resultater Øyvind Andresen Bjertnæs, Forskningsleder Seksjon for brukeropplevd kvalitet
Kunnskapssenteret Etablert 01.01.2004 Samling av Senter for medisinsk metodevurdering (SMM), SINTEF HELTEF Divisjon for kunnskapshåndtering, SHDir GRUK Selvstendig og faglig uavhengig institusjon Organisert som et forvaltningsorgan Ingen myndighetsoppgaver og ingen beslutningsmakt Etatsstyrt av Helsedirektoratet
Seksjon for brukeropplevd kvalitet 1. Nasjonale brukererfaringsundersøkelser (PasOpp) 2. Fastlegers vurderinger av distriktspsykiatriske sentre 3. Norsk del av Commonwealth Funds internasjonale helsesystemundersøkelser 4. Befolkningsundersøkelser om pasientsikkerhet og kvalitet 5. Metoder og undersøkelser relatert til brukerrapporterte utfallsmål oktober 31, 2014 3
Oversikt nasjonale undersøkelser Survey 2003-201 2 2013 2014 2015 2016 2017 2018 2019 2020 Ordinary user experience surveys Hospital adult inpatients 03,06, 11, 12 X X (X) (X) (X) (X) (X) (X) General practitioners 10 (LV) X Addiction, adult inpatients X X Mental health, adult outpatients 04, 07 Hospitals, children departments 05 Mental health, adult inpatients 05 X Mental health, children outpatients 06 (X) Hospital, adult cancer patients 09 Hospital adult outpatients 04 Maternity services 11 Surveys among cooperation partners GP assessment of community MHC 06,08, 11 X (X) (X) International surveys Commonwealth Fund, GPs 09,12 (X) (X) Commonwealth Fund, gen.population 10 X (X) (X) Commonwealth Fund, chronic/55+ population 11 X (X) (X) oktober 31, 2014 4
Innhold 1. Bakgrunn 2. Målemetoder 3. Utvalgte resultater på nasjonalt nivå 4. Bruk av data til forbedring 5. Nye trender 6. Avslutning oktober 31, 2014 5
Kunnskapsesenterets nye 1. Bakgrunn PPT-mal
Økt fokus på brukerperspektivet Autonomi, valgfrihet og juridiske krav Brukererfaringer integrert del av nasjonale og internasjonale kvalitetsmodeller Positiv sammenheng mellom brukererfaringer, pasientsikkerhet og effekt Potensial for lavere kostnader 7000 6000 5000 4000 3000 2000 1000 0 Antall treff i PubMed: Patient satisfaction publication year 1815 2862 4342 6563 1995 2000 2005 2010 oktober 31, 2014 7
The NHS Outcomes Framework 2012/13 https://www.gov.uk/government/publications/nhs-outcomes-framework-2012-to-2013 https://www.gov.uk/government/publications/nhs-outcomes-framework-2012-to-2013 oktober 31, 2014 8
Begrepsforvirring Brukertilfredshet Brukerperspektiv Brukermedvirkning Brukererfaringer Health system responsiveness Brukerorientering oktober 31, 2014 9
Brukerorientering dimensjoner oktober 31, 2014 10 Scholl I, et al. An integrative model of patient-centeredness - a systematic review and concept analysis. PLoS One. 2014;9:e107828.
Brukerorientering måles ofte ved hjelp av brukererfaringsundersøkelser Viktige kompetanseområder: Brukerorientering Kvalitative metoder Surveymetodikk Psykometri Kvalitetsindikatorer Statistikk oktober 31, 2014 11
Prinsipper for måling av brukererfaringer Fokus på brukerrapporterte erfaringer, ikke tilfredshet Fokus på brukererfaringer, ikke klinisk kvalitet Brukerprioriteringer som basis for måledimensjoner Multidimensjonalt Metodetriangulering: Kvalitative metoder i utvikling og dybdeanalyser Kvantitative metoder i måling og validering oktober 31, 2014 12
Kunnskapsesenterets 2. nye Målemetoder PPT-mal
Surveymetodikk Hovedoppgaver Utvalgskonstruksjon Konstruksjon og validering av spørreskjema Datainnsamling Analyse og rapportering Multiple feilkilder Frafallsfeil, målefeil, utvalgsfeil, dekningsfeil Ingen gullstandard, men viktige å bruke kompetanse i surveymetodikk og tilgjengelig litteratur oktober 31, 2014 14
Teoretisk rammeverk for datainnsamlingsmåter (http://www.ncbi.nlm.nih.gov/pubmed/20576131 ) oktober 31, 2014 15
Standard datainnsamlingsprosedyrer i nasjonale brukererfaringsundersøkelser i Norge Tilfeldig trekking av 400 brukere per institusjon i en 3- måneders periode Uttrekk fra pasientadministrative systemer med FS-systemet: Kontaktinformasjon (for å sende ut spørreskjema) Demografiske data, oppholdsdata og medisinske data (for frafallsvekting, case-mix og andre analyser) Postale spørreskjemaer sendes ut noen uker etter konsultasjon/opphold, mulighet for elektronisk svar i noen undersøkelser 1-2 postale purringer på de som ikke svarer Telefonintervju av tilfeldig utvalg ikke-svarere For å undersøke om det er forskjell i erfaringer mellom svarerne og ikke-svarerne oktober 31, 2014 16
Svarprosent og frafallsskjevhet 60 50 40 30 20 10 0 Svarprosent i nasjonale undersøkelser i Norge - eksempler 57 Inpatients hospital 2012 46 Inpatients hospital 2011 52 Cancer patients 2009 35 Psychiatric outpatients 2007 Bruk vekter for å kompensere for frafall, basert på analyse av svarsannsynligheter Oppfølgingsstudier av ikkesvarere (Guldvog et al. 1997): Journalgjennomgang og telefonintervju i tilfeldig utvalg på 285 pasienter som ikke hadde svart Svarere og ikke-svarere gir omtrent samme tilbakemelding, men kan ikke generalisere til: de sykeste de med størst funksjonssvikt de som ikke har fast bopeladresse de som ikke kan norsk godt nok Svarprosent er en dårlig indikator på datakvalitet oktober 31, 2014 17
Kvalitetskriterier PRO-instrumenter 1. Appropriateness: the match of an instrument to the specific purpose and questions 2. Reliability: the instrument is reproducible and internally consistent 3. Validity: whether an instrument measures what it purports to measure 4. Responsiveness: whether an instrument is sensitive to changes of importance to patients 5. Precision: the number and accuracy of distinctions made by an instrument 6. Interpretability: how meaningful are the scores from an instrument 7. Acceptability: how acceptable is an instrument for respondents to complete 8. Feasibility: the extent of effort, burden and disruption to staff and clinical care arising from use of an instrument Fitzpatrick R et al. Evaluating patient-based outcome measures for use in clinical trials. Health Technol Assess. 1998;2:1-74. oktober 31, 2014 18
Standardmodell - utvikling og validering av skjema spørsmålsutvikling litteraturgjennomgang, kvalitative intervjuer, referansegruppe à innholdsvaliditet skalering av spørsmål testing av spørsmål reliabilitet 5-punkt skalaer testing av skjemaet ved intervju pilotundersøkelse datakvalitet - manglende svar dimensjoner - faktoranalyse intern konsistens test-retest validitet teori og forskning generell tilfredshet, forventinger, negative hendelser oktober 31, 2014 19
Justering for ulikheter i pasientsammensetning Noen grupper er mer kritiske enn andre grupper, for eksempel er yngre pasienter mer kritiske enn eldre. En institusjon med mange yngre pasienter kan dermed få et dårligere resultat enn en institusjon med eldre pasienter, selv om kvaliteten er den samme. Denne effekten er ikke knyttet til kvalitet, men til ulik pasientsammensetning mellom institusjoner Effekten er sjelden stor, men justering gir et mer presist estimat og øker den kliniske legitimiteten Eksempel, sykehus 2006: justert for alder, kjønn, egenvurdert helse, utdanning, innleggelsestype og Charlson comorbidityindex oktober 31, 2014 20
oktober 31, 2014 21
3. Utvalgte resultater Kunnskapsesenterets nasjonalt nivå nye PPT-mal
Pasienterfaringer sykehus 2011-2013 oktober 31, 2014 23
Pasientopplevd feilbehandling på sykehus i 2011(n=10,139) 90 Feilbehandling (%) - nasjonalt nivå Feilbehandling (%) på sykehusnivå - svært stor, stor eller i noen grad 80 76,7 25 70 60 20 19,2 50 40 15 12 30 10 20 10 2 2,6 7,4 11,3 5 2,5 0 Svært stor grad Stor grad I noen grad I liten grad Ikke i det hele tatt 0 Beste sykehus Snitt Dårligste sykehus oktober 31, 2014 24
Sykehus 2011: kvalitative data Åpent kommentarfelt til slutt i skjemaet (ca. hver tredje skrev noe) Øker forståelsen av kvantitative resultater, gir informasjon om viktige temaer og mulige tiltak Kvalitative kommentarer i PasOpp 2011 pasientopplevd pasientsikkerhet Bivirkninger, komplikasjoner, skader eller feil, ventetid på diagnose eller behandling, feil diagnose eller behandling for sent, feil i journalen, at henvisningen ikke hadde kommet frem til rette vedkommende, behov for reoperasjon, leger som ikke hadde lest journalen eller satt med feil journal, prøver på avveier, utilstrekkelige prøver, sykehusinfeksjoner, pleiepersonale som slurver med håndvask og skift av klær og sengetøy med blod eller urin og feil ved teknisk utstyr Jeg reagerer på at sykepleier ga meg medisin som pasienten på naborommet skulle ha, ufarlig men dog. Sendt hjem fra sykehuset for tidlig, noe som resulterte i to nye innleggelser. oktober 31, 2014 25
Sykehus 2011: Negative responsgrupper Simultaneous 95% Confidence Intervals for Means Simultaneous 95% Confidence Intervals for Means 5,00 5,00 4,50 4,50 Overall satisfaction 4,00 3,50 Benefit of treatment 4,00 3,50 3,00 3,00 2,50 2,50 Outlier Cluster 1 2 Cluster 3 4 5 Outlier Cluster 1 2 Cluster 3 4 5 Reference Line is the Overall Mean = 4,25 Reference Line is the Overall Mean = 3,99 Simultaneous 95% Confidence Intervals for Means 5,00 4,00 18.5% Malpractice 3,00 2,00 5.3% 1,00 Outlier Cluster 1 2 Cluster 3 4 5 Reference Line is the Overall Mean = 4,63 oktober 31, 2014 Bjertnaes O, Skudal KE, Iversen HH. Classification of patients based on their evaluation of hospital outcomes: 26 cluster analysis following a national survey in Norway. BMC Health Serv Res. 2013 Feb 21;13(1):73.
Sykehus 2011: Responsgrupper oktober 31, 2014 Iversen HH, Bjertnæs OA, Skudal KE. Patient evaluation of hospital outcomes: an analysis of openended comments from extreme clusters in a national survey. BMJ Open. 2014 May 27 30;4(5):e004848.
Pasienterfaringer med døgnopphold, tverrfaglig spesialisert rusbehandling (2013) oktober 31, 2014 28
Brukererfaringer psykisk helsevern (2005) oktober 31, 2014 29
Prosentandel som oppgir at det er lett å få helsehjelp på kveldstid, i helgene eller på helligdager (CMW 10) 70 61,9 62,3 66,6 60 55,5 57,1 50 41,4 43,2 43,5 40 31,8 34,9 37,1 37,4 30 20 10 0 oktober 31, 2014 30
Prosentandel med fast lege (CMW 10) 100 90 80 76 76 77 78 79 84 85 92 94 95 70 66 60 50 51 40 30 20 10 0 oktober 31, 2014 31
Prosentandel som fikk time samme eller neste dag sist de var syke eller trengte legehjelp (CMW 10) 100 93,4 90 80 70 62 62,9 65,3 66,3 69,6 72 78,2 60 56,7 56,7 50 44,9 45,3 40 30 20 10 0 oktober 31, 2014 32
Telefontilgjengelighet i fastlegens kontortid (CMW 10) 45 40 35 36,2 38,5 30 25 20 15 10 9,1 11,1 15 16 16,8 20 21,1 21,8 23,8 25,1 5 0 Prosentandel som oppga at det er vanskelig å ringe til fastlegen i kontortiden om ett helseproblem og få de svarene man trenger oktober 31, 2014 33
Indeks fast lege (0 til 100, 100 er beste skår), CMW 10 100,0 90,0 80,0 70,0 71,3 76,8 79,4 82,8 82,9 83,8 84,4 86,3 86,8 88,8 89,8 90,2 60,0 50,0 40,0 30,0 20,0 10,0 0,0 oktober 31, 2014 34
4. Bruk Kunnskapsesenterets av data til forbedring nye PPT-mal
Nasjonale brukererfaringsundersøkelser (www.pasopp.no) Spørreskjemaundersøkelser om brukererfaringer, som grunnlag for: Faglig kvalitetsforbedring Virksomhetsstyring Fritt brukervalg Åpenhet om helsetjenestens resultater Nasjonale undersøkelser i 2014: Somatiske sykehus (samme som 2011-2013) Tverrfaglig spesialisert rusbehandling (samme som 2013) Psykisk helsevern døgn (ny) Brukererfaringer med fastleger (del av utviklingsprosjekt) Fastlegers vurdering av distriktspsykiatriske sentre (06, 08, 11) oktober 31, 2014 36
Barrierer spørreskjemadata Mulige barrierer for å benytte spørreskjemadata fra pasienter i kvalitetsforbedring: Organisatoriske (f.eks. prioriteringer) Fagrelaterte (f.eks. skepsis blant klinikere) Datarelaterte (f.eks. manglende kompetanse) Viktig å: utvikle virksomheter som støtter pasientsentrert omsorg, ha kvalitetsforbedringskapasitet og mottagelighet for resultatene, ha lederskap som støtter opp under kvalitetsforbedringsarbeidet, ha teknisk ekspertise på data. Davies E, Cleary PD. Hearing the patient's voice? Factors affecting the use of patient survey data in quality improvement. Qual Saf Health Care. 2005 Dec;14(6):428-32. oktober 31, 2014 37
Brukes brukererfaringsdata i lokalt kvalitetsarbeid? Figur. Prosentandel som rapporterer bruk av data 90 82 83 80 70 60 54 56 60 61 Heje HN et al. 2011, allmennleger, Danmark Iversen HH et al. 2010, sykehus, Norge 50 40 30 20 Koch JR et al. 2011, "community services boards", USA Hearnshaw H et al. 1996, allmennpraksiser, England og Wales Riiskjær E et al. 2010, sykehus, Danmark 10 0 Friedberg MW et al. 2011, allmennleger, USA oktober 31, 2014 38
Forbedringer hva skal til? Insentiv for endring hvis det er: (1) tilstrekkelig validitet (2) resultater på lavt nivå og enheter har lavere resultat enn andre enheter; (3) åpenbare tiltak for å forbedre resultatene. Riiskjaer E, Ammentorp J, Nielsen JF, Kofoed PE. Patient surveys--a key to organizational change? Patient Educ Couns. 2010 Mar;78(3):394-401. oktober 31, 2014 39
Lavt nivå (poster Lovisenberg 2013) 100 (Uvektet/ujustert) 94 90 83 83 82 83 86 80 79 76 78 70 69 70 66 65 65 67 68 60 50 49 44 Post 1 Post 2 Post 3 Post 4 40 Post 5 Post 6 30 20 10 0 Pleie Lege Informasjon Organisering Pårørende Standard Samhandling Utskrivning Passikkerhet
Èn metode for å velge innsatsområder Davies E, et al. Evaluating the use of a modified CAHPS survey to support improvements in patient-centred care: lessons from a quality improvement collaborative. Health Expect. 2008 Jun;11(2):160-76. oktober 31, 2014 41
Hva er viktigste innsatsområder? (post 1 og 4 på Lovisenberg) POST 1 Pleie Lege Informasjon Organisering Pårørende Standard Samhandling Utskrivning Passikkerhet Post 1 diff snitt 5 5 8 6 6 4 4 6 2 Post 1 prioritet 0,65 0,53 0,54 0,58 0,52 0,68 0,32 0,35 0,09 POST 4 Post 4 diff snitt -10-8 -8-8 -1-8 -13-18 -6 Post 4 prioritet 0,67 0,75 0,51 0,71 0,5 0,59 0,34 0,3 0,72 oktober 31, 2014 42
CAHPS improvement guide - intervensjoner Open Access Scheduling for Routine and Urgent Appointments Streamlined Patient Flow Access to Email for Administrative Help and Clinical Advice Internet Access for Health Information and Advice Rapid Referral Programs Changes in Policies and Processes and Applications of Information Technology Training to Advance Physicians Communication Skills Tools to Help Patients Communicate Their Needs Shared Decisionmaking Support Groups and Self-Care Delivery of Evidence-Based Information Planned Visits Group Visits Listening Posts Patient and Family Advisory Councils Service Recovery Programs Standards for Customer Service Reminder Systems for Preventive Services and Immunizations oktober 31, 2014 43
NHS: evidence, retningslinje og standarder http://pathways.nice.org.uk/pathways/patient-experience-in-adult-nhs-services Generisk retningslinje (2012) 335 sider med fokus på hva som er viktig for pasientene og tiltak for forbedring av pasienterfaringer Tematisk inndelt Oppdatering publisert i 2014 oktober 31, 2014 44
Review om brukerorienterte intervensjoner i kliniske konsultasjoner (2012) 43 randomiserte studier Hovedsakelig opplæringstiltak (korte, lange) Effektive i å overføre kompetanse i brukerorientering til helsepersonell Blandede effekter på pasienttilfredshet, helseatferd og helse oktober 31, 2014 45
Pasientenes forslag /l forbedringer standard Lovisenberg post 1 Bedre renhold Li9 bedre renhold på rommene, gulvet Bedre renhold! Rengjøring på bad og rom Men jeg synes ikke de som vasket gulvene var veldig nøye. Tok bare en liten sveip midt på gulvet Å få sengen redd må være mulig uten at pasienten ber om de9e ved innseing av en total kneprotese med skrekkelige smerter Være sikker på at maten kan?lpasses diabe?kere bedre Maten kunne kanskje holdt en bedre standard Jeg fikk ingen informasjon om?dspunkter for matservering Enkelte av de som står for matservering bør ha større respekt for pasientene, å være li9 mer behjelpelige og hyggelige Forslag?l forbedring må være maten. Nokså kald middag... På baderom var det mangel på forhøyet sete på toale9ene Koseligere dag og spiserom En mangel på sengen, den manglet noe man kunne løve seg opp fra liggende, med armene Akkurat da jeg var i ferd med å sovne ved midna9 rusket antakelig en sikkerhetsvakt HARDT i døren min (som var låst), og jeg skva9?l og det var vanskelig å komme inn igjen i søvn. Man kan vel bare henge opp et skilt på utsiden med «sovende pasient»
Kunnskapsesenterets 5. Nye trender nye PPT-mal
Kvalitetsbasert finansiering og pasienterfaringer http://www.cms.gov/medicare/quality-initiatives-patient-assessment-instruments/hospital-value-based-purchasing/ oktober 31, 2014 48
Nasjonale retningslinjer og standarder for pasienterfaringer oktober 31, 2014 49
Pasientevaluering ikke bare brukererfaringer Patient centredness: ü Patient Reported Experiences (PREMS) Effectiveness: ü Patient Reported Outcomes (PROMS) Safety: ü Patient Reported Incidents (PRIMS) oktober 31, 2014 50
Friends and family test, NHS England «How likely are you to recommend our xxx to friends and family if they needed similar care or treatment?» Alle pasienter ved døgnenheter på sykehus og akuttavdelinger fra 2013 Poliklinikker/dagbehandling, GPs, mental helse, tannlege, ambulerende tjenester mm følger etter, senest 2015 Målsetninger: A tool for local service improvement Providing information to empower patient choice Intra-trust performance monitoring Providing comparable data to hold trusts to account Kunnskapssenteret arbeider med norsk versjon BOK-testen oktober 31, 2014 51
Kunnskapsesenterets 6. nye Avslutning PPT-mal
Avslutning Brukerorientering er en viktig kvalitetsdimensjon Måling av brukererfaringer er komplekst og krever metodetriangulering og anvendt forskning Flere forbedringsområder når det gjelder brukerorientering i Norge Mange ressurser tilgjengelig til forbedringsarbeid om brukerorientering Systemet og kulturen må understøtte viktigheten av brukerorientering oktober 31, 2014 53