nye PPT-mal Kunnskapsesenterets Nasjonale brukererfaringsundersøkelser: bakgrunn, datainnsamling og bruk av data 06.november 2014

Transkript

1 06.november 2014 Kunnskapsesenterets Nasjonale brukererfaringsundersøkelser: bakgrunn, datainnsamling og bruk av data nye PPT-mal Øyvind Andresen Bjertnæs, Forskningsleder Seksjon for brukeropplevd kvalitet

2 Seksjon for brukeropplevd kvalitet 1. Nasjonale brukererfaringsundersøkelser (PasOpp) 2. Fastlegers vurderinger av distriktspsykiatriske sentre 3. Norsk del av Commonwealth Funds internasjonale helsesystemundersøkelser 4. Befolkningsundersøkelser om pasientsikkerhet og kvalitet 5. Metoder og undersøkelser relatert til brukerrapporterte utfallsmål November 7,

3 Oversikt nasjonale undersøkelser Survey Ordinary user experience surveys Hospital adult inpatients 03,06, 11, 12 X X (X) (X) (X) (X) (X) (X) General practitioners 10 (LV) X Addiction, adult inpatients X X Mental health, adult outpatients 04, 07 Hospitals, children departments 05 Mental health, adult inpatients 05 X Mental health, children outpatients 06 (X) Hospital, adult cancer patients 09 Hospital adult outpatients 04 Maternity services 11 Surveys among cooperation partners GP assessment of community MHC 06,08, 11 X (X) (X) International surveys Commonwealth Fund, GPs 09,12 (X) (X) Commonwealth Fund, gen.population 10 X (X) (X) Commonwealth Fund, chronic/55+ population 11 X (X) (X) November 7,

4 Nasjonale brukererfaringsundersøkelser ( Formålet er å gjennomføre systematiske spørreskjemaundersøkelser om brukererfaringer, som grunnlag for: Faglig kvalitetsforbedring Virksomhetsstyring Fritt brukervalg Åpenhet om helsetjenestens resultater Føringer: Sammenlignbarhet Institusjonsnivå Kvalitetsindikatorer i det nasjonale indikatorsystemet November 7,

5 November 7,

6 Viktigheten av standardisering eksempel fra USA Formål retningslinje: Standardisere datainnsamlingsprosess Sikre sammenlignbarhet Tillatte datainnsamlingsmetoder: Postalt skjema Telefonintervjuer Interactive Voice Response «Mixed mode» 512 sider November 7,

7 OECD prinsipper for etablering av nasjonale systemer for å måle pasienterfaringer 1. Patient measurement should be patient-based 2. The goals of patient measurement should be clear 3. Patient measurement tools should undergo cognitive testing and the psychometric properties should be known 4. The actual measurement and analyses of patient experiences should be standardised 5. The reporting method of findings of patient experiences measurement should be chosen with care 6. International comparability of measurement of patient experiences should be enhanced 7. National systems for the measurement of patient experiences should be sustainable November 7,

8 Datainnsamling Kunnskapsesenterets i nasjonale brukererfaringsundersøkelser nye PPT-mal

9 Overveielser Valg av innsamlingsmåte må gjøres i det enkelte tilfellet, etter vurdering av en rekke faktorer som type populasjon, tema, utvalgsmetode og behov for ressurser Datainnsamlingsmåte i nasjonale brukererfaringsundersøkelser må tilfredsstille krav til vitenskapelighet (objektivitet og representativitet), og la seg gjennomføre i tråd med ytre rammebetingelser (økonomiske, tidsmessige og juridiske) November 7,

10 November 7,

11 Patient satisfaction (Crow 2002, HTA review) November 7,

12 Postal innsamling versus utdeling på institusjon Bjertnaes ØA, Garratt A, Johannessen JO. Data collection methods and results in user surveys in mental health care. Tidsskr Nor Laegeforen May 25;126(11): November 7,

13 «Surveytid» - tid fra utskrivning til utsending av skjema Bjertnaes OA. The association between survey timing and patient-reported experiences with hospitals: results of a national postal survey. BMC Med Res Methodol Feb 15;12:13. November 7,

14 Kan pårørende hjelpe pasienter å svare? Bjertnaes O. Patient-reported experiences with hospitals: comparison of proxy and patient scores using propensity-score matching. Int J Qual Health Care Feb;26(1): November 7,

15 Hvordan kan elektronisk kombineres med postal i føde/barsel undersøkelser? Bjertnaes OA, Iversen HH. User-experience surveys with maternity services: a randomized comparison of two data collection models. Int J Qual Health Care Aug;24(4): November 7,

16 Datainnsamlingsmetoder og datakvalitet Robling MR et al. Applying an extended theoretical framework for data collection mode to health services research. BMC Health Serv Res. 2010;10:180. November 7,

17 Total survey error (fra Groves RM et al. 2009, Survey Methodology, side 48) November 7,

18 Standard datainnsamlingsprosedyrer i nasjonale brukererfaringsundersøkelser i Norge Tilfeldig trekking av 400 brukere per institusjon i en 3- måneders periode Uttrekk fra pasientadministrative systemer med FS-systemet: Kontaktinformasjon (for å sende ut spørreskjema) Demografiske data, oppholdsdata og medisinske data (for frafallsvekting, case-mix og andre analyser) Postale spørreskjemaer sendes ut noen uker etter konsultasjon/opphold, mulighet for elektronisk svar i noen undersøkelser 1-2 postale purringer på de som ikke svarer Telefonintervju av tilfeldig utvalg ikke-svarere Tverrfaglig spesialisert rusbehandling og døgnpsykiatri er unntatt fra standarden (under uttesting) November 7,

19 Svarprosent og frafallsskjevhet Svarprosent i nasjonale undersøkelser i Norge - eksempler 57 Inpatients hospital Inpatients hospital Cancer patients Psychiatric outpatients 2007 Bruk vekter for å kompensere for frafall, basert på analyse av svarsannsynligheter Oppfølgingsstudier av ikkesvarere (Guldvog et al. 1997): Journalgjennomgang og telefonintervju i tilfeldig utvalg på 285 pasienter som ikke hadde svart Svarere og ikke-svarere gir omtrent samme tilbakemelding, men kan ikke generalisere til: de sykeste de med størst funksjonssvikt de som ikke har fast bopeladresse de som ikke kan norsk godt nok Svarprosent er en dårlig indikator på datakvalitet November 7,

20 Svarprosent en dårlig indikator på ikke-svarer skjevhet Groves RM, Peytcheva E. The impact of nonresponse rates on nonresponse bias: a meta-analysis. Public Opinion Quarterly. 2008;72: November 7,

21 Hva med elektronisk datainnsamling? November 7,

22 Andre datainnsamlingsmetoder November 7,

23 Avslutning Datainnsamling er en betydelig oppgave i nasjonale brukererfaringsundersøkelser, med store potensielle feilkilder Det er utarbeidet en standardisert innsamlingsmåte som fungerer bra for de fleste populasjoner, med noen unntak Viktig med robuste målemetoder ved produksjon av eksterne kvalitetsindikatorer, og underliggende metodeforskning Viktig å tilby mulighet for å svare elektronisk, men kun som et supplement til postalt skjema Lokale undersøkelser er viktig, og kan gjerne ha et annet design enn nasjonale, og utnytte kvalitative metoder November 7,

24 Bruk Kunnskapsesenterets av data til forbedring nye PPT-mal

25 Contandriopoulus et al 2014: the multiple causal pathways between performance measures use and effects 1. Selection 2. Change through managerial interventions 3. Change through social structuring 4. Change through internal pressures Kotter JP (1996): the 8-step process for leading change 1. Establishing a sense of urgency 2. Creating the guiding coalition 3. Developing a change vision 4. Communicating the vision for buy-in 5. Empowering broad-based action 6. Generating short-term wins 7. Never letting up 8. Incorporating change into the culture November 7,

26 Nasjonale brukererfaringsundersøkelser ( Formålet er å gjennomføre systematiske spørreskjemaundersøkelser om brukererfaringer, som grunnlag for: Faglig kvalitetsforbedring Virksomhetsstyring Fritt brukervalg Åpenhet om helsetjenestens resultater Føringer: Sammenlignbarhet Institusjonsnivå Kvalitetsindikatorer i det nasjonale indikatorsystemet November 7,

27 Barrierer spørreskjemadata Mulige barrierer for å benytte spørreskjemadata fra pasienter i kvalitetsforbedring: Organisatoriske (f.eks. prioriteringer) Fagrelaterte (f.eks. skepsis blant klinikere) Datarelaterte (f.eks. manglende kompetanse) Viktig å: utvikle virksomheter som støtter pasientsentrert omsorg, ha kvalitetsforbedringskapasitet og mottagelighet for resultatene, ha lederskap som støtter opp under kvalitetsforbedringsarbeidet, ha teknisk ekspertise på data. Davies E, Cleary PD. Hearing the patient's voice? Factors affecting the use of patient survey data in quality improvement. Qual Saf Health Care Dec;14(6): November 7,

28 Brukes brukererfaringsdata i lokalt kvalitetsarbeid? Figur. Prosentandel som rapporterer bruk av data Heje HN et al. 2011, allmennleger, Danmark Iversen HH et al. 2010, sykehus, Norge 50 Koch JR et al. 2011, "community services boards", USA Hearnshaw H et al. 1996, allmennpraksiser, England og Wales 20 Riiskjær E et al. 2010, sykehus, Danmark 10 0 Friedberg MW et al. 2011, allmennleger, USA November 7,

29 Kartlegging om bruken av de nasjonale dataene I 2007 gjennomførte vi en web-basert undersøkelse blant 5 ansatte på hver barneavdeling om den nasjonale undersøkelsen ved barneavdelinger i 2005 Hovedresultater: Positive holdninger til at pasienter og pårørende involveres når kvaliteten på helsetjenestene skal evalueres God kjennskap til undersøkelsen Brukerundersøkelsen ble oppfattet som nyttig 56% svarte at avdelingen hadde iverksatt tiltak for å rette på de utfordringene som ble identifisert i undersøkelsen (fritekst med beskrivelse av tiltak i tillegg) Tall på avdelingsnivå trolig èn av forklaringene på positive vurderinger av nytte og oppfølging Iversen HH, Bjertnæs ØA, Groven G, Bukholm G. Usefulness of a national parent experience survey in quality improvement: views of paediatric department employees. Qual Saf Health Care. 2010;19:e38. November 7,

30 Forbedringer hva skal til? Insentiv for endring hvis det er: (1) tilstrekkelig validitet (2) resultater på lavt nivå og enheter har lavere resultat enn andre enheter; (3) åpenbare tiltak for å forbedre resultatene. Riiskjaer E, Ammentorp J, Nielsen JF, Kofoed PE. Patient surveys--a key to organizational change? Patient Educ Couns Mar;78(3): November 7,

31 Lavt nivå (poster Lovisenberg 2013) 100 (Uvektet/ujustert) Post Post 2 Post 3 Post 4 40 Post 5 Post Pleie Lege Informasjon Organisering Pårørende Standard Samhandling Utskrivning Passikkerhet

32 Èn metode for å velge innsatsområder Davies E, et al. Evaluating the use of a modified CAHPS survey to support improvements in patient-centred care: lessons from a quality improvement collaborative. Health Expect Jun;11(2): November 7,

33 Hva er viktigste innsatsområder? (post 1 og 4 på Lovisenberg) POST 1 Pleie Lege Informasjon Organisering Pårørende Standard Samhandling Utskrivning Passikkerhet Post 1 diff snitt Post 1 prioritet 0,65 0,53 0,54 0,58 0,52 0,68 0,32 0,35 0,09 POST 4 Post 4 diff snitt Post 4 prioritet 0,67 0,75 0,51 0,71 0,5 0,59 0,34 0,3 0,72 November 7,

34 CAHPS improvement guide - intervensjoner Open Access Scheduling for Routine and Urgent Appointments Streamlined Patient Flow Access to for Administrative Help and Clinical Advice Internet Access for Health Information and Advice Rapid Referral Programs Changes in Policies and Processes and Applications of Information Technology Training to Advance Physicians Communication Skills Tools to Help Patients Communicate Their Needs Shared Decisionmaking Support Groups and Self-Care Delivery of Evidence-Based Information Planned Visits Group Visits Listening Posts Patient and Family Advisory Councils Service Recovery Programs Standards for Customer Service Reminder Systems for Preventive Services and Immunizations November 7,

35 NHS: evidence, retningslinje og standarder Generisk retningslinje (2012) 335 sider med fokus på hva som er viktig for pasientene og tiltak for forbedring av pasienterfaringer Tematisk inndelt Oppdatering publisert i 2014 November 7,

36 Review om brukerorienterte intervensjoner i kliniske konsultasjoner (2012) 43 randomiserte studier Hovedsakelig opplæringstiltak (korte, lange) Effektive i å overføre kompetanse i brukerorientering til helsepersonell Blandede effekter på pasienttilfredshet, helseatferd og helse November 7,

37 Pasientenes forslag til forbedringer standard Lovisenberg post 1 Bedre renhold Litt bedre renhold på rommene, gulvet Bedre renhold! Rengjøring på bad og rom Men jeg synes ikke de som vasket gulvene var veldig nøye. Tok bare en liten sveip midt på gulvet Å få sengen redd må være mulig uten at pasienten ber om dette ved innsetting av en total kneprotese med skrekkelige smerter Være sikker på at maten kan tilpasses diabetikere bedre Maten kunne kanskje holdt en bedre standard Jeg fikk ingen informasjon om tidspunkter for matservering Enkelte av de som står for matservering bør ha større respekt for pasientene, å være litt mer behjelpelige og hyggelige Forslag til forbedring må være maten. Nokså kald middag... På baderom var det mangel på forhøyet sete på toalettene Koseligere dag og spiserom En mangel på sengen, den manglet noe man kunne løfte seg opp fra liggende, med armene Akkurat da jeg var i ferd med å sovne ved midnatt rusket antakelig en sikkerhetsvakt HARDT i døren min (som var låst), og jeg skvatt til og det var vanskelig å komme inn igjen i søvn. Man kan vel bare henge opp et skilt på utsiden med «sovende pasient»

38 Manualer «how to» November 7,

39 Kulturendring - spør alle pasienter (friends and family test, NHS England) «How likely are you to recommend our xxx to friends and family if they needed similar care or treatment?» Alle pasienter ved døgnenheter på sykehus og akuttavdelinger fra 2013 Poliklinikker/dagbehandling, GPs, mental helse, tannlege, ambulerende tjenester mm følger etter, senest 2015 Målsetninger: A tool for local service improvement Providing information to empower patient choice Intra-trust performance monitoring Providing comparable data to hold trusts to account Kunnskapssenteret arbeider med norsk versjon BOK-testen November 7,

40 Avslutning Klare forventninger om mer brukerorientering og bedre brukererfaringer Hva Kunnskapssenteret kan tilby: Nasjonale målinger på institusjonsnivå benchmarks og trender Målinger på lavere nivå, kontinuerlig måling Validerte instrumenter, sjekkliste Veiledning og støtte til lokale forbedringsprosjekter BOK-test («spør alle»), under utvikling Råd om kunnskapsressurser, forbedringsmetodikk mm Helsetjenestene må selv planlegge og gjennomføre forbedringsprosjektene November 7,