Hdir kompetanseutviklingsprosjekt, 30. oktober 2013 Kunnskapsesenterets Brukerorientering: begrep, metoder og resultater nye PPT-mal Hilde Hestad Iversen, seniorforsker Nasjonalt kunnskapssenter for helsetjenesten
Innhold 1. Begrepsavklaring 2. Metoder 3. Utvalgte resultater 4. Forskning og nye trender 5. Avslutning February 6, 2014 2
Kunnskapsesenterets 1. Begrepsavklaring nye PPT-mal
Økt fokus på brukerperspektivet Autonomi, valgfrihet og juridiske krav Brukererfaringer integrert del av nasjonale og internasjonale kvalitetsmodeller Positiv sammenheng mellom brukererfaringer, pasientsikkerhet og effekt Potensial for lavere kostnader 7000 6000 5000 4000 3000 2000 1000 0 Antall treff i PubMed: Patient satisfaction publication year 1815 2862 4342 6563 1995 2000 2005 2010 February 6, 2014 4
Hva er brukerorientering? Brukertilfredshet Brukerperspektiv Brukermedvirkning Brukererfaringer Health system responsiveness Brukerorientering February 6, 2014 5
Picker Institute s definisjon February 6, 2014 6
Kunnskapsesenterets 2. Metoder nye PPT-mal
Brukerorientering måles ofte ved hjelp av brukererfaringsundersøkelser Viktige kompetanseområder: Brukerorientering Kvalitative metoder Surveymetodikk Psykometri Kvalitetsindikatorer Statistikk February 6, 2014 8
Måling av brukererfaringer Fokus på pasientrapporterte erfaringer, ikke tilfredshet Fokus på pasienterfaringer, ikke klinisk kvalitet Pasientprioriteringer som basis for måledimensjoner Multidimensjonalt Metodetriangulering: Kvalitative metoder i utvikling og dybdeanalyser Kvantitative metoder i måling og validering February 6, 2014 9
Standard datainnsamlingsprosedyrer i nasjonale brukererfaringsundersøkelser i Norge Tilfeldig trekking av 400 brukere per institusjon i en 3- måneders periode Uttrekk fra pasientadministrative systemer med FS-systemet: Kontaktinformasjon (for å sende ut spørreskjema) Demografiske data, oppholdsdata og medisinske data (for frafallsvekting, case-mix og andre analyser) Postale spørreskjemaer sendes ut noen uker etter konsultasjon/opphold, mulighet for elektronisk svar i noen undersøkelser 1-2 postale purringer på de som ikke svarer Telefonintervju av tilfeldig utvalg ikke-svarere For å undersøke om det er forskjell i erfaringer mellom svarerne og ikke-svarerne February 6, 2014 10
Svarprosent og frafallsskjevhet 60 50 40 30 20 10 0 Svarprosent i nasjonale undersøkelser i Norge - eksempler 57 Inpatients hospital 2012 46 Inpatients hospital 2011 52 Cancer patients 2009 35 Psychiatric outpatients 2007 Bruk vekter for å kompensere for frafall, basert på analyse av svarsannsynligheter Oppfølgingsstudier av ikkesvarere (Guldvog et al. 1997): Journalgjennomgang og telefonintervju i tilfeldig utvalg på 285 pasienter som ikke hadde svart Svarere og ikke-svarere gir omtrent samme tilbakemelding, men kan ikke generalisere til: de sykeste de med størst funksjonssvikt de som ikke har fast bopeladresse de som ikke kan norsk godt nok Svarprosent er en dårlig indikator på datakvalitet February 6, 2014 11
Standardmodell - utvikling og validering av skjema spørsmålsutvikling skalering av spørsmål litteraturgjennomgang, kvalitative intervjuer, referansegruppe innholdsvaliditet 5-punkt skalaer testing av skjemaet ved intervju testing av spørsmål reliabilitet validitet pilotundersøkelse datakvalitet - manglende svar dimensjoner - faktoranalyse intern konsistens test-retest teori og forskning generell tilfredshet, forventinger, negative hendelser February 6, 2014 12
Justering for ulikheter i pasientsammensetning Noen grupper er mer kritiske enn andre grupper, for eksempel er yngre pasienter mer kritiske enn eldre. En institusjon med mange yngre pasienter kan dermed få et dårligere resultat enn en institusjon med eldre pasienter, selv om kvaliteten er den samme. Denne effekten er ikke knyttet til kvalitet, men til ulik pasientsammensetning mellom institusjoner Effekten er sjelden stor, men justering gir et mer presist estimat og øker den kliniske legitimiteten Eksempel, sykehus 2006: justert for alder, kjønn, egenvurdert helse, utdanning, innleggelsestype og Charlson comorbidityindex February 6, 2014 13
February 6, 2014 14
3. Kunnskapsesenterets Utvalgte resultater nye PPT-mal
Pasienterfaringer med sykehus i 2011 February 6, 2014 16
Pasientopplevd feilbehandling på sykehus i 2011(n=10,139) 90 Feilbehandling (%) - nasjonalt nivå Feilbehandling (%) på sykehusnivå - svært stor, stor eller i noen grad 80 76,7 25 70 60 20 19,2 50 15 40 12 30 10 20 10 0 2 2,6 Svært stor grad 7,4 11,3 Stor grad I noen grad I liten grad Ikke i det hele tatt 5 0 2,5 Beste sykehus Snitt Dårligste sykehus February 6, 2014 17
Sykehus 2011: kvalitative data Åpent kommentarfelt til slutt i skjemaet (ca. hver tredje skrev noe) Øker forståelsen av kvantitative resultater, gir informasjon om viktige temaer og mulige tiltak Kvalitative kommentarer i PasOpp 2011 pasientopplevd pasientsikkerhet Bivirkninger, komplikasjoner, skader eller feil, ventetid på diagnose eller behandling, feil diagnose eller behandling for sent, feil i journalen, at henvisningen ikke hadde kommet frem til rette vedkommende, behov for reoperasjon, leger som ikke hadde lest journalen eller satt med feil journal, prøver på avveier, utilstrekkelige prøver, sykehusinfeksjoner, pleiepersonale som slurver med håndvask og skift av klær og sengetøy med blod eller urin og feil ved teknisk utstyr Jeg reagerer på at sykepleier ga meg medisin som pasienten på naborommet skulle ha, ufarlig men dog. Sendt hjem fra sykehuset for tidlig, noe som resulterte i to nye innleggelser. February 6, 2014 18
Sykehus 2011: Negative responsgrupper Simultaneous 95% Confidence Intervals for Means Simultaneous 95% Confidence Intervals for Means 5,00 5,00 4,50 4,50 Overall satisfaction 4,00 3,50 Benefit of treatment 4,00 3,50 3,00 3,00 2,50 2,50 Outlier Cluster 1 2 Cluster 3 4 5 Outlier Cluster 1 2 Cluster 3 4 5 Reference Line is the Overall Mean = 4,25 Reference Line is the Overall Mean = 3,99 Simultaneous 95% Confidence Intervals for Means 5,00 4,00 18.5% Malpractice 3,00 2,00 5.3% 1,00 Outlier Cluster 1 2 Cluster 3 4 5 Reference Line is the Overall Mean = 4,63 February 6, 2014 Bjertnaes et al. Classification of patients based on their evaluation of hospital outcomes: cluster 19 analysis following a national survey in Norway. BMC Health Serv Res. 2013 Feb 21;13(1):73.
Brukes brukererfaringsdata i lokalt kvalitetsarbeid? Figur. Prosentandel som rapporterer bruk av data 90 82 83 80 70 Heje HN et al. 2011, allmennleger, Danmark 60 54 56 60 61 Iversen HH et al. 2010, sykehus, Norge 50 Koch JR et al. 2011, "community services boards", USA 40 30 Hearnshaw H et al. 1996, allmennpraksiser, England og Wales 20 Riiskjær E et al. 2010, sykehus, Danmark 10 0 Friedberg MW et al. 2011, allmennleger, USA February 6, 2014 20
4. Forskning Kunnskapsesenterets og nye trender nye PPT-mal
Viktige forskningstemaer Utvikling og evaluering av spørreskjemaer Surveymetodikk Pasientrapporterte kvalitetsindikatorer Bruk av data Brukerrapportert sikkerhet February 6, 2014 22
Resultatbasert finansiering og brukererfaringer http://www.cms.gov/medicare/quality-initiatives-patient-assessment-instruments/hospital-value-based-purchasing/ February 6, 2014 23
Brukerorientert kvalitetsevaluering ikke bare brukererfaringer Patient centredness: Patient Reported Experiences (PRE) Effectiveness: Patient Reported Outcomes (PRO) Safety Patient Reported Safety (PRS) February 6, 2014 24
Internett, sosiale media og brukerorientering Kvalitetsinformasjon på Internett inkludert online ratings Internettbaserte tjenester Informasjonssystemer om sykdom og behandling inkludert crowdsourcing BMJ Quality & Safety Editorial: Rozenblum R, Bates DW. Patient-centred healthcare, social media and the internet: the perfect storm? BMJ Qual Saf. 2013 Mar;22(3):183-6. doi: 10.1136/bmjqs-2012-001744 February 6, 2014 25
Kunnskapsesenterets 5. Avslutning nye PPT-mal
Avslutning Brukerorientering er en integrert del av mange vestlige kvalitetsmodeller Måling av brukerorientering er komplekst og krever metodetriangulering og anvendt forskning Flere forbedringsområder når det gjelder brukerorientering i Norge Mange ressurser tilgjengelig til forbedringsarbeid om brukerorientering, men systemet og kulturen må understøtte viktigheten av brukerorientering February 6, 2014 27
Seksjon for brukererfaringsundersøkelser 1. Nasjonale pasienterfaringsundersøkelser (PasOpp) 2. Fastlegers vurderinger av distriktspsykiatriske sentre 3. Norsk del av Commonwealth Funds internasjonale helsesystemundersøkelser 4. Befolkningsundersøkelser om pasientsikkerhet og kvalitet February 6, 2014 28