Ullevål, Akutt psykiatrisk avdeling, Klinikk for psykisk helse og avhengighet, 31.03.2014 Spørreskjemaundersøkelser om Kunnskapsesenterets brukererfaringer i helsetjenesten nye PPT-mal Begreper, metode og bruk Hilde Hestad Iversen, Seniorforsker
Innhold 1. Bakgrunn 2. Kort om tilnærming og metode 3. Våre undersøkelser innen psykisk helsevern og rus 4. Bruk av data og forbedringsarbeid 5. Nye trender 6. Avslutning May 22, 2014 2
Kunnskapsesenterets 1. Bakgrunn nye PPT-mal
Økt fokus på brukerperspektivet Autonomi, valgfrihet og juridiske krav Brukererfaringer integrert del av nasjonale og internasjonale kvalitetsmodeller Positiv sammenheng mellom brukererfaringer, pasientsikkerhet og effekt Potensial for lavere kostnader 7000 6000 5000 4000 3000 2000 1000 0 Antall treff i PubMed: Patient satisfaction publication year 1815 2862 4342 6563 1995 2000 2005 2010 May 22, 2014 4
The NHS Outcomes Framework 2012/13 https://www.gov.uk/government/publications/nhs-outcomes-framework-2012-to-2013 https://www.gov.uk/government/publications/nhs-outcomes-framework-2012-to-2013 May 22, 2014 5
Hva er brukerorientering? Brukertilfredshet Brukerperspektiv Brukermedvirkning Brukererfaringer Health system responsiveness Brukerorientering May 22, 2014 6
Picker Institute s definisjon May 22, 2014 7
Brukerorientering måles ofte ved hjelp av brukererfaringsundersøkelser Viktige kompetanseområder: Brukerorientering Kvalitative metoder Surveymetodikk Psykometri Kvalitetsindikatorer Statistikk May 22, 2014 8
Nasjonale brukererfaringsundersøkelser (www.pasopp.no) Spørreskjemaundersøkelser om brukererfaringer, som grunnlag for: Faglig kvalitetsforbedring Virksomhetsstyring Fritt sykehusvalg Åpenhet om helsetjenestens resultater May 22, 2014 9
Kunnskapsesenterets 2. Tilnærminger og metoder nye PPT-mal
Måling av brukererfaringer Fokus på pasientrapporterte erfaringer, ikke tilfredshet Pasienterfaringer, ikke klinisk kvalitet Pasientprioriteringer basis for måledimensjoner Multidimensjonalt Metodetriangulering: Kvalitative metoder i utvikling og dybdeanalyser Kvantitative metoder i måling og validering May 22, 2014 11
Standardmodell - utvikling og validering av skjema spørsmålsutvikling skalering av spørsmål litteraturgjennomgang, kvalitative intervjuer, referansegruppe innholdsvaliditet 5-punkt skalaer testing av skjemaet ved intervju testing av spørsmål reliabilitet validitet pilotundersøkelse datakvalitet - manglende svar dimensjoner - faktoranalyse intern konsistens test-retest teori og forskning generell tilfredshet, forventinger, negative hendelser May 22, 2014 12
Standard datainnsamlingsprosedyrer i nasjonale brukererfaringsundersøkelser i Norge Tilfeldig trekking av 400 pasienter per institusjon i 3-måneders periode Uttrekk fra PAS med FS-systemet: Kontaktinformasjon (for å sende ut spørreskjema) Demografiske data, oppholdsdata og medisinske data (for frafallsvekting, case-mix og andre analyser) Postale skjema sendes noen uker etter konsultasjon/opphold, mulighet for elektronisk svar i noen undersøkelser 1-2 postale purringer på de som ikke svarer Telefonintervju av tilfeldig utvalg ikke-svarere Forskjell i erfaringer mellom svarerne og ikke-svarerne May 22, 2014 13
Svarprosent og frafallsskjevhet 60 50 40 30 20 10 0 Svarprosent i nasjonale undersøkelser i Norge - eksempler 57 Inpatients hospital 2012 46 Inpatients hospital 2011 52 Cancer patients 2009 35 Psychiatric outpatients 2007 Bruk vekter for å kompensere for frafall, basert på analyse av svarsannsynligheter Oppfølgingsstudier av ikkesvarere (Guldvog et al. 1997): Journalgjennomgang og telefonintervju blant 285 tilfeldig utvalgte ikke-svarere Svarere og ikke-svarere gir omtrent samme tilbakemelding, men kan ikke generalisere til: sykeste med størst funksjonssvikt uten fast bopeladr ikke kan norsk godt nok Svarprosent er en dårlig indikator på datakvalitet May 22, 2014 14
Justering for ulikheter i pasientsammensetning Noen grupper er mer kritiske enn andre grupper, feks er yngre pasienter mer kritiske enn eldre. En institusjon med mange yngre pasienter kan dermed få et dårligere resultat enn en institusjon med mange eldre, selv om kvaliteten er den samme Effekten er ikke knyttet til kvalitet, men til ulik pasientsammensetning institusjoner imellom Sjelden en stor effekt, men justering gir et mer presist estimat og øker klinisk legitimitet Erfaringer med døgnenheter i psykisk helsevern 2005: svarernes alder, frivillighet av innleggelsen, sivilstatus May 22, 2014 15
Åpent kommentarfelt Viktig supplement til kvantitative data, også en validering av disse Gir svareren mulighet til å utdype/supplere Ressurskrevende og utfordrende å behandle hvis store utvalg Vi bruker disse dataene mer og mer både i rapportering og analyser
3. Våre undersøkelser innen psykisk Kunnskapsesenterets helsevern og rus nye PPT-mal
Undersøkelser innen psykisk helsevern og rus Døgnenheter psykisk helsevern 2005, 2014 TSB, 2013, 2014 Poliklinikker innen psykisk helsevern 2004 og 2007 Fastlegers samarbeid og erfaringer med DPSer; 2006, 2008, 2011, 2014 Utviklingsprosjekt om samhandling psykiske lidelser en av gruppene May 22, 2014 18
Nasjonal undersøkelse ved døgnenheter i psykisk helsevern 2005 Utviklingsprosjekt i forkant skjemautvikling (i samarbeid med SINTEF Helse), testing av ulike innsamlingsopplegg En hovedindeks, 3 underliggende dimensjoner; utbytte, relasjon til behandler, informasjon Nasjonal undersøkelsen høst 2005, bruttoutvalg 7656 (svarprosent 35) Lav andel manglende svar Lave skårer sml. med andre av våre undersøkelser May 22, 2014 19
Innsamling av data ved institusjonen Standardisert informasjon både til ansatte og pasienter Mulighet for å ekskludere enkeltpasienter? Registreringsskjema for å sikre oversikt mht administrering og svarprosent Regler for utfylling, eks fra TSB: - Pasientene bør sitte alene og fylle ut skjemaet - Pasientene bør svare på skjemaet uten å diskutere svarene sine med andre - Pasientene må levere inn skjemaet i vedlagt, forseglet konvolutt May 22, 2014 20
Eksempel på metodetriangulering i rapportering De snakker om at det skal være en psykolog her, men det har det ikke vært mens folk har vært her nå (11 mnd.+) Har informasjonen du har fått om behandlingen din vært tilfredsstillende? (N=930) Opplever du at behandlingen har vært tilpasset dine behov? (N=934) 4 4 13 13 33 34 37 34 14 16 Vi har ingen psykolog og det er så å si ikke noe fokus på å være sosial med mennesker utenfor behandlingen. Det blir vanskelig å komme ut når du bare har vært i skogen et år! Har du hatt innflytelse på behandlingen din? (N=926) 3 11 Ikke i det hele tatt I liten grad I noen grad I stor grad I svært stor grad Har du fått hjelp med psykiske plager? (N=763) Har du fått hjelp med fysiske plager eller sykdom? (N=782) Har du hatt tilfredsstillende tilgang til psykolog? (N=843) Har du hatt tilfredsstillende tilgang til lege? (N=918) 8 6 11 15 Ikke i det hele tatt I liten grad I noen grad I stor grad I svært stor grad 18 19 20 17 33 28 33 23 30 37 29 32 26 29 17 13 13 16 15 Synes det er altfor mye fokus på rus og ikke de menneskelige problemene som har gjort at vi har havnet på rusinstitusjon Fokuset på fellesskapet som behandlingsmodell gir lite rom for individuell tilpasning, samtidig som fellesskapstenkningen er veldig virkningsfull Jeg opplever ikke at jeg har mulighet å påvirke min behandling, alt er bestemt på forhånd fra hvilken medisin der er tilgjengelig til hva type oppfølging jeg skal ha
4. Bruk av Kunnskapsesenterets data og forbedringsarbeid nye PPT-mal
Barrierer Mulige barrierer for å benytte spørreskjemadata fra pasienter i kvalitetsforbedring: Organisatoriske (f.eks. prioriteringer) Fagrelaterte (f.eks. skepsis blant klinikere) Datarelaterte (f.eks. manglende kompetanse) Viktig å: utvikle virksomheter som støtter pasientsentrert omsorg, ha kvalitetsforbedringskapasitet og mottagelighet for resultatene, ha lederskap som støtter opp under kvalitetsforbedringsarbeidet, ha teknisk ekspertise på data. Davies E, Cleary PD. Hearing the patient's voice? Factors affecting the use of patient survey data in quality improvement. Qual Saf Health Care. 2005 Dec;14(6):428-32. May 22, 2014 23
Brukes brukererfaringsdata i lokalt kvalitetsarbeid? Figur. Prosentandel som rapporterer bruk av data 90 82 83 80 70 Heje HN et al. 2011, allmennleger, Danmark 60 54 56 60 61 Iversen HH et al. 2010, sykehus, Norge 50 Koch JR et al. 2011, "community services boards", USA 40 30 Hearnshaw H et al. 1996, allmennpraksiser, England og Wales 20 Riiskjær E et al. 2010, sykehus, Danmark 10 0 Friedberg MW et al. 2011, allmennleger, USA May 22, 2014 24
Oppfølgingsstudie i Norge - barneavdelinger I 2007 gjennomførte vi en web-basert undersøkelse blant 5 ansatte på hver barneavdeling om den nasjonale undersøkelsen ved barneavdelinger i 2005 Hovedresultater: Positive holdninger til at pasienter og pårørende involveres når kvaliteten på helsetjenestene skal evalueres God kjennskap til undersøkelsen Brukerundersøkelsen ble oppfattet som nyttig 56% svarte at avdelingen hadde iverksatt tiltak for å rette på de utfordringene som ble identifisert i undersøkelsen (fritekst med beskrivelse av tiltak i tillegg) Tall på avdelingsnivå trolig èn av forklaringene på positive vurderinger av nytte og oppfølging Iversen HH, Bjertnæs ØA, Groven G, Bukholm G. Usefulness of a national parent experience survey in quality improvement: views of paediatric department employees. Qual Saf Health Care. 2010;19:e38. May 22, 2014 25
Mulig med forbedringer - eksempel Insentiv for endring hvis det er: (1) tilstrekkelig validitet (2) resultater på lavt nivå og enheter har lavere resultat enn andre enheter; (3) åpenbare tiltak for å forbedre resultatene. Riiskjaer E, Ammentorp J, Nielsen JF, Kofoed PE. Patient surveys--a key to organizational change? Patient Educ Couns. 2010 Mar;78(3):394-401. May 22, 2014 26
Ressurser til forbedringsarbeid - eksempel May 22, 2014 27
Kunnskapsesenterets 5. Nye trender nye PPT-mal
Kvalitetsbasert finansiering og pasienterfaringer http://www.cms.gov/medicare/quality-initiatives-patient-assessment-instruments/hospital-value-based-purchasing/ May 22, 2014 29
Internett, sosiale media og brukerorientering Kvalitetsinformasjon på Internett inkludert online ratings Internettbaserte tjenester Informasjonssystemer om sykdom og behandling inkludert crowdsourcing BMJ Quality & Safety Editorial: Rozenblum R, Bates DW. Patient-centred healthcare, social media and the internet: the perfect storm? BMJ Qual Saf. 2013 Mar;22(3):183-6. doi: 10.1136/bmjqs-2012-001744 May 22, 2014 30
Kunnskapsesenterets 6. Avslutning nye PPT-mal
Avslutning Brukerorientering er en integrert del av mange vestlige kvalitetsmodeller Måling av brukerorientering er komplekst og krever metodetriangulering og anvendt forskning Flere forbedringsområder når det gjelder brukerorientering i Norge Mange ressurser tilgjengelig til forbedringsarbeid om brukerorientering Systemet og kulturen må understøtte viktigheten av brukerorientering May 22, 2014 32