Systematisk metodevurdering av

Transkript

1 Systematisk metodevurdering av Kunnskapsesenterets nye PPT-mal organisatoriske modeller Unni Krogstad, seniorforsker, dr. philos

2 SMM + Cochrane + HELTEF 2004

3 Hvorfor kunnskapssenter? Behov for å styrke kunnskapsgrunnlaget for faglige beslutninger i helsetjenesten og forvaltningen for i større grad å kunne nå helsepolitiske målsetninger og møte fremtidige faglige utfordringer

4 Beslutning

5 Hvorfor kunnskapsoppsummeringer? Ekspertene er uenige Sprikene i praksis er uakseptable For mye eller for lite benyttet Økende press fra kommersielle interesser Store forventninger til helsevesenet

6 Begrepsforvirring? Medisinsk metodevurdering Kunnskapsoppsummering Systematiske oversikter Systematisk oppsummering (systematic review)

7 Systematisk tilnærming til forskningslitteraturen

8 Systematiske oversikter summerer noe av litteraturflommen klargjør hva vi vet og ikke vet avdekker kunnskapshull - vise vei for videre forskning en syntese av data fra flere studier, kan bidra til nok statistisk styrke til å avsløre om et tiltak er effektivt eller ei, og dermed generere ny kunnskap (Làbbeet al. 1987, Haselkorn et al. 1994, Cochrane Colloboration Handbook, 1996)

9 Målgrupper Forvaltningen Administratorer og ledere i helsetjenesten Helsepersonell i spesialisthelsetjenesten Helsepersonell i primærhelsetjenesten Utdanningsinstitusjoner Befolkning

10 Hva kjennetegner en systematisk litteraturoversikt? Klar problemformulering Klare kriterier for - identifisering av litteratur - sortering (vraking) - vurdering - syntese

11 Prosessen i et prosjekt Dialog med bestiller Hva er egentlig spørsmålet? Hvilket design kan spørsmålet besvares ved? Finnes det allerede systematiske oppsummeringer på området? Sette seg inn i problemområdet Scope søk -få oversikt over litteraturtilfanget Skal vi ha en utredningsgruppe? På hvilket trinn skal den inn Planlegge søkestrategi: substans + søke-ekspertise

12 Å formulere fokuserte spørsmål (PICO) Population Intervention Comparison Outcome Populasjon Tiltak / eksposisjon Evt. alternativt tiltak Utfall Beskrive hvilke enheter som er relevante Hvilke tiltak skal vurderes Hva er relevant sammenligning (kontrollgruppe) Hvilke utfall/resultater er viktige

13 Systematikken består i: Systematisk oppbygd søkestrategi: alle synonymer for populasjon + alle synonymer for intervensjon + alle synonymer for utfall + metodefilter Søk i relevante databaser (Cochrane, CRD, Medline, Embase, Cinahl ) hjemmesider, håndsøk ++ Trinnvis lesing av to uavhengige forskere Titler/ abstrakt (kan være: ) Antatt relevante artikler bestilles ( kan være: ) Inkluderes pga relevans (kanskje 15 50) + kvalitet (f eks: 10)

14 Kategorier av kvalitet på forskningen Høy: Det er usannsynlig at videre forskning vil endre vår tillit til effektestimatet. Moderat: Det er sannsynlig at videre forskning vil påvirke vår tillit til effektestimatet, og det kan forandre estimatet. Lav: Det er svært sannsynlig at videre forskning på en viktig måte vil påvirke vår tillit til effektestimatet, og det er sannsynlig at det vil forandre estimatet. Svært lav: Ethvert estimat av effekt er svært usikkert.

15 Sjekklister for følgende typer studier finnes i håndboka (som er tilgjengelig på Avbrutt tidsseriedesign Evaluering av diagnostiske tester Kasus-kontrollstudier Kohortstudier Kontrollerte før-og etter-studier Kvalitative studier Pasientserier Randomiserte kontrollerte studier Systematiske oversikter Tverrsnittstudier Økonomiske evalueringer

16 Kvalitetsvurdering av studien: Høy kvalitet Brukes hvis alle eller nesten alle kriteriene fra sjekklisten er oppfylt. De svakheter som eventuelt er dokumentert antas ikke å kunne endre studiens konklusjon. Middels kvalitet Brukes hvis noen av kriteriene fra sjekklisten ikke er oppfylt eller der kriteriene ikke er tilfredsstillende beskrevet. Når kriteriene ikke er oppfylt, eller ikke er tilfredsstillende beskrevet, antas det å være usannsynlig at svakhetene faktisk kunne ha endret studiens konklusjon. Lav kvalitet Brukes hvis få eller ingen kriterier fra sjekklisten er oppfylt eller ikke er tilfredsstillende beskrevet. Svakhetene kan innebære at studiens konklusjon er feil.

17 Syntese hente ut data sammenstille og gradere Meta-analyse En vurdering av oppsummeringstabellene gjør det mulig å planlegge en kvantitativ oppsummering ved å tydeliggjøre mulige sammenlikninger, utfall som kan slås sammen (metaanalyse) og studiekarakteristika som det bør tas hensyn til når variasjon i effekt skal undersøkes (heterogenitet). Kvantitativ syntese forutsetter at man i primærstudiene har undersøkt samme problemstilling på sammenliknbare utvalg av deltakere og har målt det samme. Nok data må foreligge. Så må man ta stilling til tre spørsmål: Hvilke sammenlikninger skal gjøres? Hvilke utfallsmål skal brukes? Hvilke effektmål skal brukes?

18 Prosjekter i Kunnskapssenteret Palliativ smertebehandling Søvnaphne Nakkeslengskade Misoprostol Volum-kvalitet Inneklima Protonterapi In-vitro fertilisering Funksjonsfordeling akutttjenester Pasientsikkerhet Radiofrekvensablasjon Krisepsykiatri Isolering i sykehus Herceptin Selvmordsforebygging TNF-hemmere Målstyring i sykehus Kreftrehabilitering Depresjon hos flyktninger

19 Tre eksempler på kunnskapsoppsummeringer med organisatorisk problemstilling 1. Målstyringsmodeller i sykehus (2007) 2. Funksjonsfordeling av akutt-tjenester (2004) 3. ISO sertifisering i sykehus (2006)

20 Målstyringsmodeller i sykehus (2007) Oppdrag fra Helse Vest RHF, å utføre en kunnskapsoppsummering som vurderer nytten av innføring av verktøy som Balansert målstyringskort (BSC) og European Foundation for Quality Management Exellence Model (EFQM) i sykehusenes strategiledelse Presisering: Gir BSC og EFQM bedre strategier, bedre ledelse eller bedre kvalitet i sykehus?

21 Litteraturen ble valgt ut etter følgende kriterier: Inklusjonskriterier: Populasjon: Sykehus eller avdelinger Intervensjon: Innføring av Balanced Scorecard (BSC) eller EFQM Eksklusjonskriterier: Andre strategi/ styringsverktøy Studier som bare rapporterer implementerings prosessen Resultatmål (outcome): BSC: Pasientbehandling Utviklingsmål Prosessmål Økonomi EFQM: Brukere Personalet Samfunnet Produktivitet og økonomi

22 Utvelgelsesprosessen i målstyringsrapporten Cochrane 33 EPOC 1 Medline 408 Embase 267 Cinahl 134 ISI 83 Duplikater vurderte referanser (titler og sammendrag) 71 artikler lest i fulltekst 60 artikler ekskludert pga manglende empiri + 6 artikler ekskludert pga manglende relevans 5 artikler inkludert som dokumentasjonsgrunnlag for rapporten

23 Kvalitativ oppsummering av artiklene En deskriptiv sammenfatning av artiklene etter valgte kriterier : Setting for datainnhenting (periode, land, metode,) Felles intervensjoner Felles utfallsmål Felles resultater hva peker i samme retning, hva divergerer, Felles svakheter Overlappende studiepopulasjon Metodesvakhet Kommentar og konklusjon

24 Resultater og konklusjon Litteraturen på området består stort sett av teori, utvikling av modeller og beskrivelser av implentering. Vi fant fem studier med systematisk innhenting av informasjon om resultater etter implementering av BSC eller EFQM. Resultater på lokalt definerte dimensjoner. Ingen av studiene er designet slik at resultatene kan generaliseres. Området bærer preg av å være lite studert. Betydelige metodiske utfordringer (effekt på ulike nivå og til ulik tid). Det er behov for forskning med god design så vel som metodeutvikling på dette området.

25 Funksjonsfordeling av akutt-tjenester (2004) Helse Vest har bedt om en vurdering av dokumentasjon som er knyttet til organisering av akutte helsetjenester. Det aktuelle spørsmålet er om det er fornuftig med en sammenslåing av to eksisterende -og geografisk nærliggende akuttmottak.

26 Spørsmål Er det dokumentert optimale størrelser på akuttmottak? Hva er gode pasientforløp i akuttmottak Bør silingsfunksjonene skje i mottaket eller i en evt. observasjonsenhet etter evt. i tilknytning til mottaket. Er det hensiktsmessig med funksjonsfordeling mellom ulike medisinske spesialiteter eller etter andre kriterier?

27 Søkestrategi Søketermer inkluderte: Sentralisering / Volum -kvalitet Prehospitale tjenester samhandling silingsfunksjon tilgengelighet Pasientflyt triage fast track systemer Observasjonsenheter Filter: systematiske oversikter

28 Avgrensning av søk: Populasjon: Akutt-tjenester i sykehus eller som egne frittstående enheter inklusive prehospitale tjenester Intervensjon: Organisatoriske tiltak i akutt-tjenestene: sammenslåing, triage, observasjonsenheter, spesialiserte enheter, sentralisering Utfall Pasientrelaterte Død Pasienterfaringer Organisatoriske Liggetid Reinnleggelser Korridorpasienter

29 Funksjonsfordeling akutt mottak Søk i CRD, Cochrane, Medline, Embase + kontakt INAHTA 786 treff 178 Sammendrag vurdert 62 oversiktsartikler lest i fulltekst 12 relevante artikler inkludert som dokumentasjonsgrunnlag for rapporten

30 Guide i valgprosessen: Relevante problemstillinger Pasientflyt, samhandling, observasjonsenhet, spesialisering, sentralisering, pasientvolum, triage Ikke relevante problemstillinger: Prosesser for behandling, uten at dette er relatert til struktur eller organisering (bemanningsstudier anses som ikke relevant) Kompetanseoppbygging EMS (Emergency medical services) indikatorer for måling av ytelse og effektivitet Psykiatriske akutt-tjenester

31 Funn: Prehospitale tjenester - tilgjengelighet Kan bedre tilgjengelighet til primærhelsetjenester redusere presset på akutt-tjenestene? Ni studier hvorav åtte viste reduksjon i bruk av akutt-tjenester ved økt primærhelsetjenestetilbud.

32 Pasientflyt triage Ni studier (RCT, før-etter, tidsserier) - redusert liggetid - effekt på diagnostikk og utredning ikke konsistent fast track systemer Fire studier (RCT, før-etter) - redusert ventetid for pasienter med mindre alvorlige tilstander - utilstrekkelig informasjon om tilfredshet, helseutfall og kostnader

33 Observasjonsenheter 1 systematisk oversikt omhandlet pasienter med brystsmerter: Tre RCT, 2 kontrollerte studier, 11 kohortstudier de inkluderte studiene ga ikke grunnlag for konklusjon om kliniske utfall Liggetid Innleggelse Reinnleggelse Effektivitet livskvalitet / tilfredshet kostnader

34 Konklusjoner Bedre tilgang til primærhelsetjenester reduserer antall henvendelser til akuttmottak Fast track systemer bedrer pasientflyt og reduserer ventetid, det mangler dokumentasjon på kliniske utfallsmål Observasjonsposter: ikke konsistente funn mht liggetid, reinnleggelser. Mangler dokumentasjon om nytte på kliniske utfallsmål Problem med overføringsverdi mellom ulike systemer Problem med generalisering over tid Skandinaviske erfaringer er svakt representert

35 ISO-sertifisering og akkreditering i sykehus Oppdrag fra Helse Vest: Mandat Gå systematisk igjennom foreliggende dokumentasjon vedrørende effekt av Iso-sertifisering og akkreditering i sykehus

36 Oversikt over inklusjonskriterier Populasjon Intervensjon Utfall Studiedesign Sykehus ISO-sertifisering og akkreditering Resultatmål Prosessmål Systemetatiske oversikter og primærstudier med RCT CBA ITS ( RCT=Randomiserte kontrollerte studier, CBA=Kontrollerte før- og etterstudier, ITS=avbrutte tidsserier)

37 Utfallsmål Resultatmål: pasientbehandling (liggedøgn, reoperasjon pga feilbehandling, pasienttilfredshet, morbiditet og mortalitet) Forskning Undervisning Opplæring av pasient / pårørende Prosessmål: Dokumentstyring Registreringer Avviksstyring Korrigerende og forebyggende tiltak Intern revisjon

38 Utvelgelsesprosess Cochrane 19 CRD 0 Medline 430 Embase 161 Cinahl 141 Duplikater vurderte referanser (titler og sammendrag) 30 artikler lest i fulltekst 28 artikler ekskludert pga intervensjon studiedesign 5 artikler inkludert som dokumentasjonsgrunnlag for rapporten

39 Resultater og konklusjon Vi fant få studier som har undersøkt effekten av ISO-sertifisering og akkreditering i sykehus. Èn studie (før etter) omtalte relevante utfallsmål, og viste en reduksjon i 30 d mortalitet av hjerteoperasjoner i studieperioden ( ) Èn studie (kohortestudie) viste at sykehus som hadde søkt akkreditering hadde flere systematiske prosedyrer og flere komiteer enn de som ikke hadde søkt akkreditering Begge studiene var metodologisk svake

40 Utfordringer

41 Systematisk kunnskapsoppsummering av organisatoriske modeller State of the art eller akkumulert kunnskap

42 Kan vi overføre evidensbegrepet fra behandling til organisering??

43 Har medisinsk forskning og helsetjenesteforskning det samme bevis behov? Forskningens gjenstandsområde? Hva er relevant metodekompetanse? Teoretiske perspektiver? Synet på kausalitet? Generaliserbarhet i tid og rom?

44 Utfordringer i oppsummeringer av organisatoriske studier Formålet med et Evidenshierarki er å kunne ta riktig forbehold i forskningen inkludere: best mulige forskningsdesign Hva er de beste forskningsdesign i organisatorisk forskning? Hvor er risikoen størst for feilkonklusjoner i organisatorisk forskning finnes varige sannheter som gjelder i alle kulturer / organisasjoner?

45 ROTHLEY, LEICESTERSHIRE Population: 7325 Altitude: 852 TOTAL: 9968 Founded: 1791