REFERANSE: DATO: VERSJON: Evaluering Meldingsutbredelse 12.3.2015 V 1.0 Program for Meldingsutbredelse Evaluering på oppdrag av Norsk Helsenett
Innhold Sammendrag... 3 1 Innledning... 4 Bakgrunn... 4 2 Gjennomføring av evaluering... 5 3 Måloppnåelse og sektorens vurdering... 6 Prosjekt KomUT... 6 Prosjekt SamUT... 7 Prosjekt Komp-IS... 8 Prosjekt Brukerstøtte... 10 Prosjekt OSEAN... 10 Prosjekt Meldingsteller... 12 Prosjekt Leverandørhåndtering... 12 Prosjekt Communication Protocol Profile (CPP)/Communication Protocol Agreement (CPA)... 14 Oppsummert vurdering av prosjektene... 15 4 Virkemidler... 16 Økonomiske insentiver til leverandørene... 16 Tilskudd til kommunene... 16 5 Økonomi... 18 Program- og prosjektkostnader... 18 Lønnskostnader... 19 Konsulenthonorarer... 19 Våre funn og konklusjoner... 20 6 Konklusjoner... 21 Måloppnåelse... 21 Sektorens vurdering... 21 Virkemidler... 21 Økonomi... 21 Totalvurdering... 22 Program for Meldingsutbredelse 12.3.2015 Side 2 av 22
Sammendrag Program for Meldingsutbredelse er gjennomført av Norsk Helsenett på oppdrag fra Helse- og omsorgsdepartementet. Norsk Helsenett fikk ansvaret for utbredelse av elektroniske meldinger i 2012, og oppdraget fra Helse- og Omsorgsdepartementet er gitt i tildelingsbrev for 2012, 2013 og 2014. Den overordnede målsettingen for Program for Meldingsutbredelse har vært å bidra til effektivisering, økt kvalitet i pasientbehandlingen og bedre samhandling gjennom bruk av elektronisk kommunikasjon. Et særlig mål har vært å etablere elektronisk meldingsutveksling mellom alle kommuner, sykehus og fastleger i 2014, samt å etablere rutiner for forvaltning, vedlikehold og videreutvikling av feltet etter programmets avslutning. Norsk Helsenett har ønsket en evaluering av programmet, med fokus på fire områder: måloppnåelse, bruk av virkemidler, økonomi og sektorens vurdering av aktiviteter. Evaluering ble gjennomført i siste kvartal 2014 av Bouvet AS. Norsk Helsenett har opprettet syv prosjekter for å operasjonalisere målene. For å innhente informasjon til bruk i evalueringen av prosjektene ble det gjennomført to forskjellige spørreundersøkelser: en internt i organisasjonen og en eksternt i sektoren. Vurdering av økonomi og virkemidler ble basert på informasjon og grunnlagsdata fra programmet og øvrige relevante dokumenter. Vår vurdering er at Program for Meldingsutbredelse har vært vellykket. Ved slutten av 2013 var alle kommuner tilkoblet helsenettet, og i desember 2014 sender/mottar over 99% av alle landets kommuner, alle sykehus og fastleger elektroniske meldinger. Det overordnede effektmålet med programmet vurderes dermed som oppnådd, i tråd med Helse- og Omsorgsdepartementets intensjoner. Fem av delprosjektene har en måloppnåelse på 100 %, mens de to øvrige har måloppnåelser varierende fra 75% 100%. Norsk Helsenetts aktiviteter vurderes derfor som god, og eksterne deltakere er svært fornøyde. Vår vurdering er at de direkte økonomiske insentivene til leverandørene har hatt en positiv effekt i Program for Meldingsutbredelse, men at det er vanskelig å anslå effekten kvantitativt. De totale midlene som er brukt på disse insentivene er imidlertid små i forhold til programmets totale budsjett. Over 70% av programmets midler har blitt brukt til tilskudd til kommunene. Det er åpenbart at bruken av tilskudd har vært helt avgjørende for gjennomføringen og måloppnåelsen for Program for Meldingsutbredelse, og totalt sett er vår vurdering at det virker som om det har vært en effektiv bruk av tilskuddsordningene og at disse har fungert som tilsiktet. Bouvet vurderer totalt sett at Norsk Helsenett har løst oppgavene i tråd med Helse- og omsorgsdepartementets oppdrag på en hensiktsmessig måte, innen de gitte økonomisk rammene. Program for Meldingsutbredelse 12.3.2015 Side 3 av 22
1 Innledning Bakgrunn Det Nasjonale meldingsløftet ble etablert for å få fortgang i utbredelsen av elektronisk samhandling i helse og omsorgssektoren og var organisert som et program underlagt Helsedirektoratet. Nasjonalt meldingsløft skulle bidra til realisering av gevinster som følge av tidligere satsinger på infrastruktur og standarder for informasjonsutveksling, og med overordnet målsetting om å bidra til bedre samhandling og sammenhengende forløp i helsesektoren. Program for Meldingsutbredelse ble opprettet som en konsekvens av at Norsk Helsenett fra 2012 fikk et særskilt ansvar som pådriver i sektoren for ytterligere utbredelse av elektronisk meldingsutveksling. Norsk Helsenett overtok derfor i 2012 oppfølgingsansvaret for tiltak som var igangsatt av Helsedirektoratet i forbindelse med Nasjonalt meldingsløft og Meldingsløftet i kommunene. Aktiviteter og oppgaver ble gradvis overført til Norsk Helsenett i løpet av våren 2012. Program for meldingsutbredelse ble avsluttet ved utgangen av 2014, og videre arbeid med meldingsutbredelse vil ivaretas av Norsk Helsenett som en del av den ordinær drift. Norsk Helsenett har etter programmets slutt bedt om en vurdering av: Måloppnåelse Virkemiddelbruk Økonomi Sektorens vurdering Program for Meldingsutbredelse 12.3.2015 Side 4 av 22
2 Gjennomføring av evaluering For å innhente informasjon til bruk i evalueringen av prosjektene i Program for Meldingsutbredelse ble det gjennomført to kvalitative spørreundersøkelser: internt i organisasjonen og eksternt i sektoren. Intern informasjon om prosjektene ble målt gjennom å presentere hver ansvarlig prosjektleder med et spørreskjema med spørsmål om "deres" prosjekt. Spørsmålene dekket forskjellige aspekter ved prosjektet, slik som målsetning, risiko, bemanning osv. Sektorens vurdering av prosjektene ble målt gjennom å sende ut over seksti spørreskjemaer til eksterne deltakere i prosjektene og til mottakere av prosjektresultatene. Spørreskjemaet fokuserte på prosjektets målsetninger, og for hvert mål ble mottakeren spurt om dette målet ble oppnådd og om han/hun var fornøyd med sluttresultatene. Svarprosenten på ekstern undersøkelse er over 80 %: Prosjekt* Sendt Svar % KomUT 21 83 % Leverandørhåndtering 16 85 % OSEAN 14 69 % SamUT 8 86 % Komp-IS 4 67 % 63 81 % * CPP/CPA har til nå ikke hatt resultater med betydning for sektoren, og er derfor ikke en del av spørreundersøkelsen mot eksterne. Prosjekt Brukerstøtte og prosjekt Meldingsteller var avsluttet ved evalueringens start, og prosjektenes sluttrapporter er derfor brukt som vurderingsgrunnlag fremfor en ekstern undersøkelse. Vurdering av økonomi og virkemidler er basert på informasjon og grunnlagsdata fra programmet og øvrige relevante dokumenter. Program for Meldingsutbredelse 12.3.2015 Side 5 av 22
3 Måloppnåelse og sektorens vurdering I statsbudsjett for 2012 ble ansvaret for utbredelse av elektroniske meldinger flyttet fra Helsedirektoratet til Norsk Helsenett. Oppdraget er nærmere spesifisert i oppdragsbrev for 2012, 2013 og 2014. Program for Meldingsutbredelse ble etablert for å operasjonalisere oppdraget fra Helse- og omsorgsdepartementet. Den overordnede målsettingen for Program for Meldingsutbredelse har vært å bidra til effektivisering, økt kvalitet i pasientbehandlingen og bedre samhandling gjennom bruk av elektronisk kommunikasjon. Et særlig mål har vært å etablere elektronisk meldingsutveksling mellom alle kommuner, sykehus og fastleger i 2014, samt å etablere rutiner for forvaltning, vedlikehold og videreutvikling av feltet etter programmets avslutning. Dette er i samsvar med Helse- og omsorgsdepartementets oppdragsbrev for 2012, 2013 og 2014. Det overordnede effektmålet " å etablere elektronisk meldingsutveksling mellom alle kommuner, sykehus og fastleger i løpet av 2014" er operasjonalisert gjennom 7 prosjekter i Program for Meldingsutbredelse. Alle prosjektene har egne effekt- og resultatmål som støtter opp under programmets målsetting. Norsk Helsenett har bedt om en vurdering av måloppnåelse knyttet til programmet, samt en vurdering av resultat og måloppnåelse fra sektoren. Det er derfor gjort en vurdering av dette knyttet til hvert delprosjekt i programmet. Prosjekt KomUT Prosjektet Kommunal utbredelse (KomUT) ble etablert med formål å tildele og forvalte tilskudd til kommuner, samt følge opp, veilede og koordinere disse for å få kommunene tilknyttet helsenettet og i gang med elektronisk samhandling med legekontor og sykehus. Et sentralt virkemiddel var etablering av regionale nettverksstrukturer hvor enkeltkommuner tok en lederrolle og ble gitt/ytt tilskudd som Norsk Helsenett fulgte opp bruken av. Prosjektmål Resultat Kommentar 1 I løpet av 2013 skal alle landets kommuner være tilknyttet helsenettet 2 I løpet av 2014 skal alle landets kommuner sende og motta elektroniske pleie- og omsorgsmeldinger 3 Bruken av andre typer meldinger (enn pleieog omsorgsmeldinger) skal øke i prosjektperioden 4 Innen juni 2014 skal det utarbeides en rapport som oppsummerer aktiviteten, læringspunkter, og som definerer veien videre 100 % Den siste kommunen ble tilknyttet i desember 2013 99 % 422 (av 428) kommuner sendte elektroniske meldinger i desember 2014 100 % Det har vært en signifikant økning i prosjektperioden 100 % Prosjektet videreføres, og det er utformet et mandat for videre aktivitet for perioden 2015 2018. I desember 2013 var alle kommuner tilkoblet helsenettet og i desember 2014 sender/mottar over 99% av landets kommuner elektroniske pleie- og omsorgsmeldinger. Bruken av andre typer meldinger har også økt betydelig. KomUT-nettverket videreføres i 2015, etter ønske fra KS og i tråd med styringssignalene fra Helse- og omsorgsdepartementet. Norsk Helsenett skal fortsatt være fasilitator for nettverket. Program for Meldingsutbredelse 12.3.2015 Side 6 av 22
Prosjektmålene forble uforandret i gjennomføringen av prosjektet, og resultatmålene er lett målbare (antall kommuner tilknyttet helsenettet, antall kommuner som sender/mottar elektroniske meldinger). Prosjektet har gitt tilskudd til organisasjoner i utvalgte kommuner eller interkommunale samarbeidsorganisasjoner. Disse kommunene/organisasjonene hadde inngående kunnskap om prosjektet, og fungerte som ambassadører mot andre kommuner. Mer enn 70% av programmets totale økonomiske midler er anvendt til disse tilskuddene. En risikoanalyse ble gjennomført i starten av prosjektet, og det ble tatt kontinuerlige grep for å minimere risikoen under gjennomføringen av prosjektet. I mars 2014 utarbeidet PricewaterhouseCoopers (PWC) en FoU-rapport (PricewaterhouseCoopers, 2014) på oppdrag fra KS og Norsk Helsenett. PWCs vurderinger av kostnader og gevinster ved innføring og drift av elektroniske meldinger, samt modell for kommunal utbredelse, fremgår av rapporten. Konklusjonen var at "Gevinstkartleggingen viser at det er/forventes betydelige gevinster ved innføring av elektronisk meldingsutveksling for små kommuner. De kvalitative gevinstene er trolig større enn de kvantitative, og gevinstene antas generelt å være større ved elektronisk meldingsutveksling mot helseforetak enn mot legekontor." 3.1.1 Sektorens vurdering Alle deltakere i spørreundersøkelsen har indikert at de er svært fornøyde med prosjektets resultat. De aller fleste kommunene i landet bruker nå elektronisk meldingsutveksling, og de positive effektene av dette er målbare i alle nivåer hos helsestasjoner, allmennleger og pleie- og omsorgstjenester. Sitat: "Ansatte er etter en innkjøringsperiode meget fornøyde frigitt tid (unngår venting i telefon med fastleger og fax). De ansatte ser nytten av at informasjon av slik kontakt er dokumentert ett sted i pasientens journal." 3.1.2 Samlet vurdering Prosjektet har en måloppnåelse på 99-100 %, resultatene av prosjektet er tilstrekkelig innarbeidet i de mottakende organisasjonene, og spørreundersøkelsen indikerer at de er svært fornøyde med resultatet. Prosjektet må derfor sies å være en suksess. Prosjekt SamUT Prosjektet ble etablert for å definere en tydeligere sektorovergripende forvaltning av meldingsutbredelsen (permanent forvaltningsstruktur for samordnet utbredelse av elektronisk meldingsutveksling i helse- og omsorgssektoren). Program for Meldingsutbredelse 12.3.2015 Side 7 av 22
Prosjektmål Resultat Kommentar 1 Det skal utarbeides et mandat for gruppen i løpet av 2013 2 I løpet av 2013 skal det avholdes minst tre møter med et tverrsektorielt organ som skal ivareta forvaltningsmessige avklaringsbehov 3 I løpet av Q2 2014 skal det beskrives en organisatorisk forvaltningsstruktur som kan ivareta løpende oppgaver og behov ut over Meldingsutbredelsesprogrammets levetid 4 I løpet av Q3 og Q4 skal denne forvaltningsmodellen innføres i sektoren 100 % Mandatet ble godkjent oktober 2013 100 % Det ble gjennomført fire møter i 2013 100 % SamUT er etablert som et permanent organ med NHN som sekretariat 100 % Forvaltningsmodellen er innført og blir ivaretatt av Norsk Helsenett Prosjektet har oppnådd alle målene. SamUT videreføres som en del av den ordinære driften i Norsk Helsenett, og bidrar dermed til å ivareta forvaltningsoppgavene knyttet til meldingsbasert samhandling ut over programperioden. 3.2.1 Sektorens vurdering Det er en tydelig og målbar forbedring i samarbeidet mellom aktører, og dette har ført til både besparelser i tid og forbedret kvalitet. SamUT var opprinnelig definert som et prosjekt, men fungerer nå som et fast samarbeidsorgan hvor Norsk Helsenett er fasilitator. Denne framgangsmåten har vært godt mottatt blant de eksterne aktørene. Norsk Helsenett har bidratt til bedre samarbeid mellom aktørene, gjennom dialog og et felles sted å ta opp felles problemstillinger. Samarbeidet mellom leverandører og samarbeidet mellom RHFene har også blitt forbedret. Sitat: "Ved å få mer kunnskap om de ulike aktørene så ser en også mer nytten av å etterleve forskrifter og standarder. Vi lærer også mye av hverandre på hvordan ulike regioner har løst utfordringer." 3.2.2 Samlet vurdering SamUT Prosjektet har en måloppnåelse på 100 %. Alle prosjektmål er oppfylt og samarbeidsorganet SamUT er videreført inn i Norsk Helsenetts ordinære drift. Sektorens tilbakemelding er at det er en tydelig og målbar forbedring i samarbeidet mellom aktørene. Prosjekt Komp-IS Mange kommuner og legekontor har behov for tilrettelagt undervisning omhandlende pasientsikkerhet, og dette er et prioritert område for Norsk Helsenett. Norsk Helsenett kjøpte derfor rettighetene til et kompetanseprogram i informasjonssikkerhet utviklet av Helse Sør-Øst, og tilpasset dette til målgruppen; kommuner og legekontor. Program for Meldingsutbredelse 12.3.2015 Side 8 av 22
Prosjektmål Resultat Kommentar 1 Kompetanseprogrammet (i informasjonssikkerhet) skal gjøres tilgjengelig for alle landets kommuner i løpet av 2014 2 I løpet av 2013 skal 200 av landets kommuner ha gjennomført opplæringsprogrammet 3 I løpet av 2014 skal 100 av landets kommuner ha gjennomført opplæringsprogrammet 4 Innen juni 2014 skal det utarbeides en rapport som oppsummerer aktiviteten, modellbeskrivelsen, læringspunkter, og som definerer veien videre 100 % Programmet ble overført til KS i april 2014 100 % 211 kommuner har hatt representanter på kurs Ikke relevant Programmet ble avsluttet i NHN-regi og overført til KS i april 2014 100 % Slutt- og overleveringsrapport levert 31.12.13. Kompetanseprogrammet (utviklet av Helse Sør-Øst) er tilpasset målgruppene og er rullet ut til alle relevante aktører. Sluttrapporten ble ferdigstilt og kompetanseprogrammet er overført til KS i april 2014. Norsk Helsenett har ingen tall på hvor mange kommuner som har gjennomført programmet etter det. Det ble gjennomført en risikoanalyse før prosjektstart, og et risk-register ble etablert. Under gjennomføringen av prosjektet ble det tatt grep for å minimere risikoen når nødvendig. Prosjektet ble forlenget et år (ut 2013) i forhold til opprinnelig plan, dels fordi tilbakemeldingene var svært positive og mange fortsatt ønsket å gjennomføre kurset, og dels fordi det ikke var noen andre som kunne overta og videreføre kurset. 01.01.2014 ble kursopplegget vederlagsfritt overført til KS for videre utrulling. Dette er et godt eksempel på god prosjektdynamikk: når man så at kompetanseprogrammet ville passe for et større publikum ble aktiviteter skalert opp, og et prosjekt ble definert. Senere, etter at kompetanseprogrammet ble tilpasset og gjort tilgjengelig fra forskjellige kilder (undervisning, web, dokumentasjon), samt at anbefalinger ble formulert, ble prosjektet overført til riktig organisasjon. 3.3.1 Sektorens vurdering Før utgangen av 2013 hadde 211 kommuner deltatt i kompetanseprogrammet. Det ble gjennomført to eksterne evalueringer / brukerundersøkelser (både før og etter programmet) for å vurdere hvilken effekt programmet hadde. Første evaluering ble avsluttet i desember 2012, og den andre i oktober 2013. En oppsummering av samlede resultater viser at kompetanseprogrammet har hatt en verdi for de som deltok. Den viser at de ansatte fikk mer kunnskap og forståelse om informasjonssikkerhet etter å ha gjennomført Komp-IS. Sitat: "Det var tydelig et viktig element av holdningsskapende arbeid og bevisstgjøring." Prosjektet har erfart at kommunen og kommunens ansatte er meget interesserte i å tilegne seg kunnskap om informasjonssikkerhet. Det er et stort engasjement til å lære mer, se på egne arbeidsrutiner og foreta enkle endringer med stor betydning for den daglige praktiseringen av informasjonssikkerhet. Program for Meldingsutbredelse 12.3.2015 Side 9 av 22
3.3.2 Samlet vurdering Komp-IS Prosjektet har en måloppnåelse på 100 %. Alle prosjektmål er oppfylt og programmet blir videreført i regi av KS. Prosjekt Brukerstøtte Prosjektets mål har vært å beskrive en modell for brukerstøtte som kan gis fra Norsk Helsenetts side, og som er i tråd med sektorens ønsker og behov. Det må videre vurderes hvilken kompetanse som skal sitte i førstelinje (Kundesenteret), og denne kompetansen må deretter overføres. Prosjektmål Resultat Kommentar 1 Det skal gjennomføres minst ett nasjonalt seminar med brukere fra sektoren (brukerstøtte) i 2013 2 Kundesenteret skal få opplæring og undervisning omhandlende utfordringer knyttet til meldingshåndtering 3 Det skal utvikles en hjemmeside som samler informasjon om elektronisk meldingsutveksling 4 Definere roller knyttet til brukerstøtte - henvendelsesmønster 5 Innen juni 2014 skal det utarbeides en rapport som oppsummerer aktiviteten, modellbeskrivelsen, læringspunkter, og som definerer veien videre 100 % Gjennomført januar 2013, 60 deltagere 100 % Det er gjennomført to interne undervisningsrunder med Kundesenteret 100 % Denne informasjonen ble samlet og delt på nhn.no 100 % Det er utviklet og videreformidlet en "Brukerstøtteplakat" 100 % Sluttrapport levert første kvartal 2014 3.4.1 Sektorens vurdering Prosjektet ble avsluttet seks måneder tidligere enn opprinnelig planlagt. Tilbakemeldinger fra sektoren via seminar og arbeidsmøter var at man ønsket en nasjonal avtale og ikke lokale varianter av samarbeidsavtaler mellom de enkelte virksomheter. Det ble derfor vurdert i prosjektet at det ikke lenger var aktuelt å bruke tid og ressurser på å pilotere og tilpasse samarbeidsavtaler, siden hovedmålet var en nasjonal avtale. Tiltaket som omfattet pilotering av samarbeidsavtaler ble fjernet fra mandatet ved revisjon. 3.4.2 Samlet vurdering Brukerstøtte Prosjektet har en måloppnåelse på 100 %. Prosjekt OSEAN OSEAN prosjektet ble opprinnelig startet opp av Helsedirektoratet i forbindelse med Nasjonalt meldingsløft i 2011. Helsedirektoratet utarbeidet behovsbeskrivelse, krav til funksjonalitet i journalsystemene for allmennleger og kommuner, samt igangsatte utviklingsarbeid i samarbeid med systemleverandørene. Videre gjennomførte de regionale helseforetak en konsekvensanalyse vedrørende nødvendige endringer i egne system for tilpasning til ny adresseringsmetode. I forbindelse med overføring av ansvar for utbredelse av elektroniske meldinger ble også ansvar for OSEAN programmet overført til Norsk Helsenett og inkludert i programmet. Program for Meldingsutbredelse 12.3.2015 Side 10 av 22
OSEAN-prosjektet har som mål å integrere enhetene (sykehus, kommuner og allmennlegekontor) med Adresseregisteret, og derigjennom gjøre Adresseregisteret til den sentrale og bestemmende adressekatalogen for elektronisk kommunikasjon. Prosjektmål Resultat Kommentar 1 Alle rekvirenter med SystemX, Winmed 2/3 og Plenario skal ha tatt i bruk OSEAN innen 1.6.2014 2 Alle kommuner med Visma, Tieto og Acos skal ha tatt i bruk OSEAN innen 31.12.2014 3 Alle RHF skal ha støtte for OSEAN i løpet av 2014 4 Innen juni 2014 skal det utarbeides en rapport som oppsummerer aktiviteten, læringspunkter og som definerer veien videre 80 % Prosjektet videreføres i 2015 for å ferdigstille resterende 20 % 80 % Løsning for OSEAN er utbredt, men ikke tatt i bruk hos alle kommuner 80 % Alle RHF med unntak av Helse Nord RHF har etablert støtte for OSEAN Ikke relevant Prosjektet er videreført Prosjektmålene er foreløpig ikke nådd: Nær 80% av legekontorene som kan få OSEAN har fått det, men Helse Nord RHF er ikke i gang 1. Tjenestebasert adressering med bruk av Helseenhetsregister-id (HER-id) er en forutsetning for å ta i bruk OSEAN-løsningen. I noen regioner bruker mer enn 85% av aktørene HER-id og tjenestebasert adressering. Enkelte regioner er forsinket grunnet tekniske utfordringer ved implementering av OSEAN-løsningen, mens i andre regioner benyttes HER-id i kommunikasjon mellom fastlege og pleie- og omsorg, men ikke i kommunikasjon med helseforetak. I første kvartal 2015 vil Helse Nord RHF også introdusere HER-id. Dette vil øke bruken betydelig, og dermed skal dette målet bli nådd. Siden prosjektet har blitt forlenget og fortsatt pågår er det ikke utarbeidet noen sluttrapport ennå. 3.5.1 Sektorens vurdering På spørsmål om hvilke gjenstående utfordringer som finnes, og hvordan disse kan løses, svarer de fleste mangel på opplæring på legekontor. Leverandører må sette av mer tid til å lære opp brukere i hvordan de skal finne fram til riktig informasjon i Adresseregisteret. Sitat: "Tilbakemeldinger fra legekontorer er at det er vanskelig å søke frem tjenester i AR og vi ser også at noen legekontorer fremdeles bruker "gammel" adresseringsmekanisme, selv om Osean er installert. AR må harmoniseres hvor informasjon blir lagt inn og hvilke felter leverandøren skal søke på / vise i sine løsninger må standardiseres / gjennomgås." Flere av de som besvarte spørreundersøkelsen nevnte mangel på harmonisering som en stor utfordring: bruken av ulike felt er ikke entydig definert blant de forskjellige leverandørene. 1 Forberedelser for oppstart er p.t. igangsatt og målet er at Helse Nord RHF også skal være på plass i løpet av året. Program for Meldingsutbredelse 12.3.2015 Side 11 av 22
Sitat: "Slik det er nå bruker nok de forskjellige HF ene de forskjellige feltene på forskjellige måter." Helse Midt-Norge RHF og Oslo Universitetssykehus har valgt å støtte seg kun på Adresseregisteret for adresseinformasjon, noe som innebærer at registeret er på god vei til å bli det sentrale og bestemmende registeret sektoren har behov for. 3.5.2 Samlet vurdering OSEAN Prosjektet har en måloppnåelse på 80 %. Det gjenstår fortsatt noe arbeid, og prosjektet er besluttet videreført i 2015. Prosjekt Meldingsteller Å ha oversikt over utviklingen av meldingsflyten er sentralt for å vurdere utviklingstrekk og behov. En meldingsteller som viser dette er følgelig viktig. Prosjektet mål er å etablere Norsk Helsenetts Meldingsteller som definert kilde til telling av elektroniske meldinger. Prosjektmål Resultat Kommentar 1 Meldingstelleren skal etableres som definert kilde til telling av elektroniske meldinger. 2 I løpet av 2013 skal meldingstelleren evalueres av representanter fra sektoren, og tilpasses disse tilbakemeldingene 100 % Meldingstelleren ble etablert i 2012, og benyttes for uttrekk av statistikk, utviklingstrekk og trender på nasjonalt nivå 100 % Resultatene fra evalueringen har blitt benyttet som innspill til releaser av Meldingsteller i september 2013 og januar 2014. Programmet har oppnådd begge målene og tjenester har blitt overført til ordinær drift i Norsk Helsenett som planlagt. I løpet av prosjektperioden ble prosjektets fokus endret. Opprinnelig delmål som omhandlet å forbedre kvaliteten på meldingene gjennom analyse av overvåkingsresultatene ble overført til prosjektet Leverandørhåndtering. Drift av Meldingstelleren har blitt overført til ordinær drift i Norsk Helsenett. Til tross for at brukere kan hente ut lokal informasjon fra sine egne systemer er det en økt etterspørsel etter data og i forslag til endringer i meldingstelleren. 3.6.1 Samlet vurdering Meldingsteller Prosjektet har en måloppnåelse på 100 %. Alle prosjektmål er oppfylt og tjenesten er overført til ordinær drift. Like viktig er det at aktiviteter har blitt overført til andre prosjekter når de har blitt oppfattet å være utenfor dette prosjektets målsetting. Prosjekt Leverandørhåndtering Prosjektet har som formål å tydeliggjøre oppfølging av journalleverandørene, noe som er sentralt for å få etablert en sammenhengende og samhandlende meldingsportefølje. Program for Meldingsutbredelse 12.3.2015 Side 12 av 22
Prosjektmål Resultat Kommentar 1 Alle journalleverandører (8 stk.) innen sykehus- allmennlege- og kommunesektoren skal levere ferdig godkjente Pleie- og omsorgsmeldinger v1.6 innen oktober 2013 2 Alle journalleverandører (8 stk.) innen sykehus- allmennlege- og kommunesektoren skal ha henvisning/epikrise, rekvisisjon/svar og dialogmelding i siste versjon godkjent innen Q2 2014 3 Innen juni 2014 skal det utarbeides en rapport som oppsummerer aktiviteten, modellbeskrivelsen, læringspunkter, og som definerer veien videre 75 % 2 av 8 leverandører har ikke ferdigstilt pleie- og omsorgsmeldingene 75 % Ingen leverandører er godkjent for alle meldingstypene. Alle leverandører er godkjent for dialogmelding. Mer spredt for resterende typer 100 % Sluttrapport levert tredje kvartal 2014 Prosjektet har ikke nådd alle målene. Utbredelse av Pleie- og omsorgsmeldinger (PLO) v1.6 er ikke igangsatt. Dette avhenger blant annet av to leverandører som fortsatt ikke er ferdig godkjent, samt at den implementerte standarden ikke uten videre er kompatibel med eldre versjoner (v1.5). Prosjektmålene for Leverandørhåndtering ble endret underveis i prosjektperioden. Flere delmål så ikke ut til å være oppnåelige innen prosjektperioden og ble tatt ut fra prosjektet (f.eks. test, godkjenning og utbredelse av dialogmelding og basismeldinger i ny versjon). Kort tid etter prosjektstart ble data- og kvalitetsmålet fra prosjektet Meldingsteller overført til Leverandørhåndteringsprosjektet. En risikoanalyse ble gjennomført i starten av prosjektet, og det ble tatt kontinuerlig grep for å minimere risiko. Det første målet, som vedrør test og akseptanse av pleie- og omsorgsmeldinger (PLO) v.1.6, har ikke blitt helt innfridd (75%). Dette kommer som en konsekvens av et fragmentert eierskap til effektmålet: det er kundene (legekontor, sykehus og kommuner) som bestiller funksjonalitet (PLO v1.6) til leverandøren. Deretter utvikler leverandøren løsningen, og får denne godkjent hos Helsedirektoratet. Det er kundene som ruller ut funksjonaliteten koordinert av Norsk Helsenett. Imidlertid har funksjonaliteten ikke alltid vært etterspurt av kundene som følgelig heller ikke har bestilt den. Deretter har leverandørene prioritert andre bestillinger og dette er organisasjonsinterne prosesser som Norsk Helsenett ikke kan delta i. Prosjektet har blitt negativt påvirket av begrensede ressurser hos leverandørene, hvilket resulterte i forsinkelse i utviklingen av PLO v.1.6. 3.7.1 Leverandørenes vurdering Generelt er leverandører godkjent for de nye standardene, både for versjon 1.5 og 1.6. Det største irritasjonsmomentet for de fleste leverandørene har vært at det tar lang tid før nye versjoner blir tatt i bruk. Leverandørene er misfornøyde med at utrullingen av v1.6 er satt på vent et vedtak fattet i SamUT, og at nye og endrede (men ikke alltid relevante) akseptansekriterier for v 1.6 har blitt lagt til. To av leverandørene støtter ikke samtidig bruk av to forskjellige PLO-versjoner, og som et resultat er ikke v 1.6 tatt i bruk. Til tross for dette er det en jevn vekst i bruken av pleie- og omsorgsmeldinger, og terskelen for å benytte disse meldingene har blitt senket gjennom tilgang til Adresseregister og OSEAN. Godkjenningsprosessen har blitt evaluert, og leverandører har kommet med forslag til forbedringer på flere områder. Uklare krav, testing mot akseptansekriterier som endret seg (ved lansering av PLO v1.6 Program for Meldingsutbredelse 12.3.2015 Side 13 av 22
i oktober 2012), og manglende nasjonal styring av beskjeder og versjoner er noen av områdene som trekkes fram. Utrullingen av versjon 1.6 av pleie- og omsorgsmeldinger har blitt satt på vent en avgjørelse ikke alle leverandører virker å ha blitt informert om. De fleste leverandørene kan støtte to samtidige versjoner (kun én leverandør foreslår å umiddelbart gå direkte til versjon 2.0), og det er ikke sluttbruker-siden som stopper videre framdrift. Mange legekontor, sykehus og kommuner er klare for utrullingen. Sitat: "Utsettelsen skylder manglende muligheter for å benytte to parallelle versjoner hos en (kanskje to) leverandører. Det har medført en del problemer og omlegging av planer i sektoren. Nå er sektoren kjent med status, men det er som sagt et sterkt ønske om å ta i bruk v1.6 siden denne versjonen vil gi en merverdi for både kommuner og sykehus" Norsk Helsenett har arrangert både fellesmøte og enkeltmøter med den enkelte leverandør for å diskutere nye standarder. Disse møtene har blitt oppfattet som nyttige, spesielt samhandlingen med andre leverandører og med Helsedirektoratet. 3.7.2 Samlet vurdering Leverandørhåndtering Måloppnåelsen er på 75-100 %. Leverandørhåndtering kan i mange sammenhenger ikke sees på som et prosjekt, men som en prosess, som har relasjoner med flere andre områder. For eksempel var det behov for bistand i utarbeidelse av avtaler med leverandørene for utbredelse av OSEAN, for koordinering mellom leverandører og KomUT-representantene i utbredelse av pleie- og omsorgsmeldinger v1.5 og i oppfølgning av enkeltsaker relatert til digital samhandling. Leverandørhåndtering kan derfor vanskelig sees på som en tidsbegrenset aktivitet. De fleste leverandørers forslag til forbedring vil kreve strukturelle endringer. Derfor var det en god avgjørelse å overføre prosjektet til en stabil linjeorganisasjon, som kan håndtere en langsiktig forbedringsprosess. Prosjekt Communication Protocol Profile (CPP)/Communication Protocol Agreement (CPA) Med bruk av CPP blir to samhandlende aktører enige om hvilke meldinger (og i hvilke versjoner) det er mulig å utveksle, og det inngås en Collaboration Protocol Agreement (CPA). Denne informasjonen lagres og er tilgjengelig i Adresseregisteret. I utviklingsprosjektet ble Adresseregisteret utvidet til å kunne håndtere standardisert informasjon om hvilke meldingstyper og versjoner den enkelte aktør kan sende og motta. I pilotprosjektet prøves funksjonaliteten ut blant utvalgte aktører (og leverandører). Prosjektet består av to delprosjekter: CPP/CPA utvikling og CPP/CPA pilotering. Målsettingen med prosjektet er å utvikle funksjonalitet for CPP/CPA som en del av Adresseregisteret og å etablere en avgrenset pilot for bruk av CPP/CPA. Mål for CPP/CPA utvikling: Program for Meldingsutbredelse 12.3.2015 Side 14 av 22
Prosjektmål Resultat Kommentar 1 Standard for CPP/CPA klar fra Helsedirektoratet 2 Etablere prinsipper for CPP/CPA i Adresseregisteret og bruk av disse, samt en overordnet kravspesifikasjon 3 Utarbeide utkast til detaljert teknisk spesifikasjon 4 Workshop for å komme frem til omforent teknisk spesifikasjon for implementasjon i Adresseregisteret 100 % Levert av prosjekt 100 % Levert av prosjekt 100 % Levert av prosjekt 100 % Levert av prosjekt 5 Ferdigstillelse av utvikling 100 % Levert av prosjekt 6 Etablering av avgrenset pilot 100 % Levert av prosjekt Det har vært god forankring i sektoren gjennom Nasjonalt utvalg for IT-prioritering i helse- og omsorgssektoren (NUIT), gjennom ledelsen i Norsk Helsenett og gjennom involvering av sektoren i utarbeidelse av teknisk spesifikasjon for utviklingen. Det har vært tett samarbeid med standardiseringsorgan og NAV IKT. NAV er en sentral aktør når det gjelder bruk av CPP/CPA, og de er naturlig deltager i pilotprosjektet Målsettingen med prosjekt CPP/CPA pilotering er å få tilstrekkelig erfaring med bruk av CPP/CPA i sektoren. Pilotering av løsning vil gi beslutningsgrunnlag for om løsning for CPP/CPA skal tilbys for helse- og omsorgssektoren eller ikke. 2 3.8.1 Samlet vurdering CPP/CPA Utviklingsprosjektet har en måloppnåelse på 100 %, alle prosjektmål er oppfylt. Utviklingsprosjektet etterfølges av et pilotprosjekt som fortsatt pågår. Oppsummert vurdering av prosjektene Norsk Helsenett har utviklet målene for Program for Meldingsutbredelse i tråd med krav fra Helse- og omsorgsdepartementet, og prosjektmålene er knyttet direkte til kravene i oppdragsbrev fra departementet. Programmålene ble omformet til prosjektmål som var enten direkte knyttet til et programmål eller til den forventede effekten av det aktuelle fokusområdet i programmet. Generelt ble programmets resultater mottatt meget positivt av eksterne deltakere: Norsk Helsenetts aktiviteter er blitt vurdert som gode, og eksterne deltakere er fornøyde. Prosjektene har en måloppnåelse på 99-100 %, bortsett fra prosjektene OSEAN og Leverandørhåndtering som er noe bak forventningene. 2 P.t. er utvikling og pilotering avsluttet med vellykket resultat. Videre innføring avhenger av samstemt bruk av adressering i henhold til NHN-Adresseregister. Program for Meldingsutbredelse 12.3.2015 Side 15 av 22
4 Virkemidler Som en del av evalueringen ønsket Norsk Helsenett å se nærmere på virkemiddelbruken i programmet og hvorvidt disse har fungert hensiktsmessig med hensyn til måloppnåelse og resultater Økonomiske insentiver til leverandørene I prosjekt OSEAN har etablert et økonomisk insentiv ved at leverandørene har mottatt 1500 kroner i støtte per installasjon som de gjennomførte i henhold til nærmere spesifiserte krav. I tillegg har Helsedirektoratet gitt utviklingsstøtte til leverandørene for å dekke deler av deres utviklingskostnader. Disse insentivene har trolig hatt en positiv effekt på gjennomføringshastigheten knyttet til både systemmessige tilpasninger og utrullingen til brukerne. Totalt er det brukt ca. 1,8 millioner kroner på insentivordningen for utrulling av funksjonalitet til nå. Direkte utviklingsstøtte har ikke vært kanalisert gjennom Norsk Helsenett og Program for Meldingsutbredelse. Det var Helsedirektoratet som inngikk og fulgte opp disse avtalene. Norsk Helsenett har kun gitt midler til utrulling av funksjonalitet i en begrenset tidsperiode som så ble forlenget i to omganger. Selv om den direkte utviklingsstøtten til leverandørene derfor ikke er en direkte del av vår evaluering av Program Meldingsutbredelse, mener vi det er relevant å ta med som en del av den totale virkemiddelvurderingen. Den direkte økonomiske støtten var i seg selv ikke stor nok til at alle leverandørene iverksatte implementering. Spesifikt var det en større leverandør som først startet arbeidet da det ble varslet at den kommende forskrift om IKT-standarder i helse- og omsorgssektoren (Helse- og omsorgsdepartementet, 2013) 3 uansett ville sette krav til den aktuelle systemtilpasningen. Alternativet her ville ha vært å øke den økonomiske støtten til et nivå hvor det fremstod som så økonomisk fordelaktig at alle leverandørene ville benyttet seg av ordningen av rent kommersielle hensyn. En mulig tilnærming for å øke hastigheten på utrullingen kunne vært å gjøre insentivordningen mer gradert slik at det var mer å hente desto større (over)prestasjon man hadde. I prosjekt Leverandørhåndtering var det tilbakemeldinger fra leverandørene om at de hadde ytret ønske om økonomisk støtte. Vår vurdering er at de direkte økonomiske insentivene til leverandørene har hatt en positiv effekt i Program for Meldingsutbredelse, men det er vanskelig å anslå effekten kvantitativt. De totale midlene som er brukt på disse insentivene er imidlertid små i forhold til programmets samlede budsjett. Vår vurdering er at man kunne vurdert ytterligere økonomisk støtte for å bidra til enda raskere etablering og utvikling. Tilskudd til kommunene Det regionale programmet for implementering av elektronisk meldingsutveksling i region Nord, FUNNKe, ble etablert i 2011 med Helse Nord RHF som prosjekteier og under ledelse av Nasjonalt Senter for samhandling og telemedisin ved UNN. Hovedmålet for FUNNKe var at hele helsetjenesten i region nord, med 88 kommuner og fire helseforetak, skulle kommunisere elektronisk innen 2013. Meldingsløftet i kommunene (MiK) ble etablert med tilsvarende målsetting for de øvrige regionene (Midt-, Vest-, Øst- og Sør-Norge). I Program for Meldingsutbredelse ble MiK videreført i delprosjektet KomUT, men prosjektet ble også tilført midler øremerket FUNNKe og gitt en rolle i forhold til å "støtte/bistå og følge opp prosjektet FUNNKe" (oppdragsbrev til Norsk Helsenett 2012). 3 https://www.regjeringen.no/nb/dokumenter/horing-av-forslag-til-forskrift-om-ikt--/id731556/ Program for Meldingsutbredelse 12.3.2015 Side 16 av 22
Over 70% av programmets midler er brukt i form av tilskudd til kommunene. Dette har fordelt seg som følger: År *) Tildelt totalt Tildelt KomUT Midt Vest Sør Øst Nord/ FUNNKe 2009/2010 2 000 000 2 000 000 2011 4 700 000 4 700 000 2012 17 500 000 2 500 000 2 500 000 2 500 000 2 500 000 7 500 000 2013 28 200 000 5 100 000 5 100 000 5 100 000 6 100 000 6 800 000 2014 21 300 000 4 000 000 4 000 000 4 000 000 5 000 000 4 300 000 Sum 71 700 000 11 600 000 11 600 000 11 600 000 13 600 000 23 300 000 *) I perioden 2009-2011 var ikke midler kanalisert gjennom Norsk Helsenett og Program for Meldingsutbredelse. FUNNKe har ikke vært en del av vår evaluering. Vi tillater oss likevel å trekke inn FUNNKe i virkemiddelanalysen, med forbehold om at vi ikke har innhentet detaljerte opplysninger fra prosjektet. FUNNKe har hatt en modell hvor 17 samarbeidskommuner har gått i bresjen og så tilknyttet seg de øvrige kommunene. FUNNKe har hatt en relativt sjablongaktig tildeling av midler hvor de 17 samarbeidskommunene har fått 200 000 kroner hver og øvrige kommuner har fått 50 000 kroner (uavhengig av faktisk innsats). Måloppnåelsen ser ut til å bli tilnærmet 100% for FUNNKe. KomUT baserer seg på en lignende tilskuddsordning som FUNNKe. Strategien her har imidlertid vært å tilføre relativt mye midler til et mindre antall (11) hovedsamarbeidskommuner. Disse har så videreført erfaringene og knyttet til seg andre kommuner slik at man har oppnådd en snøballeffekt. Ordningen ser ut til å ha medført lave administrative kostnader, og den dynamiske tildelingen av midler etter behov blir rapportert å ha fungert effektiv og etter hensikten. Måloppnåelsen er tilnærmet 100% for KomUT. Sammenligner man KomUT og FUNNKe kan det se ut som om de har samme måloppnåelse, men KomUT har brukt kortere tid med vesentlig mindre midler. Det er åpenbart at bruken av tilskudd har vært helt avgjørende for gjennomføringen og måloppnåelsen for Program for Meldingsutbredelse, og totalt sett er vår vurdering at det virker som om Program for Meldingsutbredelse har hatt en effektiv bruk av tilskuddsordningene og at disse har fungert som tilsiktet. Program for Meldingsutbredelse 12.3.2015 Side 17 av 22
5 Økonomi Norsk Helsenett tok over Program for Meldingsutbredelse i april 2012. Helsedirektoratet og Norsk Helsenett jobbet sammen i perioden januar- april 2012 for å legge til rette for en god overgangsperiode i forhold til overtakelse av ansvaret for oppgaven. Utfra den totale bevilgningen til Program for Meldingsutbredelse på 101 500 000 NOK (2012-2014), har Norsk Helsenett brukt totalt 98 400 000 NOK i perioden. I tabellen nedenfor vises bevilgning for 2012-2014 i relasjon til brukte midler. Totalt bevilget Totalt brukt 2012 21 500 000 23 900 000 2013 50 000 000 44 250 000 2014 30 000 000 30 250 000 TOTALT 101 500 000 98 400 000 Norsk Helsenett brukte 2 400 000 NOK mer enn bevilgningen fra Helse- og omsorgsdepartementet i 2012 og gikk derfor inn med egne midler for å finansiere den overskridende delen. I 2013 brukte programmet mindre midler enn hva som ble bevilget. Disse midlene ble omdisponert i samråd med Helse- og omsorgsdepartementet. Program- og prosjektkostnader Diagrammet nedenfor viser kostnadsoversikten for programmet og de ulike prosjektene, for perioden 2012-2014. Norsk Helsenett har vektlagt involvering og forankring for å nå prosjektmålene, noe som har gitt positive utslag på prosjektresultatene. Program for Meldingsutbredelse 12.3.2015 Side 18 av 22
Lønnskostnader Tabellen nedenfor viser lønnskostnadene fordelt på programmet og prosjektene i perioden 2012-2014: Program/prosjekt 2012 2013 2014 Totalt Program for meldingsutbredelse 3 569 952 2 573 958 1 308 422 7 452 332 KompIS 659 831 445 785-1 105 616 KomUT 417 938 2 027 216 1 425 578 3 870 732 Brukerstøtte 5 738 145 118-150 856 OSEAN 207 575 1 832 079 702 449 2 742 103 Meldingsteller - 631 719 3 400 635 119 SamUT - 567 391 1 378 046 1 945 437 Leverandørhåndtering - 661 302 389 088 1 050 390 CPP/CPA - 1 506 388 228 225 1 734 613 Totalt 4 861 034 10 390 956 5 435 207 20 687 197 Herav timer til prosjektledelse 4 212 644 5 604 243 4 688 481 14 505 368 Mesteparten av lønnskostnaden har gått til program- og prosjektledelsesaktiviteter. Lønnskostnadene utgjorde 14,7 % av den samlede ressursbruken i perioden (14 505 368/98 401 280 NOK). Forbruket anses å ligge innenfor rammene for hva som er forventet. Konsulenthonorarer Tabellen nedenfor vises kostnader i forhold til konsulenthonorarer for de ulike prosjektene. Program / prosjekt Sum konsulenthonorarer Program for meldingsutbredelse 1 365 752 KompIS 199 192 KomUT 94 856 Brukerstøtte 0 OSEAN 1 882 747 Meldingsteller 0 SamUT 25 430 Leverandørhåndtering 0 CPP/CPA 433 287 Totalt har programmet brukt 4 001 264 NOK på konsulenthonorarer i perioden 2012-2014. Det tilsvarer 4% av totalforbruket for programmet. Program for Meldingsutbredelse 12.3.2015 Side 19 av 22
Prosjektet OSEAN har det største konsulentforbruket, totalt 1 882 747 NOK. Denne utgiftsposten er betalingen til journalleverandører for det arbeid de utførte (installasjon og test) i forbindelse med godkjenning av integrasjonsløsning med NHN-Adresseregister. På programnivå har konsulenthonorar blitt brukt til timer for bistand fra Helsedirektoratet i forbindelse med overleveringen av programmet (2012) og betaling for evalueringsarbeidet av programmet utført av Bouvet. Våre funn og konklusjoner Vi vurderer at Norsk Helsenett har brukt tilskuddene fra Helse- og omsorgsdepartementet på en hensiktsmessig måte for å gjennomføre Program for Meldingsutbredelse. Programmet har hatt et tydelig involverings- og forankringsfokus, hvilket krever både tid og ressurser. Lønnskostnader har i stor grad blitt brukt til program- og prosjektledelsesaktiviteter og ligger innenfor forventet omfang (14,7%). Konsulenthonorarer har vært en liten del (4%) i forhold til de totale kostnadene for programmet og prosjektene herunder. Program for Meldingsutbredelse 12.3.2015 Side 20 av 22
6 Konklusjoner Måloppnåelse Norsk Helsenett har utviklet målene for Program for Meldingsutbredelse i tråd med Helse- og omsorgsdepartementets krav, og programmålene er knyttet direkte til kravene i oppdragsbrev fra departementet. Programmålene ble omformet til forskjellige prosjektmål, og hvert prosjektmål er enten direkte knyttet til et programmål eller den forventede effekten av det aktuelle fokusområdet i programmet. Siden de fleste prosjektrelaterte aktiviteter skulle gjennomføres av eksterne aktører (kommuner, helseforetak, legekontorer, leverandører) har Norsk Helsenett naturlig nok ikke hatt full kontrollen over alle programmets aspekter, men har vært avhengig av innsats fra aktører utenfor eget ansvarsområde. Dermed har Norsk Helsenett kun fungert som en fasilitator; med ansvar for programmets resultater, men uten formelle virkemidler til å sikre samarbeid blant aktørene. Prosjektene har en måloppnåelse på 99-100 %, bortsett fra prosjektene OSEAN og Leverandørhåndtering som er noe bak forventningene med måloppnåelse på 75-100 %. Sektorens vurdering I et så omfattende program, med så stor betydning for kommunene og andre aktører innen helse- og omsorgssektoren, vil det alltid være enkeltaktiviteter som ikke mottas like positivt som resten, men prosjektenes resultater anses som positive blant de eksterne deltakerne. Norsk Helsenetts aktiviteter blir vurdert som gode, og eksterne deltakere er fornøyde. Virkemidler Økonomiske insentiver til leverandørene Vår vurdering er at de direkte økonomiske insentivene til leverandørene har hatt en positiv effekt i Program for Meldingsutbredelse, men at det er vanskelig å anslå effekten kvantitativt. De totale midlene som er brukt på disse insentivene er små i forhold til programmets totale budsjett. Vår vurdering er at man kunne ha vurdert ytterligere økonomisk støtte. Tilskudd til kommunene Totalt sett er vår vurdering at det virker som om Program for Meldingsutbredelse har hatt en effektiv bruk av tilskuddsordningene og at disse har fungert som tilsiktet. Økonomi Vi vurderer at Norsk Helsenett har brukt tilskuddene fra Helse- og omsorgsdepartementet på en hensiktsmessig måte for å gjennomføre Program for Meldingsutbredelse. Kostnadsnivået ligger innenfor hva som er budsjettert og forventet. Program for Meldingsutbredelse 12.3.2015 Side 21 av 22
Totalvurdering Gjennomføringen av prosjektene var innen programbudsjett og flertallet av målene er oppnådd. Norsk Helsenetts virksomhet er anerkjent av eksterne aktører og bruk av de tilgjengelige virkemidler er effektive. Bouvets konklusjon er at Norsk Helsenetts gjennomføring av Program for Meldingsutbredelse har vært vellykket. Program for Meldingsutbredelse 12.3.2015 Side 22 av 22