NOTAT Til: Kvalitetskommuneprogrammet Fra: Tage Båtsvik, Asplan Analyse Dato: 12.6.2007 MÅLING AV KVALITET OG SITUASJONSBESKRIVELSEN 1 MÅLING OG ANALYSE 2 1.1 Hvorfor måle? 2 1.2 Hva skal måles? 2 1.3 Om måleindikatorer 2 1.3.1 Definisjon av indikatorer 3 1.3.2 Kvalitetsindikatorer i kommunale tjenester 3 1.4 Hvordan utvikle kvalitetsindikatorer? 4 1.5 Hvordan velge kvalitetsindikatorer? 5 1.5.1 Kvalitetsindikatorer i KOSTRA 6 1.5.2 Kvalitetsindikatorer for møtet med brukeren 7 2 SITUASJONSBESKRIVELSEN STATUS 8 2.1 Hva er en situasjonsbeskrivelse? 8 2.2 Hvordan gjennomføre en situasjonsbeskrivelse? 8
2 MÅLING AV KVALITET OG SITUASJONSBESKRIVELSEN Det forutsettes at kommunene som deltar i kvalitetskommuneprogrammet måler og analyserer utviklingen i kvalitetsarbeidet underveis i prosjektperioden Det forutsettes også at deltakerkommunene foretar en situasjonsbeskrivelse som ligger til grunn for kvalitetsutviklingsarbeidet. I dette notatet gir vi noen innspill til hvordan kvalitet kan måles, og hvordan en situasjonsbeskrivelse kan gjennomføres. 1 MÅLING OG ANALYSE 1.1 Hvorfor måle? Det er viktig at kommunene måler og analyserer utviklingen i sitt kvalitetsarbeid av flere grunner, bl.a. for å: holde oppe fokus på det som er målsettingene med kvalitetsarbeidet bevisstgjøre partene om dette, og spore til videre innsats sjekke at det man gjør fungerer etter hensikten, dvs. om tiltakene bidrar måloppnåelse kunne justere opplegget underveis dersom det viser seg at tiltakene ikke virker, dvs. enten tilpasse tiltakene slik at de i større grad virker, eller iverksette nye tiltak rapportere inn i kvalitetskommuneprogrammet på framdrift og utvikling 1.2 Hva skal måles? Kommunene i programmet må selv legge et løp for måling som passer til deres situasjon. Dere må derfor ta utgangspunkt i egne forutsetninger, dvs. egen kapasitet på området, valg av målsettinger og tiltak. Vårt inntrykk er at kommunene i programmet kommer til å velge en rekke forskjellige satsingsområder. Det vil derfor variere mellom kommunene med hensyn til hva som skal måles. Det er likevel en grunnleggende forutsetning at dere skal jobbe med kvalitetsutvikling i møtet med brukerne. Effekten av tiltakene dere gjennomfører på brukernes opplevde kvalitet må derfor inngå som et (av eventuelt flere) element i målingen. For øvrig må dere velge måleområder som gir relevant og pålitelig informasjon om utviklingen. Det viktigste blir å finne gode indikatorer som gjør dere i stand til å måle og vurdere om tiltakene bidrar til at dere oppnår de målsettingene dere har satt dere. 1.3 Om måleindikatorer Valget av måleindikatorer må også tilpasses hver enkelt kommunens situasjon og forutsetninger. Dere må finne de metodene og de indikatorene som er best tilpasset deres valg. Det vil si at dere må velge indikatorer som er treffende og brukbare til deres innsatsområder, ambisjonsnivå, målsettinger og tiltak. Men det kan uansett være hensiktsmessig å se til tidligere erfaringer på området. Det vil si enten de erfaringene dere har selv, eller de erfaringene som andre har gjort seg. Det er utviklet indikatorer for kvalitetsnivå på flere områder som vi kan dra lærdom av, og bruke som inspirasjon. I framstillingen under har vi sammenfattet noe av det grunnlagsarbeidet som er gjort i forbindelse med utviklingen av kvalitetsindikatorer, i hovedsak fra arbeidet knyttet til KOSTRA. Dette kan tjene som en inngang til kommunens eget valg av indikatorer.
1.3.1 Definisjon av indikatorer Et utvalg satt ned av Miljøverndepartementet har i en offentlig utredning gitt en enkel og forståelig definisjon av en indikator. 1 Utvalget ser på indikatorer, eller såkalte «nøkkeltall», som utvalgte data (dvs. måltall eller statistikk), eller konstruerte indekser som benyttes til å belyse et ofte komplekst fenomen eller problemområde. En indikator «indikerer» noe om fenomenet. Det vil si at den sier noe om egenskapen ved et fenomen. For å dekke flest mulig egenskaper ved et område er det vanlig å bruke flere indikatorer for å beskrive et fenomen. Antall indikatorer avhenger både av mulighetene for å finne gode og dekkende indikatorer, og av formålet og de brukergruppene man ønsker å nå. Valg av indikatorer vil langt på vei være basert på faglig skjønn. I følge utvalget er en god indikator kjennetegnet ved at den har (flest mulig) av disse egenskapene: den er representativ, det vil si viktige egenskaper ved fenomenet blir belyst den er lett å tolke for brukerne den viser utvikling over tid (trend) den gir muligheter sammenligning mellom kommuner den har en grense- eller referanseverdi som den kan sammenlignes mot en akseptert og godt dokumentert metodikk er brukt den har høy datakvalitet dataene skal være rimelig lett tilgjengelige og bli oppdatert med faste intervaller. Bevisstgjøre læring og forbedring i egen organisasjon 3 1.3.2 Kvalitetsindikatorer i kommunale tjenester I forbindelse med at det ble utviklet kvalitetsindikatorer for kommunale tjenester i KOSTRA har Furst og Høverstad i et problemnotat definert kvalitet og kvalitetsindikatorer i kommunale tjenester. 2 De definerer kvalitet som Helheten av egenskaper og kjennetegn et produkt eller en tjeneste har, som vedrører dens evne til å tilfredsstille fastsatte krav eller behov som er antydet. Helheten av egenskaper betyr at kvaliteten på en tjeneste er avhengig av både det konkrete innholdet i tjenesten og av servicen som er knyttet til tjenesten (samhandlingen mellom tjenesteyter og bruker ved produksjon/levering av tjenesten). Med utgangspunkt i denne definisjonen, definerer Furst og Høverstad kvalitetsindikatorer (1) på følgende måte: - egenskaper ved tjenestens innhold og, - egenskaper ved servicen som er knyttet til tjenesten - som er relevante for tjenestens evne til å tilfredsstille brukernes behov og - som kan måles. 1 NOU 2002: 19 Avfallsforebygging En visjon om livskvalitet, forbrukerbevissthet og kretsløpstenkning. 2 Furst og Høverstad: Kvalitetsindikatorer i KOSTRA-rapporteringen. Problemnotat 29.11.2004
Denne definisjonen knytter indikatorer til det konkrete innholdet i tjenestene og til servicen ved overlevering av en tjeneste. En slik definisjon kan være håndterlig og praktisk for enkelte kommunale tjenester, der innholdet kan beskrives på en forholdsvis enkel og oversiktlig måte. Samtidig vil en slik forståelse være mer problematisk for mer komplekse kommunale tjenester. Dette gjelder for eksempel for hjemmebaserte pleie- og omsorgstjenester. Hjemmetjenestene inneholder bl.a. hjemmehjelp og hjemmesykepleie. Begge disse tjenestene ivaretar på hver sin side et mangfold av konkrete deltjenester. Hjemmehjelpens oppgaver er bl.a. knyttet konkret til rengjøring, matlaging eller matlevering, handling. Men et annet viktig formål er også å sikre at brukerne føler seg trygge i hverdagen. Innholdet i noen av deltjenestene kan beskrives gjennom konkrete indikatorer for eksempel rengjøringshyppighet og -standard eller temperaturen på varm mat som serveres. Slike indikatorer blir imidlertid lett svært tekniske og fragmenterte og er neppe i stand til å fange opp alle egenskaper ved tjenesten som er relevante i forhold til tjenestens evne til å dekke brukernes behov. På bakgrunn av dette foreslår Furst og Høverstad en utvidet definisjon av kvalitetsindikatorer som fanger opp både forutsetninger for god kvalitet, selve tjenestekvaliteten og tjenestenes resultater. De knytter dette til at kvalitet og dermed kvalitetsindikatorer kan grupperes fra produksjon av tjenester til den nytten brukerne har av disse, som i figuren under. 4 Kvalitetsindikatorer knyttes her ikke bare til tjenestenes innhold og service, men fanger også opp forutsetninger for å sikre god tjenestekvalitet og resultatene som tjenestene oppnår. Furst og Høverstads utvidede definisjonen av kvalitetsindikatorer (2) er som følger: Kvalitetsindikatorer er målbare størrelser som beskriver: - strukturelle forutsetninger, samhandling mellom tjenesteyter og bruker, samt innhold i tjenesten som er relevante for tjenestens evne til å tilfredsstille brukernes behov - graden av behovsdekning (resultat) i forhold til tjenestens formål. 1.4 Hvordan utvikle kvalitetsindikatorer? Utviklingen av kvalitetsindikatorer er komplekst. Dere må derfor vektlegge en tilnærming som er mest mulig brukbar til deres formål. I tillegg bør dere prøve å finne en god balanse mellom hensynet til oversiktlighet og hensynet til bredde i datatilfanget. Indikatorene skal kunne framstille status på en oversiktlig og enkel måte, noe som tilsier at de ikke er for omfattende og komplekse. Samtidig må de være mest mulig dekkende med hensyn til det fenomenet dere skal måle, noe som tilsier at dere har et tilstrekkelig antall indikatorer som måler det dere ønsker å måle. Indikatorene må også være etterprøvbare og tydelige, noe som tilsier at de dataene dere benytter både må være relevante (reliable) og pålitelige (valide).
5 Furst og Høverstad viser til at mange prosjekter som har utviklet kvalitetsindikatorer har tatt utgangspunkt i tilgjengelige data, men ikke nødvendigvis en prinsipiell og systematisk drøfting av hva kvalitet egentlig betyr. De hevder at en slik framgangsmåte i verste fall kan føre til at en måler og at virksomhetene fokuserer på elementer som har marginal betydning for tjenestens evne til å dekke behovene som den er ment til å dekke. For å unngå dette mener Furst og Høverstad at det vil være hensiktsmessig å knytte utviklingen av kvalitetsindikatorer til en systematisk drøfting av følgende spørsmål: Hvilke egenskaper ved prosessen (service) og tjenesten er avgjørende for tjenestens evne til å ivareta sitt formål/dekke de behovene den er ment å dekke? Hvordan kan resultatene av tjenesten (behovsdekning som er oppnådd i forhold til tjenestens formål) operasjonaliseres/måles? De mener at en slik drøfting også må inneholde en vurdering og avveining av sammenhengen mellom ulike aktuelle indikatorer. Et kjent eksempel innen helsetjenestene er bl.a. sammenhengen eller snarere konflikten mellom hensynet til tilgjengelighet og hensynet til kontinuitet. Dersom en i organisering av tjenesten legger mest vekt på tilgjengelighet (for eksempel døgnkontinuerlig tilgang), vil det innebære at brukeren/pasienten må være forberedt på å møte ulike tjenesteytere ved hver kontakt. Kontinuiteten blir dermed svekket. For enkelte pasientgrupper/problemstillinger er god tilgjengelighet absolutt avgjørende (jf. for eksempel behovet ved akutte lidelser/skader), mens kontinuitet vil være viktigere for andre grupper (for eksempel kontinuitet og faste rutiner i pleien av aldersdemente). En systematisk drøfting av kvalitetselementer og betydningen av de ulike elementene er viktig for å sikre at indikatorene fanger opp de mest relevante forutsetningene og egenskapene ved den enkelte tjeneste, (dvs. er valide). I drøftingene må en i tillegg også ha med hvilke forhold den enkelte virksomhet kan påvirke (og som dermed utgjør en hypotese om årsaks-/virkemiddelsammenhenger) og hvilke forhold som utgjør en rammebetingelse for virksomhetene (for eksempel helsetilstand og risikofaktorer for sykelighet i pasientgrunnlaget, eller elevenes sosiale og evnemessige bakgrunn). Indikatorer som er relevante for kvaliteten på tjenestene og resultatene som virksomhetene kan påvirke utgjør direkte kvalitetsindikatorer, mens indikatorer på eksterne forhold (rammevilkår) utgjør kontrollvariabler for de resultatene som virksomhetene/kommunene oppnår. For å sikre pålitelighet (dvs. reliabilitet) er det også viktig at datagrunnlaget for indikatorene defineres på en slik måte at datagrunnlaget fremkommer i løpende registreringssystemer og -rutiner i virksomhetene. Som eksempel viser Furst og Høverstad til kvalitetsindikatorene i skoleporten.no, som tar utgangspunkt i data som foreligger for alle skoler/kommuner i eksisterende systemer. Dette gir grunnlag for at påliteligheten for disse indikatorene kan etterprøves og vurderes. De mener at innenfor pleie- og omsorgstjenestene vil innføring av IPLOS gi grunnlag for enhetlige definisjoner og registreringsrutiner av data som kan inngå i kvalitetsindikatorer. 1.5 Hvordan velge kvalitetsindikatorer? I Kvalitetskommuneprogrammet er utvikling av kvalitet i møtet med brukeren det bærende elementet. Det betyr at dere ikke kommer unna å måle effekten av sine tiltak på brukernes opplevde kvalitet i møtet med den kommunale tjenesteyteren. Disse data vil i hovedsak være å finne i
brukerundersøkelser og ansatteundersøkelser. I tillegg må altså kommunene finne indikatorer for å måle de tiltakene som ikke direkte retter seg mot møtet med brukeren, dvs. forhold knyttet til de fire elementene i figuren over. Til dette kan kvalitetsindikatorene i KOSTRA være til nytte. 6 1.5.1 Kvalitetsindikatorer i KOSTRA Kvalitetsindikatorene i KOSTRA er gruppert i henhold til Furst og Høverstads framstilling av kvalitetsindikatorer (2) ovenfor som knytter kvalitet både til tjenestenes innhold og service, forutsetninger for å sikre god tjenestekvalitet og resultatene som tjenestene oppnår. Strukturkvalitet omfatter forhold som kan knyttes til institusjonen (strukturen) som produserer varer og tjenester, og defineres ved den standard som finnes på innsatsfaktorene. Dette er for eksempel økonomiske rammebetingelser, personalets kompetanse og utdanning. Prosesskvalitet er knyttet til produksjonsprosessene, og defineres ved den smidighet og effektivitet som ligger til grunn for tjenesteproduksjonen. Dette kan dreie seg om organiseringen av arbeidet, oversiktlige rutiner, metodebruk og klare ansvarsforhold. Produktkvalitet er egenskaper ved produktet og/eller tjenesten som er viktige for brukeren, og defineres ved tjenestens innhold og service. Resultatkvalitet er den virkning eller det resultat leveransen av produktet og/eller tjenesten har for brukeren. Resultatkvalitet defineres gjerne ved den behovsdekningen som er oppnådd ved hjelp av tjenesten/produktet. Et flertall av kvalitetsindikatorene i KOSTRA er enten produkt- eller strukturindikatorer. Det vil si at de i hovedsak sier noe om forutsetningene for å skape god kvalitet i møtet med brukerne. Som eksempel kan vi se på de 10 kvalitetsindikatorer for barnehage som er definert i KOSTRA, der syv er produkt- eller strukturindikatorer. Dette er: Andel barnehager med åpningstid fra 0 inntil 6 timer per dag. Andel barnehager med åpningstid fra 6 inntil 9 timer per dag. Andel barnehager med åpningstid fra 9 inntil 10 timer per dag. Andel barnehager med åpningstid 10 timer eller mer per dag. Andel styrere og pedagogiske ledere med godkjent førskolelærerutdanning. Andel assistenter med førskolelærerutdanning, fagutdanning eller annen pedagogisk utdanning. Leke- og oppholdsareal per barn i barnehage (m2). Men det også tre indikatorer som sier noe om resultatkvalitet, dvs. om dekningsgrad: 3 Andel barn 1-5 år med barnehageplass. Andel barn 1-2 år med barnehageplass i forhold til innbyggere 1-2 år. Andel barn 3-5 år med barnehageplass i forhold til innbyggere 3-5 år. Disse tallene sier altså noe om både forutsetninger for kvalitet, samt oppnådde resultater (dekningsgrad) innen barnehagesektoren. Tilsvarende finnes liknende indikatorer for struktur-, prosess-, og resultatkvalitet for pleie- og omsorgssektoren og skolesektoren. i KOSTRA, samt også i databasen www.skoleporten.no. for skolene. 3 SSB gjør her oppmerksom på at siden de ikke har data på ventelister har de ikke oversikt over dekningsgraden i forhold til etterspørsel. Det betyr at dekningsgrad som indikator vil være noe mangelfull.
Men denne typen indikatorer er ikke av den typen vi først og fremst forbinder med selve møtet mellom tjenesteyter og bruker. Vi må derfor søke alternative kilder for å komplettere bildet, dvs. for å måle flere egenskaper ved tjenestene, og da i hovedsak kvaliteten i møtet med brukeren. 7 1.5.2 Kvalitetsindikatorer for møtet med brukeren Mange kommuner har gjennomført brukerundersøkelser på oppvekstområdet og i pleie- og omsorgssektoren. Mange har gjort dette på eget initiativ, og i egenregi, eller de er gjennomført som en del av rapporteringen i GIS, eller i forbindelse med deltakelse i Effektiviseringsnettverk, der over 200 norske kommuner nå har deltatt. For skolene er noe av dette samlet på www.skoleporten.no i form av score fra elevundersøkelsene. Her vil kommunene kunne finne tall for sine egne skoler. I databasen www.bedrekommune.no publiseres i hovedsak resultatene fra brukerundersøkelser som er gjennomført i regi av Effektiviseringsnettverkene både for barnehager og pleie- og omsorgsektoren. I de to databasene finner vi eksempler på kvalitetsindikatorer for møtet med brukerne. På www.skoleporten.no er dette særlig knyttet til området læringsmiljø. Her angis skolenes/kommunenes score for forhold som trivsel, mobbing, elevenes motivasjon, motiverende lærere, arbeidsmiljø, elevråd, elevenes medvirkning og fysisk læringsmiljø. På www.bedrekommune.no brukes bl.a. indikatorer for å måle brukertilfredshet hos foreldre med barn i barnehager. Disse kan relateres til hvordan tjenesten overleveres i møtet mellom medarbeider -foreldre / medarbeider - barn. Noen eksempler herfra er: Resultat for brukerne: Hvor fornøyd er du med: Ditt barns sosiale utvikling? Personalets omsorg for barnet? Aktivitetsinnholdet i barnehagen. Respektfull behandling: I hvor stor grad synes du at personalet: Behandler barnet med respekt? Behandler deg med respekt? Tar barnet på alvor? Tar deg på alvor?. Informasjon: Hvor fornøyd er du med informasjon om: Hvordan ditt barn har det? Det som skjer i barnehagen. Tilsvarende indikatorer finner vi for pleie- og omsorgssektoren, der både brukernes og de pårørendes tilfredshet med selve utførelsen av tjenesten er registrert. Det disse indikatorene har til felles er at de sier noe om brukerne (dvs. elever og foresatte i barnehager i eksemplene ovenfor) opplever å bli sett, hørt, møtt med respekt og tatt på alvor. De sier noe om måten tjenesten overleveres på i sannhetens øyeblikk.
8 2 SITUASJONSBESKRIVELSEN STATUS 2.1 Hva er en situasjonsbeskrivelse? En situasjonsbeskrivelse kan defineres som en statusrapport. Den beskriver status for kvaliteten og andre viktige forhold på det området, eller de områdene, kommunen skal gjennomføre sitt kvalitetsutviklingsarbeid. Situasjonsbeskrivelsen skal være et grunnlag for å: ta veloverveide valg med hensyn til målsettinger, og hvilke tiltak som skal settes inn etablere en felles virkelighetsoppfattelse i forkant av kvalitetsutviklingsarbeidet bevisstgjøre organisasjonen om hvorfor man gjennomfører kvalitetsutviklingsarbeidet ha et utgangspunkt (referansepunkt / nullpunkt) å måle utviklingen underveis mot. Dere skal som et minimum beskrive kvaliteten på det området dere deltar i programmet med. Har dere valgt ut skole som et satsingsområde må dere beskrive alle de forholdene som kan gi et bilde av kvaliteten på skoleområdet. Samtidig må beskrivelsen også inneholde informasjon om andre viktige forhold som har relevans for kvalitetsutviklingsarbeidet i skolen. Det kan eks. være naturlig å si noe om organisasjonsmessige forhold, ressurssituasjonen, kompetansenivå, graden av samarbeid innad i oppvekstsektoren (barnehage, barnevern, PPT, kulturskole etc.), type samhandling og samarbeid med andre tilgrensende sektorer, fagorganisasjoner, andre kommuner og frivillig sektor, samt erfaringer fra tidligere kvalitetsutviklingsarbeid. Målet er å gi et mest mulig dekkende bilde av grunnlaget for, og rammen rundt det kvalitetsutviklingsarbeidet deres skal gjennomføre. Og uansett valg av tilnærming med hensyn til bredde og omfang må situasjonsbeskrivelsen omhandle status med hensyn til brukeropplevd kvalitet og medarbeidertilfredshet. 2.2 Hvordan gjennomføre en situasjonsbeskrivelse? Beskrivelsen skal danne utgangspunktet for måling av utviklingen underveis. Den må derfor sees i sammenheng med valg av indikatorer for kvalitet. Dere må tenke på hvilke indikatorer dere ønsker å måle utviklingen opp mot når den utarbeider situasjonsbeskrivelsen for å sikre at disse indikatorene er dekket i beskrivelsen. Det bør legges opp til en bred forankring og enighet om opplegget for situasjonsbeskrivelsen. Partene i trepartssamarbeidet bør i felleskap bli enige om framgangsmåte, verktøy og metode for gjennomføring av en situasjonsbeskrivelse. Det tilsier at det bør forankres i kommunens prosjektorganisasjon. Det vil sikre legitimitet og oppslutning om opplegget.. Videre bør dere i størst mulig grad ta i bruk data og dokumentasjon som allerede er tilgjengelige i de styrings- og rapporteringssystemene dere benytter. Det vil si data fra bl.a. brukerundersøkelser, ansatteundersøkelser, KOSTRA, IPLOS og www.skoleporten.no. Dette vil være arbeidsbesparende, og sikre at dere benytter data som allerede er kvalitetssikret. Men husk også på at i denne sammenhengen er det ikke alltid slik at det enkleste er det beste. Ved valg av metode og tilnærming må dere sørge for at de dataene dere velger ut måler det dere vil måle, har god nok kvalitet og er relevante for deres formål. I forkant kan det derfor være nødvendig å gjennomføre en prinsipiell og systematisk drøfting av hva kvalitet egentlig betyr for dere, og hvilke data som best beskriver disse forholdene Samtidig kan det være lurt å drøfte sammenhengen mellom de ulike indikatorene, (jf Furst og Høverstads poenger ovenfor). En slik prosess i forkant kan da føre til at dere velger å supplere med noen nye data.
Statusbeskrivelsen må gjennomføres i oppstarten av prosjektet slik at det kan utgjøre grunnlaget for kommunens satsing. Analysen av situasjonsbeskrivelsen skal danne grunnlaget for valgene dere gjør av satsingsområder, målsettinger, ambisjonsnivå, milepæler og tiltak. I figuren under har vi illustrert de ulike elementene i gjennomføringen av en situasjonsbeskrivelse. 9