Evaluering i praksis Forfatter; Bergljot Baklien Artikkelen er tidligere publisert i Norsk pedagogisk tidsskrift 5/87, - publiseres nå på forebygging.no etter avtale med tidsskrift og forfatter. Evaluering er ikke noe mystisk eller rart. Evaluering er å vurdere noe, si om noe er godt eller dårlig, og det gjør vi jo hver dag, mange ganger om dagen. Denne artikkelen tar for seg litt mer systematiske måter å gjøre det på. 1. Intern eller ekstern evaluering Evaluering kan gjøres internt eller eksternt, av «amatører» eller profesjonelle. Vanligste grunnen til å velge intern evaluering, det vil si at de som driver tiltaket også skal evaluere det, er at det er enklest og billigst. Dessuten har de oversikt over alle detaljer, en oversikt som ofte kan være vanskelig å skaffe seg for en utenforstående. Faren er selvfølgelig at de kan være så engasjert i det de skal mene noe om, at evalueringen kan utarte til selvskryt. Dessuten kan detaljrikdommen bli så stor at man ikke ser skogen for bare trær. En som står innenfor vil også lettere komme til å overse strukturelle forutsetninger for det som skjer. Den interne evaluatøren vil kunne ta for gitt faktorer som kanskje er helt avgjørende for tiltakets utvikling. Ekstern evaluering vil gjerne være synonymt med evalueringsforskning, og den vil naturlig nok måtte tilfredsstille andre forventninger enn en intern evaluering. Selv om også en «amatørevaluering» må tilstrebe nøyaktighet og systematikk, kan man ikke på samme måte som av forskningen kreve vitenskapelighet i tilnærmingsmåte, i metode og i presentasjonsform. Evalueringsforskningen må også kunne stille opp overfor forventningene om kumulativ kunnskapsproduksjon. Den skal helst bygge videre på det vi allerede vet, og den skal legge nye kunnskapsblokker til byggverket. Den skal utvikle teoretiske modeller som kanskje kan gi uvante perspektiver på vante problemer. Hensikten med denne artikkelen er å se om noe av tilnærmingsmåtene og teknikken fra ekstern evaluering kan overføres til den interne.ofte vil det være mest praktisk og fruktbart å lete seg fram til noe som ligger et sted midt imellom intern og ekstern evaluering. En mulighet kan være at praktikeren går ut av tiltaket for å få tid og for å forsøke og se det hele mer utenfra. En god løsning kan være å gi vedkommende noen måneders permisjon fra den daglige dont. Men slike «frigjorte» praktikerevaluatører bør være forberedt på at arbeidssituasjonen er isolert og spesiell. Kravene er uklare, og dermed blir det også uklart hvilket ambisjonsnivå en skal legge seg på. Her bør for øvrig evalueringsforskerne ha et veiledningsansvar. 2. Ideal og realitet Evaluering kan knyttes an til en god norsk tradisjon inne sosiologien: Forholdet mellom ideal og realitet. Hvordan stemmer realitetene i et tiltak med idealene som tiltaket ble til ut ifra? Oversikt over idealene krever at evalueringsprosjektet også ser på hvordan og på hvilke premisser politiske beslutningstakere formulerer målene, 1
hvordan målene settes ut i livet, og først i tredje instans kommer til det som skjer i målgruppene. Også for intern evaluering, dvs. for dem som skal evaluere enten noe de gjør selv eller som de har fått andre til å gjøre, kan det være viktig at premissene bak tiltaket ikke tas for gitt. Hvorfor gjør vi dette? Dreier det seg om forebygging av rusmiddelbruk, kan det f.eks. være nyttig å spørre om hvilke forklaringsmodeller for rusbruk og hvilke forebyggingsmodeller som ligger til grunn. Kampanjer mot rusmiddelmisbruk kan også være preget av at dette er en ganske enkel måte å vise at man gjør noe på. Alternativet vil ofte være ingen handling i det hele tatt. Det kan også være noe man gjør for å slippe og gi seg ut på andre og mer politisk kontroversielle tiltak (jfr. Baklien, 1985A). Amerikanske definisjoner legger gjerne hovedvekten på effektmålinger. Det betyr gjerne at man velger ut noen enkeltfaktorer og studerer dem. På den måten kan vi bli tvunget til å gi et enkelt og entydig bilde av virkeligheten. Men virkeligheten er oftest verken enkel eller entydig, i hvert fall ikke når det dreier seg om menneskers gjøren og laden. Skal vi kunne beskrive hvorfor virkeligheten forandrer seg og hva i det vi gjør som får realiteten til å nærme seg idealet, må vi også studere prosessene. 3. Presis målsetting En god begynnelse er altså å sette opp idealene som skal realiseres. Men målsettingen er ofte langt mindre presis enn det lærebøkene later som (se f.eks. Suchman, 1971: 44). Tvetydigheter kan ha som funksjon å tilsløre meningsforskjeller (jmfr. Weiss, 1972:27). Når floskler og glitrende formulerte alminneligheter settes opp som mål, kan det være fordi mange interesser skal tilfredsstilles samtidig. Målkonflikter dreier seg også ofte om målsettingsnivå (jmfr. Patton, 1978:101). I forhold til sosialhjelptiltak, kan det være spørsmål om forholdet mellom kortsiktig kriseløsning og langsiktig hjelp til selvhjelp. I helsetjenesten kan det være spørsmål om forholdet mellom kurative og forebyggende tiltak. Når målsettingene spenner over flere nivåer samtidig, kan evaluatøren håndtere dette ved å sette opp en målkjede. Suchman anbefaler helt enkelt en tredeling i umiddelbare, mellomliggende og endelige mål (Suchman, 1967: 51-52). Man skal spørre om hvilke foreløpige målsettinger som må nås før man kan nærme seg det endelige målet. En fullstendig målkjede utgjør tiltakets handlingsteori. Bruker vi skolens rusmiddelundervisning som eksempel, er det der et helt hierarki av mål, hvor mål og midler flyter over i hverandre. Det primære målet er selvfølgelig å øke kunnskapen om alkohol og narkotika. I annen omgang håper man at det på denne måten skal skje noe med holdningene, slik at resultatet i siste instans blir minsket russøkende adferd. Skal vi nøye oss med å spørre om det ble gitt god eller dårlig undervisning? Skal vi spørre om kunnskapen har økt? Eller skal vi streve med å finne ut om de som har fått denne undervisningen ruser seg mindre enn de som ikke har gjort det? Vi vet jo at de tre faktorene kunnskap, holdninger og adferd ikke henger sammen så greit og automatisk som vi skulle ønske. Dersom vi faktisk klarer å øke kunnskapen, men finner at de som får denne kunnskapen ruser seg mer enn det de ellers ville ha gjort, er vi i den situasjonen at tiltaket isolert sett har oppfylt sitt primære mål, 2
men teorien som sier hva som skal være den videre effekten av dette primære målet er feil. «Operasjonen var vellykket, men pasienten døde». Suchman har illustrert denne situasjonen med en figur (Suchman, 1971:47). Figur 1: Målkjede etter Suchmann (1971:47) Dersom rusmiddelundervisningen ikke påvirker rusadferden, kan det enten skyldes feilslått intervensjon, dvs. undervisningen økte ikke kunnskapen, eller feilslått teori, dvs. kunnskap og adferd henger ikke sammen på den måten man har forutsatt. 4. Aktivitet Når evaluatøren har fastslått målene for det som skal gjøres, er neste spørsmål hvorvidt det gjøres noe for å nå målene. Er det noen aktivitet? At noe er vedtatt gjort, behøver jo ikke bety at det skjer så veldig mye. Dersom skoleadministrasjonen har bedt en skole om å gjøre noe og de i og for seg har sagt ja, kan det være nyttig å kontrollere hva de faktisk har gjort før man begynner å lete etter virkningen. Noen ganger dør ideene på planleggingsstadiet, og da bør vi finne ut hvorfor. Det behøver jo ikke være fordi det i og for seg var en dårlig ide. Iverksettingsanalyse eller implementeringsanalyse er nødvendig for at vi ikke skal forkaste gode ideer egentlig aldri er prøvd ut. (jmfr. Rossi, 1979:70). Hvorfor noe ikke blir noe av, kan noen ganger være en svært så sentral problemstilling. Evaluering av hvorfor noe ikke skjedde, vil legge vekt på beslutningsprosesser og på trekk ved de sosiale strukturene. At det ikke ble noen aktivitet, behøver med andre ord slett ikke bety at det ikke er behov for noen evaluering. Men det må bli en annerledes evaluering. Et eksempel har vi i en rapport med den treffende tittelen «Aksjonen som ble vekk». (Bolstad og Qvortrup, 1985). Rapporten søker å forklare 3
hvorfor en sentralt initiert russkadeaksjon ikke ble iverksatt som planlagt i en av Østfoldbyene. 5. Ressurser og innsats Dersom vi har fastslått at det faktisk er aktivitet, spør vi hva som gjøres. Hva er innsatsen? Det dreier seg om å fastslå hva som investeres i tiltaket: Hvor mye penger (eventuelt fra hvilke kilder), tekniske hjelpemidler, og ikke minst hvilke menneskelige ressurser. Særlig i en prosessevaluering er det ofte vanskelig å skille det som gjøres fra dem som gjør det (jmfr. Rossi, 1979: 75). Selv de beste tiltak og ideer kan mislykkes dersom de skal realiseres av uinteresserte personer som kanskje har problemer nok i hverdagsjobbens rutiner. Omvendt kan entusiasme og engasjement noen ganger være eneste årsak til suksess. Jo mer ekstraordinære tiltak det dreier seg om, jo viktigere er personfaktoren. Noen ganger finnes det bare et eneste svar på hvorfor det utviklet seg som det gjorde: Det var trekk ved de personene som var engasjert som gjorde at det ble suksess eller fiasko. I slike sammenhenger er det viktig å gå bakenfor og spørre om hva det er som gjør at personfaktoren får så stor betydning. Dette er særlig sentralt dersom vi ønsker en evaluering som er generaliserbar, dvs. dersom den skal kunne lære oss noe om i hvilken grad metodene og strategiene i dette tiltaket kan brukes av andre personer og under andre lokale forhold. 6. Prosess og produkt Intervensjonen og virkningene av den ikke er et statisk fenomen, men noe som foregår over tid. Det er i denne prosessen personfaktoren ytrer seg, og det er den de som driver prosjektet lever oppi fra dag til dag. For å evaluere prosessen, må en kunne beskrive hva som gjøres av hvem, for hvem, med hvem, hvordan, når og hvor. Det dreier seg om å dokumentere hva tiltaket gjør med folk. En praktisk måte å drive slik dokumentasjon på, kan rett og slett være å føre loggbok over hva som skjer fra dag til dag. Produktet (output) refererer til hva som kommer ut av disse prosessene til slutt. En produktbeskrivelse kan f.eks. dreie seg om at N antall elever har fått den og den hjelp. Det kan også dreie seg om mer konkrete produkter, f.eks. en teaterforestilling satt opp av en gruppe ungdommer. Forskjellen mellom prosessen og produktet er helt sentral, og det må advares mot å se seg blind på produktet. Ofte må vi evaluere både prosessen og produktet for å få et fullstendig svar. En elendig prosess kan nemlig resultere i et glimrende produkt og omvendt. Som eksempel vil jeg beskrive to ulike videoprosjekter. Jeg understreker her at jeg setter ting på spissen for å få «rene» eksempler. Begge videoprosjektene representerte et fritidstilbud til ungdom rekruttert gjennom den lokale ungdomsklubben. Ungdom skulle bruke video til å fortelle noe om sin egen situasjon og sitt forhold til rus. Dette skulle skape bevissthet og positive holdninger, og selve det å jobbe med video skulle være alternativ til det å ruse seg. 4
Det ene videoproduktet var hårreisende dårlig, teknisk, innholdsmessig og på alle måter. Men i arbeidet med å lage det, hadde de involverte ungdommene hatt lange og intense diskusjoner om narkotika, alkohol og sin egen situasjon. Det hadde uten tvil skjedd en hel masse med dem, og dette tok de med seg tilbake til miljøene de kom fra. Prosessen var vellykket. Det andre videoprosjektet ble satt i gang av noen svært ivrige ungdomsarbeidere. De fikk profesjonelle filmfolk trukket med i arbeidet, men rekrutteringen av ungdommene gikk heller dårlig. Resultatet ble en meget proff videofilm om det å være ung i akkurat dette lokalmiljøet. Men prosessen bak dette flotte produktet var ikke noe særlig. Ungdommene var redusert til statister i sitt eget prosjekt, og kom ut av det minst like fremmedgjort som de gikk inn. 7. Måloppnåelse Beskrivelser av prosess og produkt fritar oss ikke fra å spørre om måloppnåelse. Klarer man å realisere de idealene som er satt opp? Det klassiske eksperimentet har tradisjonelt blitt regnet som den beste formen for måling av måloppnåelse. Men det forutsetter at vi har muligheter for å forenkle og manipulere med virkeligheten. I et eksperiment vil måloppnåelsen knyttes sammen med hvordan målsettingen er avgrenset. Innføringsbøkene i sosiologisk metode gir et klassisk eksempel, nemlig Edwin Power's undersøkelse fra 1930-årene om forebygging av ungdomskriminalitet. (Riley, 1963: 572.580). Den tilfredsstilte de fleste kravene som kan stilles til et klassisk eksperiment. Eksperimentvariabelen, intervensjonen, var at risikoungdom ble fulgt opp tett og nært over lang tid av en sosialarbeider. Den avhengige variabelen, måloppnåelsesvariabelen, var registrert kriminalitet. Powers fant at ungdommene i eksperimentgruppa ble minst like så kriminelle som de som ble overlatt til seg selv. Det som er interessant her, er imidlertid at evaluatørene i etterhånd reiser spørsmål om målene var for snevert definert. I rapportens sluttkapittel sier de: «Kriminalitet er bare en del av historien» (Riley, 1963: 580). Selv om det ble begått like mange lovbrudd i eksperimentgruppa, var sosialarbeiderne til stor hjelp i mange enkelttilfelle, hevder Powers. En mer omfattende, ikke evaluert målsetting gikk på å skape gode samfunnsborgere - «sosial tilpasning». Det ble trolig oppnådd selv om det ikke finnes like målbare indikatorer på det som på kriminalitet, sier Powers. (Om motivet var å trøste de stakkars sosialarbeiderne vites ikke). Vurderingen av måloppnåelsen har altså å gjøre med hvordan vi har avgrenset målsettingen. Det ligger også en fare i at måloppnåelsesperspektivet kan bli så snevert at vi begrenser oss for mye til intenderte effekter. Vel sa viktig kan det være å få med de ikke-intenderte virkningene, de virkningene som ikke var med i beregningen. Det kan jo tenkes at et tiltak kan ha ikke-intenderte negative effekter (bivirkninger) som faktisk oppveier de positive. Eller det kan hende at selv om de oppsatte målene ikke nås i det hele tatt, så oppnår man en hel del annet bra som ingen hadde tenkt på i utgangspunktet I amerikansk litteratur er dette beskrevet som skillet mellom «outcome» (måloppnåelse) og «effect» (virkning) (se for eks. Wallack, 5
1985). Det siste retter blikket utover mot de ikke-intenderende konsekvensene, både i målgruppen og utenfor. For å gå tilbake til videoeksemplet kan vi spørre: Fikk ungdommene noen kontakter gjennom prosjektet som skaffet dem fast jobb i bransjen selv om de kanskje ruser seg i omtrent samme omfang som for? Hadde det den bieffekt at alle tilgjengelige ungdomsarbeidere og klubbledere konsentrerte seg så mye om det spennende videoprosjektet, at det øvrige, ordinære ungdomsarbeidet på stedet ble skadelidende? Helt til slutt spør vi om effektivitet. Det dreier seg om å sette det man har oppnådd i forhold til investeringene. Det er her vi skal kunne i at riktignok var resultatene magre, men ser vi det i forhold til de enda magrere investeringene, så var det kanskje ikke så verst likevel. Effektiviteten kan også sees i forhold til kildene for investeringene. Sentrale organer kan få svært mye igjen for sine penger ved at en sentral bevilgning kan utløse lokale midler (jmfr. Holdningskampanjen mot narkotika, se Baklien, 1985B). Figur 2 Måloppnåelse. 8. Effekt av evalueringen Målgrupper og effekt er sentrale begreper også i forhold til selve evalueringen. Både evalueringsforskere og interne evaluatører bør vite hvem de evaluerer for. Evalueringen vil og må bli preget av målgruppen. Den nærmeste målgruppen, vil være oss selv. Innledningsvis drøftet vi forholdet mellom intern evaluering, dvs. gjøre det selv, og ekstern evaluering, dvs, overlate det til i andre. En viktig grunn til å gjøre det selv kan faktisk være at man lærer av det. Det er en systematisk måte å bygge opp erfaring på, en måte som kan gi grunnlag for nye ideer. Selvfølgelig kan det også virke motiverende på egen arbeidsprosess, ved at man blir mer bevisst at det faktisk går noen skritt fremover. 6
Flytter vi blikket vekk fra oss selv, kan vi tenke oss tiltak vi har fått andre til å utføre. Dersom man har satt i gang noe som gjennomføres f.eks. av lærere, kan jo hensikten være at de skal bli litt klokere, at de skal se litt bedre hva de har gjort og hva det har ført til. Den som setter i gang noe har vel også et ansvar for at de som gjennomfører tiltaket skal lære noe. Intern evaluering kan også inkorporeres som et ledd i arbeidsprosessen. Da kommer vi i den situasjonen Harald Swedner har beskrevet i figuren nedenfor, som skal vise fasene i den formen for sosialt arbeid han kaller samfunnsmessig forandringsarbeid (Swedner, 1983: 11): Figur 3 Samfunnsmessig forandringsarbeid (Swedner, 1983: 11) Målformuleringen innebærer å analysere relevante individers og gruppers behov for å fastslå hvilke mål forandringsarbeidet skal søke å realisere. Kunnskapsproduksjonen behøver ikke bare å dreie seg om ny kunnskap, men også systematisering av det vi allerede vet. Redskapsproduksjon er å utvikle metoder for å intervenere eller for å styre de sosiale prosessene som leder fra tilstanden nå og fram til måloppnåelsen. Gjennomføringen er naturlig nok den mest tidkrevende delen. Swedner understreker at gjennomføringsfasen ofte vanskeliggjøres uforutsett, negative bieffekter og ettereffekter. I den siste fasen evalueringen eller utvärderingen plassert. Den skal bidra til å føre spiralen videre, til nye målformuleringer og til ny kunnskapsproduksjon. Men oftest evaluerer vi ikke bare for oss selv og for dem som er omfattet av det aktuelle tiltaket. Dersom hensikten er å sette andre i stand til å lære av de erfaringer man selv har gjort, blir det kanskje særlig viktig å være ærlig nok til å la dem lære av feilene også. Dessuten kan det være avgjørende å få fram ikke bare prosessen, produktet og effekten, men også de kontekstuelle eller miljømessige forutsetningene for at det gikk som det gikk. For en intern evaluatør det lett å ta slike forutsetninger for gitt. 7
Faren for selvskryt er trolig størst dersom målgruppen for evalueringen er identisk med de som har bevilget pengene. Sjansen for å få mer penger ved neste tildeling, øker dersom man kan fortelle en skikkelig solskinnshistorie om alt man fikk utrettet denne gangen. Dersom evalueringen har en ekstern målgruppe, vil den oftest bli lagt fram i form av en oppsummering til slutt. Vi snakker da om en summativ evaluering. En formativ evaluering derimot, er med på å forme tiltaket, ved at det går informasjon tilbake under hele prosessen. (Begrepene innført av Schriven, 1967). En prosessevaluering som følger alle faser i tiltaket fra begynnelse til slutt, vil ha størst mulighet for å fungere formativt. Selv om evaluatørene nok bør ha et bevisst forhold til det som skjer når han eller hun er med på å forme det som evalueres, skulle det ikke være nødvendig å betrakte slik påvirkning som evalueringsetisk forkastelig. Eller som en av grunnbøkene sier det: «Evaluatøren må ikke la sjansene til a være til hjelp gå fra seg; han blir betalt for å forbedre et tiltak, ikke for å referere en fotballkamp» (Cronbach, 1981:18). 9 Litteraturliste Baklien. B.: «Evalueringsforskeren mellom barken og veden». Tidsskrift for samfunnsforskning, 1985, vol. 26, pp. 457-475. 1985A Baklien, B.: Holdningskampanjen mot narkotika. Evalueringsrapport. NOU 1985:28. Oslo, 1985B Bolkstad, I og Qvortrup, M.: Aksjonen som ble vekk. Østfold distriktshøgskole. 1985. Mimeo Cronbach, L.J.: Toward Reform of Program Evalution. Jossey-Bass, San Francisco, 1981 Patton, M.Q.: Practical Evaluation. Sage, Beverly Hills, 1982 Patton, M.Q.: Utilization-focused Evaluation. Sage, Beverly Hills, 1978 Riley, M.W.: Sociological Research. Harcourt, Brace and World. New York, 1963 Rossi, P:«Issues in the Evaluation of Human Services Delivery». Chpt. 2 i Sechrest et al. (eds.): Evaluation Studies Review Annual» vol. 4.Sage, Beverly Hills, 1979 Schriven. M.: «The Methodology of Evaluation» In: R.E. Stake et al. (eds ) Perspectives on Curriculum Evaluation. AEA Monograph Series on Curriculum Evaluation No. 1, Chicago, 1967 Suchman, E.: «Evaluating Social Programs.» In Caro (ed): Readings in Evaluation Research. Sage, New York, 1971 8
Suchman, E.: Evaluation Research: Principles and Practice in Public Service and Social Action Programs. Sage, New York, 1967. Swedner, H.: «Forskning i socialt arbete» Nordisk Sosialt Arbeid, 1983, vol. 3 nr. 3, pp. 7-20 Wallack, L.: «A Draft Model for Program Evaluation». University of California, Berkley. 1985. Paper presented at the International Workshop on the Assessment of Health in Oslo 1986 Weiss, C.H.: Evaluation Research: Methods of Assessing Program Effectiveness. Englewood Cliffs, Prentice Hall, 1972 9