Evaluering og kvalitetsarbeid i Den kulturelle skolesekken

Transkript

1 Evaluering og kvalitetsarbeid i Den kulturelle skolesekken av Scott Rogers Design og foto: Kristian Ulyses Andaur og Lars Opstad / Kulturtanken

2 Evaluering og kvalitetsarbeid i Den kulturelle skolesekken Innholdsfortegnelse DEL I 1. Innledning 2. Hva er kunst? 3. Hva er kultur? 4. Hva er en kunstopplevelse? 5. Hva er kvalitet? 6. Den kulturelle skolesekken som særskilt kvalitetsarena for kunst 7. Kvalitet i alle ledd kvalitetsforløpet i DKS 7.1. Idé og konsept 7.2. Framføring 7.3. Formidling 7.4. Bestilling og programmering 7.5. Distribusjon 7.6. Mottakelse 7.7. Anvendelse 8. Kompetansebygging 9. Evaluering 10. Kvalitetssikring DEL II 11. Evalueringsmodeller og verktøy Kunstkritikk Spørreskjemaer «Audience Experience Framework» Dialog med barn og unge Observasjon Observasjon av engasjement Intervjuer og dialogteknikker Strukturerte aktiviteter Multi- sensorisk tilnærming: «Mosiac Approach» Ønskekvistmodellen som struktur for dialog med barn og unge Vurdering av forskjellige utspørringsteknikker Barns egenvurdering av kunstopplevelsen Kunstopplevelsens emosjonelle innhold «Visible Thinking» Housens stadier i estetisk utvikling «Visible Thinking Strategies» (VTS) «Entry Point Approach» Mer omfattende dialogteknikker Nominal Group Technique (NTG) Delphi- metoden T- diagrammer Bibliografi 1

3 DEL I 1 Innledning Målet med denne utredningen er å kartlegge kvalitetsstrukturer i Den kulturelle skolesekken (DKS), presentere evalueringsmodeller og - verktøy og gjøre rede for noen et utvalg av relevante metoder og praktiske eksempler innen feltet evaluering fra forskningslitteraturen. Det sentrale i utredningen er den basiskunnskapen som bidragsytere i alle ledd i DKS bør tilegne seg om evaluerings- og kvalitetssikringsarbeid. Vi håper at denne utredningen kan danne et faglig utgangspunkt for Kulturtankens videre arbeid med evaluering og kvalitetssikring. Arbeidet med evaluering og kvalitetssikring i DKS har vanligvis gått ut på å evaluere enkelttiltak ved hjelp av enkle og uformelle evalueringsmetoder. Dette har gitt et metodisk svakt, fragmentert og uoversiktlig bilde av kvaliteten på det DKS leverer. Med unntak av nasjonale og regionale forskningsoppdrag har vi i liten grad brukt relevante modeller, metoder eller strukturer som er forankret i vitenskapelig forskning, i evalueringsarbeidet. Det er nødvendig å skape et sterkere bånd mellom FoU- arbeid og praksis i DKS, slik at det blir mulig i større grad å dokumentere og begrunne påstandene om kvaliteten på det DKS leverer. Det pågår en evig diskusjon innenfor kunst- og kulturfeltet om hva kunst og kultur er, og om dette er noe som egentlig bør (eller kan) defineres. Faren med å fastsette en tydelig definisjon av hva kunst og kultur er, er at en slik definisjon kan avgrense kunstens omfang. Faren med ikke å ha en slik definisjon er at vi ikke blir enige om hva vi egentlig skal jobbe med, og at vi ikke får dokumentert for utenforstående resultatet av det arbeidet vi gjør. Det samme gjelder diskusjonen om kvalitet. Vi har alle meninger om hva kvalitet er. Det som imidlertid er interessant, er hva vi legger til grunn for disse meningene, hvordan vi definerer vårt ansvar ift kvalitetsarbeid, og hvordan vi kobler ny kunnskap til eksisterende kunnskap. Noen mener at det er umulig å definere kunstnerisk kvalitet, mens andre mener at det kun er deres egen definisjon som er den rette. Kunstnerisk kvalitet er viktig, men det finnes mange andre områder innenfor DKS hvor det er nødvendig å yte en strukturert innsats med hensyn til evaluering og kvalitetssikring, og det finnes mange interessenter som trenger å bli hørt. Vi risikerer at endeløse diskusjoner om kunstnerisk kvalitet kommer i veien for viktige diskusjoner om kvalitet på andre områder i DKS. Hvordan sluttbrukeren oppfatter kvaliteten i DKS tilbud, avhenger av mange faktorer og dessuten av leveranser fra forskjellige fagmiljøer og institusjoner, og videre avhenger det av god kommunikasjon og et godt nettverksarbeid fra virksomhetens side. For å kunne skape en helhetlig og jevnt over god kvalitet i tilbudet vårt må vi ha en felles forståelse av hva kvalitet er, og hvilke ferdigheter som trengs for å oppnå god kvalitet, og vi må ha verktøy som gjør at vi kan forsikre oss om at vi forstår prosessene våre og kan forbedre dem over tid. Det viktigste er at det arbeidet vi gjør med hensyn til kvalitetssikring, danner et pålitelig og troverdig beslutningsgrunnlag, det som ISO omtaler som evidence- based decision making. Uten at vi har en helhetlig felles forståelse av hvordan de forskjellige komponentene i DKS henger sammen, og hvordan de påvirker skolens og barnas opplevelser av det vi leverer, risikerer vi å ta beslutninger som er løsrevet fra både DKS som helhet og vår politiske og praktiske virkelighet. Våre evalueringer danner grunnlaget for våre beslutninger, og kunnskapsbasert arbeid med kvalitetssikring gjør at vi kan ta kunnskapsbaserte beslutninger. 2

4 Det er viktig at alle de som er involvert i DKS arbeid, har en detaljert og helhetlig forståelse av hvordan ordningen er organisert, og hvilke konsekvenser organiseringen har med hensyn til kvalitetssikring, evalueringsarbeid, nettverksarbeid, dialog med målgruppen og kompetansebygging. Sentrale områder for den videre utviklingen av DKS er følgende: Kvalitetssikring: Å levere god kvalitet er ikke tilstrekkelig for å utvikle DKS. Vi må være i stand til å ta lærdom fra tiltak vi allerede har gjennomført, og ta med oss denne lærdommen videre til nye tiltak og arbeidsprosesser. Evalueringsarbeid: Vi trenger bedre metoder i DKS for å hente troverdig og pålitelig informasjon om gjennomføringen og effekten av ordningen. Nettverksarbeid: DKS spenner over både lokalt, regionalt og nasjonalt nivå. Vi må utvikle sterkere og mer gjensidige nettverk både på tvers av disse nivåene og mellom skolesektoren og kultursektoren. Dialog med barn: Vi trenger bedre metoder i DKS for å få målgruppen vår i tale. Vi må snakke mer og oftere med barn enn det vi gjør i dag. Skolen må bli bedre til å snakke med barn om kunst og hjelpe dem til å utforske sine egne kunstopplevelser. Forskningen viser at kunstopplevelser kan åpne opp for dypere læring i andre fag, og nettopp det er noe vi må lære å utnytte. Kompetansebygging: Det er viktig at bidragsyterne i alle ledd i DKS forstår hvilken rolle det enkelte ledd har, og tar et systematisk ansvar for egen kompetansebygging ut fra de ansvars- og oppgaveområdene som tilhører det aktuelle leddet. Sentrale begreper i DKS må defineres tydeligere. DKS- nettverket går ut ifra at det finnes en felles forståelse i DKS av begreper som kunst, kultur og kvalitet. Det finnes imidlertid ingen slik felles forståelse, noe som fører til misforståelser som står i veien for arbeidet vårt og låser viktige diskusjoner på et overfladisk nivå. Derfor er det viktig å starte denne drøftingen av arbeidet med evaluering og kvalitetssikring i DKS med klargjøre noen sentrale begreper. 2 Hva er kunst? Kunst (i likhet med kultur) er et begrep som har en lang historie, og betydningen av begrepet endrer seg stadig. Det er ikke slik at begrepet kunst har betydd forskjellige ting gjennom tidene, det er heller slik at folk i dag har en felles forståelse av hva som ligger i begrepet, men at det dreier seg om en forståelse som består av mange lag, som inkluderer alt kunst har vært siden begrepet først oppsto. Definisjonen av begrepet kunst er omstridt, noe som henger sammen med at kunst er et positivt og ettertraktet verdibegrep. Selv om det er vanskelig (og sannsynligvis umulig og heller ikke ønskelig) å finne en universell definisjon av begrepet kunst, er det enkelte fellestrekk som går igjen i de forskjellige definisjonene: «Uttrykk for eller anvendelse av menneskelig kreative ferdigheter, kunnskap og fantasi som produserer verk som hovedsakelig blir verdsatt for deres skjønnhet eller følelsesmessige kraft.» Store norske leksikon definerer kunst som «kulturytring hvor utførelsen gjerne krever spesiell kunnskap og ønske om å bruke denne og individuelt tilpasse den til en situasjon og hensikt». I senmiddelalderen ble alt håndverk utført med en eksepsjonell kvalitet som ble kalt for kunst. Et fint og rikt utformet arbeid ble kalt et «kunststykke». Grekerne hadde ikke noe slikt kunstbegrep etter vår oppfatning, og de opererte heller ikke med vår tids skille mellom kunst og håndverk. I renessansen trådte likheten mellom kunst og vitenskap fram. Kunstnere som Leonardo da Vinci og Albrecht Dürer la vekt på kunnskap i utvikling av sin kunst, og de brukte nye oppdagelser i geometri, anatomi, optikk og matematikk ved gjengivelse av rom, blant annet ved konstruksjon av sentralperspektivet. 3

5 Først på tallet ble begrepet kunst brukt om billedkunst, arkitektur, kunsthåndverk, musikk, opera, teater, dans og litteratur, og man forutsatte da en personlig og nyskapende innsats fra personene som beskjeftiget seg med disse aktivitetene. Kunst blir ofte delt inn i fysiske verk og performative verk (som musikk, drama og dans), som stadig må gjenskapes og framføres på nytt. På tallet tok man i bruk begrepet de skjønne kunster. Kunsten hadde ingen praktisk funksjon former, farger, lys og skygge kunne betraktes for sin egen skyld. Opplevelsen av et kunstverk var et mål i seg selv, og ikke et middel til noe annet. Under romantikken på tallet vokst begrepet den geniale kunstneren fram, og kunstneren fikk ofte mer oppmerksomhet enn verket. Det kunstneriske uttrykket ble i denne perioden oppfattet som et individuelt uttrykk, og kunsten skulle uttrykke følelser. Med henvisning til filosofen Ludwig Wittgensteins teorier hevdet estetikere og filosofer i årene at det var umulig å definere kunst ved å angi hvilke egenskaper som er karakteristiske for kunst. Enkelte teoretikere hevdet at det faktisk er kunstverdenen som institusjon som avgjør hva som er kunst. Denis Dutton, en forsker innen feltet kunstfilosofi, påstår at kunst som uttrykk er en evolusjonær tilpasning og et naturlig og universelt fenomen. Kunst, i likhet med språk, «utfolder seg spontant og universelt i like former på tvers av kulturer». Dutton definerer tolv karakteristiske trekk som er felles for kunstneriske uttrykk på tvers av ulike kulturer: 1. Direkte nytelse: En kunstgjenstand er verdsatt som en kilde til nytelse i seg selv, og ikke i utgangspunktet for sin bruksverdi. 2. Ferdighet og virtuositet: Det å skape et kunstverk krever spesialiserte ferdigheter og utøvelsen av disse. 3. Stil: Gjenstander og framføringer i alle kunstartene framstår i identifiserbare stilarter, bundet av føringer for form, komposisjon og uttrykk. 4. Nyskaping og kreativitet: Kunst er verdsatt og hyllet for sin nyskapenhet, kreativitet, egenart og evne til å overraske sitt publikum. 5. Kritikk: Kunst er alltid forbundet med en kritisk dialog som omhandler vurdering og forståelse. 6. Representasjon: Kunstgjenstander og framføringer representerer eller imiterer virkelige eller imaginære opplevelser av verden. 7. Spesielt fokus: Kunstverk og kunstneriske framføringer pleier å være atskilt fra livet ellers. 8. Uttrykksfull individualitet: Kunstgjenstander gir en imaginær opplevelse for både kunstnerne og deres publikum. 9. Følelsesmessig metning: Følelser blir framkalt av verkets innhold, men ligger også i selve verket. 10. Intellektuell utfordring: Kunstverk pleier å være utformet slik at de utfordrer menneskenes perseptuelle og intellektuelle kapasitet. De mest fremragende kunstverkene bidrar til at tilskueren strekker seg utover sine normale grenser. 11. Fantasierfaring: Kunst presenterer muligheter som den kreative fantasien tolker og gjenskaper. 12. Kunsttradisjoner og institusjoner: Kunstgjenstander og framføringer blir skapt, og til en viss grad gitt betydning, ut fra den plassen de har i feltets historie og tradisjoner. 3 Hva er kultur? Begrepet kultur brukes i en rekke forskjellige sammenhenger og med ulike betydninger. Det vanligste er det å snakke om kultur i forbindelse med tanke-, kommunikasjons- og atferdsmønstre hos mennesker, og da i både vid og snever forstand. 4

6 I vid forstand snakker man for eksempel om norsk kultur, som en samlebetegnelse på visse trekk som er felles for nordmenn. I snever forstand snakker man gjerne om kultursektoren, som blant annet inkluderer visuell kunst, musikk og litteratur. I sin artikkel om kultur skiller Schackt mellom tre ulike kulturbegreper (Schackt, 2016): det snevre, sektororienterte kulturbegrepet det utvidede kulturbegrepet det generelle kulturbegrepet Det sektororienterte kulturbegrepet omfatter den sektoren av samfunnslivet der visse uttrykksformer gis en grad av artistisk bearbeidelse, som kulturlivet og kunst og kultur. Gjennom vurderinger av graden eller kvaliteten av en slik bearbeidelse skilles det her ofte mellom såkalt finkultur og folkelig kultur, eller populærkultur. Det utvidede kulturbegrepet er basert på sektormodellen i den forstand at det innrømmes plass i kultursektoren til uttrykksformer eller aktiviteter som mange i utgangspunktet vil plassere innenfor andre sektorer, for eksempel folkefester og idrett. Det generelle kulturbegrepet omfatter tanke-, kommunikasjons- og atferdsmønstre på alle felter av samfunnslivet, uavhengig av om det finnes noen spesialisert kultursektor eller ikke. Slike mønstre overlapper ulike felter og sektorer på en slik måte at kulturen framstår som sammenhengende og helhetlig. Følgelig blir det også mulig å snakke om kulturer i flertall. En kultur er en identitet som tilhører ett folk eller samfunn. På den måten kan mennesker føle at de har en sammensatt identitet, og de kan føle tilhørighet til flere kulturer. Eksempler på det er norsk kultur og samisk kultur. Begrepet kan også brukes om enheter på ulike nivåer, som når man skiller mellom vestlandsk, norsk og europeisk kultur. Det generelle, eller helhetlige, kulturbegrepet skiller seg fra det sektororienterte kulturbegrepet ved at det ikke antyder verdibaserte graderinger, men helhetene kan likevel omfavne underordnede varianter, for eksempel ved at vestlandsk kultur anses som en del av den norske kulturen, og videre som en del av den skandinaviske kulturen. Begrepet subkultur er forbundet med det generelle, eller helhetlige, kulturbegrepet på den måten at det på ulike felter av samfunnslivet utvikler seg forskjellige underordnede kulturmønstre. Derfor kan vi for eksempel snakke om en næringslivskultur, og til og med om særegne bedriftskulturer. Ellers knyttes begrepet subkultur gjerne til spesielle stiler og miljøer. Følgelig kan vi for eksempel snakke om pønkerkulturen som eksempel på en type ungdomskultur som er knyttet til en spesiell tidsepoke. Det sektororienterte kulturbegrepet har sine røtter i det hierarkiske kulturbegrepet, som utviklet seg i Europa på og første halvdel av tallet. Dette kulturbegrepet gjenspeiler både den lagdelte samfunnsordningen i Europa og kontrasten mellom europeere og koloniserte folkeslag. Fra ordets latinske rotbetydning (dyrking) utvikles kulturbegrepet i denne perioden til å bli en kontrastkategori til natur. Gjennom kultivering av sine omgangs- og uttrykksformer fjerner mennesker seg fra den rå, ubearbeidede naturen. Kultur, i likhet med sivilisasjon eller dannelse, blir oppfattet entydig positivt som noe som personer eller grupper av personer (samfunn, folkegrupper) kan ha mer eller mindre av «naturfolkene» mindre og europeerne mer (særlig de høyere klasser). Tenkere fra opplysningstiden, særlig Rousseau, taler for det motsatte, der samtidens europeiske sivilisasjon framstilles som dekadent, mens «naturfolkene» idealiseres. Den dag i dag er den gamle, hierarkiske modellen til stede i vanlig språkbruk, for eksempel når personer omtales som kultiverte eller ukultiverte. 5

7 Det generelle eller helhetlige kulturbegrepet har sine røtter i den tyske romantikken, da kultur ble forbundet med forestillingen om at hvert folk har sin sjel («Volksgeist») og sitt verdensbilde («Weltanschauung») som de har utviklet ikke i kontrast til, men i tilknytning til en geografisk bestemt «natur» (et «fedreland»). De tyske romantikerne kom særlig til å forestille seg slike folkefellesskap som forankret i språket (Schackt, 2016). 4 Hva er en kunstopplevelse? Den kulturelle skolesekken konsentrerer seg i stor grad om kunstopplevelser for barn. Diskusjonene om kunstopplevelser har blitt noe polariserte over tid, der man på den ene siden er opptatt av direkte medvirkning og egenaktivitet for elevene og på den andre siden er opptatt av såkalt passiv formidling. Det gjør diskusjonen enda mer utfordrende når skolen selv har et ansvar for kunnskaps- og ferdighetsbygging innen estetiske fag som er atskilt fra DKS arbeid. Leder slike diskusjoner oss bare inn på et blindspor? Finnes det et enkelt svar på hvordan man gir barn tilgang til kunstopplevelser, eller finnes det flere innganger til kunstopplevelser for barn? Det er flere forskere som har satt søkelyset på kunstopplevelsen, noen med en teoretisk tilnærming og andre med en praktisk tilnærming. I England stilles det krav om at kulturtiltak for barn skal dokumenteres, defineres og tallfestes. Da er det viktig at det finnes en konkret definisjon av begrepet kunstopplevelse og dessuten modeller for hvordan slike opplevelser blir til. «En høykvalitets kunstopplevelse har noen av disse karakteristikkene: økt oppmerksomhet, endret emosjonell tilstand, personlig mening, intellektuell stimulering, deling av opplevelsen, en følelse av tilhørighet til dem som skaper eller deler opplevelsen, minneverdighet og et ønske om å gjenta eller forlenge opplevelsen.» (Annabell Jackson Associates, 2012) En god kunstopplevelse er en kunstopplevelse som gir den som opplever den, en følelse av å være inkludert. Vi må være oppmerksom på at kunstopplevelser har både en ubevisst og en bevisst effekt kunstopplevelser kan være underholdende, men også ubehagelig og utfordrende opplevelsen av kvalitet på det publikum blir presentert for, har et subjektivt aspekt som med fordel kan utdypes ved å tydeliggjøre noen objektive kriterier opplevelsen av kvalitet er individuell, men inneholder også et sosialt aspekt (Annabell Jackson Associates, 2012) Annabell Jackson har også utviklet en modell for kunstopplevelsen basert på et møte med kunst preget av forutsetninger og ettervirkninger. Dette gir oss et konkret utgangspunkt for å diskutere de forskjellige fasene som påvirker kunstopplevelsen. 6

8 !!!!!Tid!! Foran! forventninger! motivasjoner! kunnskap! interesser! bevissthet! behov! Møte! Underveis! tilstedeværelse! sanser! tenking! følelser! sosial!samhandling! kartlegging!av!behov! Etterpå! gjensyn! samtale/dialog! inspirasjon! bruk! ønske!om!gjentakelse! Påvirket!av! visjon! ressurser! verdier! maktrelasjoner! eksterne!krefter! og!hendelser! Påvirket!av! miljø! mennesker! informasjon! innhold! kunstnerisk! kvalitet! kontekst! Kunstopplevelsen som tilstand har mye til felles med flow- konseptet. Csikszentmihalyi lanserte sitt flow- konsept på tallet: «En tilstand av glede, kreativitet og totalengasjement der problemer tilsynelatende forsvinner og det skapes en berusende følelse av transendens» (Csikszentmihalyi, 1990). WolfBrown har bearbeidet flow- konseptet ved å ta utgangspunkt i det å bli fenget av opplevelsen. Det å bli fenget av opplevelsen utgjør kjernen i WolfBrowns modell for særskilte verdier i en kunstopplevelse. Denne modellen består av seks deler: 1. Å bli fenget dreier seg om den tilstanden der publikum er oppslukt av opplevelsen, lever seg inn i den verdenen utøverne spiller i og kunsten bor i, mister tidsfølelsen og fortrenger andre minner og tanker. 2. Intellektuell stimulering dreier seg om mentalt engasjement og «kognitivt fotfeste». 3. Emosjonell resonans handler om at framføringen klarer å framkalle en sterk emosjonell respons fra publikum, om intensiteten av responsen på framføringen, om graden av empati publikum føler for utøverne, og framføringens terapeutiske verdi. 4. Spirituell verdi handler om framføringens evne til å inspirere, forhøye og styrke sitt publikum, og dermed skape transendentale opplevelser på et spirituelt (men ikke nødvendigvis religiøst) plan. 5. Estetisk vekst handler om omfanget av nye elementer, stilarter eller sjangrer som publikum blir eksponert for, og som utfordrer publikums utgangspunkt for opplevelsen. 6. Sosial tilhørighet handler om følelsen av tilhørighet som oppstår blant publikum og mennesker generelt. WolfBrown konkluderer med at «Mange faktorer påvirker naturen og omfanget av kunstopplevelsen. Disse inkluderer individets vilje til å motta kunstopplevelser, opplevelsens kvalitet (som i sin tur er påvirket av kunstens natur), kunstnerens ferdigheter og mer banale faktorer som romtemperaturen i et kunstgalleri eller akustikken i en konsertsal. Noen opplevelser gjør inntrykk som varer livet ut mens andre sover vi oss gjennom» (WolfBrown, 2007). 7

9 «The Values Study», som fikk støtte fra Wallace Foundation i USA, konkluderte med følgende: Man får utbytte i form av verdi ut fra graden av den kreative kontrollen man har over den kunstneriske opplevelsen. Verdien av opplevelsen for individet er ikke nødvendigvis avhengig av kunnskap, tekniske ferdigheter eller kompetanser innenfor kunstformen. Mange mennesker har latente eller «ikke- realiserte» interesser for forskjellige kunstformer og aktiviteter. Personlige relasjoner til kunstnere kan dekke over mangel på direkte relevans og tenne kunstinteressen og oppfordre til deltakelse. (Brown, 2004) 5 Hva er kvalitet? Vi har ikke behov for noen særskilt definisjon av hva kvalitet er innenfor kunst- og kultursektoren. DKS bør ta utgangspunkt i den definisjonen av kvalitet som brukes av fagfolk og bedrifter som arbeider systematisk med kvalitet. Den norske standarden ISO 9000 definerer kvalitet som «i hvilken grad en samling av iboende egenskaper oppfyller behov eller forventning som er angitt, vanligvis underforstått eller obligatorisk». Enkelt sagt dreier kvalitet seg om hvorvidt man klarer å tilfredsstille interessentenes eller brukernes krav og forventninger. For å være i stand til å levere kvalitet må vi derfor ha mye kunnskap om hva DKS leverer, innsikt i forventningene til alle interessentene til DKS og evne til å skape realistiske forventninger, og vi må dessuten forbedre produktet vårt på grunnlag av resultater fra nyttige evalueringer. DKS har blitt beskyldt for å ha et tilbud med varierende kvalitet. De fleste antar at dette handler om kunstnerisk kvalitet, innholdsmessig kvalitet eller formidlingskvalitet, men det er mange andre og avgjørende kvalitetstyper som spiller inn her. Kvalitet i DKS handler om en lineær prosess som strekker seg fra kunstverket via framføringen og formidlingen og programmeringen og distribusjonen og fram til mottakeren. Disse forskjellige arbeids- og ansvarsområdene påvirker alle den kvaliteten som oppleves av sluttbrukeren. Ansvaret for dette kvalitetsforløpet er fordelt mellom flere aktører (kunstmiljøer, produksjonsmiljøer, DKS- administrasjoner, skoler og så videre), og hvis kvaliteten på DKS tilbud skal kunne utvikles videre på en helhetlig måte, forutsetter det at det foregår et samarbeid og koordinerende dialog mellom alle disse aktørene. Skal vi kunne videreutvikle DKS, blir vi nødt til å ha en mer nyansert felles forståelse av kvalitetsbegrepene og kvalitetsforløpet når det gjelder oppsøkende kunst i skolen. Systematisk kompetansebygging og pålitelige evalueringsmetoder er også nødvendig for å kunne sikre og videreutvikle kvaliteten på tilbudet vårt. DKS har et særskilt landskap å forholde seg til når det gjelder arbeid med kvalitet: Virksomheten dreier seg om oppsøkende kulturbesøk i skolen: I motsetning til offentlige kulturarrangementer har oppsøkende kulturbesøk et publikum som ikke kjenner verken kunsten eller kunstneren men publikum kjenner hverandre. Et publikum bestående av barn og unge identifiserer seg ikke med, og har ikke den samme tilhørighetsfølelsen til et uttrykk, en artist eller en arena som et offentlig publikum har. Barn og unge har heller ikke den isme- og sjangerforståelsen som et voksent publikum har. Dette skaper andre forventninger og en annen publikumsdynamikk, stiller andre krav til formidlingen og gjør at kvalitet utvikler seg på en annen måte enn i et offentlig tilbud. Det skaper også en særskilt fri, åpen og betingelsesløs arena for kunst enn den som finnes ellers. 8

10 Vi har et mangfold av interessenter å forholde oss til: Det er mange som er opptatt av kvaliteten i DKS tilbud: utøvere, produsenter, lærere, barn, skoleledere, kulturadministratorer og så videre. Alle disse har egne mål og suksesskriterier for hva som er kvalitet i DKS- sammenheng og fra sitt ståsted har alle rett. Det er naturlig at de forskjellige interessentene ser den delen av kvalitetsforløpet de selv står nærmest og har mest kompetanse innenfor. Men vi må ikke la dette gjør at vi undervurderer helhelten i arbeidet med kvalitet. Det hjelper lite at middelmådige program blir distribuert på en fremragende måte (eller motsatt). De ulike interessentenes kvalitetskrav må ikke bli konkurrerende, de må heller bli en del av en helhetstenkning som ser og styrker kvaliteten i alle ledd. Kvalitet i DKS handler ikke om hvem som har definisjonsrett når det gjelder kvalitet, men om å se alle interessentene (og deres forventninger og krav) som en del av en helhet. Et helhetlig kvalitetsbilde består av evalueringer og refleksjoner fra alle de involverte langs hele forløpet, og det er viktig at interessentene tar et bevisst ansvar for å sikre den delen av kvalitetsforløpet deres arbeid påvirker. Kvalitetssikring i denne sammenhengen handler om å sørge for at evaluering fører til forbedring, og at forbedring forplanter seg i påfølgende prosesser. Det er en nasjonal oppgave å samordne og synliggjøre dette helhetsbildet og dessuten å påpeke eventuelle avvik og tiltaksområder som må forbedres. Kvalitet må bygges, men må også tas vare på: Det finnes et tydelig kvalitetsforløp i DKS. Enkelte ledd i dette forløpet er med på å skape og bygge kvalitet, mens andre er med på å bevare eller forvalte den kvaliteten som har blitt skapt tidligere, slik at den kvaliteten når helt fram til publikum. Alle oppgaver og handlinger som er med på å skape eller forvalte kvalitet i sluttopplevelsen, må være gjenstand for systematisk evaluering og kvalitetssikring. Dette betyr at ansvar, kompetansebygging, evaluering og kvalitetssikring er en del av ett og samme kvalitetssystem. 6 Den kulturelle skolesekken som en særskilt kvalitetsarena for kunst At DKS er en oppsøkende kultursatsing for barn som hovedsakelig finner sted i skolen, preger forutsetningene for arbeidet med evaluering og kvalitetssikring. På den ene siden ligger kunstfeltet med sine kunstneriske intensjoner for barn som publikum. På den andre siden ligger skolefeltet med sine forventninger til relevant aktivitet i skolehverdagen som støtter skolens oppdrag og målsetting om læring. For å oppnå kvalitet i tilbudet vårt må vi kunne møte forventningene fra begge disse sidene. Mesteparten av kulturtilbudet i samfunnet er kommersielt. Publikum må selv investere i opplevelser, og for at publikum skal gjøre det, må de ha tillit til enten innholdet i, aktøren bak eller arenaen for tilbudet. Når folkt går på teater, gjør de det gjerne fordi de kjenner stykket, fordi de kjenner noen av skuespillerne, eller fordi de har en eksisterende tillit til teatret som institusjon. Et offentlig publikum har ofte klare forventninger til hva de skal oppleve. På en eller annen måte har de opplevd det før og har derfor tillit til det de skal oppleve nå. Evaluering er en relativt enkel sak («Ble publikumsforventningene innfridd?»). Siden et offentlig publikum samler seg rundt et arrangement fordi det har relevans for dem, er det enkelt å forutse publikums forventninger. I offentlig sammenheng «trekker» vi et publikum. Ved DKS oppsøkende besøk møter vi et publikum som ikke har disse forutsetninger og forventninger. Oppsøkende kulturtilbud har en annen dynamikk enn kommersielle kulturtilbud og krever derfor en annen tilnærming til arbeid med evaluering og kvalitetssikring. Publikumet til oppsøkende kulturtilbud har sjelden vært med på å bestille arrangementet eller kjøpe billetter, og har dermed ikke vært gjennom den tillitsutviklingen et offentlig publikum går gjennom. I et offentlig kulturtilbud 9

11 er det kvaliteten på produktet som er det avgjørende. I et oppsøkende kulturtilbud for barn er det ofte kommunikasjon med eller formidling til publikum som er det avgjørende. God kunstnerisk kvalitet er ikke tilstrekkelig for et oppsøkende kulturtilbud. Publikum mangler den innledende tilliten og de forventningene et offentlig publikum har, og tillit og forventninger må skapes på stedet. Følgelig må DKS fokusere mer på kommunikasjon/formidling i sine evalueringer enn det man må i tilsvarende evalueringer av offentlige kulturtilbud. 7 Kvalitet i alle ledd kvalitetsforløpet i DKS Som tidligere nevnt har DKS et kvalitetsforløp som strekker seg gjennom alle ledd helt fra idé- og konseptstadiet og fram til sluttbrukeren. Det er et avhengighetsforhold mellom alle disse leddene som er avgjørende for den kvaliteten sluttbrukeren opplever. Et godt kunstverk som er dårlig framført, programmert for feil målgruppe eller distribuert på en upålitelig måte, gir ikke sluttbrukeren noen opplevelse av kvalitet. Derfor er det avgjørende at alle aktører i DKS samarbeider om kvalitetssikring. Idé- og konseptkvalitet Framføringskvalitet Formidlingskvalitet Bestillings- og programmeringskvalitet Distribusjon Mottakelse Anvendelse De leddene som har med skaping og formidling av et kunstverk å gjøre, er med på å bygge (eller styrke) den performative kvaliteten. Andre ledd, som distribusjon, mottakelse og anvendelse, er med på å forvalte den performative kvaliteten som har blitt bygd opp, slik at mest mulig av denne kvaliteten når helt fram til sluttbrukeren. Dette forløpet gjør at vi får et sektoransvar siden det ikke finnes én enkeltaktør som påvirker alle leddene direkte. De som skaper kunst, nye program og kunstnerisk innhold for DKS, har ansvar for idé-, framførings- og formidlingskvaliteten. De som velger program og distribuerer DKS- tilbudet, har ansvar for programmerings- og distribusjonskvaliteten. Mottakerne og brukerne av DKS- tilbudet har ansvar for mottakelses- og anvendelseskvaliteten. 7.1 Idé og konsept Idé- eller konseptkvalitet skapes av kunstneren. Det er antagelig bare kunstneren som kan uttale seg om ideen eller konseptet bak et kunstverk, fordi han står nærmest intensjonen til kunstverket. Andre kan uttale seg om egnethet i visse sammenhenger, eller om verket sammenlignet med andre verk innen det samme uttrykket (for eksempel kunstkritikk). Mange kan ha oppfatninger om hva verket er, men bare kunstneren vet hva kunstverket var ment å være. Verkskvalitet eksisterer i grenselandet mellom idé og framføring. Hva en maler hadde som intensjon å uttrykke, og hva som ble realisert på lerretet (og hva som til slutt blir oppfattet og tolket av betrakteren), kan i større og mindre grad skille seg fra den opprinnelige kunstneriske ideen eller intensjonen eller det opprinnelige kunstneriske konseptet. De fleste oppfatninger av verkskvalitet er avhengig av framføringskvaliteten. Vi får ikke tilgang til kunstnerens idéverden uten å oppleve den. Men gode kunstverk kan bli framført på en middelmådige måte, eller middelmådige kunstverk kan bli framført på en genial måte. Det finnes også kunstverk som er konseptuelle i form og uavhengig av framføringskvalitet. Ideen står for seg selv som en kunstnerisk produkt (eksempler her er Marcel Duchamps «Readymades», John Cages «4 33» og Gianni Mottis «Invisible Ink Drawings»). Slik sett er idé- og konseptkvalitet noe andre enn kunstneren i liten grad kan påvirke. DKS kan velge eller velge bort et kunstverk eller et konsept, men dette dreier seg om kvaliteten av deres 10

12 programmering. Produksjon handler om å skape kunstverk, programmering handler om å velge ut kunst til et bestemt formål, arena og målgruppe. 7.2 Framføring Framføringskvaliteten avhenger ikke bare av godt utviklede tekniske ferdigheter, den avhenger også av situasjonen. En god utøver er kun god i en viss sammenheng. For eksempel vil ikke stilfølelse, buestrøk og intonasjon hos en klassisk fiolinist gi en like autentisk framføring innenfor andre musikkstilarter. En «god» sangstemme er forankret i en klassisk tradisjon for en operasanger, men består av noe helt annet for en som tolker sangene til Tom Waits. For å sikre en god framføring må begge disse utøverne ha ferdigheter som er tilpasset det aktuelle uttrykket. I DKS- sammenheng er det ofte en produsent, teaterregissør eller kurator som sørger for at utøveren finner en kontekst hvor hans eller hennes ferdigheter kommer til sin rett og skaper det som skal til for å nå et ungt publikum. I noen tilfeller kan kunstverket ha blitt skapt flere hundre år før det blir framført, som når en stykekvartett framfører verk av Haydn. Da finnes det en mengde etablerte framføringspraksiser som gir innsikt i framføringskvaliteten. Dette står i kontrast til en konsert med friimprovisert musikk hvor kunstverket skapes under framføringen. Idé/konsept og framføring smelter da sammen, og et sammenligningsgrunnlag for å diskutere framføringskvalitet er nesten ikke- eksisterende. I en slik situasjon blir idékvalitet synonymt med framføringskvalitet, og en ny kunstnerisk intensjon oppstår ved hver enkelt framføring. 7.3 Formidling Formidling handler om å skape en inngangsport til kunsten gjennom den måten vi formidler kunstverket til et publikum på. Det er mange elementer som påvirker formidlingskvaliteten: utøvernes kommunikative ferdigheter, målgruppens sosiale tilhørighet og egenidentitet, forventingene til kunstopplevelsen og fysisk nærhet til formidlingen. Formidlingsproblematikken er annerledes for oppsøkende framføringer i skolen der elevene ikke har bestilt opplevelsen selv, enn for andre oppføringer. Publikum har ikke den innledende tilliten til opplevelsen, og utøverne/kunstuttrykket må bygge relasjoner og tillit hos sitt publikum på stedet. Formidlingen krever at utøverne har mer enn bare kunstneriske ferdigheter, de må også ha en forståelse av barn og unge som publikum og oppsøkende kunstopplevelser som format. Det er få kunstnere som har tilstrekkelig kunnskap om barn og unge til uten videre å kunne skape optimal formidling. Derfor er produsent-, regissør-, kuratør- og instruktørrollene viktige for å kunne ivareta barnas perspektiv. Grundig kommunikasjonsarbeid i forkant av kulturbesøk er også en del av det å skape optimale forutsetninger og en kontekst for god formidling. En formidler av en visuell kunstutstilling er ikke med på å «spille» verket på den måten vi tenker oss en framføring av performativ kunst, men skaper en inngangsport til verket. En forfatter som leser fra boken sin, er egentlig også en formidler, og ikke en framfører. Det kommer av at en bok som medium gir grunnlag for en leseopplevelse som er privat og selvstyrt, mens litteraturformidling i DKS ofte er offentlig, felles og styrt av en oppleser. Innenfor performativ kunst (musikk, dans og drama) er utøvernes relasjon til sitt publikum avgjørende. I DKS- sammenheng er det fullt mulig å ha god musikk, gode utøvere og samspill i verdensklasse og samtidig holde en dårlig konsert. Det skyldes at relasjonsbygging og kommunikasjon med publikum er med på å gjøre forestillingen relevant for målgruppen. Barn må føle at «dette handler om meg», de må ikke føle at «de voksne holder på med et eller annet der borte». Derfor kan idékvalitet og framføringskvalitet neppe oppfattes uten at det finnes en god formidlingskvalitet. 11

13 Helt siden den nasjonale evalueringen av DKS (Borgen, 2006) ble gjort kjent, har det pågått en debatt rundt monologisk og dialogisk formidling. Det har vært enighet om at dialogisk formidling er å foretrekke ved kunsttilbud for barn fordi det er en mer involverende formidlingsform. Debatten har imidlertid i stor grad vært preget av en noe overfladisk forståelse av disse formidlingsbegrepene. Kulturforskeren Torild Wagle Christensen har utdypet debatten rundt disse to formidlingsformene i sin studie av kvalitet i skolekonserter, «Når musikken gir mening» (Christensen, 2011/2016): Selv om formidlingens innhold er fokus i de mer monologiske formidlingsformene, er man også innenfor denne type kulturformidling opptatt av å finne en god formidlingsform. Det er stor enighet om at målgruppene barn og unge fordrer spesiell tilrettelegging og forming av de estetiske objektene i formidlingen, men det er uenighet om dette skal gjøres mer dialogisk eller ikke. I både monologisk og dialogisk kulturformidling trenger vi altså kvalitetskriterier for både formidlingens innhold og form for å kunne si noe om hva som er god kulturformidling for barn og unge. Særlig interessant blir spørsmålet om hva som er kunstnerisk kvalitet i den dialogiske kulturformidlingen, og hva som er formidlingskvalitet i den monologiske kulturformidlingen, når barn og unge er mottakere og/eller medskapere. De to formidlingstypene utfordrer hverandres verdsettingsprosesser. (Christensen, 2011) I sitt arbeid som omhandler evaluering av scenekunstopplevelsen for barn, skriver Mathew Reason: Et publikums uttrykksløse blikk kan antyde passivitet, men kan det også være et tegn på et særskilt engasjement. Et uttrykksløst publikum kan være passivt på utsiden, men samtidig fullstendig engasjert på innsiden opptatt med å tolke, møte, analysere og reagere på det som skjer foran dem. Et publikum er derfor involvert i flere prosesser, nytelser og engasjementer når de responderer på en framføring de sorterer forskjellige lag mellom illusjon og virkelighet, de dekoder scenebildet, teknikken og håndverket de ser; de møter kunsten empatisk gjennom fantasien og kinestetisk gjennom kroppen. (Reason, 2010) Betydningen av formidling i kvalitetsforløpet understreker behovet for faglig bistand med både kunstforståelse og kunnskap om målgruppen i produksjonsprosessen. Produsenter, instruktører, regissører og kuratører må bygge kompetanser om barn og unge som særskilt målgruppe, oppsøkende kunstformidling som format og relevante formidlingsteknikker. 7.4 Bestilling og programmering DKS kunstneriske visjonen ligger ikke hos dem som skaper kunst eller kunstopplevelser for barn, men hos dem som velger programmet for DKS- nettverket. Kvalitet innen programmering og/eller bestilling forutsetter bred kompetanse. Den som velger programmet, behøver ikke selv å kunne selv skape verken idé-, framførings- eller formidlingskvalitet, men må kunne kjenne igjen disse kvalitetene og vurdere om de valgte formidlingsløsningene er riktige og relevante for målgruppen, og om uttrykket kommer til sin rett på den arenaen det skal framføres på. Da er det naturlig at programmeringsprosesser involverer kunstfaglig ekspertise og formidlingsekspertise, kunnskap om målgruppen og kjennskap til skolen som kultur- og læringsarena. Det er naturlig at flere personer og kompetansemiljøer involveres i programmeringsarbeidet, og det finnes flere eksempler på gode modeller for fagråd eller programmeringsråd som dekker dette kompetansebehovet. Det er viktig at programmering er en kollektiv og åpen prosess, men det er også nødvendig at det er én person som har myndighet til å lukke prosessen og ta den endelig beslutningen. Det finnes hovedsakelig fire programmeringsmodeller i DKS: 12

14 1. Produsentstyrt programmering: I denne modellen er det programskaperne som velger innholdet i DKS. Fordelene med denne modellen er de som fastsetter programmet, innehar kunstnerisk styrke og mulighet til å møte etterspørselen med tilrettelagte produksjoner. Av den grunn er dette en modell som er forankret i kunsten. 2. Fagrådstyrt programmering: I denne modellen er det medlemmer av et fagråd bestående av DKS interessenter som legger opp programmet. Vanligvis er kunsten, skolen og målgruppen representerte i slike råd, mens det er DKS- administrasjonen som tar den endelig beslutningen når det gjelder program. Fordelene med denne modellen er at den inkluderer flere perspektiver og kvalitetskriterier og tar hensyn til mottakerens/målgruppens stemme i prosessen. Denne modellen er derfor en modell som er forankret i målgruppen. 3. Saksbehandlerstyrt programmering: Denne modellen innebærer at en saksbehandler velger program (vanligvis et program som fagmiljøer har gått god for tidligere) fra visningsarenaer eller kvalitetssikrede programbanker. Ved å bruke denne modellen befinner man seg nærmere den delen av organisasjonen hvor forvaltnings- og budsjettansvaret ligger.fordelen med å bruke denne modellen er at det er kort vei til beslutning, det er stor grad av samsvar mellom ambisjoner og ressurser, og beslutningen som blir tatt, er godt forankret på administrativt nivå. Av den grunn er dette en modell som er forankret i ressursbildet. 4. Brukerstyrt programmering: Påmeldingstilbud og DKS- tilbud for videregående skoler blir ofte valgt av brukerne (skoleadministrasjoner, lærere og elever eller programmeringsgrupper sammensatt av disse). Brukerstyrt programmering handler ofte om det som brukeren fra tidligere har erfaring med, kunnskap om eller en eksisterende tillit til. Slik sett ligger denne programmeringsmodellen nærmere underholdning enn for eksempel produsentstyrt programmering gjør. Et brukerstyrt system gir imidlertid en viss risiko for at det finner sted en kunstnerisk innsnevring av tilbudet. Erfaringene fra «Skapande skolan» i Sverige understreker at bredden og variasjonen i tilbudet varierer mye ut fra bestillerens kunnskap om og kompetanse innenfor kunstfeltet, tilgjengelige program og formidling for barn som målgruppe. Selv om brukerstyrt programmering kan føre til at det kunstneriske utvalget blir smalere, har modellen den fordelen at den er mer relevant fordi programvalget i større grad er forankret hos brukeren og brukeren har eierskap til det, og prosessen oppfattes som mer demokratisk enn hvis man benytter en av de andre modellene. Disse modellene har selvsagt alle sine fordeler og begrensninger. Uansett må den programmeringsmodellen som DKS- administrasjonen velger, ta hensyn til synspunkter og behov fra alle interessentene. Den modellen administrasjonen velger, må kunne ivareta kunstnerisk kvalitet og bredde i valg av program, være relevant for målgruppen samt være noe målgruppen har en viss eierskap til. Valg av enkeltprogram handler om å kjenne igjen kunstnerisk kvalitet og denne kvalitetens relevans for målgruppen, men vi må også se programmering i et større og mer helhetlig perspektiv. Når man skal sette opp et helhetlig sesongsprogram må man også ta andre hensyn. Disse hensynene inkluderer makroverdier som bredde, variasjon, kvantitet, hyppighet, sjangermangfold, kjønnsbalanse og tilbudets dekningsgrad. Selv om både individuelle programvalg og valg av det kollektive sesongprogrammet dreier seg om de samme programmene, trenger de hver sine utvalgs- og kvalitetssikringsmekanismer. Det å velge ut enkeltprogram dreier seg i hovedsak om å ta kunstneriske og formidlingsmessige valg. Beslutninger om utformingen av en overordnet programmessig helhet går i større grad ut på å ta administrative beslutninger hvor man i prosessen må ta hensyn til budsjettrammer, administrative ressurser, tid og samarbeidsevne/bærekraft i DKS- nettverket (lokalt, regionalt eller nasjonalt). Beslutninger om utforming av sesongprogram ut fra tilgjengelige ressurser er en øvelse som omhandler dels programmeringsprosesser, dels distribusjonsprosesser. 13

15 Det vi har vært inne på foran, påvirker hvordan DKS forholder seg til produksjonsmiljøene som produserer innhold i DKS. Det er derfor flere viktige forutsetninger som må være til stede for at vi skal kunne sette opp gode program for DKS. 1. Gode og relevante program for DKS må komme fra et sted. Produksjonsmiljøene må skaffe seg spesialisert kompetanse innenfor området barn og unge som publikum. 2. Produksjonsmidler må investeres effektivt. Vi må ha en gjensidig forpliktelse mellom dem som skaper nye program, og dem som bruker disse programmene. 3. Når folk fra forskjellige fagområder skal involveres i en felles programmeringsprosess, må de ha tydelige retningslinjer og verktøy for å kunne oppnå en produktiv programmeringsdialog. 4. Programmene bør evalueres av både sluttbrukeren (med hensyn til relevans) og de miljøene som skaper programmene (med hensy til kunstnerisk/performativ verdi). Lærdom fra disse evalueringene bør brukes til å forbedre programmeringsprosessen. 5. For å styrke produksjonsmiljøenes evne til å skape et relevant tilbud, er det viktig at resultatene fra evalueringer i DKS blir formidlet til disse miljøene. 6. For å sikre at alle skoleelever i landet får det samme tilbudet, må programmeringsrutinene forankres både i kunstfeltet og i målgruppen, som er barn. Det bør innføres nasjonale grenseverdier for minstetilbud fra DKS når det gjelder kvantitet, kvalitet, bredde, variasjon og dekningsgrad. Kvalitetssikring av programmeringsprosesser og vurdering av programkvalitet innenfor kunstfeltet har vært gjenstand for mye teoretisk forksning og praktisk arbeid. Auvinen peker på tre aspekter ved sceniske framføringer som kan vurderes som deler av en kunstnerisk helhet: det dramatiske aspektet, det musikalske/lydmessige aspektet og det visuelle aspektet (Auvinen, 2001). Det dramatiske og det visuelle aspektet er framtredende i forbindelse med vurdering av scenekunst og film, men disse aspektene er ofte også relevante i forbindelse med vurdering av litteratur og visuell kunstformidling. Fabel skiller mellom dramaturgi, regi og framføringskvalitet (Fabel, 1998). Comedia definerer fem kriterier for generell kunstnerisk kvalitet: tekniske ferdigheter (som i hovedsak skiller mellom profesjonelle framføringer og framføringer gjort av amatører), originalitet, ambisjon, samfunnsrelevans og magi. Comedia er klar over at disse kriteriene kan tolkes på mange forskjellige måter. Intensjonen hans er imidlertid ikke å definere kunstnerisk kvalitet, men heller å skape en struktur for innspill og diskusjon (Comedia, 2003). Comedias tilnærming har mye til felles med Jørn Langsteds ønskekvistmodell (Langsted mfl. 2004), som vi skal se nærmere på litt senere. De fire første leddene i kvalitetsforløpet (idé/konsept, framføring, formidling og programmering) er med på å etablere og videreutvikle kunstnerisk kvalitet. Framføringskvalitet er med på å frigjøre potensialet som ligger i den kunstnerisk ideen eller konseptet. Formidlingen og programmeringen er med på både å ivareta verkets kunstnerisk intensjon og å forankre og skape relevans for opplevelsen i målgruppen. 7.5 Distribusjon De tre siste leddene i kvalitetsforløpet (distribusjon, mottakelse og anvendelse) er med på å bevare eller forvalte den kunstneriske kvaliteten som har blitt bygd opp gjennom idé-, framførings-, formidlings- og programmeringskvaliteten. Selv om disse leddene ikke er med på å skape kvalitet, kan de være avgjørende for publikums opplevelse av kvalitet. Et godt kunstverk som er effektivt formidlet, og som har blitt nøye valgt ut for en bestemt målgruppe og en bestemt arena, blir ikke oppfattet som god når distribusjonen eller mottakelsen svikter. Distribusjon innebærer mange handlinger: planlegging, logistikkarbeid, budsjettering og ressursstyring, kartlegging av mottakerens hverdag og fysiske arena, og så videre. Administratorer som har ansvar for kvaliteten i dette leddet, må ha gode nettverk hos både mottakerne og de utøverne/produksjonene som skal på turné. Mye av distribusjonen handler om forskjellige typer leveringskvalitet. Slik sett har distribusjon i DKS mye til felles med distribusjon i servicesektoren. Det 14

16 handler om å knytte en produsent og et produkt sammen med et marked ved å informere om produktet, føre dialog med kundene og levere produktet til avtalt tid og dessuten sørge for at produktet innfrirl forventningene. Vi kan derfor se til næringslivet og verktøy som CRM (customer relations management) og evaluerings- og kvalitetssikringssystemer. Dette kan hjelpe oss til å oppnå en mer systematisk og helhetlig tilnærming til distribusjon av et kunst- og kulturtilbud for barn. Det mest anvendte (eller tilpassede) verktøyet når det gjelder begrepsdannelse innen servicekvalitet, er SERVQUAL. Forskningen til Parasuraman, Zeithaml og Berry (1985, 1988) som dreier seg om den generelle oppfatningen av servicekvalitet, ledet fram til SERVQUALS fem elementer: 1. konkrete forhold (tangibles) arenaens utseende, fasiliteter, utstyr, personale og informasjonsmateriell 2. pålitelighet evnen til å levere service, holde avtaler og innfri forventninger på en forutsigbare og tillitsskapende måte 3. respons viljen til å bistå kunder/mottakere og svare raskt og konkret på henvendelser 4. troverdighet systemets kompetanse og den troverdigheten og tilliten det har opparbeidet seg i markedet 5. empati kundens/mottakerens oppfatning av at hans eller hennes behov blir forstått og ivaretatt, at tjenesten er lett tilgjengelig, og at leverandøren er lett å få i dialog Det finnes versjoner av SERVQUAL som er spesialutviklet for museer, kulturarv og andre deler av kultursektoren. Firmaer som World Class Service i England har brukt SERVQUAL til å utvikle evaluerings- og kvalitetsrutiner for bibliotek, kulturhus, museer og andre kulturarenaer. Mye av distribusjonsarbeidet i DKS dreier seg om (og er avhengig av) nettverksarbeid. Det er et mangfold av nettverk i DKS, på lokale, regionale og nasjonale nivåer. Det er avgjørende at alle oss som deltar i disse nettverkene, har en klar oppfatning av hvilken rolle vi selv har, vi må være tydelige på om vi er eiere, initiativtakere, pådrivere, deltakere, innspillere eller observatører i disse nettverkene. Vi må også være tydelige på vårt ansvar for og våre forventninger til deltakelsen fra de mange nettverkene i DKS. Det er avgjørende hva vi bruker disse nettverkene til. Et nettverk som kun skaper samhandling om praktiske driftsoppgaver, har liten mulighet til å utvikle seg. Et slikt nettverk er i stand til å gjennomføre tiltak, men ikke egnet til å sette disse inn i en større sammenheng eller fremme og videreutvikle selve oppdraget. Det er stor forskjell mellom et individuelt ansvar for oppgaver og et fellesansvar for framtiden. Wei og Silver (2013) har beskrevet fire prinsipper for et vellykket nettverksarbeid. Disse prinsippene går litt på tvers av tradisjonell nettverkstenkning i offentlig sektor. Tradisjonelt har styringsmyndighet fulgt pengestrømmen, og det samme har nettverksarbeid gjort. Wei og Silver skiller ressurbildet fra selve oppdraget og fokuserer i større grad på reell samhandling og helhetlig utvikling. De fire prinsippene til Wei og Silver er følgende: 1. Nettverksarbeid handler om oppdraget, ikke om organisasjonen. Nettverksarbeid handler om å lykkes med oppdraget heller enn å fremme organisasjonen. Ledere må iverksette strategier for å løse oppdraget, og ikke nødvendigvis for å stimulere organisasjonens vekst. 2. Nettverksarbeid handler om tillit, ikke om kontroll. Gjensidig tillit og fellesverdier er vesentlig mer viktig enn formelle styringsmekanismer som avtaler og rapporteringssystemmer. 3. Nettverksarbeid handler om ydmykhet, ikke om omdømme. Tradisjonell nettverkstenkning går ut på at organisasjonene fremmer sin egen agenda, bygger omdømme og merkevare og etterstreber å være ledende innen sitt felt. Ifølge Wei og Silver er det viktigere å samhandle med partnere som likemenn og være villig til å la andre ta ledelsen når de er bedre egnet. 15

17 4. Nettverksarbeid handler om å være et samhandlende ledd, ikke et nav eller knutepunkt (node, not hub). Prinsippet krever at organisasjonene ser seg selv som en del av et større nettverk, og ikke som et nav som styrer alle initiativ. Relasjoner må skapes på kryss og tvers av nettverket, og ikke bare fra den enkelte deltaker og opp mot de bevilgende organisasjonene. (Illustrasjon, University of California, GEO) For å kunne utnytte de mulighetene som ligger i et nettverk, må alle deltakerne dreie oppmerksomheten bort fra organisasjonenes mål og heller konsentrere seg om mål på nettverksnivå som handler om helhetlig utvikling. For å få til slike endringer i nettverksarbeid er det viktig å velge samarbeidspartnere som har kompetanse på og erfaring med nettverksarbeid, og som har en ledelse som er villig å sette egenvinning til side til fordel for fellesgevinster. Godt fungerende nettverksrelasjoner er viktig som forbilder for andre potensielle partnere, og for å skape tydelige forventninger til bidrag i nettverket. Det er viktig å definere en felles, forpliktende og langsiktige visjon for hvor nettverksarbeidet skal føre alle deltakerne. Nettverksarbeid stiller også særskilte krav til evaluering av måloppnåelse, effekt av samarbeidet og gjensidig utbytte. Alle potensielle nettverkspartnere må ikke tas med uansett vilje, egenkompetanse og samarbeidsevne. Passive eller motstridige partnere er med på å svekke nettverket og redusere utbyttet for alle. Nye deltakere i nettverket må vite hva de går til, og hva som er forventet av dem. De må gjøre seg fortjent til å delta i nettverkets verdiskaping. Når oppmerksomheten er rettet mot nettverkets oppdrag og måloppnåelse framfor mot enkelte organisasjoners måloppnåelse, er det enklere å realisere en større fellesgevinst av nettverksarbeidet. Dokumentasjons- og evalueringsmetodene må tilpasses nettverkets prosesser. Organisasjonsmål og enkelttiltak er forholdsvis enkle å evaluere. Nettverkmål er mål som vanligvis oppnås på lengre sikt. Resultatene er et produkt av kollektiv innsats, og det er sjelden at en enkeltaktør i nettverket kan (eller bør) ta æren for resultatet. Samtidig må vi være klar over at evaluering av måloppnåelse for nettverksarbeid kan både styrke og svekke insentivene for å delta i nettverket. Alle deltakerne i nettverket må vurdere fortløpende hvor relevant nettverkets oppdrag og mål er for egen organisasjon. Når nettverksmål utvikler seg i en retning som er mindre relevant for enkelte av de deltakende organisasjonene, forsvinner organisasjonenes vilje til å samhandle og til å prioritere nettverksarbeidet. Alle deltakerne i nettverket har et ansvar for å være tydelige med hensyn til hvordan de er i stand til å bidra og prioritere nettverksarbeidet. 16

18 Forvaltningsansvar har lett for å komme i veien for et åpent og samhandlende nettverk. Det er unektelig en maktfaktor i spill når én hovedaktør har ansvar for ressursfordelingen. Nettverkspartnere kan føle at deres finansiering er avhengig av at de rapporterer det som tilskuddsorganisasjonen ønsker å høre. Samtidig kan de et føle press med hensyn til å profilere seg regionalt og lokalt for å sikre finansiering og støtte nærmere egen organisasjon. Dette er faktorer som fører til at nettverket lukker seg alle ser etter egenvinning, og nettverkspartnere konkurrerer om å være flinkest i klassen framfor å arbeide mot å nå felles mål. En ærlig og realistisk dialog mellom nettverkspartnerne er avgjørende for å lykkes med nettverksarbeid. Ny læring kommer ofte i form av erfaringer med det vi ikke lykkes med. Når nettverksdeltakere/- partnere ikke er i stand til å dele sine nedturer med de andre deltakerne og kun har behov for å framsnakke sine egne suksesser, blir det vanskelig å videreutvikle samarbeidet. Konsekvensen er at nettverket blir en arena for konkurranse, og ikke en arena for vekst, felles måloppnåelse og samhandling. Det er mer produktivt å evaluere effekter (impacts) av nettverksarbeidet for målgruppen, utvikling av nettverksrelasjoner og makrokriterier som omfatter alle partnere, enn å evaluere organisasjonenes innsats hver for seg eller å evaluere individuell måloppnåelse. Evaluering som i stor grad fokuserer på enkelttiltak eller enkelte partnere, kan være viktig i noen sammenhenger, men er lite produktivt når det gjelder å bekrefte nettverkets arbeid eller å utvikle nettverket videre. Skal vi lykkes med et omfattende nettverksarbeid i DKS, er det viktig at alle medarbeiderne er innforstått med hvilke holdninger og kompetanser et slikt samarbeid krever. The Greater Houston Community Foundation har en virksomhet som er basert på (og avhengig av) effektivt nettverksarbeid. De har utviklet retningslinjer for de holdningene og sosialkompetansene de forventer at medarbeiderne har for å kunne fremme nettverk som arbeidsform. De ønsker at medarbeiderne tar ansvar at medarbeiderne leverer etter avtale og til avtalt tid med nøyaktighet og profesjonalitet, at de innrømmer og tar ansvar for feil er endringsdyktige at de godtar endring som en normal del av hverdagen og en konsekvens av å samhandle med andre, og at de viser en positiv holdning og konstruktive arbeidsvaner i omstillingsperioder framsnakker samarbeidspartnernes og målgruppens behov og viser en god serviceinnstilling i hverdagen kommuniserer og samhandler effektivt med andre at de fremmer ideer klart og tydelig, og at de er bevisst på hvilke organisasjonsnivåer de kommuniserer med, og hvilke behov de aktuelle nivåene har viser kreativitet at de oppfordrer til og viser kreativitet og evne til innovasjon for å skape framdrift, og at de er komfortable med å jobbe under forhold som innebærer en viss risiko skaper og bygger relasjoner at de tar initiativ til samtale, gjør et godt førsteinntrykk og har evnen til å omgås mange forskjellige mennesker, og at de har gode sosiale ferdigheter inspirerer og motiverer andre at de oppfordrer andre til å nå mål de har satt seg, hjelper dem til å se muligheter og til å bidra til noe som strekker seg utover deres egen interesse gjør gode vurderinger og tar tydelige beslutninger at de har en gjennomtenkt, logisk tilnærming til avgjørelser, og at de fordyper seg i faktagrunnlaget og informasjon før de konkluderer løser komplekse problemer at de kartlegger problemer og ser hver enkelt del som de ulike problemene består av, for på den måten å skape systematiske og tydelige løsninger 7.6 Mottakelse 17

19 Når et godt kunstverk møter en uforberedt mottaker (enten det er en enkeltperson eller en institusjon), blir ikke kvalitet som stammer fra andre ledd i kvalitetsforløpet, oppfattet av mottakeren. God mottakelse kan oppnås gjennom mange forskjellig tiltak: gjennom informasjonsarbeid internt i skolen, gjennom aktivisering av elevene for å medvirke i (eller tilrettelegge for) besøket og gjennom aktivt holdningsskapende arbeid for å bygge positive forventninger til kunstopplevelsen. God mottakelse oppnås gjerne gjennom et tett samspill mellom skoleledelsen, lærerstaben og barna som bygger på skolens egne erfaringer med kulturbesøk og interne rutiner og kommunikasjon. I utgangspunktet er det liten forskjell mellom de forutsetningene som må være til stede for at en kunstner som er på besøk i skolen, skal kunne formidle budskapet sitt, og de forutsetningene som må være til stede for at en klasseromslærer skal kunne formidle budksapet sitt. De trenger begge et rom hvor alle elevene får plass og sitter godt, hvor romtemperaturen er passelig, hvor belysningen er hensiktsmessig, og hvor forholdene ligger til rette for at alle ser og hører godt. Det er også avgjørende at målgruppen har klare forventninger til hva som skal skje, og dessuten blir presentert for kun ett fokuspunkt. Det er også viktig at konkurrenter til formidlingen, som støykilder, visuelle distraksjoner og andre mulige forstyrelser, er fjernet. Mottakeren av DKS- tilbudet kan øke sitt utbytte av opplevelsen ved å ivareta visse fysiske og holdningsmessige forhold. Noen av de mest vesentlige fysiske forholdene er følgende: Kontrollert entré av elevene: Når elevene har en ryddig og organisert entré til en kunstarena, er det med på å påvirke deres energinivå som publikum. Forestillinger som har et rolig og fokusert publikum, har bedre forutsetninger for å oppnå god formidling enn forestillinger hvor utøverne må «hente inn» sitt publikum for å få en god start. Uteklær: Er man kledd til å være et annet sted, er man halvveis der i hodet sitt også. Å ta av seg uteklær er en enkel måte å øke publikums følelse av og forpliktelse til tilstedeværelse i øyeblikket. Fysisk avstand: Opplevelsen blir mer relevant når den er nær. Det er lurt å ikke sette ut flere stoler enn nødvendig. Det er også lurt å fylle opp sitteplassene fra første rad og bakover. Det gjelder å ikke la elevene velge å distansere seg fra opplevelsen i utgangspunktet. Kort vei til scenen og forhold som gjør at alle ser og hører godt, skaper de beste forutsetningene for formidling. Tilrettelegging av rommet: Informasjonen om et DKS- besøk kommer ofte med en beskrivelse av rommet, en skisse av oppsettet, et sceneplot eller andre føringer for hvordan kunsten skal møte elevene i rommet. Disse føringene danner viktige premisser for formidlingen og er en viktig del av mottakelsesarbeidet for å sikre at utøverne spiller under forhold de vet at de mestrer. Elevenes eierskap: Det er viktig at elevene utvikler et eget eierskap til DKS- besøk. Et slikt eierskap kan oppnås ved å bruke elever som arrangører og gi dem det tekniske ansvaret for planlegging, tilrettelegging og gjennomføring av besøket. Informasjon: Informasjon om arrangementet i forkant og arbeid for å skape forventninger til DKS- besøket er gode måter å øke elevenes eierskapsfølelse på. Erfaringsmessig er opplevelsen av framføringen nær knyttet til forventninger og oppfattet relevans. I de tilfellene der skolene i forkant har jobbet med tematikken som gjelder for besøket, og forankret den i flere fag, er publikumsopplevelsen større enn i de tilfellene hvor skolene ikke har gjort det. Dette ser vi spesielt i forbindelse med de programmene som ligger lengst fra elevenes eksisterende kulturreferanser og/eller preferanser. Lærernes rolle: Mange utøvere og lærere er usikker på hva som er lærerens rolle under et kulturbesøk fra DKS. Ved noen skoler er lærerstaben veldig til stede under forestillingene og deltar i en publikumsrolle på like linje med elevene. Ved andre skoler føler lærerne et større ansvar for å være garantist for elevenes atferd under forestillingen. De tyngste 18

20 formidlingssituasjonene for utøverne er når lærerne er fraværende og overlater alt til DKS- utøverne. Under en forestilling er det utøverne på scenen som er i sentrum for publikums oppmerksomhet, og som har ansvar for å styre utviklingen og «holde» publikum inne i forestillingen. Når det er sagt, har lærerne detaljkunnskap om skolen og læringsmiljøet som er viktig i situasjonen. Når utøverne har styringen, blir lærerrollen endret som om lærerne var på besøk i andres klasserom. Under en ny eller uvant kulturopplevelse har lærerne størst verdi når de setter seg sammen med elevene for å oppleve som publikum. Forskning innen musikkpsykologi peker på de voksnes verdi som referanse- og bekreftelsespersoner i et skolepublikum, men da må de være lett visuelt tilgjengelige for elevene (Greer, Dorow, Wachhaus og White, 1973). Elevene ser til den nærmeste voksne for å få bekreftet nye eller uvante lytteopplevelser. I fravær av en voksenmodell leter elevene etter bekreftelse fra medelever, og gjerne da ut fra skolens/klassens sosialhierarki. Konserter, danseforestillinger og teaterstykker er ofte produsert for vekselvis å gi slipp på publikum og hente dem inn igjen. De er produsert slik for å skape flyt, variasjon i intensitet og spenningsmomenter i programmet. Når en forestilling «når klimaks», innebærer det ofte en publikumsdeltakelse som overstiger normal klasseromsatferd. Da er det viktig å vurdere når irettesetting av elever er nødvendig, og når irettesetting er med på å hindre forestillingens form og framdrift. Noe av det viktigste skolen kan gjøre som mottaker, er å plassere elevene strategisk med hensyn til kunstopplevelsen. Dette handler om både å gjøre praktiske forberedelser og å drive med holdningsskapende arbeid. Fysisk plassering av publikum 1. Amfi/sitteplasser/publikumsareal må være utformet/justert ut fra programmets formidlingsbehov. 2. Alle må kunne se godt for å høre godt og høre godt for å kunne se godt. 3. Amfier som er bygd opp i flere høyder, skaper gode siktlinjer (matter, benker, stoler og så videre). 4. Når amfiet er mer enn fem rad i dybden, blir formidlingseffekten og opplevelsen redusert for de elevene som sitter bakerst. 5. Oppfordre lærerne til å sitte sammen med elevene og dele opplevelsen som publikum. Psykologisk plassering av publikum 1. En kontrollert entré der de sitteplassene som er nærmest scenen, blir fylt opp først, styrker formidlingen. En ukontrollert entré med fritt setevalg skaper støy og en aktivitet / et energinivå i rommet som utøverne må dempe før forestillingen kan begynne. En ukontrollert entré skaper også ofte unødvendig fysisk avstand mellom elevene og formidlingen fordi enkelte elever velger å distansere seg fra opplevelsen i utgangspunkt. 2. Det styrker formidlingen å skape relasjoner allerede ved elevenes entré. Det å bli møtt ved inngangen og ønsket velkommen til forestillingen gjør opplevelsen mer personlig for alle parter. Det er viktig at elevene blir ønsket velkommen til utøvernes kunstarena, og ikke til sitt eget klasserom eller skolens gymsal. Det handler om eierskap av arenaen og hvem som legger føringer for det som skjer i rommet. 19

21 3. Hvis det er elever som velger å sitte bakerst, eller som distanserer seg fra konserten på andre måter, er det fint om utøverne tar personlig kontakt med dem før forestillingen. Når utøverne bryr seg om sitt skolepublikum, bryr publikumet seg om dem men initiativet må komme fra de voksne. 4. Publikum blir tryggere av at forestillingsformen er tydelig. Åpningen og avslutningen må være gjennomtenkt og regissert. Dette gjelder også beskjeder fra skolen som gis fra scenen. Når rommet er etablert som kunstarena, er alt som foregår på scenen, en del av forestillingen og med på å påvirke kunstopplevelsen. 5. Starten på en kommersiell konsert eller danseforestilling eller et kommersielt teaterstykke er at lyset blir dempet, det fysiske rommet blir borte, og andre verdener og virkeligheter oppstår. I en skoleforestilling er alt som skjer etter at elevene kommer inn døra, en del av forestillingen. Dette får konsekvenser for hvordan utøverne og lærerne skal opptre for å skape en dynamisk fellesopplevelse for elevene. 6. Mange skoler har utmerkede elevarrangører. Bruk dem for alt de er verdt. Gi dem erkjennelse og ros for den jobben de gjør. Elevarrangørene er med på å signalisere barnas eierskap til kulturbesøket og bidrar til å oppnå et mer lydhørt og stabilt publikum. 7.7 Anvendelse Anvendelse er noe omstridt som ledd i et kunstnerisk kvalitetsforløp. Det er ingen voksne som går ut av Nasjonaltheatret, et kunstgalleri eller en jazzklubb og lurer på hva de skal bruke kunstopplevelsen til. Det eksisterer en type dobbelstandard med hensyn til hva voksne forventer av sine egne kunstopplevelser, og hva de forventer på vegne av barna. Anvendelse av et kulturtilbud i DKS- sammenheng er en del av en unik forpliktelse som ligger i å holde kunstforestillinger på skolen i skoletiden. Pedagogisk kunst er verken god kunst eller god pedagogikk, og et godt kunsttilbud for barn må kunne eksistere på egne premisser. Når det er sagt, er det utallige måter å øke utbyttet av kunstopplevelsen på for skolen uten å lage uakseptable kompromisser for kunsten. Et godt kunstverk som ikke blir dratt videre inn i skolens virksomhet og satt inn i en faglig, sosial, følelsesmessig eller annen kontekst, blir ofte kun en isolert hendelse. Det må sies at isolerte hendelser har en egenverdi, men hvis vi skal maksimere utbyttet av kunstopplevelser i skolen for å skape aksept og velvilje for DKS, må anvendelse spille en viktig rolle. Det er skolen som har størst mulighet til å påvirke mottakelses- og anvendelseskvaliteten. Utfordringen blir å se etter den nytteverdien et godt DKS- tilbud får når alle parter er i stand til å tenke at det skal være en helhet skapt av flere bidragsytere. Undervisning i de estetiske fagene, integrering av kreative læremetoder i akademiske fag og et rikt mangfold av kunst og kulturopplevelser er elementer som alle er en del av en helhetlig tilnærming til så vel kulturfeltet som et inkluderende læringsmiljø. Å se etter direkte metoder for hvordan kunst kan styrke læring i akademiske fag, er et blindspor. Forsker Howard Gardner sier at «[n]o one argues that students should take math because it will make them perform better in music». Den beste løsningen ligger i en felles innsats mellom skolen, lokale kompetansemiljøer, DKS og andre ressursmiljøer utenfor skolen. Men før vi kan få anvendt DKS- tilbudet fullt ut, må vi endre noen holdninger til den rollen ekstern kompetanse kan spille i skolen, og vi må samordne ressurs- og kompetansemiljøer som kan bistå skolen i å anvende tilbudet. Skolen har tradisjonelt en sterk intern struktur med egenkompetanse til å realisere sine læringsmål. Dette gjør også at det kan virke noe unaturlig for skolen å åpne slippe til ekstern kompetanse som 20

22 skal bidra i skolens virksomhet på like linje med skolens interne kompetanse. Skolereformen i Danmark (2014) løfter fram den åbne skole som et kompetansested som er nær knyttet til sitt lokale samfunn og sine eksterne kompetansemiljøer: Intentionen med den åbne skole er, at skolen og lokalsamfundet, herunder ungdoms- og musikskolen, foreninger, kulturinstitutioner og virksomheder, skal samarbejde om, at eleverne i folkeskolen bliver så dygtige, som de kan, og at de trives. Det er et nyt kapitel i folkeskolens historie, at lovgiver pålægger den lokale folkeskole at åbne sig mod omverden og inddrage lokalsamfundet i sin virksomhed. En slik helhetlig tenkemåte forutsetter en god og gjensidig dialog mellom alle parter og dessuten en felles innsats. Det er mange aktører som kan bidra til å oppnå en slik helhet når det gjelder kunst og kulturopplæring i skolen. Selvfølgelig er DKS en naturlig samarbeidspartner fordi virksomheten er en godt etablert og landsdekkende aktør som allerede har en betydelig aktivitet i skolen. Nasjonalt senter for kunst og kultur i opplæringen har komplementær ekspertise og dessuten kunnskap som er særlig relevant for skolens anvendelse av et kulturtilbud. Kulturskolen har lenge vært en initiativtaker til prosessorientert, kompetansebyggende og ferdighetsbyggende aktivitet i skolen. Det er også flere andre kulturorganisasjoner som gjennomfører opplæringstiltak i skolen, både i form av kompetansetiltak for lærere og i form av aktivitets- og opplæringstiltak for elevene. Blant disse er Fellerådet for kunstfagene i skolen (Dans i skolen, Drama og teaterpedagogene og Mediepedagogene), Samarbeidsforum for estetiske fag (Musikk i skolen, Kunst i skolen og Kunst og design i skolen), Ung kultur møtes (UKM) og Norsk senter for teknologi i musikk og kunst (NOTAM). Organisasjoner som Creativity, Culture and Education (CCE) fra England tar initiativet til tiltak som forener kunstopplevelser med læring gjennom kreative læringsprosesser. Totalt sett representerer dette en imponerende samling av kompetanse innenfor kunstfeltet, men alle disse aktørene driver hovedsakelig atskilte aktiviteter og enkeltstående tiltak. En felles rolleforståelse blant disse med hensyn til den enkelte aktørs plass og funksjon og en sentral koordinering av innsatsen vil kunne gi skolene enda større utbytte av det disse organisasjonene har å tilby. Som statlig etat er en slik koordinering en naturlig oppgave for Kulturtanken. Når vi forener kompetansegivende lærerkurs, elevverksteder, kunstopplevelser i DKS og kreative læringsmetoder, begynner vi å se konturene av et læringsforløp, og ikke bare en løsrevet og enkeltstående kulturopplevelse. En slik helhetstenkning hvor vi legger opp et løp for kompetansebygging, egenaktivitet, opplevelse og læring, gir oss et sterkere og mer funksjonelt verktøy å bruke når vi skal integrere kunst og kultur i skolens hverdag. Vi kan ikke forvente at et enkeltiltak eller en enkelt aktør skal innfri alle forventninger fra alle parter. Vår største gevinst ligger i å la de forskjellige kompetansemiljøene gjør det de er best til, men legge til rette for at de kan gjøre det sammen gjennom en felles innsats. Det finnes et mangfold av teknikker for å integrere kunst og kultur i læringsprosesser, og disse er lett tilgjengelige hos fagmiljøene og på internett. Vi trenger i tillegg bedre metoder for å diskutere og bearbeide selve kunstopplevelsen, slik at elevene utvikler en dypere refleksjon med tanke på de følelsene og begrepene som får sitt uttrykk gjennom kunsten. Kvalitetsforløpet i DKS: sektoransvar, kompetanse, evaluering og kvalitetssikring: 21

23 !!! Skaper!og!styrker!kvalitet! Ivaretar!og/eller!forvalter!kvalitet! Forløp! Idé%!og!konsept! Framføring! Formidling! Programmering! Distribusjon! Mottakelse! Anvendelse! Sektoransvar! Miljøene!som!skaper!nye!program!og! kunstnerisk!innhold!for!dks! Miljøene!som!velger!program!og! kunstnerisk!innhold!for!dks!og! distribuere!innholdet!! Mottakere!og!brukere!av! DKS%tilbudet!! Kompetanse! Kunstfaglig!kompetanse! Formidlingskompetanse! Målgruppeforståelse! Tverrfaglige!kompetanser! Fagnettverk! Deling!av!erfaringer!og!beste!praksis!! Programkunnskap! Målgruppekunnskap! Distribusjonsnettverk! Deling!av!erfaringer!og!beste!praksis!! Fagkompetanse!i!estetiske!fag! Målgruppekompetanse! Arrangementskompetanse! Inhenting!av!eksterne!kompetanser:! KKS/SEF/FKS/kulturskolen!og!lokale! ressurspersoner!! Evaluering! Evaluering/vurdering!av!verkskvalitet! Evaluering!av!framføringskvalitet! Evaluering!av!formidlingskvalitet! Evaluering!av!produksjon/program!som!helhet!! Programvurdering!i!forbindelse!med! valg:!verks%,!framførings%!og! formidlingskvalitet.! Programvurdering!i!forbindelse!med! helhetlig!tilbud.! Evaluering!av!effektiv!distribusjon!inkl.! nettverksarbeid!hos!mottakerne.! Evaluering!av!tilfredshet!med!tilbudet! individuelt!og!som!organisasjon.! Evaluering!av!!egen!forankring!av! tilbudet.! Kvalitetssikring! Evalueringer!gjør!seg!gjeldende!i!valg!av!verk,!valg! av!utøvere!og!valg!av!formidlings%!og! produksjonsteknikker.! Systematisk!forbedring!av!produksjonspraksis!over! tid.! Evaluering!av!programvalg!gjør!seg! gjeldende!videre!i!nye! programprosesser.! Årsaken!til!distribusjonsavvik! identifiseres!og!utbedres.! Forbedre!mottakelses%!og! arrangementskompetanse!over!tid.! Styrke!relevans!for!tilbudet!overfor!andre! deler!av!skolens!virksomhet.!!! 8 Kompetansebygging Kvalitet i alle ledd forutsetter kompetansebygging i alle ledd. Kvalitetsforløpet i DKS er avhengig av et tett samarbeid mellom alle partene for å skape, bygge og ivareta kvalitet hele veien fram til sluttbrukeren. Forløpet er også avhengig av at disse partene har den nødvendig kompetansen til å sikre at ledd de har ansvar for, har evne til å se den kompetansen de mangler, og vilje til å tilegne seg nye kompetanser. Sektoransvar innebærer ikke bare et ansvar for forvaltning av midler og gjennomføring av driftsoppgaver, det innebærer også et ansvar for relevant og regelmessig kompetansebygging. Tiltak som å ha fellessamlinger og visningsarenaer er en måte å dekke DKS- nettverkets behov for kompetansebygging på, men slike fellessamlinger er generelle av natur og ikke tilstrekkelige i lengden. Individuelle, lokale og regionale tiltak må til for å skape et helhetlig bilde av kompetansen som ikke er person- eller situasjonsavhengig. En tydeligere bestilling fra nasjonalt hold med hensyn til kompetanse- og ansvarsområder vil også være med på å skape større oppmerksomhet rundt og forventninger til kompetansebygging. Regionale og nasjonale tiltak bør settes inn i et årshjul/forløp, og felles produksjons-, programmerings- og distribusjonsfrister må utvikles for at disse kompetansetiltakene skal bli plassert på relevante tidspunkter (for eksempel må fristen for å velge visningsarenaer komme før fristen for å velge program). På den måten vil kompetansetiltak lettere kunne påvirke praktiske oppgaver. Forsknings- og utviklingsarbeid er et viktig bidrag til kompetansebygging i DKS. Høgskole- og universitetsmiljøer må trekkes inn både i det teoretiske og i det praktiske arbeidet. Regionale og lokale DKS- enheter har en betydelig realkompetanse innenfor programmerings- og distribusjonsoppgaver, men disse kompetansene kommer ikke DKS til gode dersom de ikke gjøres tilgjengelige for alle. Mye av kompetansen DKS har per i dag, er erfaringsbasert og personavhengig. 22

24 Dersom DKS skal bli i stand til å prestere bedre over hele landet, må vi i tiden som kommer, samle, dokumentere og spre kompetansen. 9 Evaluering Det er flere grunnleggende spørsmål vi må ta stilling til i forbindelse med evaluering i DKS: Hva er evaluering? Hva trenger vi å evaluere? Hvordan evaluerer vi det? Hva gjør vi med resultatet av evalueringene? Å evaluere et tiltak handler ikke om å bekrefte verdien av tiltaket. Evalueringen er mest interessant og nyttig når man konsentrerer seg om større spørsmål rundt hva tiltaket oppnår, og hvordan. Det er klart at resultatet av en slik evaluering også kan bekrefte verdien av tiltaket, men prosessen må være nøytral og ikke ta sikte på å komme fram til en på forhånd gitt konklusjon. Scriven (1991) skriver at «[p]rofesjonell evaluering er den systematiske vurderingen og fastsettingen av kvaliteten på eller verdien av noe». Begrepet kvalitet har vi diskutert tidligere, men begrepet verdi må vi reflektere litt over. Verdi handler om hvor mye noe betyr for oss, og på hvilken måte det betyr noe. Begrepet brukes i forbindelse med individer, organisasjoner, institusjoner eller miljøer. Begrepet kan også forstås ut fra hva vi søker i form av måloppnåelse, og da gjerne i form av et immaterielt filosofisk, prinsipielt eller moralsk ønskelig produkt. Tornes (2012) peker på følgende kjennetegn ved evaluering: Evaluering er et fleksibelt begrep. Evalueringer beskriver og vurderer. Evalueringskunnskap er handlingsrelevant. Evalueringer er kvalitativt ulike. Evalueringer gjøres i ettertid, det vil si at de er historiske. Evalueringer er systematiske. Hovedhensikten med det evalueringsarbeidet som gjøres i DKS, er å kartlegge, vurdere og forbedre ordningens praksis (innenfor alle ansvarsområdene i kvalitetsforløpet). Det innebærer at DKS må fungere som en lærende organisasjon på alle nivåer. En lærende organisasjon er en organisasjon som samler, skaper, evaluerer og sprer kunnskap og bruker denne kunnskapen til å forbedre seg selv. De beste lærende organisasjonene bygger læringskapasitet, benytter seg av mange evalueringsmetoder for å skape et mangfold av perspektiver på egen måloppnåelse og forsøker å oppnå en ærlig og realistisk framstilling av deres tiltak og effekter (Davidson, 2003). Evaluering går ut på å stille spørsmål, finne bevis for og årsaker til at ting er som de er, sette ting i perspektiv og skape refleksjon og læring. Alt dette er noe vi trenger for å kunne gjøre gode valg og skape framdrift i DKS. DKS har blitt beskyldt for å ha en «begeistringskultur», og en rekke evalueringer med positive resultater underbygger følelsen av at DKS går bra. Dette gjelder ikke bare DKS, men er et utbredt fenomen for kulturtiltak i flere vestlige land. Felles for mange kulturtiltak er at de møter en overveldende positiv holdning når de skal evalueres. Johanson og Glow (2015) har i sitt arbeid med positive audience bias påpekt flere mulige årsaker til at det er slik: Some efforts at identifying the benefits of arts experiences for audiences have led to a range of criticisms. It is asserted that arts impact evaluations tend to be poorly conceived and implemented, and that they are biased towards the delivery of a positive result and culturally specific ideological ends. The major reason given for such a bias is that evaluations are initiated and often conducted by agencies with a vested interest in a successful outcome, whether that be the funding agency or the organisations funded to 23

25 run the arts programs. Other criticisms acknowledge the common policy problem of conducting rigorous evaluations in a real world context. Johanson sier videre at «publikums ansvarsfølelse rundt egen deltakelse i en kulturopplevelse sammen med mangel på et ordforråd for å kunne beskrive opplevelsen gjør evaluativ forskning vanskelig å gjennomføre». Det er mange områder innenfor DKS som bør evalueres, for eksempel den kunstneriske kvaliteten på ordningens innhold, relevansen av de prosessene som fører fram til valg av program, påliteligheten av de distribusjonsrutinene som leverer kunstopplevelser til skolen, og skolens praktiske og faglige mottakelse av kulturtilbudet. Vi trenger sterke og pålitelige evalueringsmetoder og en landsdekkende praksis som bygger på nasjonale verdier, slik at evalueringene fra forskjellige steder i landet blir sammenlignbare. Hovedårsaken til at regelmessig evaluering ikke finner sted i DKS, er at resultatet av evalueringene kan komme til å endre vårt bilde av det arbeidet vi gjør. Siden vår oppfatning av arbeidet vi gjør, er grunnlaget for yrkesidentiteten vår og dessuten (for mange) den primære motivasjonen for å gjøre en innsats, kan tanken på slike evalueringer oppfattes som en trussel. Dette er også årsaken til at interne evalueringer sjelden er objektive nok, og at eksterne evaluering nesten alltid er å foretrekke. Det er mange årsaker til at vi unngår å evaluere tiltakene våre i hverdagen: Medarbeiderne føler at tiltaket er avsluttet, og har vendt oppmerksomheten mot nye oppgaver. Alle tilgjengelige ressurser har blitt brukt på å gjennomføre tiltaket. Det er mangel på kompetanse med hensyn til evalueringsprosesser. Medarbeiderne har ingen tro på at resultater fra en evaluering vil føre til at noe blir endret. Det eksisterer en frykt blant medarbeiderne for uønskede konklusjoner. Det eksisterer en frykt blant medarbeiderne for kritikk. Holdningen blant medarbeiderne er at evaluering ikke har noen praktisk nytte. Behovet for bekreftelse er sterkere en behovet for forbedret praksis. Det er lett å kjenne seg igjen i disse årsakene til at vi vil droppe eller nedprioritere evalueringer. Men vi bør heller fokusere på de fordelene regelmessige og systematiske evalueringer gir. Slike evalueringer gir oss mulighet til å lære noe om målgruppen vår og andre interessenter får oss til i større grad å fokusere på mål framfor daglige gjøremål hjelper oss til å begrunne arbeidet vårt for utenforstående kan være en viktig sikring av vårt planleggingsarbeid er et viktig første steg på veien mot å møte målgruppen vår er vår beste anledning til å vise vår læringsevne og - vilje skaper en motpol til «hverdagsmyter» og løse påstander skaper et tryggere og mer pålitelig beslutningsgrunnlag For å oppnå en god evaluering må innfallsvinkel, form og metode for evalueringen velges med omhu. Det er mange forskjellige måter vi kan evaluere kvalitetsforløpet i DKS på: Vi kan evaluere etter formål, etter evalueringsobjekt, etter tidspunkt, etter hvem som har hovedrollen i evalueringen, og etter en overordnet metodisk tilnærming: Evaluering etter formål Formative evalueringer tar sikte på å produsere kunnskap som kan brukes til å forbedre utformingen av et tiltak eller en strategi. Slike evalueringer gjennomføres gjerne i en tidlig fase. 24

26 Summative evalueringer tar først og fremst sikte på å oppsummere hva som ble resultatene av tiltakene, og vurdere hvor verdifulle de oppnådde resultatene har vært. Det er naturlig å gjennomføre denne typen evalueringer mot slutten av et tiltak. Både formative og summative evalueringer kan bidra til å oppnå evalueringens overordnede mål: læring og forbedring av tiltak og strategier og ansvarliggjøring av de som gjennomfører tiltakene. Balansen mellom disse to målene varierer mye, og følgelig har noen evalueringer først og fremst læring som formål, mens andre først og fremst som formål å bidra til ansvarliggjøring. Evaluering etter evalueringsobjekt Noen evalueringer tar sikte på å studere enkelttiltak (prosjekter), mens andre tar for seg en portefølje av tiltak (program) eller en strategi. I hvert tilfelle kan evalueringen ha som mål å se på resultater og effekter, eller den kan være mer prosessorientert. Systemevalueringer ser vanligvis på ulike sider ved organisering, administrative strukturer og forvaltning. Evaluering etter tidspunkt Ex- ante- evalueringer skjer før tiltaket egentlig er påbegynt. Dette handler om vurderinger som blir gjort i forkant av at et tiltak blir iverksatt, for å beregne risiko, for å beregne sannsynlighet for ønskede effekter og for å anslå ressursbruk veid opp mot effekt. Ex- post- evalueringer skjer etter at tiltaket er avsluttet. Dette er det vanligste i ordinære evalueringer. Følgeevalueringer følger et tiltak eller en strategi over lang tid, gjerne helt fra starten og fram til oppsummeringen og avslutningen av tiltaket. Her dreier det seg om ett enkelt langvarig evalueringsoppdrag eller en serie separate evalueringer som til sammen belyser samme tiltak eller strategi på flere forskjellige måter. Midtveisevalueringer skjer på et avgrenset tidspunkt underveis i gjennomføringen av tiltaket. Slike evalueringer blir gjennomført for å gjøre det mulig å omprioritere eller endre kurs underveis (eller for å avslutte tiltaket tidligere enn planlagt). Evaluering etter hvem som har hovedrollen i evalueringen Internevalueringer gjennomføres av de som allerede jobber med tiltaket. Slike evalueringer kan ha stor læringseffekt, men kan vanskelig spille en viktig rolle med hensyn til ansvarliggjøring. Habilitet er alltid et problem i slike sammenhenger. Interne gjennomganger som ikke inngår i en større sammenheng som også omfatter eksterne evalueringer, blir normalt ikke omtalt som evalueringer. Deltakende evalueringer legger stor vekt på at de berørte partene skal involveres. Det gjelder helst mottakere som er tenkt å ha nytte av tiltaket, men også personer som jobber med implementering. Slike evalueringer kan ha stor læringseffekt, men det er vanskelig å sikre at evalueringene blir objektive dersom de ansvarlige får stor innflytelse over prosessen. Eksterne evalueringer legger vekt på at de som gjennomfører evalueringene, er uavhengige og mest mulig objektive. Denne evalueringsformen fungerer godt med hensyn til ansvarliggjøring, men er avhengig av intern oppfølging for å ha noen særlig læringseffekt. Svakheten med eksterne evalueringer ligger i ressursbildet. Større evalueringstiltak blir som regel lagt ut på anbud. Resultatet blir da ofte at det er de som har lovet å bruke minst mulig tid og ressurser på å gjennomføre evalueringen, som får oppdraget. Inndeling etter overordnet metodisk tilnærming I nesten alle troverdige evalueringer tas et bredt spekter av metoder i bruk. Likevel tar man utgangspunkt i forskjellige overordnede metodiske tilnærminger, som igjen bygger på litt ulike vitenskapsteoretiske grunnlag. Når det gjelder overordnet metodisk tilnærming pågår det stadig en debatt i evalueringsfaglige miljøer. 25

27 De ulike metodiske tilnærmingene kan grovt sett deles inn i to «skoler», som representerer hvert sitt ytterpunkt i denne debatten de fleste evalueringer ligger et sted mellom disse ytterpunktene: evalueringer hvor det tas utgangspunkt i at virkeligheten er så kompleks at man vanskelig kan gi klare svar. I disse evalueringene dominerer kvalitative metoder, evalueringene er ofte prosessorienterte, og man søker å bidra til innsikt og forståelse framfor å finne svar på om et tiltak virker. Developmental evaluation er en type evaluering som følger en slik tilnærming; evalueringer hvor man søker å gi best mulige svar på spørsmål om effektene av et tiltak samt en best mulig forklaring på hvorfor et tiltak virker eller ikke. I slike evalueringer følger man mer strukturerte (rigorous) metoder og vektlegger gjerne kvantitative metoder der dette er mulig. Effektevalueringer (impact evaluation) er et eksempel på en slik type evaluering. Nedenfor følger en grov oversikt over noen grunnleggende metoder som blir brukt i evalueringer. Innenfor hver kategori finnes det mange forskjellige metoder og teknikker man kan ta i bruk. I de fleste evalueringer tar man i bruk flere metoder. I alle evalueringer kreves det at evalueringsmetodene er velegnet til å svare på de aktuelle evalueringsspørsmålene, godt begrunnet og beskrevet i tilstrekkelig detalj til at det ikke er tvil om hvordan man har kommet fram til funn og konklusjoner, og hvilket bevisgrunnlag disse bygger på. Kvantitative metoder er metoder der man tar utgangspunkt i informasjon (data) som er mulig å måle og telle (kvantifisere). Når det er mulig å framskaffe de nødvendige dataene, er slike metoder best egnet med hensyn til å gi mest mulig konkret og presis informasjon. Kvalitative metoder er metoder der man tar utgangspunkt i informasjon som er vanskeligere å telle og måle. Slike metoder er godt egnet når man søker å forstå hvordan tiltaket virker inn i kompliserte samfunnsforhold, og når man analyserer informasjon som vanskelig kan uttrykkes gjennom tall. Både kvantitative og kvalitative metoder har sine styrker og svakheter, noe det er viktig å ta med i betraktningen når man planlegger evalueringer. Man kan for eksempel velge mellom å sende de samme spørsmålene til hundrevis av mennesker og analysere svarene statistisk (kvantitativ metode) og å invitere noen få personer til en lang samtale for å prøve å forstå ting bedre (kvalitativ metode). Det er ikke gitt hvilken metode som er best, for de ulike metodene gir forskjellige typer informasjon. I de fleste evalueringer bruker man derfor begge metodene. Både kvalitative og kvantitative metoder kan hjelpe oss til å finne svar på en del spørsmål om måloppnåelse, altså hvorvidt man i et område som har mottatt DKS- tilbudet, har oppnådd de ønskede effektene. Men begge typene metoder innebærer store utfordringer med tanke på å konkludere om kausalitet, altså spørsmålet om hvorvidt det faktisk er det aktuelle tiltaket som er årsaken til at man har oppnådd de observerte effektene. Effektevalueringer (impact evaluation) er en egen type evaluering hvor man søker å få mest mulig pålitelig informasjon om effektene av tiltak gjennom såkalte eksperimentelle eller kvasieksperimentelle metoder. Det skjer ved at man sammenligner to grupper: de som får tilgang til det tiltaket man undersøker effekten av, og de som ikke får det («kontrollgruppe»). Dersom disse to gruppene er like (og det ikke er noen andre forhold som påvirker gruppene), kan det danne grunnlaget for en kontrafaktisk analyse: Om man observerer en endring i den ene gruppen og ikke i den andre, dreier det seg om en endring som kan tilskrives tiltaket. For å sikre at gruppene er så like som mulig, kan man velge tilfeldig hvem som skal få tilgang til tiltaket (eksperimentell metode, kalles også en randomisert studie), eller man kan benytte 26

28 kvasieksperimentelle metoder for å «simulere» en kontrollgruppe. Kvaliteten på disse metodene vil avgjøre hvor pålitelige resultatene er. Gjennom en effektevaluering forsøker man også å forklare hvordan tiltaket gir effekter. Dette kan man undersøke ved å benytte både kvantitative og kvalitative metoder. Effektevalueringer er ofte ressurskrevende, særlig om det ikke er planlagt å bruke slike metoder ved oppstarten av et tiltak, og kan ikke gjennomføres for alle typer tiltak og alle evalueringsspørsmål. Scriven (2003) har utviklet en såkalt Key Evaluation Checklist (KEC) som gir oss en helhetlig oversikt over evalueringsarbeid. Scrivens utgangspunkt var det han oppfattet som «hull» i mange evalueringsprosesser i mangel av en mer oversiktlig og helhetlig tilnærming. Konklusjoner) Delevalueringer) Grunnlaget) Forarbeid) I.)Oppsummering) En#kort#beskrivelse#av# evalueringen#og#funn#fra# arbeidet# # 1.)Bakgrunn)og)kontekst) Hva#var#årsaken#til#at#tiltaket# oppsto#til#å#begynne#med?# # # 6.)Prosessevaluering) Hvor#bra,#verdifull#eller#effektiv# er#tiltakets#intensjon,#innhold#og# utføring?# # II.)Forord) Hvem#ba#om#denne#evalueringen,#og#hvorfor?#Hva#er#hoved8# evalueringsspørsmålene?#hvem#er#hovedmålgruppen#for# evalueringen?# 2.)Beskrivelse)og)definisjoner) Beskrive#evalueringsobjektet#slik# at#også#de#uten#befatning#med# tiltaket#forstår#hva#det#er,#og#hva# det#prøver#å#oppnå# # 7.)Produktevaluering) Hvor#bra#eller#verdifull#er#virkning# av#tiltaket#(tilsiktet#og#utilsiktet)# på#direkte#mottakere#og#andre?# # 3.)Mottakere) Hvem#blir#mottaker#av# produktet,#eller#hvem# blir#påvirket#av#tiltaket?# III.)Metode) Hva#er#metoden#for#evalueringen#(for#eksempel# kvasi8eksperimentelle,#deltakende,# effektevaluering,# developmental #osv.)# 4.)Ressurser) Hvilke#ressurser#var# tilgjengelige#for#å# skape,#vedlikeholde#og# støtte#tiltakets# måloppnåelse?# 8)og)9.)Komparativ)konstnadseffektivitet) Hvor#kostbar#er#tiltaket#for#alle#interessentene.#Er# et#større#utbytte#mulig?#kan#alternativer#oppnå# større#resultater#i#forhold#til#ressursene?#er# kostnadene#unødvendig#høye,#akseptable,# bærekraftige#eller#lave?# # 5.)Verdier) Hva#er#verdigrunnlaget# for#en#vurdering#av# kvalitet?# Suksesskriterier?# 10.)Overføringsverdi) Hvilke#elementer#ved# tiltaket#(for#eksempel# innovasjon,#design,# struktur,#innhold)#gir# det#relevans#i#andre# sammenhenger?# # 11.)Overordnet)betydning) Trekke#inn#alle#punkter#fra#6 10#for#å#svare#på#de#sentrale#evalueringsspørsmålene#(På#hvilke#av#de#overordnede#områdene#presterer#tiltaket#bra,#og# hvor#er#resultatene#mangelfulle?#er#dette#den#mest#kostnadseffektive#bruken#av#tilgjengelige#ressurser#for#å#møte#forventningene#og#behovene#uten# å#produsere#negative#effekter?).# # 12.)Anbefalinger)og) forklaringer) (valgfritt)#en#dybdeanalyse#av# hvordan/hvorfor#ting#gikk# riktig/galt,#med#noen# anbefalinger#for#bedret#praksis# # # 13.)Ansvar) (valgfritt)#en#dybdeanalyse#av#hvem#som#var# ansvarlig#for#gode#(eller#dårlige)#resultater# 14.)Dokumentasjon,) rapportering)og)oppfølging) Hvem#skal#motta#kopier#av# evalueringsrapporten,#og#i# hvilken#form#(for#eksempel## skriftlig,#muntlig,#detaljerte# beskrivelser,# oppsummering)?# # 15.)MetaOevaluering) En#kritisk#vurdering#av#styrkene# og#svakhetene#ved#selve# evalueringen,#med#konklusjoner# om#funksjonalitet,#troverdighet,# pålitelighet,#anvendbarhet#og# anstendighet# En god evaluering er meningsfull, presis, rettferdig, funksjonell og praktisk (Annabell Jackson Associates, 2009a). Det er også viktig å være tydelig med tanke på årsaken til at vi evaluerer at vi gjør det for å lære. Hensikten med å evaluere er ikke å skille godt fra dårlig eller å bekrefte eksisterende praksis. Hensikten med å evaluere er å bli stadig bedre. De mange evalueringene vi gjennomfører i DKS, har forskjellige formål ut fra hva det er vi har behov for å evaluere. Hvilket formål evalueringene har, kommer an på om det er prosess/årsak eller sluttprodukt som er det sentrale: 1. Kontroll: I evalueringer som har kontroll som formål, er vi mest opptatt av å samle og analysere kunnskap om fortiden. Vi evaluerer et sluttprodukt, og kunnskap fra evalueringen må bevisst bringes videre til nye prosesser hvis vi skal oppnå en gevinst av evalueringen. 2. Utvikling/læring: I evalueringer som har utvikling/læring som formål, tar vi sikte på å forbedre framtidig atferd eller praksis, og vi bruker resultatene av evalueringene i videre strategisk planlegging. Her er vi mer opptatt av å evaluere prosessen og valg av tiltak enn av kun å evaluere produktet. 3. Praksis: I evaluering som har endret praksis som formål, tar vi for oss hverdagspraksis og er nesten utelukkende opptatt av prosess eller effektivisering av hverdagen. 27

29 National Economic Foundation (NEF, 2005) evaluerer større kunstinstitusjoner. De anbefaler at man deler evalueringsprosessen inn i tre trinn: 1. Planlegging: Hva ønsker vi å lære av evalueringsprosessen vår? Hvem ønsker vi at skal få utbytte av tiltaket vårt? Hva er vår påstand om effekt? Hvordan får vi bekreftet denne påstanden? 2. Måling: Hva er hypotesen vår? Hvordan kan vi dokumentere den informasjonen vi trenger? Hva er den best egnede metoden og framgangsmåten? Hvem er målgruppen vår? Hva har vi av ressurser til å gjennomføre en evaluering? 3. Refleksjon: Har evaluteringen ført til at vi har fått bekreftet eller avkreftet hypotesen vår? Hva har vi lært? Hvordan kan vi beskrive funnene våre på en tydelig og forståelig måte? Kunst- og kulturfeltet har vært gjenstand for overordnet evaluering fra politiske og akademiske miljøer, men det er ingen tradisjon for systematisk egenevaluering i driftsorganisasjoner. Nasjonale evalueringer av DKS beskriver gjerne struktur, ressursbruk og aktivitet. Dette gjør at det blir lettere for politiske miljøer å forstå virksomheten i DKS, men det gir lite informasjon til de faglige miljøene som kan brukes til å forbedre praksisen i hverdagen. Grundig evalueringsarbeid på alle nivåer er nødvendig for å kunne sikre kvaliteten og nå målet vårt om å bli stadig bedre. Operamiljøene er kanskje de miljøene innen kultursektoren som i størst utstrekning gjennomfører systematiske og helhetlige evalueringer. Det kommer av at opera som kunstform er avhengig av både offentlig og privat støtte, og må kunne dokumentere kvaliteten på både det kunstneriske programmet og den organisasjonen som realiserer det kunstnerisk programmet. Det forutsetter at det foregår evaluering på overordnet nivå samtidig som det foregår fortløpende evaluering i hverdagen (Chiaravalloti, 2014). Det finnes en mengde relevante evalueringsmodeller som er utviklet for andre typer virksomheter, men som kan tilpasses DKS evaluerings- og kvalitetssikringsbehov. Christiaan Grönroos (1984) har utviklet en modell for service quality som er lett å overføre til DKS. 28

30 !! Forventet! kvalitet!! Total!oppfattet!kvalitet!! Opplevd! kvalitet!! Kommunikasjon!med! markedet! Omdømme! <<Jungeltelegrafen>>! Kundenes!behov!! Image!! Teknisk! kvalitet!! <<hva>>! Funksjonell! kvalitet!! <<hvordan>>! Grönroos modell går ut på at oppfattet kvalitet oppstår i spenningsfeltet mellom forventningene til og opplevelsen av kvalitet. Han identifiserer flere generelle faktorer som påvirker forventningene, men erkjenner at det også ligger unike faktorer i spesifikke situasjoner. Modellen viser tydelig hvor viktig omdømme er når det gjelder oppfatningen av kvalitet, og at det eksisterer en gjensidig dynamikk mellom forventningene som er forankret i merkevarearbeid, og troverdigheten til merkevaren i praksis. Meyer og Mattmüller har utviklet en modell for planlegging og evaluering av tjenesteleveranser som brukes mye av større kulturinstitusjoner i Tyskland. Modellen skiller mellom de tjenestene en organisasjon tilbyr, og organisasjonens prestasjon (Meyer og Mattmüller, 1987). 29

31 Meyer og Mattmüller tar kvalitetsmodellen et steg videre fra Grönroos modell ved at de ikke nøyer seg med å beskrive spenningsfeltet mellom forventninger og opplevd kvalitet. Modellen har et interessant fokus på interaksjonen mellom potensialer fra både leverandøren og kunden. Meyer og Mattmüller fokuserer i større grad på kundens rolle i kvalitetsbildet og den konteksten forventningene og opplevelsen møtes i. Prosesskvaliteten gir igjen et resultat i form av sluttkvalitet. En slik modell kan være nyttig for DKS fordi den ser på kunden/mottakeren som en bidragsyter i forbindelse med kvalitet og utfordrer til aktivt arbeid med å skape en gunstig kontekst for opplevelsen av kvalitet. Dette skiller seg fra den tradisjonelle oppfatningen i kunstfeltet om at ansvaret primært ligger hos leverandøren, og at publikum er en passiv mottaker og bedømmer av kvaliteten. Totalkvalitet The Balanced Scorecard DKS har de samme utfordringene som mange andre kulturinstitusjoner. Siden organisasjonsstruktur og arbeidsrutiner påvirker totalkvaliteten, er det nødvendig å ha planleggings- og evalueringsmetoder som dekker både det kunstneriske og det administrative området (Boerner, 2002). Det er helt klart mulig å evaluere disse områdene hver for seg, men da får vi lite informasjon om hvordan kvaliteten på det ene området påvirker kvaliteten på det andre. The Balanced Scorecard «balansert virksomhetsstyring» er et moderne, framtidsrettet ledelsesverktøy. Konseptet ble utviklet ved The Nolan Norton Institute i USA for å kompensere for svakheter ved tradisjonell økonomirapportering. Siden konseptet ble introdusert (på tallet), har det blitt tatt i bruk av operahus, kunstmuseer og andre kunst- og kulturinstitusjoner som har behov for å se økonomi, relasjon med kunder, interne prosesser og utviklingsarbeid som en del av en helhet. David Norton, Robert Kaplan og KPMG startet utviklingen av det som nå heter The Balanced Scorecard, for å kompensere for åpenbare mangler ved tradisjonell virksomhetsstyring. Disse manglene er følgende: 30

32 Visjon, forretningsidé og strategier er lite konkrete og lite målbare. Dette betyr for eksempel at ressursallokering sjelden skjer ut fra virksomhetens strategier, eller at alle i organisasjonen sjelden drar i samme retning. Rapportering dreier seg nesten utelukkende om finansielle måltall. Resultatet av slik rapportering er at beslutninger ofte domineres av kortsiktige økonomiske motiver. Rapportering av finansielle måltall sier heller ikke noe om hvor verdiene skapes. Mange rapporter er for detaljerte, noe som fører til at det som er viktig, forsvinner i informasjonsmengden. Det brukes for store ressurser til å framskaffe historisk informasjon i månedlig rapportering. Regnskapet gjenspeiler ikke selskapenes markedsverdi. Tradisjonell finansiell rapportering måler ikke virksomhetens «abstrakte verdier», altså det som skapes gjennom kompetanse og kunnskap.! En av hovedoppgavene til virksomhetenes styre og ledelse er å finne svar på hvordan virksomheten best mulig skal passe inn i et antatt framtidsbilde, og hvordan virksomheten effektivt skal komme dit. Et framtidsrettet styringssystem bør derfor synliggjøre og formidle virksomhetens visjon, strategier og handlingsplaner for organisasjonen og motivere alle til å jobbe mot felles mål (også i geografisk spredte nettverk) sikre sammenheng mellom strategier og ressursallokering formidle relevant informasjon om faktorer som er med på å skape morgendagens resultater gjøre ledelsen i stand til å handle på bakgrunn av tendenser og trender gjenspeile selskapets verdi utover de verdiene som er bokført i årsregnskapet Konseptet The Balanced Scorecard dreier seg om at man fokuserer på følgende fire faktorer innen virksomhetene: finans, kunder, prosess og læring og vekst. For hver av disse blir sentrale områder, kritiske suksessfaktorer, mål og tiltak beskrevet.! Finans'! fokusområder! suksessfaktorer! mål! tiltak!!!!!!!!!!!!!!!!!!! Prosess'!! Visjon'og' strategi' Kunder'! fokusområder! suksessfaktorer! mål!!!!!!!!!!!!!!!!!! fokusområder!! Læring4'og'vekst'! fokusområder! suksessfaktorer! suksessfaktorer! mål! mål! tiltak! tiltak!!!!!!!!!!!!!!!!!!! tiltak!!!!!!!!!!!!!!!!!! 31

33 Annabel Jackson Associates har utviklet evalueringsverktøy for Arts Council of Northern Ireland (2004), Arts Council of Wales (2006) og Somerset County Council og Arts Council England Southwest (2009). Oppfølging av bruk av disse evalueringsverktøyene viser at evalueringsarbeidet har blitt mer konsekvent, noe som skaper et bedre sammenligningsgrunnlag for data over tid og sterkere troverdighet overfor bevilgende myndigheter. Systematisk evaluering har også hjulpet kunst- og kulturorganisasjoner til bedre å forstå og forklare egen måloppnåelse. Ifølge Jackson må et godt utgangspunkt for evaluering i kunstfeltet være fleksibelt nok til å kunne brukes på tvers av organisasjoner og kunstneriske uttrykk og formater. Et godt utgangspunkt for kunstevaluering må være relevant for forskjellige kontekster forskjellige kunstformer og uttrykk forskjellige nivåer av kunstforståelse nåtidens og framtidige diskusjoner og debatter Et godt utgangspunkt for kunstevaluering må være inkluderende. Det må ta hensyn til at kunstopplevelser har både en ubevisst og en bevisst effekt kunstopplevelser kan være behagelige, men også ubehagelige og utfordrende opplevelsen av kvalitet er subjektiv, men kan med fordel styrkes ved hjelp av objektive kriterier opplevelsen av kvalitet er individuell, men er avhenger også av en sosial kontekst kunstevaluering må få fram at opplevelsen utvikler seg over tid Det hefter flere utfordringer ved devaluering av en kunstopplevelse: Opplevelsen varierer fra individ til individ. Opplevelsen endrer seg over tid. Opplevelsen er kun delvis styrt av kunstorganisasjonene eller leverandørene det er mange som har et delansvar for den ferdige opplevelsen. Opplevelsen skal og bør variere med den kunstneriske intensjonen. Disse utfordringene antyder at evaluering ikke er umulig, men sannsynligvis vil være partisk. Derfor må en god evaluering ta hensyn til flere faktorer og dessuten synspunkter fra flere interessenter for å kunne gjenspeile kompleksiteten i en kunstopplevelse. Mye av evalueringsarbeidet som foregår i DKS, tar utgangspunkt i at de voksne er i stand til å svare på spørsmål om elevenes kunstopplevelse på vegne av elevene. Lærere, utøvere, produsenter og andre har alle sine synspunkter om hva som når fram til et ungt publikum, eller «hva som treffer». Selv om disse synspunktene kan være riktige, har vi i de fleste tilfeller ikke noe faktisk belegg for å kunne påstå at de er det. Derfor bør vi ikke bruke disse direkte som beslutningsgrunnlag. Hva vi får igjen for å spørre elevene selv, avhenger ofte av kvaliteten på spørsmålene og dialogen. Spørsmål kan være overfladiske («Likte du konserten?», «Lærte du noe?», og så videre). Settingen kan være kunstig (når skoledagen ellers handler om å gi de voksne de svarene de ønsker, er utspørringer i en skolekontekst problematiske). Det er sjelden slik at elevenes egne synspunkter og innspill får være med på å påvirke produksjonsprosesser eller får reell påvirkning på formidlingsvalg. Involvering av barn i produksjons- og programmeringsprosesser handler ikke om at barna bestiller det de vil ha, men heller om at de voksne bekrefter sine kunstfaglige valg gjennom dialog med og innspill fra barn. Det tar tid å snakke med alle interessentene rundt en kunstopplevelse fra DKS. Utøvere, barn, 32

34 lærere, produsenter, administratorer, politikere og skoleledere har alle sine særskilte forventninger og suksesskriterier. Disse interessentene er ikke grunnleggende uenige om hva en kunstopplevelse for barn bør være, men de har forskjellige ståsteder, prioriteringer og verdier. Fink (1992, s. 25) beskriver det slik: «Det er verdsettingen av verdiene som er relativ, ikke de adverbiale beskrivelsene som ligger til grunn for vurderingene.» Det vil si at alle har rett fra hvert sitt ståsted, og at en reell beskrivelse av opplevelsen må erkjenne helheten disse forskjellige ståstedene skaper. Barn har som regel ikke språk eller begrepsdannelse til å diskutere kunst ut fra noe annet enn sine egne (begrensede) kulturreferanser og preferanser. Følgelig strander dialogen på de overfladiske og forutsigbare nivåene «gøy» eller «kjedelig». Hvis barn skal kunne bidra mer direkte til å gi oss kunnskap om deres kunstopplevelser, må vi hjelpe dem til å utvikle språk og begreper de kan bruke for å uttrykke seg. Hevner (1936) var en pioner innen bruk av adjektivsirkler for å peile inn barns følelsesmessige opplevelser med kunst og gi dem tilgang til et mer beskrivende språk. GEMS- prosjektet i Sveits har også utviklet verktøy for å kunne kartlegge barns følelsesmessige opplevelser med kunst på en systematisk måte. Bruken av dybdeintervjuteknikker har gitt produsenter og utøvere tilgang til reflekterte og nyanserte synspunkter fra elever om deres egne opplevelser. En sokratisk tilnærming drevet fram av spørsmål, hvor alle påstander må begrunnes, er en viktig metode for å få nødvendig informasjon fra en evalueringsdialog. Annabel Jackson Associates (2006, 2007, 2009b) har gjennomført flere evalueringer av visuelle kunstutstillinger der de har tatt utgangspunkt i seks sentrale elementer ved publikumsopplevelsen: 1. Relevans: En høykvalitetsopplevelse med kunst kan finne sted først når kunstverket blir oppfattet som relevant av deltakerne eller publikum. En av kunstens særskilte styrker er at den er åpen for forskjellige tolkninger, både med hensyn til kunstnerens intensjon og med hensyn til uforutsette tolkninger som ligger utenfor kunstnerens intensjon. Relevans kan skapes ut fra handling, karakterer, arena eller tilsynelatende ubetydelige elementer i en framføring, som kostymer, rekvisita, farger eller andre detaljer. Relevans defineres og skapes av publikum. Diskusjoner om relevans dreier seg om i hvilken grad et kunstverk engasjerer sitt publikum tilstrekkelig til å få dem til å legge ned en mental innsats for å skape relevans. 2. Dybde og kompleksitet: Dette elementet er nødvendig for å kunne forklare behovet for en subsidiert kultursektor. En høykvalitetsopplevelse utfordrer sitt publikum samtidig som den underholder og engasjerer. Opplevelsen oppmuntrer til kritiske betraktninger og åpner for motstand og dissonans som en viktig del av et møte med kunst. 3. Stimulering av følelser, tanker og ideer: Kunst er en kilde til nye måter å tenke, føle, relatere og handle på. Kunst som inspirasjonskilde kan føre til personlig forvandling, innovasjon og sosial endring. 4. Minneverdighet: Hvis de er minneverdige, kan til og med korte opplevelser ha varig effekt. Minneverdighet skaper en viktig forbindelse fra opplevelsen til effekten av den. Kunsten har mange fordeler når det gjelder minneverdighet, fordi den er uvanlig, interessant, tankevekkende, sensorisk og følelsesvekkende. Minnverdighet er et nyttig begrep fordi det kan beskrive og forklare deler av opplevelsen og dreier seg om kunstopplevelsens sterkeste sider. 5. Tilfredstillelse av behov: Jackson utviklet en teori om kunstens sosiale påvirkning for å vise hvordan kunst møter tre grunnleggende psykologiske behov: selvstendighet, kompetanse og sammenheng. Kunst skaper selvstendighet gjennom at den utfordrer til egenopplevelse, til individualisme, til å ta egne valg og til problemløsingsaktiviteter. Kunsten skaper kompetanse ved at den bidrar til å utvikle sensoriske ferdigheter, men også prestasjonsfølelse som følge 33

35 av at mottakeren trenger inn i en uforståelig verden. Sammenheng skapes fra en felles empati, en følelse av tilhørighet eller fellesforståelse. Teorien identifiserer sensoriske, emosjonelle og kognitive mekanismer for hvert grunnleggende psykologiske behov. Disse mekanismene gir oss et grunnlag for å analysere og forstå reaksjoner og effekter. 6. Sosial forsterkning: Sosial forsterkning handler om hvor mange andre mennesker som blir fortalt om kunstopplevelsen til et publikumsmedlem, eller innlemmet i diskusjoner om opplevelsen. Dette gir en sosial og aktiv dimensjon til minneverdighet og skaper en dynamikk for kunstforståelse og begeistring utenfor kunstens vanlige arenaer. Disse seks elementene blir videre delt inn i tre grupper: 1. relevans/dybde og kompleksitet, som omhandler forskjellige måter kunstaktiviteter fanger publikumets oppmerksomhet på 2. stimulering av følelser, tanker og ideer/minneverdighet, som handler om lagring og innhenting av informasjon om kunstopplevelser 3. tilfredstillelse av behov / sosial forsterkning, som handler om bearbeidede former for kunstopplevelsen Denne inndelingen i grupper viser noen av de motsetningene man kan finne i en kunstopplevelse: En svært relevant opplevelse kan også være mindre utfordrende. Relevans kan hvile på kjennskap, mens dybde er avhengig av det nyskapende eller innovative. En kunstopplevelse som utløser mange personlige følelser, tanker og ideer er kanskje samtidig mindre minneverdig. Det å huske eller gjenkjenne opplevelsen kan føre til større forvandling over tid enn det opplevelsen opprinnelig gjorde. En opplevelse som møter personlige behov, kan være vanskelig å fortelle andre om. Opplevelsens mening kan være privat og intern og ikke noe man kan formidle til allmennheten. Serrell (2006) bruker lignende ideer for å utvikle et målesystem med utgangspunkt i det arbeidet han har gjort for American Association of Museums. Serrells besøksorienterte ramme for vurdering av utstillingskvalitet har fire komponenter: Komfort: Utstillinger er komfortable hvis de har fysiske og konseptuelle mekanismer de besøkende kan orientere seg etter har tilgjengelig plass til å hvile seg har tilpasset belysning, temperatur og akustikk er godt vedlikeholdt har god ergonomi har tydelige valg som gjør at de besøkende føler at de styrer deres egen opplevelse har dokumentasjon på kilder, intensjon, ståsted og partiskhet er imøtekommende for mennesker med forskjellig kulturell bakgrunn, ulike økonomiske ressurser, ulike utdanningsnivåer og fysiske begrensninger Engasjement: Utstillinger er engasjerende hvis det fysiske miljøet er interessant og inviterende de fanger oppmerksomheten til de besøkende og oppmuntrer dem til å stoppe opp og fordype seg de er morsomme, utfordrende, skaper undring eller utfordrer intellektet de oppmuntrer til og fremmer sosial atferd de formidles i varierte formater de har interessante aspekter for besøkende uavhengig av forkunnskap eller interesse Forsterkning: Utstillinger er forsterkende hvis de ikke er overveldende 34

36 utfordrende eller komplekse opplevelser er presentert på en måte som gir de besøkende mulighet til å bygge forståelse og mening presentasjonsformen er logisk informasjon og ideer fremmet i forskjellige deler av utstillingen er komplementære og forsterker hverandre Mening: Utstillinger er meningsfulle hvis de er skapt for å være relevante for de besøkendes opplevelse de kan vise at innholdet har verdi innholdet i utstillingene berører universale menneskelige problemstillinger og ikke unngår dype eller kontroversielle emner de fremmer endring i de besøkendes tanker og følelser Pitman og Hirzy (2009) beskriver et syv år langt forskningsprosjekt de gjennomførte ved Dallas Museum, hvor de startet med en tre- nivå- modell av engasjement (bevissthet, anerkjennelse og forpliktelse), men etter hvert forlot denne hierarkiske modellen fordi funnene de gjorde, avdekket at modellen var for lite nyansert. Forskningen avdekket at besøkende tilpasser seg opplevelsen ulikt, har ulike preferanser når det gjelder tolkning av utstillingens innhold, og dessuten ulike måter å engasjere seg i utstillingen på. Forskerne delte derfor publikum inn i fire grupper basert på forskjellige karakteristikker: entusiaster, observatører, uavhengige og deltakere. Ut fra funnene i forskningen kom de også med tydelige og praktiske anbefalinger om hvordan museer kan møte behovet til personene i hver av disse gruppene. Langsted, Hannah og Larsen (2003) har utviklet en modell for evaluering av performativ kunst (musikk, teater og dans) som blir kalt ønskekvistmodellen på grunn av sin tre vurderingsakser: villen (kunstnerisk vilje og formidlingsvilje), kunnen (kunstneriske og formidlingsmessige ferdigheter) og skullen (relevans). Modellen beskriver et utgangspunkt for en vurderingsdialog om performativ kunst, men går ikke videre inn i metoden for dialogen. Modellen har blitt brukt av Rikskonsertenes skolekonsertordning og Scenekunstbruket i forbindelse med vurdering av performativ programkvalitet. Det er viktig å merke seg at slik vurdering ikke er en vurdering av skolenes tilfredshet eller elevens opplevelse, men kun dekker det performative i kvalitetsbildet. Vi trenger i tillegg andre verktøy for å vurdere kvalitet andre forhold enn de performative. Ønskekvistmodellen definerer med sine tre akser et dialogrom for vurdering, men å bli enige om villen, kunnen og skullen er i seg selv ikke en evaluering. Det er også viktig å presisere at like lange akser eller akser av forskjellige lengder forteller oss lite om kvalitet men mye om konteksten. Aksene er kun en måte å beskrive det performative på. Det er først etter at man har blitt enige om hva det performative består av, at dialogen har et godt nok utgangspunkt for vurderingen. Det er i helhetsdialogen innenfor modellens dialogrom/rammer at evalueringen finner sted. Vi trenger også en metode for å gjennomføre denne vurderingsdialogen. I de senere år har Skolekonsertordningens programråd brukt sokratisk evaluering som metode for helhetsdialogen, etter inspirasjon fra Berit Hedemann fra NRK. Sokratisk evaluering er en styrkebasert evalueringsform hvor en nøytral møteleder driver dialogen fram ved bruk av spørsmål. Det er viktig at deltakerne i vurderingen bruker et konkret språk, begrunner alle påstander og forholder seg til evaluering av den aktuelle produksjonen slik den faktisk er, ikke en tenkt produksjon som kunne ha vært. I likhet med all dialogbasert evaluering er ønskekvistmodellen avhengig av kompetansen, bredden og sammensetningen av deltakerne i dialogen. 10 Kvalitetssikring Med begrepet kvalitetssikring menes alle planlagte og systematiske tiltak som er nødvendige for å få tilstrekkelig tiltro til at et produkt eller en tjeneste vil tilfredsstille angitte krav til kvalitet (NS- ISO 35

37 8402). Dette innebærer at kunnskap om og forbedringer i prosessene eller produktene evalueres, kontrolleres og systematisk videreføres til starten av neste prosess. På den måten kan kunnskap og erfaring komme til nytte i den videre utviklingen. For en lærende organisasjon handler ikke kvalitetssikring om å skille «godt» fra «dårlig», men om hele tiden å forsøke å forbedre. Et godt eksempel her er Rikskonsertenes programrådsarbeid, der anbefalte program blir gjort tilgjengelige i en programbank og brukt i påfølgende programmeringsarbeid. Prosessen danner et kretsløp som blir selvforsterkende over tid. Scenekunstbruket står for en lignende kvalitetssikring gjennom sitt kunstnerisk råd, sin programkatalog og sine økonomiske insentiver for å stimulere bruk av de scenekunstforestillingene Scenekunstbruket anbefaler. ISO definerer målene med kvalitetssikringsarbeid slik: 1. sørge for at ingen bruker et dårlig produkt 2. avgjøre hva som skal gjøres med et dårlig produkt 3. håndtere årsaken til at dårlige produkter blir til 4. kartlegge og bruke oversikten til å forbedre systemet DKS må utvikle helhetlige kvalitetssikringsmodeller innenfor alle produksjonsmiljøene, programmeringsprosesser, og distribusjonen og mottakelsen av DKS- tilbudet. Arbeid med å utvikle slike modeller må inngå i et kvalitetssikringssystem hvor alle parter forplikter seg til et definert sektoransvar. Kvaliteten på de enkelte tiltakene i DKS er uansett ikke det viktigste. Det viktigste er å knytte tiltakene sammen slik at de på den måten kan skape kollektive verdier som fremmer totalutviklingen i DKS. Vi vil ikke oppnå noen kvalitetsutvikling i DKS hvis vi ikke evaluerer og kvalitetssikrer hver for oss. Framtiden for DKS (og for så vidt de fleste andre store kulturtiltak) er å kunne dokumentere kvalitet i arbeidet. For å få til det må vi ha en felles forståelse av begrepene som dreier seg om kvalitet, en felles oppfatning av hvordan ting henger sammen, og et felles ansvar for et kvalitetsbilde som er større enn vårt eget ansvarsområde. DEL II 11 Evalueringsmodeller og - verktøy 11.1 Kunstkritikk Kunstkritikk er en muntlig eller skriftlig diskusjonsstrategi som analyserer, beskriver og tolker kunstverk. Å skrive kunstkritikk hjelper elever til å utvikle sine ferdigheter innen tale og skriving, innhenting og disponering av relevant informasjon og gjennomføring av en argumentasjonsrekke. En slik prosess krever struktur, og elever trenger veiledning for å sikre at de holder seg til oppgaven og kommer fram til en beskrivende vurdering av kunstopplevelsen. Tradisjonell kunstkritikk har blitt brukt både som en evalueringsmetode og som en måte for å involvere skoleelever direkte i en dypere refleksjon rundt egne opplevelser. Det er mange fordeler ved å la elever reflektere over, diskutere og konkretisere opplevelser de har med kunst. Vi må også være klar over at denne typen kunstkritikk er begrenset av elevenes ordforråd, kunst- og kulturreferanser, begrepsapparat, erfaring og egne preferanser. Kunstkritikk (særlig av performativ kunst) har lett for å blande sammen flere elementer: kunstverket, framføringen av kunstverket og formidling innenfor en gitt kontekst. Det finnes modeller som kan være nyttige i forbindelse med kunstkritikk i DKS. M.H. Abrams arbeid er særlig relevant for litteratur og det visuelle kunstfeltet. 36

38 Abrams har skrevet om kritiske orienteringer (critical orientations) i kunstkritikken. Disse orienteringene er med på å skape en systematisk inngang til kunsten og gi leseren en bedre mulighet til å tolke kritikerens synspunkter og meninger. Abrams (1971) kritiske orienteringer er følgende: Mimetisk kritikk: Kunsten blir vurdert ut fra i hvilken grad den gjenspeiler verden. Mimetisk kritikk kan brukes i alle tilfeller der kunsten gjenskaper noe som eksisterer i verden. Pragmatisk kritikk: Hensikten med pragmatisk kritikk er å hjelpe kunstneren til bedre å nå sitt publikum. Oppmerksomheten er rettet mot effekt framfor innhold. Ekspressiv kritikk: Ekspressiv kritikk er nær knyttet til utviklingen under romantikken. Denne orieneringen flytter oppmerksomheten over til kunstnerens interne prosesser og motivasjoner. Kunstneren er kilden til kunstverket, og alle verk er kun eksterne konsekvenser av kunstnerens interne prosesser. Innenfor denne orientering er ikke publikum like viktig som innenfor pragmatisk kritikk. På samme måte er ikke den eksterne verdenen like viktig innenfor den ekspressive orienteringen som innenfor den mimetiske orienteringen. Objektiv kritikk: Det sentrale innenfor denne orienteringen er kunstverket, og ikke verden og dens kontekst, publikumsopplevelsen eller kunstnerens indre kunstneriske visjon. Formelle analyser og ikonografi er to vanlige eksempler på objektiv kritikk. Logisk sett er det umulig å gjennomføre en ren objektiv kritikk, for et kunstverk kan nemlig ikke løsrives fullt og helt fra konteksten. Abrams arbeid gjenspeiler McKeons (1943, 1944) inndeling av kunstkritikk i seks moduser: dialektisk (etter Platon), vitenskapelig (etter Aristoteles), poetisk, akademisk, teknisk og formell. Det er flere kunstinstitusjoner som har gjort et grundig arbeid med å utarbeide pedagogisk materiell for elevkritikk av litteratur, visuell kunst og performativ kunst. ArtsEdge ved Kennedy Center i USA har lett tilgjengelige veiledninger for elever og lærere som ønsker å ta i bruk kritikk som refleksjons- og læringsverktøy. ArtsEdge tar utgangspunkt i sentrale spørsmål fra de fire hovedområdene av kunstkritikk: beskrivelse, analyse, tolkning og bedømming. Beskrivelse Hvordan er verket beskrevet i informasjonsmateriellet, på CD- coveret, i utstillingsoversikten, i programomtalen og så videre? Hva er tittelen, og hvem er kunstneren? (I forbindelse med musikk, teater og dans er det ofte nyttig å skille mellom rollene skapende kunstner og utøvende kunstner.) Når og hvor ble kunstverket skapt? Beskriv verkets elementer (for eksempel linje, bevegelse, form, tempo, rytme, lys og rom). Beskriv verkets tekniske virkemidler (som lys, lyd, scenografi, materiell og instrumenter). Beskriv tematikken eller budskapet. Hva handler det om? Er det gjenkjennelige elementer eller relasjoner der? Analyse Beskriv hvordan verket er organisert som en helhetlig komposisjon. Hvordan er kunstverket bygd opp eller planlagt (bevegelse, akter, linjer)? Identifiser noen likhetstrekk i verket (repetisjon av tekst, «rød tråd», gjentakende temaer). Identifiser deler av verket som blir framhevet (enkelte scener, figurer, bevegelser). Hvis verket har temaer eller rollefigurer, hva er relasjonen mellom disse? Tolkning Beskriv følelser eller tanker som verket vekker hos deg. Beskriv verkets ekspressive kvaliteter. Hvilke ord kan du bruke for å beskrive disse kvalitetene (tragisk, stygg, morsom og så videre)? 37

39 Minner verket deg om noe annet du har opplevd (analogi eller metafor)? Hvilke koblinger eller linjer har verket til ideer eller hendelser ellers i livet? Bedømming eller evaluering Legg fram din oppfatning av hvordan verket får fram sitt budskap. Hvilke kvaliteter i verket gjør at du opplever det som godt eller dårlig? Sammenlign verket med andre tilsvarende kunstverk du synes er gode eller dårlige. Hvilke kriterier kan du peke på som vil hjelpe andre med å bedømme dette verket? Hvor originalt er verket? Hvorfor synes du at verket er (eller ikke er) originalt? ArtsEdge, Kennedy Center har også utviklet en veiledning for lærere som ønsker å diskutere kunst- og kulturopplevelser med elevene i klasserommet: Kunstkritikk helt enkelt tips for deg som skal lede klasseromsdiskusjoner om kunstopplevelser Vurderer du å diskutere kunstkritikk, men er redd for korte, innholdsløse svar fra elevene dine? Denne veiledningen hjelper deg til å utvide elevdialogen slik at kunstkritikk blir en givende opplevelse for både deg og elevene dine. Veiledningen hjelper elevene til å utvikle sine evner til kritisk tenkning og gjøre dem i stand til å grave seg dypere ned i skapende prosesser. Lag en plan før det hele begynner. Start med å etablere kriterier for kunstkritikken slik at elevene vet hva de går til. En måte å organisere en kritisk dialog på er å dele den inn i fire trinn: beskrivelse, analyse, tolkning og evaluering. Bestem deg for hvordan flyten i prosessen skal være, og hold deg til den samme trinnvise framgangen for hvert verk som blir diskutert. Tenk først, del etterpå. For å sikre gode innspill fra elevene må du gi dem tid til å reflektere i forkant av en diskusjon i plenum. Bruk teknikker som tenk alene, tenk med andre og del med alle for å gi tid til å la mer nyanserte synspunkter få utvikle seg. Utfordre elevene til å begrunne alle påstandene sine om styrker og svakheter i kunstverket. Lede diskusjonen mot bestemte temaer ved å be elevene om å evaluere kunstverket på spesifikke måter (for eksempel form, innhold, relevans og presentasjon). Utvikle et ordforråd for hvert kunstverk. Kunstanalyse på et hvilket som helst nivå begynner alltid med en beskrivelse. Hvis kunstverket ikke blir presist beskrevet, blir det vanskelig å tolke verket. Utfordre elevene til å inkludere konkrete substantiver, verber, adjektiver og adverber når de beskriver kunstverket, eller når de uttrykker et synspunkt. Respekter alle innspill. Minn elevene på at når det gjelder en subjektiv øvelse som kunstkritikk, er det viktig å høre alle synspunktene ikke for at forskjellige synspunkter skal kjempe om definisjonsretten, men for at alle perspektiver skal bli løftet fram slik at man kan komme fram til en best mulig helhetsforståelse. Når du har hørt på innspillene fra enkeltelever, spør du klassen om hvor mange som er enige eller uenige i de forskjellige innspillene. Spør tilfeldige elever for å få en forklaring på hvorfor de er enige eller uenige. Tre ut av rollen som leder for diskusjonen. Gi elevene lov til å komme med egne spørsmål, og åpne for svar fra deres medelever. Bruk åpne spørsmål. Vis klassen at det ikke finnes ett definitivt svar ved å stille spørsmål som oppfordrer til forskjellige svar. Hva prøver kunstneren å formidle eller beskrive? Hvordan vet vi det? Hva kan kunstneren gjøre for å gjøre kunstverket mer vellykket? Ikke godta generelle betraktninger. Elevene bør alltid kunne forsvare synspunktene de kommer med. Det er ikke nok bare å ha meninger. Hvis en elev «liker» et verk, men ikke er sikker hvorfor, spør eleven om synspunktet har med farge, form, komposisjon, tematikk og så videre å gjøre. Hvis elevene har problemer med å begrunne synspunktene sine, be dem om å følge tankeprosessene som førte dem til konklusjonen. Spør dem hva de reagerte på eller var påvirket av tidligere erfaringer, kommentarer fra medelever eller andres forventninger. Evaluer kunst med kunstens språk. Når elevene forstår de grunnleggende elementene i et kunstverk, er de bedre i stand til å diskutere på en givende måte. Når diskusjonen handler om for eksempel en danseforestilling, bør begreper som tid, rom og energi tas i bruk. Når 38

40 diskusjonen dreier seg om visuell kunst, kan det brukes begreper som balanse, rytme og tekstur. Etter hvert som elevene får mer erfaring med kunstkritikk, kommer de til å kunne trekke paralleller mellom ulike kunstuttrykk når det gjelder begreper som linje, rytme, bevegelse, energi og form. (ArtsEdge, Kennedy Center) I sin bok om teaterkritikk, Evaluating a Performance (2002), oppfordrer Michael L. Greenwald studenter til å gjennomføre teaterkritikk for å øke innsikten i sin egen teateropplevelse. Han deler en teaterforestilling inn i flere kategorier etter kunstnerisk bidrag til helheten: regissørens bidrag, skuespillernes bidrag og tekniske bidrag (lyd, lys, kostyme, scenografi). På den måten kan man tydelig se samspillet mellom forskjellige virkemidler. Dette løfter elevkritikk opp på et annet nivå enn «liker liker ikke» og byr på spørsmål som: Hvilken kontekst har regissøren skapt for det opprinnelige manuset? Hvordan har skuespillerne realiserte stykket innenfor den konteksten de har fått? Hvordan har tekniske løsninger bidratt til å skape eller styrke konteksten? Greenwald har også utviklet en egen sjekkliste for evaluering av kritikk fra unge kritikere. Det er allerede iverksatt flere gode tiltak i DKS når det gjelder kunstkritikk. Scenekunstbruket har satset på elevinvolvering i kunstkritikk gjennom ungestemmer.no, Periskop.no og ungdomsskoleelever som skriver blogg om deres kunstopplevelser. Vestfold fylkeskommune har tatt initiativet til å invitere kunstkritikere til å holde kritikerkurs for elever Spørreskjemaer Bruk av spørreskjemaer kan være en god måte å innhente informasjon på, men vi må være klar over fordelene og ulempene ved å bruke spørreskjemaer i evalueringsarbeid. Fordelene ved å bruke spørreskjemaer er at skjemaene kan rettes direkte mot spesifikke målgrupper, at de kan gi store datamengder, og at de gir respondentene fleksibilitet med hensyn til svartidspunkt. Ulempene ved å bruke spørreskjemaer er at slike skjemaer er uegnet til å samle inn data om komplekse eller konseptuelle saker, at de ikke tar høyde for at enkelte mennesker uttrykker seg bedre muntlig enn skriftlig, og at lange svar kan være for utydelige til at man klarer å tolke dem. Det hentes inn mye informasjon om DKS gjennom spørreskjemaer. Men det å spørre for å få et informasjonsgrunnlag vi kan jobbe videre med, er et eget fag som er sterkere forankret i vitenskapelige miljøer enn i kultursektoren, og de vitenskapelige miljøene har dessuten større kompetanse på feltet enn man har innenfor kultursektoren. Før vi setter i gang en slik utspørring, er det flere elementer vi bør tenke igjennom. Hva spør vi om? Å spørre barn om deres kunstopplevelse krever en gjennomtenkt metode og at de voksne i forkant av utspørringer har diskutert hvilke kriterier som er viktigst. «Likte du konserten?» er et spørsmål vi ofte har sett i forbindelse med evaluering av skolekonsertene. Som spørsmål har det klare begrensninger. Å like en konsert kan handle om mange andre ting enn musikkopplevelsen. Det finnes også andre (og dypere) følelsesmessige måter å oppleve musikk på enn å like. Et slikt spørsmål definerer et bestemt kriterium (å like) på forhånd og krever egentlig et ja/nei- svar fra respondenten. Forteller dette oss i bunn og grunn noe om opplevelsen? Slik sett er spørsmål av denne typen for «lukkede» til å kunne gi oss nok informasjon å jobbe videre med. Vi ser også åpne spørsmål av typen «Hva syntes du om konserten?». Dette spørsmålet er på mange måter det motsatte av det første spørsmålet. «Hva syntes du om konserten?» overlater kriterier til den enkelte respondenten, og man får et mangfold av synspunkter ut ifra et mangfold av personlige kriterier og forankringer som ikke vi har innsyn i eller oversikt over. Spørsmål av denne typen er for «åpne». Hvem spør vi? Det er vanlig at vi sender spørreskjemaer til skolen og ber om et svar. De besvarelsene vi får, kan være fra én eller flere av de voksne som bidrar med sine synspunkter på konserten, svar fra voksne 39

41 på vegne av elevene eller svar fra elevene via gruppediskusjon i klassen eller et utvalg av elever (ofte skolens kulturverter). Det er til og med mulig å få svar av typen «Jeg var ikke selv til stede, men har hørt». Følgelig har man ingen garanti for at tilbakemeldingen er direkte det kan like gjerne dreie seg om andre- eller tredjehånds informasjon. Når respondentene svarer ut fra forskjellige ståsteder og i ulike sammenhenger, er det vanskelig å oppnå en helhet i besvarelsene eller konkludere fra de besvarelsene man får. Svarprosent er vesentlig. Alle i skolen har en hektisk hverdag, og vi risikerer at det kun er de mest motiverte som tar seg tid til å fylle ut og sende en tilbakemelding. Dette gjør at vi får besvarelser enten fra de som reagerer veldig negativt på besøket, eller fra de som reagerer overveldende positivt. Dette gir et polarisert og lite nyansert bilde. Vi har mest å lære av de responsene som ligger mellom disse to ytterpunktene. For å få en tilbakemelding som er representativ, må vi ha en høy svarprosent. Hvorfor spør vi? Vi må selvsagt spørre for å kunne forbedre oss. Men da må spørsmålene vi stiller, gi oss informasjon vi faktisk kan bruke for å forbedre oss. Hvis resultatene av utspørringen ikke kan brukes til å forbedre praksisen, er det en skinnprosess som kun har en symbolverdi. Da kan vi påstå at vi bryr oss om hva mottakerne våre synes uten å forplikte oss til å bruke tilbakemeldingene fra dem videre i en kvalitetssikringsprosess. Hvordan spør vi? Det å spørre institusjoner, voksne fagfolk og barn om deres opplevelser er et eget fagfelt som er mest utviklet innenfor psykologi- og samfunnsforskning. DKS må innhente ekstern ekspertise for å konstruere gode spørsmål, utvikle utspørringsformater og definere målgrupper av respondenter. Den måten vi spør på (og hvem vi velger å spørre), må kunne vise oss en realistisk vei videre i utviklingen av et bedre kulturtilbud. Hva gjør vi med alle de besvarelsene vi får? Det er lite interessant hva en enkelt skole har opplevd i forbindelse med et besøk fra DKS (bortsett fra i tilfeller der det er et klart avvik fra andre sammenlignbare skoler og disse fanger vi opp uansett). Det vi må jobbe videre med, er hva vi kan tyde fra en sammenfatning av alle besvarelsene. Dette krever analyse og analytiske verktøy. Likert- enheter De fleste statistiske evalueringer av opplevelser blir gjort ved hjelp at et spørreskjema som tar i bruk såkalte Likert- enheter. Disse består av valgmuligheter langs en skala med forskjellige grader av positive og negative svarmuligheter. Valgmulighetene gis ofte i form av påstander som vi kan være enige eller uenige i (svært enig, enig, nøytralt svar, uenig, svært uenig). De mest pålitelige Likert- skjemaene har fem eller flere svarmuligheter (alt etter hvilke kvaliteter som blir evaluert) og en veksling mellom positive og negative påstander/spørsmål for å skape en balansert respons. Likert- enheter med tre svarmuligheter regnes som ja/nei- spørsmål og har begrenset verdi i forbindelse med vurdering av opplevelser siden opplevelser har et større omfang av nyanser. Når vi skal konstruere et godt spørreskjema, må vi starte med å finne ut hva vi ønsker å evaluere, og utforme spørsmålene vi skal stille. For en statistiker er det flere egenskaper som er viktige for å oppnå et representativt resultat. De to viktigste er troverdighet og pålitelighet. Troverdighet (validity) handler om at evalueringsprosessen faktisk evaluerer det den tar sikte på å evaluere. «Lærte du noe?» er et spørsmål vi har sett i forbindelse med evalueringer i DKS. Det er et naturlig spørsmål å stille siden tilbudet foregår i skolen og læring er et viktig suksesskriterium for 40

42 aktiviteter i skolen. Spørsmålet er tilsynelatende riktig i den sammenhengen (face validity), men gir oss ikke svar det vi er egentlig er ut etter å få vite noe om (målgruppens kunstopplevelse). Pålitelighet (reliability) handler om en evaluerings evne til å komme fram til samme resultat gjentatte ganger. For eksempel kan det være slik at badevekten din alltid viser fem kilo over din egentlige vekt. Badevekten din viser feil kroppsvekt, men feilen er konsekvent og forutsigbar. Den er pålitelig (men mangler troverdighet). Å diskutere pålitelighet er viktig i DKS- sammenheng. Når en evaluering av en kunstopplevelse er ujevn, kan det ha flere årsaker, for eksempel at utøverne spiller ujevnt på turné, at distribusjon av tilbudet mangler forutsigbarhet, at skolemiljøene som tar imot tilbudet, er for forskjellige (eller preges av andre faktorer), eller at selve utspørringen har tekniske mangler. I tillegg til å være troverdig og pålitelig bør en god evaluering være praktisk, rettferdig og anvendbar. Hvis vi klarer å utvikle en utspørringspraksis som danner et troverdig og pålitelig informasjonsgrunnlag, vil det virke positivt på utviklingen av DKS. Det vil gjøre at informasjonen kommer i en form som gir skolene en mulighet til å utøve reell innflytelse på tilbudets form og innhold gi oss mulighet til å se hele kvalitetsforløpet i sammenheng (produksjon, programmering, distribusjon, mottakelse og anvendelse) gi oss et bedre beslutningsgrunnlag for programmering, formidlingsvalg, nettverksarbeid og eventuelle strukturendringer skape et statistisk grunnlag som kan dokumenteres og brukes som utgangspunkt for en felles kvalitetssikringsdialog blant produsenter, utøvere, administratorer, lærere og elever 11.3 Audience Experience Framework Teatermiljøet i England har utviklet en evalueringspraksis som tar utgangspunkt i publikums følelsesmessige opplevelse. De vanligste målene for evaluering av teater i England er antall forestillinger og hvor disse finner sted antall publikum, belegg og salgstall publikumsdemografi (hovedsakelig kjønn, alder, økonomi og etnisitet) Selv om denne typen informasjon er verdifull, sier den ingenting om publikums opplevelse av teater. Den tradisjonelle økonomiske evalueringen av teater gjør oss i stand til å produsere mer teater, men ikke nødvendigvis bedre teater. Det å fokusere på tall, kjønn, etnisitet, sosioøkonomiske grupperinger eller alder hos et teaterpublikum kan med andre ord (utilsiktet) føre til at det oppstår en konflikt mellom motivasjonen til den kunstneriske ledelsen og motivasjonen til den administrative ledelsen ved et teater. Offentlige instanser som framhever disse lett kvantifiserbare kriteriene, legger press på teatrene om å prioritere nettopp disse faktorene. Høye publikumstall, lave driftskostnader og bred publikumsdemografi er ikke alltid noe som beskriver et vellykket teater. For eksempel trenger teatre som møter ungdom med atferdsproblemer, høy bemanning og små publikumsgrupper. Dette er ikke kostnadseffektive teaterforestillinger, men det er forestillinger som spilles for en utsatt gruppe som virkelig trenger tilgang til teateropplevelsen, og det er avgjørende at forestillingen skjer på gruppens egne premisser. For å skape metoder for evaluering med sterkere forankring i publikumsopplevelsen ble New Economics Foundation (NEF) hyret av en samling av engelske teaterorganisasjoner (Independent Theater Council, The Society of London Theatre, Theatrical Management Association) til å utvikle en 41

43 opplevelsesorientert tilnærming til evaluering. Som grunnlag for en slik tilnærmingsmetode var det nødvendig å operere med et forståelig og tydelig språk for å beskrive de forskjellige aspektene ved en teateropplevelse. Dette innebar imidlertid et dilemma: Alle som opplever teater, har individuelle og unike opplevelser. Faktisk er det en av kunstens sterkeste egenskaper at opplevelsen er personlig og forankret i hver enkeltes referanser, erfaringer og kulturelle ståsted. Likevel finnes det noe universelt i den måten mennesker opplever ting sammen på. Den individuelle opplevelsen og den kollektive opplevelsen er ikke motsetninger, men heller to sider av samme sak. I 1990 publisert den amerikanske psykologen Mihaly Csikszentmihalyi en bok om et psykologisk fenomen han kalte for flow. Csikszentmihalyi hadde lagt merke til at mennesker som er engasjert i utfordrende eller krevende aktiviteter, ofte opplever en følelse av dyp, uanstrengt konsentrasjon, de blir fullstendig oppslukt av oppgaven og får en forvrengt oppfatning av tid. Folk påsto at denne følelsen hadde en egenverdi, uavhengig av aktiviteten som var med på å skape tilstanden. Csikszentmihalyi brukte uttrykket flow til å beskrive følelsen fordi den innebærer å bli «tatt av strømmen». Flow- konseptet er vanligvis forbundet med aktiv deltakelse, men likheten med publikumsopplevelsen under et gripende teaterstykke er slående. Selv om publikum ikke er med på scenen, kan flow- følelsen oppstå når publikum virkelig er «med» inn i stykkets fiksjon. NEFs forskning førte fram til en inndeling i fem trekk ved publikumsopplevelsen som utgjør deres Audience Experience Framework (AEF): 1. engasjement og konsentrasjon 2. læring og utfordring 3. energi og spenning 4. fellesopplevelse og stemning 5. personlig gjenklang og emosjonell tilknytting Dette rammeverket har ikke til hensikt å definere hva teater av «god» eller «høy» kvalitet skal være. Om et teaterstykke er en økonomisk og/eller kunstnerisk suksess, avhenger av hvor godt det tilfredsstiller både interne og eksterne forventninger og krav. Hensikten med AEF- rammeverket er å få folk til å reflektere på nye måter over hva disse forventningene og kravene bør bestå av, og vise hvordan disse forplanter seg til publikumsopplevelsen. NEF har tatt utgangspunkt i de fem trekkene ved teateropplevelsen i sin utforming av spørsmål. Alle spørsmålene kommer i par, og de representerer to forskjellige ytterpunkter på en følelsesmessig skala. Spørsmålene retter oppmerksomheten mot egenopplevelse og følelsesmessig respons. Spørsmålene er jevnt fordelt over de fem trekkene, og tanken er at besvarelsene til sammen gir oss en pekepinn på hvordan publikumsopplevelsen er. Jeg klarte ikke å konsentrere meg Jeg var helt oppslukt av det som skjedde på scenen. Jeg følte at tiden gikk langsomt Tiden ble bare borte. Forestillingen holdt ikke min oppmerksomhet Jeg var med fra første sekund. Jeg følte at jeg ikke lærte noe Forestillingen fikk meg til å få nye ideer og tanker. Jeg var i min komfortsone Jeg følte meg utfordret og provosert. Det var ikke mye nytt for meg Den fikk meg til å tenke Engasjement og konsentrasjon Læring og utfordring 42

44 annerledes på noen saker. Den fikk meg i ikke gang Jeg ble greppt av det jeg så, hørte og opplevde. Jeg følte meg sliten og uinteressert Jeg følte meg levende og entusiastisk. Jeg følte meg likegyldig Jeg følte meg spent og forventningsfull. Det var ikke mye stemning Jeg la merke til at alle var revet med. Jeg følte ikke at alle var samlet Det føltes godt å dele rundt det som skjedde. opplevelsen med andre. Jeg er ikke særlig interessert i å snakke om forestillingen Dette kommer jeg til å snakke om en god stund framover. Jeg identifiserte meg ikke med rollefigurene eller storyen Jeg følte at dette handlet om meg. Det var ikke mye som rørte meg Jeg ble beveget av deler av forestillingen. Forestillingen sa ikke så veldig mye om ting som er viktig for meg Forestillingen var relevant for deler av mitt eget liv. Energi og spenning Fellesopplevelse og stemning Personlig gjenklang og emosjonell tilknytting En slik skriftlig tilnærming er nyttig å bruke overfor voksne og eldre barn. Yngre barn har varierende evner til å lese og forstå spørsmål i en undersøkelse. Utformingen av spørsmålene kan tilpasses forskjellige aldersgrupper. Spørreskjemaet kan også danne et grunnlag for intervjuer eller gruppediskusjoner. Intervjuer og gruppediskusjoner er enklere tilnærmingsformer for de yngste, men skaper noen utfordringer med hensyn til å registrere svar og kartlegge individuelle meninger. NEF har arbeidet ut ifra at spørreskjemaet skulle være forståelig for elleve tolv- åringer. Noen av spørsmålene er utformet på en passiv måte, mens andre er temmelig abstrakte. Dette gjør det vanskelig for noen barn å forstå spørsmålene, selv om lesbarheten ligger innenfor barnas evner. For å nå fram til et yngre publikum må spørsmålene endres til aktive spørsmål med et konkret språk. NEF har gjort forsøk med fem seks- åringer med forenklede spørsmål og bruk av bilder/symboler (picture prompts). Data fra undersøkelser kan framstilles på flere forskjellige måter. Hver framstilling gir oss en ny innfallsvinkel og belyser den aktuelle problemstillingen på en særskilt måte. Det er mulig å evaluere en enkelt forestilling, se flere forestillinger i sammenheng med hverandre, se publikumsrespons over tid på samme arena (eller skole) eller evaluere en hel sesong under ett Dialog med barn og unge Evalueringsarbeid som involverer barn og unge, er viktig for at vi skal få tilgang til direkte tilbakemeldinger fra målgruppen, men det er også viktig for at barna skal få anledning til å reflektere over og beskrive sin egenopplevelse av kunst. Barneombudet er opptatt av å ha dialog med og få innspill fra barn. I den forbindelse har Barneombudet utviklet en del teknikker som man kan bruke i dialoger og prosesser som involverer barn. Disse teknikkene er beskrevet i boken Ekperthåndbok (Barneombudet, 2013). 43

45 I en forskningsrapport om å lytte til og konsultere barn trekker Clark, McQuail og Moss (2003) fram flere viktige forutsetninger for dialog med barn. En person som går inn i en dialog med barn må være tydelig med hensyn til hvordan man skal inkludere barn i dialogen, og i hvilket omfang barnas synspunkter vil bli tatt i bruk ta høyde for flere variabler, som tid på dagen, tidsrammen for dialogen og relasjonen til de voksne som er involvert være innstilt på å hjelpe barn til å bruke forskjellige metoder for å få fram sine meninger, lytte oppriktig til det barna har å si, føre dialogen uten å dømme, la barna stille sine spørsmål og være i stand til å sette de voksnes hensikter til side være innstilt på å involvere lærere, foreldre og andre relevante voksne dersom det blir nødvendig lage aktiviteter som er morsomme og varierte slik at barn i alle aldre blir motivert til å delta frivillig gi tilbakemelding til barna om dialogens sluttresultat og verdien av at barna deltok Clark, McQuail og Moss beskriver også flere teknikker i forskningsrapporten sin: observasjon, intervjuer, strukturerte aktiviteter og multisensorisk tilnærming. Nedenfor ser vi nærmere på disse teknikkene Observasjon Observasjon er ingen nøytral evalueringsteknikk, men kan være med på å trekke viktige elementer inn i en større evalueringsprosess. Observasjon som evalueringsteknikk handler om å se, tolke og forstå. Det å observere barns atferd under en kunstopplevelse kan gi oss innsikt i hvordan vi kan forbedre kommunikasjonen, formidlingen og produksjonen av kunsttilbud i DKS. En systematisk tilnærming er nødvendig for å få mest mulig ut av våre observasjoner. Prosessen bør deles inn i flere deler: observasjon, beskrivelse, analyse og tolkning. Det er nyttig å definere noen sentrale spørsmål før vi begynner å observere. Hvilken informasjon ønsker vi å samle inn ved å bruke observasjon? Hva skal vi se etter? Hvordan? Hvorfor? Hvordan kan vi bekrefte vårt inntrykk fra observasjonen? Hvordan skal vi bruke den informasjonen vi samler inn? Hvilke andre evalueringsstrategier kan vi bruke parallelt? Mens vi observerer bør vi se etter mønstre som dukker opp over tid. ABC- modellen (antecedent- behavior- consequence) er ofte brukt for å knytte det man observerer, til analyse og tolkning. Modellen går ut på å observere og dokumentere atferd, men også dokumentere hva som skjedde like før og like etter den observerte atferden. På den måten kan man bedre få øye på det som utløser, belønner eller motiverer atferden. Det mest problematiske med observasjon som evalueringsverktøy er at det krever tolkning, og forskjellige fagfolk fokuserer på forskjellige tegn i en elevmasse. Noen ser etter fysisk atferd, mens andre er mer opptatt av det sosiale eller atferd som avviker fra forventede normer. Derfor er de mest nyttige observasjonene de obervasjonene som er gjort av flere personer fra forskjellige fagfelt, og som har blitt oppsummert gjennom en dialog i etterkant. En evalueringsdialog med for eksempel både en kunstner, en lærer, en sosiolog og en atferdspsykolog legger for dagen mange forskjellige synspunkter, men gir også en mer helhetlig forståelse av elevene enn observasjoner fra kun én person Observasjon av engasjement Laevers (1994) har utviklet en skala for å gradere barns engasjement (Leuven Involvement Scale for Young Children) som kan brukes til å strukturere og styre observasjonene våre. Skalaen er todelt og består av en oversikt over tegn på engasjement og en femtrinns skala. 44

46 Engasjement er en karakteristikk av menneskelig aktivitet: Engasjement kan gjenkjennes ved barnets konsentrasjon og utholdenhet. Engasjement viser seg i barnets motivasjon, nysgjerrighet, åpenhet til stimuli og intensitet (med hensyn til både den fysiske opplevelsen og den kongnitive utfordringen) og en dyp tilfredstillelse som skaper en sterk framdrift. Engasjement blir formet av barnets utforskertrang og dets individuelle utviklingsbehov. Det finnes bevis som antyder at utvikling skjer hos barn som et resultat av engasjement. (Laevers, 1993) Engasjement er en måleenhet for kvalitet som kan brukes i en uendelig rekke av situasjoner, og noe som kan observeres hos mennesker i alle aldre. Graden av konsentrasjon og respons til stimuli kan bli kartlagt og kvantifisert (Bower, 1974). Et engasjert barn klarer å mobilisere en enorm konsentrasjon om den aktuelle aktiviteten, ønsker å gjenta eller fortsette aktiviteten, kan holde på med aktiviteten over lengre tid og blir sjelden distrahert. En av de mest framtredende karakteristikkene av engasjement er motivasjon. Et engasjert barn er fascinert og oppslukt av aktiviteten, og tiden opphører for dette barnet. Et engasjert barn er ekstremt våkent og følsomt overfor relevante stimuli, bruker mye energi og opplever en herlig følelse av tilfredstillelse. Kilden til denne tilfredstillelsen er en medfødt trang hos barnet til å tilegne seg en bedre forståelse av virkeligheten. Engasjement skiller seg fra andre intense opplevelser som er følelsesmessig motivert (følelsesutbrudd, fysiske uttrykk for frustrasjon, trass og så videre). Engasjement oppstår i grenselandet mellom barnas mestring og nye (men tilgjengelige) utfordringer. Engasjement oppnås ikke når aktiviteten er for lett, og heller ikke når aktiviteten er for krevende. Slik sett befinner engasjement seg i barnets vekstsone, eller i «Zone of Proximal Development» (Vygotsky, 1962). Det finnes bevis for at et barn som er engasjert, tilegner seg en dyp, motiverende, intens og langvarig læringsopplevelse (Csikszentmihayli, 1979; Laevers, 1994). Laevers tegn på engasjement hos barn: Konsentrasjon: Barnets oppmerksomhet er rettet mot aktiviteten. Ingenting kan forstyre barnets konsentrasjon. Energi: Barnet investerer egeninnsats i aktiviteten, er ivrig og stimulert. Slik energi kommer ofte til uttrykk gjennom trang til fysisk involvering, høye muntlige kommentarer eller ansiktsuttrykk. Kompleksitet og kreativitet: Dette tegnet viser seg når et barn anstrenger sine kognitive ferdigheter og andre ferdigheter på en måte som overstiger normal atferd. I den aktuelle situasjonen yter barnet maksimalt det er på sitt «beste». Kreativitet medfører imidlertid ikke at det som blir skapt i situasjonen, nødvendigvis må være et originalt produkt, det betyr heller at barnets individualitet og oppfinnsomhet preger responsen, innlevelsen og barnets eget bidrag. Ansiktsuttrykk og kroppsholdning: Non- verbale tegn er ekstremt viktige når man skal vurdere engasjement. Vi kan skille mellom «tomme blikk» og intens konsentrasjon. Kroppsholdningen kan signalisere kjedsomhet eller eksepsjonell tilstedeværelse. Til og med når barn observeres fra bakerst i en konsertsal, kan barnas kroppsholdning fortelle oss noe. Utholdenhet: Utholdenhet er lengden på konsentrasjonen under aktiviteten. Barn som er virkelig engasjerte, gir ikke slipp på opplevelsen med det første. De ønsker å fortsette å føle den tilfredstillelsen opplevelsens intensitet har å by på, og de er beredt på å gjøre en innsats for å forlenge opplevelsen. Det er dessuten vanskelig å avlede disse barna eller forstyre dem med andre aktiviteter. Dette engasjementet kan forlenges, avhengig av barnets alder og utviklingsstadium. 45

47 Nøyaktighet: Engasjerte barn viser spesiell omhu for sitt eget bidrag og er opptatt av detaljer. Ikke- engasjerte barn bryr seg mindre om detaljer og nøyaktighet. Reaksjonstid: Engasjerte barn er oppmerksomme, og de reagerer raskt på ny stimuli som kommer inn i aktiviteten. Det dreier seg da om noe mer enn en umiddelbar begeistring. Begeistringen varer over tid og øker i takt med engasjementet. Språk: Barn kan vise at en aktivitet har vært viktig eller meningsfull gjennom den måten de snakker om den på (for eksempel at de ber om å få gjenta aktiviteten). Tilfredshet: Barn viser en følelse av tilfredshet med det de har oppnådd eller fått lov til å være med på. Vi må imidlertid understreke at dette er tegn på engasjement, men ikke en gradert skala. Vi kan ta utgangspunkt i disse når vi ønsker å observerbare tegn og å gjøre oss opp en generell oppfatning av barns engasjement. Forskjellige barn kan vise disse tegnene på forskjellige måter. Barn må observeres individuelt, slik at vi kan gjenkjenne og tolke det aktuelle barnets tegn. Leuven engasjementsskala Nivå 1 lav aktivitet: Aktivitet på dette nivået kan være enkel, stereotypisk, gjentakende og passiv. Barnet er fraværende og viser ingen energi. Det er ingen kognitive krav eller utfordringer til stede. Barnet kan være uttrykksløst med tomt blikk (men dette kan også være et tegn på at det foregår en aktiv intern dialog). Nivå 2 aktivitet med hyppige avbrudd: Barnet er engasjert i aktiviteten, men under halvparten av observasjonsperioden viser det mangel på engasjement og konsentrasjon. Det kan finne sted hyppige forstyrrelser av barnets konsentrasjon, og forskjellige faktorer som konkurrerer om barnets oppmerksomhet, klarer å trekke barnet ut av aktiviteten. Aktiviteten er ikke tilstrekkelig motiverende til å trekke barnet tilbake til aktiviteten igjen. Nivå 3 hovedsakelig kontinuerlig aktivitet: Barnet er opptatt av aktiviteten, men på et rutinemessig plan, og tegn på engasjement er fraværende. Barnets oppmerksomhet kan lett avledes. Nivå 4 kontinuerlig aktivitet med intense øyeblikk: Barnets aktivitet får en særskilt mening og er fengende (selv om engasjementet varierer i styrke). Aktiviteten blir gjenopptatt etter avbrudd som følge av forstyrelser. Stimuli i form av ytre faktorer som konkurrerer om barnets oppmerksomhet, klarer ikke å avlede barnets oppmerksomhet. Nivå 5 vedvarende intens aktivitet: Barnet viser kontinuerlig og intens innlevelse. Mange tegn på engasjement er til stede (for eksempel konsentrasjon, kreativitet, energi og utholdenhet). Gjennom hele observasjonsperioden viser barnet en sammenhengende intensitet Intervjuer og dialogteknikker Individuelle intervjuer er en mye brukt evalueringsform overfor eldre barn. Det er viktig å være klar over formens begrensninger. Utforming av spørsmål er viktig i en slik intervjusituasjon for å unngå at det blir stilte ledende spørsmål, eller at en retning eller konklusjon antydes av utspørreren. Mange barn er vant til at voksne forventer at de skal komme med et «riktig» svar, og dette kan påvirke utspørringer i skolemiljøer. Slike forventninger kan føre til at barn prøver å gjette seg fram til hva de voksne er ut etter, framfor å komme med egne synspunkter og meninger. Ungdom har i utgangspunktet en tendens til å være mer negativt innstilt (adolescent negativity bias) enn barn (Merrick og Hatim, 2007). Dette kan være et element det må tas hensyn til i evalueringen. Gruppeintervjuer er ofte et godt alternativ til individuelle intervjuer. I slike intervjuer legges det mindre press på det enkelte barn, og det oppfordres til samtale og kommentater. 46

48 Størrelsen på og sammensetningen av gruppen er viktig for å få til en god diskusjon. Fra og med ti elleve- årsalderen, der sosiale hierarkier får en fastere og mer forpliktende form, kan barnas forventninger til hverandre og egen rolleforståelse påvirke omfanget av og kvaliteten på dialogen (Brown, Bradford, Clasen og Eicher, 1986). Lewis skriver at gruppediskusjoner og intervjuer gir besvarelser med stor bredde og dybde, barn som føler seg relativt frie til å uttrykke seg, og økt gyldighet siden man gjennom slike diskusjoner får fram mange forskjellige synspunkter på saken (Lewis, 1992). Barn- til- barn- intervjuer kan være hensiktsmessige i noen sammenhenger. De voksne går da i stor grad inn i en observatørrolle. Dette kan ta bort noen av ulempene med at voksne snakker med barn i en skolesetting. Slike intervjuer gjør også noe med ordforrådet og dialogsdynamikken til barna. Spørreskjemaer er tilsynelatende enkle å utforme og bruke, men gir lite data dersom ikke de er nøye utformet og gjennomført (se eget avsnitt om spørreskjemaer). Spørreskjemaer til barn (og særlig når de blir brukt i skolesammenheng) ligner mistenkelig på en prøve, er avhengig av barnas leseferdigheter og at de forstår et skriftspråk, og er vanskelig å tilrettelegge hvis svargruppen strekker seg over flere alderstrinn. Det har blitt gjort forsøk der barn tegner «emojier» for å beskrive reaksjonene sine. Selv om slike tegninger sier oss noe om barnas reaksjoner, forteller de oss lite om årsaken til at barna gir den responsen de gjør, og gir derfor lite informasjon vi kan bruke videre Strukturerte aktiviteter Strukturerte aktiviteter har blitt utviklet for å innhente synspunkter fra de aller yngste. Rollespill, dukker og fortellinger hvor barn bidrar med innhold, er noen av de teknikkene som har blitt brukt. Aktiviteter hvor barn velger blant flere bilder, figurer eller tegninger for så å ordne dem i en foretrukket rekkefølge for å vise prioriteringer/preferanser, er også en mye brukt teknikk (O Kane, 2008). Tegneaktiviteter har blitt brukt på en systematisk måte i prosjekter om scenekunstevaluering (Reason, 2010) og musikklytting (Dunn, 1997, 2000, 2002). Tegneaktivitetene går ikke ut på at de voksne skal tolke barnas tegninger, men danner et konkret utgangspunkt for barn for å beskrive og diskutere deres egne opplevelser. Teknikker som dem vi har nevnt her, har også den fordelen at de bidrar til at barn deler erfaringer og opplevelsesstrategier, og dermed til å skape nye kompetanser og tilnærmingsmåter Multisensorisk tilnærming Mosiac Approach Clark og Moss (2001, 2005) har utviklet en metode de har kalt mosaisk tilnærming («Mosaic Approach»). Denne går ut på å bruke flere tilnærmingsteknikker for bedre å kunne danne et helhetsbilde. Denne multimetodiske tilnærmingen tar sikte på å gi barn flere måter å kommunisere og uttrykke seg på slik at de bedre kan utnytte sine individuelle styrker. Dette innebærer at skriftlige tilbakemeldinger blir erstattet av andre aktiviteter som gir barn bedre mulighet til å formidle kunnskapene og erfaringene sine. Observasjons- og intervjuteknikker kombineres med visuelle metoder der barn bidrar aktivt: fotografi, lydopptak, «scrapbook», turer, tegning av kart, video og så videre. Alle disse forskjellige innslagene blir satt sammen (som fliser i en mosaikk) til en fellesbeskrivelse som danner et større og mer detaljert bilde. Clark og Moss (2001) presenterer en ramme for det å lytte til barns synspunkter, og anbefaler en mosaisk tilnærming spesielt for undersøkelser som involverer yngre barn. Deres ramme er multimetodisk erkjenner barns forskjellige måter å uttrykke seg på deltakende behandler barn som eksperter i eget liv reflekterende inkluderer barn, lærere, fagpersoner og foreldre i refleksjoner om mening/betydning og løfter fram spørsmål rundt tolkning av responsene tilpasningsdyktig kan brukes i et mangfold av situasjoner og sammenhenger 47

49 konsentrert om barns livsverden ser barnas liv heller enn hva de har lært, eller andre elementer forankret i praksis utgjør en ramme for lytting som kan brukes som evalueringsverktøy og blir en del av hverdagen, en praktisk nærhet til barnas hverdag Innenfor denne rammen anbefaler Clark og Moss en to- trinns mosaisk tilnærming: Trinn 1: Barn og voksne samler dokumentasjon. Fagpersoner og foreldre reflekterer over hvordan de tolker dokumentasjonen. Trinn 2: De voksne sammenfatter informasjon for dialog, refleksjon og tolkning. Fagpersoner og foreldre lytter til barnas egne perspektiver og reflekterer på eventuell avstand mellom deres tidligere tolkning av dokumentasjonen og barnas egenopplevelse som beskrevet i dialog med dem. Pascal og Bertram (2009) har oppsummert sitt omfattende arbeid om lytting til og dialog med barn og kommet fram til følgende konklusjon: «Vi har funnet at det ikke er noen enkel tilnærming eller metode som fungerer.» Clark, McQuail og Moss (2003) mener at mosaikk- metaforen er nyttig med hensyn til å klargjøre behovet for mangfoldige og varierte muligheter for dialog. Barn trenger mange forskjellige arenaer for dialog og redskap for å kunne uttrykke seg. De voksne må lytte med alle sine sanser til det som blir sagt, og de må reflektere grundig over hva det barna sier, betyr. Barns mangfold av uttrykk utgjør både utfordringen og gleden i dialog lytte- prosessen. Det er flere elementer som har blitt avdekket i forbindelse med utforskning og utvikling av symmetrisk dialog, blant andre behovet for mer kunnskap om konteksten for lytting behovet for å se hvordan vi kan støtte og variere de mellommenneskelige og interne egenskapene i en dialogprosess nødvendigheten av å ha mot nok til å omfordele makten slik at barn får et bevisst forhold til sin egen styrke og styringsrett betydningen av at de voksne står imot trangen til å styre og kontrollere hva som blir sagt, og hvordan det kommer til uttrykk behovet for å finne ut hvordan vi dokumenterer det som blir sagt på en autentisk, respektfull og nøyaktig måte behovet for å finne ut hvordan vi best kan tolke og analyserer barns innspill behovet for å finne ut hvordan metodisk tilnærming og programdesign er bevisst valgt ut fra etikk, politikk og kontekst (lokalt, nasjonalt og internasjonalt) behovet for profesjonell handling med sterk vektlegging av målrettet atferd (praxeological intent) teori, handling, dokumentasjon, refleksjon og etikk Pascal og Bertram (2009) har funnet ut at god dialog med barn krever at man tar i bruk et mangfold av teknikker og tilnærmingsmåter. Å gjøre det er krevende og ambisiøst, men på ingen måte umulig. Pascal og Bertrams forskning har identifisert flere teknikker som kan være gunstige i det videre arbeidet med inkluderende dialog: diskusjoner med utgangspunkt i objekter, tegning, bruk av fotografier og video, «lytteposter», hviskegrupper, dramatisk lek, barn som guide i egen hverdag, og så videre. De konkluderer med at teknikker som blikkontakt, mellommenneskelige signaler, aktiv lytting, tempo og timing, arena og fysisk kontekst, og barns mange «språk» må utvikles videre Ønskekvistmodellen som struktur for dialog med barn og unge Rikskonsertenes programråd har gjennomført forsøk hvor de har brukt en intervjuveiledning bygd opp etter ønskekvistmodellen. Det gjør det mulig å sammenligne innspill fra referansegrupper av elever mer direkte med programrådets egne vurderinger. I den forbindelse har Merete Solli og Catherine Jacobsen hos Rikskonsertene utviklet en kort, praktisk veiledning til intervjuforberedelser og en intervjuguide. Rammen for intervjuet: 48

50 Avtale: Lag alltid en avtale med læreren i forkant. Sett av en tilmålt tid (for eksempel 20 minutter) og et sted å være. Hvem: Det er fint hvis læreren på forhånd har plukket ut et representativt utvalg av elever. Be om en variert eller tilfeldig sammensatt gruppe slik at skolen ikke stiller med sine kulturverter eller en gruppe av de flinkeste og mest pliktoppfyllende elevene. Deltakerne bør representere et tverrsnitt av elevmassen. Det bør også presiseres om man ønsker å snakke med elever fra samme trinn eller elever fra forskjellige aldersgrupper. Gruppestørrelse: Erfarings viser at er tre til fem personer en god gruppestørrelse for dialog. Blir det for mange elever i gruppen, er det alltid noen som ikke slipper til. Blir det for få elever, kan enkelte elever føle seg ubekvemme med situasjonen. Større grupper har en naturlig dragning mot enighet, og skolens egne sosiale hierarkier har lett for å gjøre seg gjeldende. Mindre grupper gjør det lettere å se individet, og man får ofte mer varierte og personlige innspill. Når: Det kan være lurt å gjennomføre intervjuene ganske tett opptil kunstopplevelsen, mens elevene fortsatt har opplevelsen friskt i minne. Ikke bruk av elevenes spisetid til å gjennomføre intervjuet, og legg heller ikke opp til at elevene må sitte igjen etter skoletid, eller lignende da har elevene lett for å oppfatte prosessen som påtvunget, og de blir følgelig mindre motiverte til å bruke tid på intervjuet. Hvor: Bruk helst et sted på skolen hvor dialog kan foregå i fred og ro, og hvor elevene er i «skolemodus», og ikke i «friminuttmodus» (som de vil være i for eksempel skolegården eller kantina). Lengde: Intervjuet må ikke være for langt og heller ikke for kort. Lengden på intervjuet avhenger av hva man skal spørre om, og hvor mange elever som skal delta. En halvtime er kanskje maks, og ti minutter er kanskje i korteste laget. Hvordan spørsmålene stilles: Journalistisk tilnærming: Ikke bruk ja/nei- spørsmål, og husk å stille oppfølgingsspørsmål, få elevene til å beskrive, forklare hvorfor og utdype. Pedagogisk tilnærming: Få elevene til å føle seg trygge, småprat litt først, gi en ordentlig presentasjon av hvem du er, og hvorfor du er der. Bli kjent med elevene. Gjør dem trygge på at de kan si hva de egentlig mener, og at de ikke måtte «skryte» eller svare på en måte som gjør at de bli oppfattet som «flinke». Unngå ledende spørsmål og spørsmål som er rettet mot overfladiske verdier («Likte du konserten?»). Still gjerne åpne spørsmål som gir grunnlag for dybdediskusjon og personlige synspunkter. Dialogskjema for utspørring av elever Denne typen skjema kan brukes i utspørringen av elevene: «Villen» Var musikerne interessert i å treffe dere som publikum? Fikk du følelsen av at musikerne spilte for dere eller for seg selv? (formidlingsvilje/engasjement) «Kunnen» Var musikerne flinke til å spille? (musikalske ferdigheter) (Merk: Dette er vanskelig for elever, uansett alder, å vurdere.) Følte dere at dere ble litt kjent med musikerne i løpet av konserten? (formidlingsferdigheter, relasjonsbygging) «Skullen» Hva var poenget med konserten? Tror du konserten handlet om noe? (tematisk relevans) Hvorfor var dette en konsert for akkurat deg? Synes du konserten passet for deg og dine venner? (personlig relevans) 49

51 Oppsummering av aksene (Eks. «Dere har tegnet et bilde av en konsert med gode musikere som ikke nådde helt fram med et annerledes program. Stemmer det?») (NB: Det er også fullt mulig å gå direkte til en helhetsdialog uten å definere aksene villen, kunnen og skullen.) Helhetsdialogen Hva synes du var best med konserten? (begynn diskusjon ut ifra programmets styrke) Var det noe i konserten du husker spesielt godt? (sterkeste inntrykk) Har du hørt sånn musikk før? (uttrykksmessig avstand) Hvis du husker det: Kan du beskrive hvordan konserten begynte? (inntrykk) Hva skjedde underveis? (oppfatning av konsertens form og framdrift) Hvordan sluttet konserten? (oppfatning av konsertens form) Var det noe i konserten du ikke likte så godt? (oppfatning av svakheter) Hvis det var elevinvolvering i konserten: Hva synes du om at du/dere skulle delta (klappe med, synge med, osv.)? (oppfatning av medvirkning eller grad av involvering) Forslag til endringer Hvis du kunne forandre på noe med konserten, hva ville du gjort om på da? Hvorfor? Hvordan? Hvordan hadde konserten blitt annerledes da? (forslag til justering) Sluttvurdering Vil du anbefale konserten for andre skoler? I et slikt intervju / en slik dialog er det også i stor grad rom for å bruke Visible Thinking- teknikker som «slik tenkte jeg før, slik tenker jeg nå». Det er viktig at en oppsummering av en slik dialogprosess deles med skolen, utøverne og produsenten Vurdering av forskjellige utspørringsteknikker Alle måter å hente inn informasjon fra interessentene på har sine begrensninger. Det er viktig å velge evalueringsteknikk ut ifra hvilken teknikk som er best til å undersøke den enkelte problemstilling. Spørreskjemaevaluering, intervjuer og referansegrupper har alle sine fordeler og ulemper. Det gjelder å være klar over hvilken teknikk som er best egnet for en gitt situasjon. Spørreskjemaevaluering +/- Pluss Spørreskjemaer er en rimelig og lettvint måte å samle inn data fra et stort antall respondenter på. Spørreskjemaer er relativt enkle å administrere. Spørreskjemaer gir kvantitative data som kan analyseres med statistiske metoder. Gitt en helhetlig respons fra et representativt utvalg kan resultatene generaliseres til et større Minus Respondentene kan bare svare på det de blir spurt om. Spørsmålene må utformes med omhu for å unngå å «lede» besvarelsene og skape forutinntatthet i resultatene. Spørreskjemaer kan la være å hente inn viktig eller nyttige informasjon fordi det ikke passer inn i formatet. En god analyse forutsetter en viss fortrolighet med statistisk metode. Data, analyse, tolkning og oppsummering må kunne presenteres på en måte som er lett 50

52 publikum Intervjuer +/- Pluss Intervjuer er bra når det gjelder å samle inn dybdeinformasjon om hva folk tenker, føler og opplever. De skaper et kvalitativt omfang av data som spørreskjemaer ikke kan levere. I motsetning til spørreskjemaer gir intervjuer folk anledning til å snakke om flere sider ved en sak, ikke bare det de blir spurt om. Mange respondenter opplever spørreskjemaer som lite personlige, mens et intervju føles mer som en samtale/dialog. Referansegrupper +/- Pluss Referansegrupper involverer flere mennesker samtidig og tillater flere bidrag enn intervjuer. Referansegrupper kan gi oss en anelse av bredden og variasjonen i hva som blir opplevd. Bruk av referansegrupper er ofte den beste måten for oss å forstå hvordan et publikum kan oppleve samme forestillingen på vidt forskjellige måter. I likhet med intervjuer føles referansegrupper mer «naturlig» enn spørreskjemaer. Det kollektive ved en referansegruppe gjør at gruppen ofte utvikler synspunkter som ingen enkeltdeltakere hadde kommet på alene. forståelig for allmennheten. Forenkling kan føre til feiltolkning. Minus Én- til- én- intervjuer krever tid, ressurser og arbeid med hensyn til gjennomføring og analysering. Data fra et intervju er vanskelige å kvantifisere. Resultatet har lett for å bli en oppramsing av sitater istedenfor en konklusjon. Intervjuer omfatter ikke hele publikum og kan sjelden generaliseres til en større gruppe. Intervjuer gir innsikt, men ikke oversikt. Minus Fordi referansegrupper er basert på dialog, er det en mulighet for at enkelte deltakere kan dominere dialogen eller styre samtalen i andre retninger. Gruppedialoger er vanskeligere å styre enn én- til- én intervjuer. En kompetent dialogleder er påkrevd. Referater fra referansegrupper er vanskelige å formulere og skrive. Det er utfordrende å dokumentere arbeidet og også å finne en beskrivende måte å presentere funnene på Barns egenvurdering av kunstopplevelsen Barn har et begrenset erfaringsgrunnlag og ordforråd for å beskrive egne kunstopplevelser i dybden. Derfor stopper mange utspørringer opp på et overfladisk nivå. Noe av hensikten med å ha en ordning som DKS er å gi varierte kunstopplevelser til alle barn. Vi bør også utvikle utspørringsprosesser som er med på å gi barn flere måter for å sette ord på det de opplever og føler i møtet med kunst. Kate Hevner (1936) var tidlig ute med å danne grupper av adjektiver som kunne hjelpe barn til å orientere seg i et beskrivende landskap. Hun oppdaget at selv om barn sjelden klarte å komme på beskrivende ord, var de i stand til å kjenne igjen ord fra en oversikt over grovkarakteristikker og underlister med mer nyanserte karakteristikker. Hevners adjektivsirkel har siden blitt videreutviklet, men prinsippet hennes er fortsatt et viktig utgangspunkt for dialog med barn om temaer de ikke klarer å beskrive uten videre. 51

53 I et feltarbeid om barn og lytting som ble gjennomført for Rikskonsertene (Ruud, 2014), ble en tilpasset adjektivsirkel brukt til å kartlegge publikums opplevelse av stemningen i forskjellige musikkstykker (Kristian Andaur hos Kulturtanken har utformet/designet sirkelen). En grafisk framstilling av denne kartleggingen gir oss et interessant innblikk i publikums assosiasjoner. Ved å gjennomføre den samme utspørringen på flere alderstrinn kan vi også kartlegge barns modning med hensyn til lytteopplevelser. Adjektivsirkelen er et verktøy som gir oss mulighet til å se på publikums følelsesmessige reaksjoner og samtidig gi barn et mer nyansert språk for å beskrive framtidige opplevelser med kunst. 52

54 (Illustrasjon Anne Lene Ruud, 2014) 11.7 Kunstopplevelsens emosjonelle innhold I en undersøkelse av 200 bedrifter fant man at 84 prosent av bedriftene måler kundetilfredshet, men kun 10 prosent av de som gjør det, benytter en helhetlig målemetode som omfatter kundenes emosjoner (Brandt, 2012). DKS er opptatt av følelsesmessige effekter som kunst har på barn. Er også våre evalueringer slik at de unngår sakens kjerne den emosjonelle responsen på kunsten? Musikk kan frambringe tydelige følelser hos lytteren, og nettopp det gjør utfordrende å evaluere musikkopplevelser. Følelser, eller det å bli beveget av et kunstverk, er en av de kunstneriske kvalitetene vi er mest opptatt av. Samtidig er det problematisk å evaluere den emosjonelle responsen på kunst fordi slik respons er vanskelig å kvantifisere. Følgelig unngår vi ofte å forholde oss til kunstens emosjonelle innhold og evaluerer kun de elementene som er lettest å kvantifisere. Hva er hovedmålet vårt med å produsere kunstopplevelser for barn? De fleste er enige om at vi har et mål om å berøre. Vi ønsker å skape følelser og åpne dører til kunstens uendelig univers, men hvordan vet vi om vi lykkes? Når det å berøre med kunstopplevelser er et av våre viktigste mål, må vi finne systematiske måter for å vurdere og diskutere kunstens emosjonelle innhold. Musikkopplevelser står til en viss grad i en særstilling når det gjelder denne typen problematikk. Det er enkelt å kartlegge om barn har forstått budskapet i et teaterstykke eller hva en bok handler om. Innlevelse i en fiksjon eller personlig identifisering med rollefigurer er noe barn kan gi uttrykk for muntlig, men musikk (og særlig instrumentalmusikk), abstrakt visuell kunst og abstrakt dans skaper opplevelser som barn vanskelig kan sette ord på, noe som gjør det vanskelig for oss å få innsikt i barns emosjonelle respons. Lytting er et fokusområde i grunnskolens læreplan for musikkfag (sammen med komposisjon og musisering). Tradisjonelt har man i undervisningen hatt en pragmatisk tilnærming til lytting som fag. 53

55 Elevene har lært å lytte etter kontrast, repetisjon og variasjon i musikk som en inngang til musikkteori og formforståelse. Lytting har i svært liten grad vært en aktivitet med egenverdi som har skullet skje på emosjonelle premisser. Emosjonell lytting har i det siste fått stadig større oppmerksomhet fra forskningsmiljøer innen musikkpsykologi. Noen av de fremste forskerne innenfor feltet (som John Svoboda, Patrik Juslin og Toumas Eerola) har forsøkt å kartlegge forløpet i vår emosjonelle respons til musikk. Patrik Juslin fra Universitet i Uppsala, Sverige, har utviklet en åttepunktsmodell vi kan bruke for å diskutere menneskenes følelsesmessige respons på musikk. Juslin forkorter de åtte punktene i sin modell til et akronym: BRECVEMA. Det er relevant for våre vurderinger av elevenes emosjonelle opplevelse av en skolekonsert å se på disse punktene som observerbar atferd hos vårt publikum. 1. Brain stem reflex: Lyd og dynamikk fanger oppmerksomhet. Brain stem reflex er det laveste nivået av følelsesmessig engasjement i forbindelse med musikk. Hodebevegelser indikerer at barna er oppmerksomme på lydstimuli. Dynamikk, klangvariasjon og andre kontraster fornyer oppmerksomheten. Dette er en atferd som er lett å kartlegge under konsertbesøk. Er alle oppmerksomme på lydkilden? Er det hodebevegelser blant publikum som antyder at oppmerksomheten trekkes vekk fra musikken? Finnes det andre lydkilder i rommet som konkurrerer om elevenes oppmerksomhet? 2. Rhythmic entrainment: Kroppen fanger opp rytmen i musikken. Rhytmic entrainment er den fysiske medrivningen som skjer når barna spontant beveger seg i takt med musikken. Det er forskjellige grader av dette alt fra små, rytmiske bevegelser til stormotoriske bevegelser og dansing. Alle skolekonsertprodusenter har opplevd å se småtrinnselever dingle med bena fra stolene under en konsert og lagt merke til når alle bena begynner å bevege seg i takt. Det er også en relativt enkel sak å observere graden og spredningen av medrivning i et skolekonsertpublikum. Når vi ser på medrivning som et musikk- psykologisk fenomen, kan vi verdsette rytmisk bevegelse som oppstår spontant av seg selv, en god del høyere enn klappe- i- takt- aktiviteter som er igangsatt av de voksne. 3. Evaluative conditioning: Kulturell bakgrunn har innflytelse på hva som høres. Emosjonell respons er raskere og sterkere (i både positiv og negativ forstand) når musikken er gjenkjennelig. Oppsøkende konserter skal i all hovedsak handle om nye musikkopplevelser og kan i svært liten grad søke å møte kulturell bakgrunn og personlige musikkpreferanser (noe derimot offentlige konserter som markedsfører seg overfor en demografisk gruppe, i større grad kan gjøre). En konsert med folkemusikk fra Pakistan møter ett skolepublikum i Oslo øst og et annet i Vågå. Skolekonsertopplevelsen er ikke ensartet. Selv om musikerne er de samme og musikken er lik fra dag til dag, møter konserten nye publikum, oppvekstmiljøer og kulturreferanser overalt hvor steder de kommer. Når det gjelder evaluering av evaluative conditioning, er det mulig å ha en dialog med lærere og elever om hvorvidt konsertens innhold har blitt opplevd som kulturelt fjernt eller kulturelt nært. 4. Contagion: Følelser trigges av musikken. Barna gir uttrykk for og erkjenner følelser som frambringes av musikken. Barn har et lite utviklet språk for å kunne beskrive sine egne musikkopplevelser. Det er også en hindring at så mye av det allmenne musikkonsumet foregår på et overfladisk «liker liker ikke»- nivå. Vi må gi barn tilgang til et mer beskrivende språk. Dialogteknikker og dybdeintervjuer er viktige verktøy for å kartlegge barnas følelsesmessige respons til en kunstopplevelse. 5. Visual imagery: Indre bilder trigges av musikken. Indre bilder er selvfølgelig ikke observerbare, men kan dokumenteres gjennom mapping- aktiviteter (Dunn, 2010). Rob Dunns forskning ved Brigham Young University gikk ut på å la barn tegne musikken 54

56 (ikke tegne om musikken eller tegne noe ledsaget av musikken, men tegne en egen grafisk framstilling av hvordan de oppfattet musikken). Siden barn i barneskolealder hovedsakelig lytter etter én egenskap i musikken om gangen (såkalt one- track listening), er barnas grafiske framstillinger forskjellige (Serafine, 1988). Når barn forklarer sine egne tegninger for hverandre, er de med på å spre sine personlige lyttestrategier. Over tid øker dette lyttekompetansen for alle i gruppen. Ved å se gruppens tegninger under ett kan vi danne oss et bilde av hvilke aspekter ved musikken som har gjort sterkest inntrykk på barna. 6. Episodic memory: Minner trigges av musikken. Episodisk hukommelse er også en respons som ikke er direkte observerbar. Slik respons på musikken kan dokumenteres i dialog med barna etter konserten, men da må vi benytte oss av en dialogmodell som gir oss mulighet til å gjennomføre en dybdediskusjon med barna. Vi kan bruke dialogteknikker til å drøfte dette punktet i BRECVEMA- modellen med barn. 7. Musical expectancy: Dette er en reaksjon på musikkens utvikling og struktur. Musikalsk forventning er noe som ofte kan observeres direkte, særlig når barna er involvert i aktiviteter som går ut på å kunne forutse utviklingen i musikken. Et eksempel her er rytmelek som dreier seg om skiftende taktarter eller betoning. Musikkens evne til å skape forventninger for så å enten innfri eller fornekte disse forventningene, spiller direkte på dette punktet i modellen. 8. Aesthetic judgement: Summen av punktene ovenfor gir en estetisk opplevelse. Estetisk vurdering kan evalueres i dialog i etterkant av konserten og gjennom bruk av emosjonelle kartleggingsverktøy som adjektivsirkler eller andre dialogverktøy. Det er også mulig å bruke en tilrettelagt versjon av ønskekvistmodellen som intervjuguide for å diskutere musikkopplevelsen på en helhetlig måte med barn. Ved å benytte BRECVEMA- modellen tar man i bruk flere evalueringsteknikker og kan derfor oppnå en dypere innsikt i barnas emosjonelle musikkopplevelse. Modellen krever imidlertid stor arbeidsinnsats da den involverer systematisk observasjon og tolkning av atferd, bearbeiding av inntrykk gjennom skapende aktivitet og strukturert dialog. Dette er neppe en modell som egner seg til å evaluere musikkopplevelser i det daglige, den egner seg nok heller til bruk ved enkelte evalueringer som man senere kan generalisere ut ifra. Geneva Emotional Music Scales (GEMS) GEMS er en evalueringsmodell som er laget spesielt for å kartlegge alle de følelsene som blir satt i sving av musikk. Modellen ble utviklet som en del av et mer omfattende forsøk på å forstå sammenhengen mellom musikk og følelser. GEMS- modellen er basert på flere forskningsprosjekter med et stort utvalg av musikk- og lytterdata. Den består av ni kategorier av musikalske følelser. Det er meningen at man ved hjelp av denne domenespesifikke modellen skal bli i stand til å rangere følelser som er frambragt av musikk, på en mer nøyaktig måte enn ved hjelp av mer generelle kartleggingsverktøy som tar utgangspunkt i emosjonsforskning utenfor musikkfeltet. I tillegg har GEMS- forskningen vist at musikkrelaterte følelser aktiviserer spesifikke områder i hjernen. Som et ledd i forskningsprosjektet ble det utviklet ulike verktøy for å beskrive og rangere emosjonelle responser på musikk. GEMS har 9 slike verktøy med 45 katagorier, som blir hyppig brukt i forskning om musikk og emosjoner. Det har også blitt utviklet noen kortere versjoner av modellen (GEMS- 25 og GEMS- 9). Zentner, Grandjean og Scherers opprinnelige artikkel om denne forskningen, «Emotion», er den mest siterte artikkelen mellom 2008 og 2013 i American Psychological Association Journal Visible Thinking 55

57 Visible Thinking er en god metode elever kan bruke ved bearbeiding av kunst- og kulturopplevelser. Metoden er et resultat av Harvard- universitetets arbeid med «Project Zero». Metoden brukes for å bevisstgjøre lærere og elever om tenkning, tanker og tankeprosesser, og har blitt brukt innenfor kunst- og kulturområdet ved bearbeidelse av kunstopplevelser, men også innenfor mange andre fagområder som en vei inn i dybdelæring. Metoden ble første gang tatt i bruk i hos Traverse City Area Public Schools (grunnskolen). Siden den gang har den blitt brukt av både skoler og kunstinstitusjoner i både USA og Europa. Visible thinking retter oppmerksomheten mot evnen til å tenke, gjenkjenne forskjellige synspunkter i en sak eller gjøre møysommelige observasjoner, og dessuten mot motivasjonen til å ta i bruk tankestrategier. Perkins og Tishman (2001) har definert tre faktorer ved tenkende atferd: sensitivitet, tilbøyelighet og evne. Prosjektets arbeid med kunstopplevelser gikk under tittelen «Artful Thinking». Seks tankedisposisjoner ble ansett for å være spesielt nyttige i forbindelse med utforskning av kunstverk, kunstopplevelser og andre komplekse temaer i læreplanen: argumentasjon, utforskning av synspunkter, oppdagelse av kompleksitet, sammenligning og sammenkobling, spørsmål og undersøkelse, observasjon og beskrivelse. Disse seks disposisjonene blir ofte omtalt som «Artful Thinking Palette» fordi de arrangeres som farger på en malers palett der alle fargene kan blandes med hverandre etter behov. Disse disposisjonene alle representerer intellektuell atferd som er spesielt godt egnet i forbindelse med utforskning og verdsetting av kunstopplevelser. De er også nyttige når man skal prøve å forstå andre fagområder. Alle disposisjonene er selvforsterkende og koblet sammen med hverandre. En metodikk som tar i bruk flere av eller alle disse disposisjonene, kan oppnå synergieffekter. En av de mest utbredte Visible Thinking- teknikkene er «se tenke undre». Denne teknikken består av tre diskusjonsspørsmål: Hva har du sett? Hva tenker du om det? Hva lurer du på? Teknikken kobler sammen to av tankedisposisjonene: observasjon og beskrivelse og spørsmål og undersøkelse. En annen enkel (og beslektet) tilnærming er teknikken «slik tenkte jeg før, slik tenker jeg nå». Denne går ut på at elevene tenker tilbake på de forventningene, holdningene og tankene de hadde i forkant av kunstopplevelsen, og sammenligner disse direkte med hvordan de tenker i etterkant av 56