SINTEF RAPPORT TITTEL SINTEF Teknologiledelse IFIM Postadresse: 7465 Trondheim Besøksadresse: S P Andersens veg 5 Telefon: 73 59 25 59 Telefaks: 73 59 25 70 Foretaksregisteret: NO 948 007 029 MVA UNDERVEIS? Sluttrapport fra evalueringen av prosjektet Alternative vurderings- og prøveformer i fagopplæringen FORFATTER(E) Vidar Havn og Trond Buland OPPDRAGSGIVER(E) Læringssenteret RAPPORTNR. GRADERING OPPDRAGSGIVERS REF. STF38 A03511 Åpen Tor-Åge Brekkvassmo GRADER. DENNE SIDE ISBN PROSJEKTNR. ANTALL SIDER OG BILAG Åpen 82-14-03010-2 385173 134 ELEKTRONISK ARKIVKODE PROSJEKTLEDER (NAVN, SIGN.) VERIFISERT AV (NAVN, SIGN.) S:\3850\385173\sluttrapport Vidar Havn (sign) ARKIVKODE DATO GODKJENT AV (NAVN, STILLING, SIGN.) 2003-10-27 Torunn Lauvdal, forskningssjef (sign) SAMMENDRAG Rapporten presenterer resultatene fra sluttevalueringen av prosjektet Alternative vurderings- og prøveformer i fagopplæringen, og setter i første rekke søkelyset på resultater og resultatoppnåelse.rapporten bygger på data fra følgestudien under alle de tre årene prosjektet har løpt, i tillegg til nye data innsamlet vår/sommer 2003. Rapporten gir en bred dokumentasjon av erfaringene i prosjektet. Rapporten konkluderer at forsøket med nye vurderings- og prøveformer har resultert i at veiledningen og vurderingen av lærlingene i deltakerbedriftene har blitt mer grundig og systematisk, står faglig sterkere og i mindre grad er påvirket av tilfeldigheter. Mye tyder på at lærlingene som har fulgt prosjektet har oppnådd bedre resultater enn lærlinger som følger tradisjonell modell. En majoritet av deltakerbedriftene har opplevd at deres egne læreprosesser har blitt forbedret, at lærlingens utbytte av læretiden har blitt bedre, og at bedriftens opplæringskompetanse har økt som en følge av prosjektet. Evalueringen konkluderer videre med at erfaringene fra prosjektet også tilsier at en, om enn gradvis, vil kunne oppnå en mer effektiv ressursbruk i fagopplæringen gjennom en omfordeling av ressursbruken fra sluttprøver til læreprosesser. En klar majoritet av lærebedriftene ønsker dessuten å videreføre de nye arbeidsformen; noe som i seg selv er et tegn på at prosjektet har vært en suksess. Evalueringen anbefaler en videre innføring av de nye vurderings- og prøveformene i øvrige lærefag, men understreker samtidig at dette er en omstillingsprosess som vil kreve tid og ressurser, forankring og kompetanseutvikling på ulike nivå i fagopplæringssystemet, dialog og erfaringsutveksling på tvers av bedrifter, lærefag og fylker sammen med medvirkning og fleksibilitet mtp tilpasning av arbeidsformene innenfor ulike typer av lærebedrifter og lærefag. Rapporten anbefaler avslutningsvis at evalueringen følges opp av studier som dokumenterer erfaringer også i den videre prosessen. STIKKORD NORSK ENGELSK GRUPPE 1 Samfunnsvitenskap Social Science GRUPPE 2 Evaluering Evaluation EGENVALGTE Fagopplæring Vocational training
Sluttevaluering - Alternative vurderings- og prøveformer i fagopplæringen i FORORD Prosjektet Alternative vurderings- og prøveformer i fagopplæringen ble initiert av Kirke, utdannings- og forskningsdepartementet (KUF) med oppstart høsten 2000. Prosjektet avsluttes høsten 2003 og har hatt som overordnet mål: å forbedre kvaliteten på fagopplæringen og lærlingens egen læring og å redusere omfanget og ressursbruken i dagens fag - og svenneprøver, ved at en kompenserer for dette gjennom større vekt på vurdering og dokumentasjon underveis i læretida. Prosjektet er gjennomført i 6 fylkeskommuner; Akershus, Nordland, Sør- Trøndelag, Vestfold, Vest-Agder og Rogaland. KUF ønsket å gjennomføre både en løpende evaluering og en sluttevaluering av prosjektet. Dette innebar at evalueringen underveis har bidratt med forskningsbaserte innspill til prosjektet både på nasjonalt nivå og i forhold til aktivitetene i de seks deltakende fylkeskommunene. I tillegg skulle evalueringen si noe om i hvilken grad prosjektets målsettinger er oppnådd, og om årsaker til måloppnåelse, eventuelt manglende måloppnåelse. SINTEF Teknologiledelse IFIM ble engasjert til å ivareta evalueringen av prosjektet. Denne sluttrapporten presenterer de samlede erfaringer fra hele prosjektperioden, med særlig vekt på å drøfte i hvilken grad prosjektet har nådd sine mål Vi vil benytte anledningen til å takke våre informanter på alle nivå, blant lærlingene; i bedriftene, blant opplæringskontor og prøvenemnder, i den regionale prosjektledelsen i fylkene, ved Læringssenteret og andre. Uten at dere hadde stilt opp som våre informanter, svart på våre spørsmål, løpende forsynt evaluatorgruppen med informasjon om prosjektets arbeid og utvikling og gitt konstruktive tilbakemeldinger på vårt arbeid, ville denne evalueringen ikke latt seg gjennomføre. Trondheim, 30. oktober 2003 Vidar Havn og Trond Buland
Sluttevaluering - Alternative vurderings- og prøveformer i fagopplæringen iii INNHOLD 1. Innledning 1 1.1 Bakgrunn - prosjektets problemforståelse 1 1.2 Rapportens innhold 5 1.3 Om følgeforskning og evaluering. 6 1.4 Datakilder og metode 7 2. Tung start eller bare Ting Tar Tid igjen? 11 2.1 emappa 13 2.2 SVENN og behovet for en informasjonsstrategi 14 2.3 Nødvendige avklaringer 16 3. Alternative modeller utvikling og status 19 4. Underveisvurdering den nye vurderingsformen 25 4.1 Intensjonene med underveisvurdering 25 4.1.1 Noen refleksjoner omkring bruk av underveisvurdering og mappemetode 26 4.1.2 Forventninger og motforestillinger til de nye vurderings- og prøveformene 32 4.2 Utforming og tilrettelegging av lærlingenes arbeidsoppgaver 34 4.2.1 Arbeidsoppgaver integrert i produksjonen? 35 4.2.2 Omfang, faglig nivå og faglig progresjon 36 4.2.3 Arbeidskrevende og forstyrrende for den øvrige driften? 38 4.2.4 Medvirkning fra lærling? 39 4.3 Dokumentasjon 40 4.3.1 Former for dokumentasjon 41 4.3.2 Tidsbruk, kvalitet og tilrettelegging 42 4.3.3 Men, noen sliter 45 4.3.4 Dokumentasjon som verktøy for læring? 48 4.4 Veilednings- og vurderingsarbeid 49 4.4.1 Lærlingenes opplevelse av lærebedriftenes veiledning 50 4.4.2 Lærebedriftenes veiledningskompetanse 53 4.4.3 Vurderingskompetanse og vurderingskriterier 54 4.4.4 Behov for skolering og kompetanseutvikling 57 5. Avsluttende vurdering et samarbeid mellom lærebedrift og prøvenemnd 61 5.1 Rolleavklaring mellom lærebedrift og prøvenemnd 62 5.2 Samordning mellom underveisvurdering og sluttvurdering 66 5.3 Prøvenemndene har fortsatt det siste ordet? 70 5.4 Et bredere vurderingsgrunnlag? 73
iv SINTEF Teknologiledelse IFIM 6. Forankring og samarbeid 75 6.1 Samarbeidet i lærebedriftene 75 6.2 Opplæringskontorene samarbeid med lærebedriftene 78 6.3 Prøvenemndene samarbeid med lærebedriftene 82 6.4 Fagopplæringsetatene samarbeid med bedrifter og opplæringskontor 84 6.5 Samarbeid skole lærebedrift 86 7. Resultater måloppnåelse 89 7.1 En kvalitativt bedre fagopplæring? 89 7.2 Dyktigere lærlinger og fagarbeidere? 94 7.3 Konsekvenser for fag- og svennebrevets status? 99 7.4 Endringer i ressursbruk i fagopplæringen? 101 7.4.1 Reduserte prøvekostnader? 101 7.4.2 Økt ressursbruk i lærebedriftene? 104 7.4.3 Oppleves dette som mer effektiv ressursbruk? 106 7.5 Videreføring i bedrifter og fag? 109 8. Prosjekter som verktøy for utvikling - Om nytten av prosjekter 113 9. Konklusjoner og anbefalinger 117 9.1 Et viktig skritt videre 117 9.2 Tre modeller samme konsept 120 9.3 Erfaringene med underveisvurdering 121 9.3.1 Spenning mellom formativ og summativ vurdering? 123 9.4 Måloppnåelse i forhold til hovedmål 125 9.4.1 Kvalitetsheving både på læreprosess og lærlinger 126 9.4.2 Målet om mer effektiv ressursbruk på vei til å bli nådd 126 9.4.3 Videreføring 127 9.5 Anbefalinger 128 10. Litteratur 133
Sluttevaluering - Alternative vurderings- og prøveformer i fagopplæringen 1 1. Innledning 1.1 Bakgrunn - prosjektets problemforståelse Prosjektet "Alternative vurderings- og prøveformer i fagopplæringen" har sin bakgrunn i Reform 94 og de endringer i videregående opplæring som denne reformen innebar. Prosjektets utgangspunkt var på den ene siden et klart ønske om en vurderingsform som bedre speiler lærlingens totalkunnskap. Dette har vært et tema for departementet både før og etter implementeringen av Reform 94: Det var et prinsipp i St.meld. 33 (1991-92) å utvikle et vurderingssystem som i størst mulig grad skulle fange opp hele bredden i kunnskapsbegrepet selv om enkelte sider av den samlede kompetansen var vanskeligere å måle enn andre. 1 Nye læreplaner vektla en mer målstyrt og systematisk opplæring med et bredere kompetansesyn som grunnlag for læring. Det ble fastsatt nye retningslinjer for den praktiske delen av fag- og svenneprøven med det formål at lærebedrifter i større grad skulle prøve ut og vurdere lærlingenes helhetlige kompetanse. Erfaringene etter reformen viste at en ikke hadde kommet særlig langt i retning av å utvikle vurderings- og prøveformer som i tilstrekkelig grad var egnet til å vurdere og dokumentere en slik form for kompetanse. Dermed var en også i begrenset grad i stand til å vurdere om læretiden faktisk ble tilrettelagt og gjennomført på en slik måte at lærlingene fikk de nødvendige utfordringer for å kunne utvikle en slik helhetlig kompetanse; slik noe av intensjonen med reformen var. I tiden etter Reform 94 observerte man altså i departementet at den utviklingen de hadde ønsket og etterspurt med hensyn til fagprøvens form i stor grad uteble. Noen fag foretok mindre forenklinger i sine prøver, men de fleste prøver fikk samme omfang som før: De nye retningslinjene har, slik departementet vurderer det, ikke ført til særlig store endringer. Prøvene er fortsatt omfattende og i liten grad egnet til å vurdere lærlingenes breddekompetanse. Departementet har derfor stimulert til nytenkning på området. Fagprøven er omfattende og ressurskrevende. Avviklingen tar mye tid både for prøvenemndsmedlemmene og lærlingene, og det vil bli vurdert om omfanget av prøvene bør reduseres. 2 1 St.meld. 32(1998-99): Videregående opplæring 2 ibid
2 SINTEF Teknologiledelse IFIM Samtidig stilte Reform 94 fagopplæringssystemet overfor økonomiske utfordringer, knyttet til det økte antallet fag og lærlinger. 3 Den tradisjonelle fagprøven var ressurskrevende, og med sterk økning i antall prøver gikk de samlede kostnadene til dette også sterkt opp. 4 Både departementet og de fylkeskommunale utdanningsmyndighetene så i denne sammenhengen et behov for å finne mer kostnadseffektive løsninger: Det var et mål for departementet å forenkle prøvene noe ved å redusere omfanget og tidsbruken, samtidig som tilliten til fag- og svenneprøven ble opprettholdt. Bakgrunnen for dette var de praktiske og økonomiske forholdene knyttet til at et langt større antall kandidater enn noen gang tidligere skulle fremstille seg til prøven på samme tid. 5 Læringssenteret 6 vurderte med bakgrunn i dette en mer effektiv ressursbruk som ett sentralt suksesskriterium for prosjektet Alternative vurderings- og prøveformer i fagopplæringen. Det ble presisert at reduksjon av kostnader i seg sjøl ikke ble sett som et mål for prosjektet; men å anvende ressursene i fagopplæringen på en annen og etter Læringssenterets mening, mer rasjonell måte.ved å redusere omfanget på den avsluttende fagprøven kunne en bruke de samme ressursene på selve læreprosessen; dvs flytte noe av ressursbruken fra avvikling av sluttprøver til veiledning og instruksjon underveis i læreperioden og gjennom det styrke kvaliteten på selve opplæringen. Prosjektet fikk dermed både et økonomisk og et faglig utgangspunkt. Dette ble utdypet av prosjektledelsen ved Læringssenteret i et intervju med evalueringsgruppen: Departementet begynte å tenke, vi ønsket å ta læreplanene på alvor også når det gjelder lærlingene og deres avsluttende prøve. Man ønsket å se dette mer som slutten på et pedagogisk opplegg i stedet for en ren kunnskapstest. Departementet ønsket en enklere fagprøve, og å bringe læringsforløpet sterkere inn i vurderingen av lærlingen. Målsettingene for oss er å finne alternative vurderings- og prøveformer som skal forbedre fagets kvalitet. Det er veldig viktig at vi greier å bevare statusen på fag- og svennebrevet. Vi skal 3 Mens antallet lærlinger før Reform 94 lå på 4-5000 har dette antallet i perioden 1998-2002 ligget omkring 30 000 lærlinger. Se f eks NOU 2003: 16; I første rekke. Forsterket kvalitet i en grunnopplæring for alle; kapittel 13 4 Økningen i tegning av nye lærekontrakter skjedde dels innen tradisjonelle lærefag, men kanskje i første rekke som en følge av at nye fag kom inn under lov om fagopplæring samtidig med og i årene etter iverksettelsen av reformen. Se f eks. Michelsen mfl. (1998): Fagopplæring og organisasjon mellom reform og tradisjon. En evaluering av Reform 94. Serie B 1998-3. Sluttrapport. Bergen: AHS s. 221 5 St.meld. 32(1998-99): op.cit 6 Prosjektansvaret ble overført fra KUF til Læringssenteret i forbindelse med etableringen av Læringssenteret høsten 2000.
Sluttevaluering - Alternative vurderings- og prøveformer i fagopplæringen 3 endre prøven, men ikke status og kvalitet. Her ligger det en betydelig pedagogisk utfordring. 7 Prosjektets hovedmål ble med bakgrunn i dette å finne fram til vurderings- og prøveformer som skulle bidra til: å forbedre kvaliteten på fagopplæringen og lærlingens egen læring Tradisjonell prøveavvikling ble i tillegg oppfattet som svært omfattende og ressurskrevende, ikke minst i lys av den betydelige økningen i fagprøver etter Reform 94. Departementet vektla derfor som et viktig delmål at prosjektet også skulle bidra til: å redusere omfanget og ressursbruken i dagens fag - og svenneprøver, ved at en kompenserer for dette gjennom større vekt på vurdering og dokumentasjon underveis i læretida. Dette delmålet ble av flere kritikere til prosjektet fortolket dit hen at departementet primært ønsket å redusere de samlede utgiftene til fagopplæringen. Den nasjonale prosjektledelsen ved Læringssenteret presiserte imidlertid, som nevnt, tidlig at dette ikke var hensikten med prosjektet. Målsettingen var å finne fram til opplæringsmodeller som kunne anvende ressursene på en annen og mer effektiv måte slik at hovedmålet om en kvalitativt bedre fagopplæring kunne nås. For å nå disse målene iverksatte departementet et utprøvingsprosjekt høsten 2000 hvor en ønsket å prøve ulike modeller for alternative vurderings- og prøveformer i fagopplæringen i et utvalg av lærebedrifter og lærefag i til sammen 6 fylker; Akershus, Nordland, Rogaland, Sør-Trøndelag, Vest-Agder og Vestfold. Følgende 8 fag ble valgt ut for deltakelse i prosjektet: bakerfaget, barne- og ungdomsarbeiderfaget, bilfaget lette kjøretøyer, elektrikerfaget, fotograffaget, IKT- driftsfag, pølsemakerfaget og tømrerfaget. 8 Som vi ser, valgte man en kombinasjon av gamle, tradisjonsrike fag og nye fag uten lang erfaring med fagopplæring. Deltakerfagene ble dessuten en kombinasjon av små og større fag. Både med hensyn til størrelse og nye/gamle fag var dette i følge den nasjonale prosjektledelsen bevisste valg, man ønsket å prøve underveisvurdering i et bredt spekter av fag, for på den måten å få et bredt spekter av erfaringer. Erfaringer og kunnskap som ble generert gjennom prosjektet skulle senere legges til grunn for en vurdering av hvorvidt en eller flere av de alternative vurderingsog prøveformene skal innføres som en fast ordning. Felles for de modellene som 7 Intervju med prosjektledelsen ved Læringssenteret 29. januar 2001 8 Utgangspunktet for dette utvalget var søknader om prosjektdeltakelse fra i alt 14 opplæringsråd.
4 SINTEF Teknologiledelse IFIM en valgte å prøve ut, skulle slik det ble framstilt i forkant av prosjektet, på ulike måter fokusere på følgende forhold: Vurdering av helhetlig kompetanse. En løpende og systematisk vurdering av lærlingens utvikling og læring underveis i læretida. Dokumentasjon av utvikling og læring underveis. En ønsket i denne sammenheng også å prøve ut IKT-baserte vurderings- og dokumentasjonsverktøy. Større vekt på lærlingens ansvar for egen læring, blant annet ved at lærlingen selv finner fram til problemstillinger samt planlegger, gjennomfører, dokumenterer og evaluerer utvalgte arbeids- eller prosjektoppgaver. Figur 1 viser med bakgrunn i dette en grafisk framstilling av den sentrale resonnementkjeden 9 til prosjektet Alternative vurderings- og prøveformer i fagopplæringen slik vi fortolket den ved oppstarten av prosjektet. Figur 1: Sentral resonnementkjede. 9 Redskapet resonnementkjede vil bli nærmere omtalt i avsnitt 1.4.
Sluttevaluering - Alternative vurderings- og prøveformer i fagopplæringen 5 1.2 Rapportens innhold Kapittel 1 gir en kort gjennomgang av prosjektets forhistorie og overordnede problemstillinger. Vi skisserer vårt opplegg for evaluering og følgestudie, og foretar en gjennomgang av vårt datagrunnlag, og det metodiske grunnlaget for evalueringen. Kapittel 2 ser kort på noen sentrale trekk ved startfasen av prosjektet. Hensikten her er å si noe om betydningen av det å ha en helhetlig informasjonsstrategi i prosjekter som dette, og særlig i forhold til en eventuell videreføring av de nye vurderings- og prøveformene i fagopplæringssystemet som helhet. Kapittel 3 presenterer relativt kort de tre vurderings- og prøvemodellene som var utgangspunktet for prosjektet, og viser hvordan disse modellene i sin utforming har nærmet seg hverandre gjennom prosjektperioden. Vi presiserer i den sammenhengen hva som har vært vårt hovedfokus i denne evalueringen. I kapittel 4 ser vi nærmere på erfaringer med underveisvurdering som en alternativ vurderingsform i fagopplæringen. Etter noen innledende refleksjoner omkring erfaringer med bruk underveisvurdering i en del andre undervisningssammenhenger, ser vi her på erfaringer og utfordringer knyttet både til valg og utforming av arbeidsoppgaver, dokumentasjonsarbeid og veiledning og vurdering i tilknytning til en slik arbeidsform. Kapittel 5 tar for seg erfaringene knyttet til endringene i den avsluttende vurderingen som følger av innføringen av underveisvurdering i læreprosessene. Vi ser her nærmere på rolleavklaringer mellom lærebedrifter og prøvenemnder, utfordringer i sammenheng med samordning av underveisvurdering og sluttvurdering, så vel som spørsmålet om prøvenemndene fortsatt skal ha det avgjørende ordet i sluttvurderingen av lærlingene. Kapittel 6 ser nærmere på i hvilken grad forankring og et tettere samarbeid innen og mellom ulike nivå i fagopplæringssystemet har vært en suksessfaktor i prosjektet, og i hvilken grad dette eventuelt bør få konsekvenser for forankring/ samarbeid også framover ved en mulig videreføring og bred implementering av de nye vurderings- og prøveformene. Kapittel 7 handler i hovedsak om måloppnåelse i forhold til det som har vært de sentrale målene med prosjektet; bedre kvalitet på opplæringen; på lærlingens læring og mer effektiv ressursbruk i fagopplæringen. Kapitlet viser dessuten hvordan ulike aktører konkluderer prosjektarbeidet i forhold til en eventuell videreføring av den nye ordningen både i egne lærebedrifter og i lærefagene som helhet.
6 SINTEF Teknologiledelse IFIM Kapittel 8 ser nærmere på noen generelle erfaringer med prosjekter av denne typen brukt som redskap for utvikling. I kapittel 9 oppsummerer vi det vi ser som de viktigste konklusjonene fra evalueringen, før vi avslutningsvis kommer med en del anbefalinger for det videre arbeidet, basert på erfaringer fra hele prosjektperioden. 1.3 Om følgeforskning og evaluering. Læringssenteret ønsket i utgangspunktet en løpende evaluering og en sluttevaluering av prosjektet. Dermed skulle evalueringen i løpet av prosjektperioden bidra med forskningsbaserte innspill og kunnskap som skulle komme prosjektet og aktivitetene i de 6 prosjektfylkene til gode. I tillegg til denne løpende prosessevalueringen skulle evalueringen si noe om i hvilken grad prosjektets målsettinger ble oppnådd, og om årsaker til måloppnåelse og eventuelt manglende måloppnåelse. Evalueringen skulle dessuten bidra med kunnskap og analyser som støttet opp om læring og erfaringsutveksling innen og mellom de involverte fylkene, og som dessuten var egnet for spredning til øvrige fylker. Den grunnleggende hensikten med en evaluering er selvsagt å vurdere om det som evalueres har nådd, eller er på vei til å nå sine mål. Man skiller i utgangspunktet mellom to hovedtyper evaluering: Formativ evaluering hvor målet er å bidra til og finne tiltak for å utvikle evalueringsobjektet underveis, og summativ evaluering der målet primært er å kartlegge måloppnåelse og grad av suksess. De to hovedtypene av evalueringer har ulikt fokus (læring versus kontroll), legger vekt på ulike metoder og utføres normalt også på ulikt tidspunkt, en summativ evaluering vil normalt utføres i ettertid eller ved avslutning, mens en formativ evaluering vanligvis vil ha form av en følgestudie, og altså løpe parallelt med det som evalueres. En prosessevaluering av prosjektet Alternative vurderings- og prøveformer i fagopplæringen slik Læringssenteret ønsket, er en variant av den formative evalueringen. Hensikten med evalueringen har vært å finne tiltak som kunne utvikle prosjektet slik at man ble i bedre stand til å nå sine mål. Evalueringen skulle altså bidra til læring underveis, i tillegg til at den skulle samle data og erfaringer som også skulle komme til nytte i sluttvurderingen av prosjektet. Evalueringen har blitt gjennomført etter prinsippene for følgeforskning slik de er beskrevet av Finne m.fl. 10 De viktigste prinsippene er at evalueringen fokuserer på læring og utvikling, at det skapes arenaer for dialog hvor problemfokusering 10 Se Finne, Håkon, Levin, Morten, & Nilssen, Tore. (1995): Trailing research: A Model for Useful Program Evaluation, i Evaluation, 1(1), 11-31.
Sluttevaluering - Alternative vurderings- og prøveformer i fagopplæringen 7 og tolkning av resultater kan skje i fellesskap mellom oppdragsgiver, evaluatorgruppen og eventuelt andre interessenter, og at forskerne med jevne mellomrom kommer med innspill og forslag til utvikling som andre aktører kan vurdere å kommentere og eventuelt handle ut i fra. Læringssenterets opplegg for prosjektgjennomføring la etter vår mening i alle fall langt på vei til rette for en slik dialog. Den sentrale referansegruppen som ble etablert har utgjort en arena for tilbakemeldinger og dialog mellom evaluator, oppdragsgiver og representanter for relevante organisasjoner og institusjoner med interesser knyttet til prosjektet. Også i forhold til den nasjonale prosjektledelsen og prosjektlederne i fylkeskommunene har vi etter vår vurdering greid å etablere en god dialog. Ved å ha en slik kontinuerlig dialog med oppdragsgiver og andre aktører bidrar man til at forskningen blir relevant og det øker mulighetene for bruk og spredning av resultatene. Samtidig er et viktig element i en slik dialog en løpende diskusjon omkring innretningen av evalueringen og prosjektets egenutvikling gjennom hele prosjektperioden. En slik diskusjon har etter vår mening vært til stede i dette prosjektet. I tråd med en slik evalueringsmodell har vi nå fulgt prosjektet tett i tre år, og levert tre delrapporter. 11 Disse delrapportene har blitt grundig diskutert, både i oppfølgingsgruppen og i andre mer uformelle fora mellom prosjektdeltakere og evaluatorer, og kunnskapene fra disse diskusjonene har blitt brakt med videre i arbeidet. På denne måte har vi opparbeidet en betydelig kunnskap om prosjektets ytre og indre liv og utvikling. Denne helhetskunnskapen, slik den blant annet har kommet til uttrykk i delrapportene, har selvsagt også vært et viktig fundament i den sluttevalueringen som ligger til grunn for denne rapporten. 1.4 Datakilder og metode Vår studie har basert seg på tradisjonelle samfunnsvitenskapelige metoder, som man vil se, i hovedsak kvalitative intervjuer med prosjektaktører på ulike plan og skriftlig datainnsamling av mer eller mindre kvantitativ art fra de samme 11 Buland, Trond og Vidar Havn (2001): Tradisjon og endring Evaluering av prosjektet Alternative vurderings- og prøveformer i fagopplæringen : Delrapport I, STF38 A01509, SINTEF Teknologiledelse IFIM, Trondheim. Buland, Trond og Vidar Havn (2002): I godt gjenge? Evaluering av prosjektet Alternative vurderings- og prøveformer i fagopplæringen : Delrapport II, STF38 A02501, SINTEF Teknologiledelse IFIM, Trondheim. Buland, Trond og Vidar Havn (2002): Lærlingenes erfaringer. Evaluering av prosjektet Alternative vurderings- og prøveformer i fagopplæringen: Delrapport III, STF38 A02510, SINTEF Teknologiledelse IFIM, Trondheim.
8 SINTEF Teknologiledelse IFIM aktørgruppene. I denne datainnsamlingen har vi lagt vekt på både å få fram og presentere "fakta" om progresjonen i prosjektet og aktiviteter ute i lærebedrifter og fylker. Disse "fakta" trenger imidlertid ikke å være de samme/se likt ut for aktører med ulikt ståsted. Prosjektet er ikke ett, men tvert imot mange, avhengig av de involvertes ulike utgangspunkt og tolkninger. Det finnes ikke en objektiv sannhet om prosjektet, men flere sannheter som må presenteres og vurderes i forhold til hverandre. En sentral utfordring for evalueringen har derfor vært dermed å gripe og analysere disse forskjellige virkelighetsbildene som finnes. Vel så interessant og viktig som ren innsamling av "fakta", har det derfor vært å få tak i de ulike aktørenes subjektive vurderinger av prosessene rundt Alternative vurderings- og prøveformer i fagopplæringen. Vi har med andre ord valgt å evaluere prosjektet blant annet basert på aggregerte subjektive holdningsdata fra de aktører/ informanter vi intervjuer. Vi baserer altså våre vurderinger på informantenes subjektive framstillinger av prosjektet, med de svakheter det innebærer. Disse svakhetene oppheves etter vår mening langt på vei gjennom at vi intervjuer/ samler inn data fra et relativt stort utvalg av informanter, på ulike nivåer i prosjektet og fra ulike aktørgrupper. I sum mener vi derfor at informantenes framstillinger gir et holdbart og riktig bilde av prosjektstatus. Vi har benyttet resonnementkjeder som et sentralt analyseverktøy i evalueringen. Dette er et evalueringsverktøy utviklet på IFIM, en kombinert grafisk og tekstmessig fremstilling av sammenhengen mellom mål, aktiviteter, forutsetninger og rammebetingelser i et evalueringsobjekt. 12 Ulike aktører i et program vil ha ulike resonnementkjeder, og resonnementkjedene vil endre seg over tid etter som aktørene lærer mer. Hensikten med å konstruere resonnementkjeder er å systematisk analysere aktørenes forståelse av evalueringsobjektet. Når man har konstruert resonnementkjeder kan man vurdere fremdrift og mulighet for måloppnåelse, identifisere flaskehalser og kritiske aktiviteter i programmet og nye problemstillinger for evalueringen. Denne sluttevalueringen og denne rapporten bygger på data fra en rekke ulike datakilder, innsamlet både i løpet av siste år, og gjennom hele evalueringen/ følgestudien. En sluttevaluering må jo også få et visst oppsummerende preg, på den måten at erfaringer også fra tidligere faser i evalueringen her blir oppsummert og reanalysert. På den måten kan man si at data fra alle faser av følge studien, og de tre tidligere delrapportene fra evalueringen, inngår som sentralt datamateriale også nå. 12 Se Torvatn, Hans (1995): Chains of reasoning: An evaluational tool., IFIM Paper 5-95 SINTEF IFIM, Trondheim.
Sluttevaluering - Alternative vurderings- og prøveformer i fagopplæringen 9 Vi har samlet inn data ved hjelp av ulike metoder, både kvalitative og kvantitative. I den grad det har vært mulig har vi søkt å belyse ulike problemstillinger fra ulike vinkler, basert på ulike datakilder og metoder. En slik metodisk "triangulering"; der ulike informanter og datakilder brukes til å se samme fenomen, har etter vår mening vært nødvendig for å skape et mest mulig utfyllende bilde av prosjektet. Våre viktigste kilder for kunnskap om prosjektet, og dermed det som har gitt grunnlag for våre vurderinger, har vært følgende: Gjennom prosjektperioden har vi intervjuet et utvalg av representanter for lærlinger, lærebedrifter, opplæringskontor, prøvenemnder og opplæringsråd i de fagene som har vært involvert i prosjektet. I tillegg har vi hatt en løpende dialog og samtaler med regional og nasjonal prosjektledelse, og intervjuet dem senest våren 2003. Vi har også i sluttfasen intervjuet representanter for Rådet for fagopplæring i arbeidslivet (RFA). Den nasjonale prosjektledelsen er blitt intervjuet flere ganger. Representanter for de fleste av de involverte opplæringsrådene har vi intervjuet både ved innledning og avslutning av prosjektet. Breddestudiene er gjennomført delvis innledningsvis og underveis, men viktigst for denne sluttrapporten har vært en omfattende breddestudie i sluttfasen av prosjektet, dvs. våren 2003. Følgende breddestudier er gjennomført: Første halvår 2001: et kort spørreskjema til alle lærebedrifter som deltok i prosjektet for å etablere et første bilde av deres vurderinger av og forventninger til arbeidet med de nye vurderings- og prøvemodellene. Svarprosenten her var 80. Første halvår 2002: Spørreskjema til pionerlærlingene, dvs. de lærlingene som hadde vært med i prosjektet fra starten. I følge våre tall dreide dette seg om 149 lærlinger. Etter noe frafall var det på det tidspunkt vi gjorde undersøkelsen 133 aktuelle lærlinger. Av disse svarte 120, eller 90,2 %, på vårt spørreskjema Våren 2003: Spørreskjema til det som i utgangspunktet skulle være samtlige lærebedrifter i prosjektet. I alt greide vi å identifisere 186 lærebedrifter i prosjektet; av disse hadde av ulike grunner 11 falt fra, og vi satt igjen med totalt 175. 135 bedrifter returnerte skjemaet, en svarprosent på 77.1. 13 13 Det har vist seg noe vanskelig å finne eksakte tall for antall lærebedrifter som reelt har deltatt i prosjektet. På undersøkelsestidspunktet fantes ingen fullgod database over deltakerbedrifter. Læringssenteret har nå utarbeidet en fullstendig database over deltakerbedriftene som viser at prosjektet har omfattet i alt 200 læresteder. Det betyr at 14 lærebedrifter, som en følge av manglende oversikter, ikke fikk anledning til å svare på vårt spørreskjema.
10 SINTEF Teknologiledelse IFIM Våren 2003: Referansestudie blant tradisjonelle lærlinger innen samme fag for å si noe mer om i hvilken grad prosjektlærlingenes erfaringer, positive eller negative, avviker vesentlig fra erfaringene til tradisjonelle lærlinger i de samme fagene, 402 tilfeldig utvalgte lærlinger svarte på vårt spørreskjema. Våren 2003: Spørreskjema til samtlige prøvenemndsmedlemmer som på ulike måter hadde vært involvert i forsøksprosjektet i de 6 fylkene. 48 av 56 svarte på vårt skjema, altså en svarprosent på 86. Våren 2003: Spørreskjema til samtlige opplæringskontor som hadde vært involvert i prosjektet. Vi fikk svar fra 30 av 31 kontor; en svarprosent på 97. I tillegg støtter rapporten seg på en gjennomgang av fylkeskommunenes prosjektsøknader, prosjektplaner og underveisrapporter 14, samt annen skriftlig dokumentasjon fra prosjektene, både underveis og i sluttfasen. Dialogen med referansegruppen og de regionale prosjektlederne har også vært en viktig kilde til kunnskap om prosjektet for oss. Vi har videre deltatt på prosjektets nasjonale samlinger/ konferanser, der vi i tillegg til å presentere våre foreløpige funn, også har hatt muligheten til å foreta omfattende deltakende observasjon, og samtaler med en rekke involverte aktører; lærlinger, bedriftsrepresentanter, prøvenemndsmedlemmer, representanter for opplæringsråd etc. Dette har gitt oss en god anledning til å kjenne prosjektet på pulsen underveis. Vi har også vært observatører under mindre, regionale prosjektsamlinger, Etter vår vurdering er svarprosenten på alle våre breddeundersøkelser høyst tilfredsstillende, noe som bidrar til at vi mener å kunne si at disse data er representative for prosjektet og prosjektdeltakerne. Sammen med de øvrige datakildene mener vi at dette er data som gir oss et godt grunnlag for en helhetlig vurdering av prosjektet. Avslutningsvis en kommentar til vår presentasjon av resultater fra spørreskjemaundersøkelsene: Mange av spørsmålene i skjemaene er formulert som påstander som respondentene blir bedt om å si seg enig/ uenig i langs en skala fra 1= svært enig til 6=svært uenig. Svarene er senere rekodet og dikotomisert slik at 1-3 tilsvarer "enig" og 4-6 tilsvarer "uenig". I tabellene er videre bare andelen "enig" presentert sammen med prosentueringsgrunnlaget, N, for hver enkelt variabel. 15 Dette gir en forenklet og plassbesparende framstilling, men innebærer samtidig en risiko for at viktige nyanser i svarfordelingene ikke kommer fram. Der hvor vi ser slike nyanser i datamaterialet er disse derfor inkludert med i teksten som kommenterer tabellene. 14 Fylkeskommunene rapporterte halvårlig til Læringssenteret; i alt 36 underveisrapporter hvor fylkene i hver periode besvarte et sett av nøkkelspørsmål utarbeidet av SINTEF IFIM. 15 Gjelder tabellene 2-5, 9-10, 15-17, 20-24. 27, 29-43, 45-47, 51 og 54-56.
Sluttevaluering - Alternative vurderings- og prøveformer i fagopplæringen 11 2. Tung start eller bare Ting Tar Tid igjen? Prosjektets startfase har vi før beskrevet med ordene treg start. 16 Prosjektet ble formelt startet høsten 2000. Da vi kontaktet deltakerbedriftene første gang, våren 2001, ga de fleste uttrykk for at de opplevde å ha startet arbeidet omkring nyttår 2001, eller i ganske mange tilfeller faktisk enda noe seinere. Av deltakerbedriftene som besvarte vårt spørreskjema i mars/april 2001, var det litt over 54 % som oppga at de da hadde vært i gang med prosjektet i 3 måneder eller mindre. Hvis vi går til bedriftsundersøkelsen i forbindelse med sluttevalueringen 2003, ser vi at 60,3 % av bedriftene etter egen vurdering kom sent i gang med arbeidet. Erfaringene i fylkeskommunene var også at de trengte høsten 2000 til å få den nødvendige prosjektorganisasjonen på plass. Flere prosjektledere ga uttrykk for at de knapt visste om det ble noe prosjekt før langt ut på høsten 2000. På det tidspunktet man ble sikker på at man skulle delta i prosjektet, hadde man der ikke det nødvendige apparatet for å gjennomføre prosjektet på plass. Flere steder så vi derfor at deltakerbedriftene ikke var skikkelig involvert eller innrullert i prosjektet før i desember 2000. Dette betydde at man flere steder ikke kom i gang med prosjektrelaterte tiltak i bedriftene i noe omfang før et stykke inn i 2001. Dette førte nok til en del frustrasjoner, også hos en del av lærlingene i prosjektet, som rett og slett lenge var usikre på om de deltok i et prosjekt eller ikke. I undersøkelsen blant lærlingene, så vi da også at de ga uttrykk for en del missnøye knyttet til starten av prosjektet. 53,3 % av lærlingene var blant annet noe eller svært uenige i at de hadde fått god informasjon i starten av prosjektet. Blant lærlinger som ikke har fulgt prosjektet, ser vi at i overkant av 79 % var svært eller noe enige i at de hadde fått god informasjon fra lærebedriften ved starten av læretiden. Videre så vi at 71,6 % lærlingene i prosjektet var svært enig eller noe enig i at det lenge hadde vært uklart for dem hva den nye modellen gikk ut på. Tilsvarende ba vi de tradisjonelle lærlingene ta stilling til utsagnet Det var lenge uklart for meg hvordan sjølve opplæringen skulle foregå. Her svarte 35,8 % at de var svært eller noe enige i dette. Nesten 51 % av lærlingene i prosjektet var mer eller mindre enige i at de en stund hadde vært usikker på om det var lurt å være med på prosjektet, 57,5 % mente at de kom sent i gang med opplæringen. Tilsvarende tall for tradisjonelle lærlinger viser at bare 26,8 % mente at de kom sent i gang med opplæringen. En del prosjektlærlinger vi intervjuet la vekt på at den litt uklare startfasen gikk ut over deres motivasjon for arbeidet, flere opplevde starten på læretiden som en 16 Buland og Havn (2001), Op.cit
12 SINTEF Teknologiledelse IFIM frustrerende periode der mye ikke fungerte. Samtidig så vi at ting hadde gått seg til etter hvert. Likevel er det klart at prosjektets litt trege start også ble opplevd som problematisk av en del av lærlingene. Hvis vi leter i den avsluttende bedriftsundersøkelsen etter spesifikke ting som kan forklare hvorfor noen av bedriftene som startet i 2000 opplever å ha kommet sent i gang med arbeidet, finner vi relativt små forskjeller. På spørsmål omkring informasjon, støtte fra eksterne aktører osv svarer de som kom sent i gang omtrent likt de som mener at de ikke kom sent i gang. Vi ser imidlertid at de som kom sent i gang i større grad (50 %) enn de andre (37 %) mener at de hadde god hjelp av ferdige maler, dokumentasjonsverktøy etc. Videre er det klar forskjell i svarene på spørsmålet om det var uklart hva den nye modellen gikk ut på. Her mener 68,3 % av de som kom sent i gang at dette var uklart, mens bare 37 % av de som ikke kom sent i gang er enige i dette. De som kom sent i gang mener derimot i langt større grad enn de øvrige (51,2 % mot 32 %) at oppstartfasen i prosjektet ikke var spesielt arbeidskrevende. 17 Dette kan forstås som at det i første rekke var uklarhet rundt en del sentrale elementer i prosjektet som fikk en del bedrifter til å komme sent i gang. De forholdt seg i en del tilfeller avventende i påvente av det de oppfattet som uklart skulle falle på plass. En fylkeskommunal prosjektleder beskrev det slik: Alt for lite var forberedt fra Læringssenterets side og for få tanker var tenkt på forhånd. Det tok et år å komme i gang, og det er for lenge.. Lærlinger og bedrifter led virkelig under mangel på informasjon og plan. Det kan være flere grunner til at prosjektstarten ble opplevd som litt treg, og problemfylt av mange. Det viktigste er selvsagt det generelle fenomen at det tar tid å starte et prosjekt som dette. Prosjektet skal forankres hos deltakerne, felles problemforståelse skal etableres, problemstillinger og aktuelle tiltak skal sette seg hos deltakerne, de nødvendige aktører både i og utenfor bedrifter skal rekrutteres og føres inn i prosjektet. Til sammen er dette ganske kompliserte prosesser, som naturlig nok vil kreve en del tid. Slik er det, og slik bør det være. Skal en få til et vellykket prosjektforløp er det viktig at man tar seg den nødvendige tid til å dra prosjektet i gang. 17 Hvis vi også ser på resultatoppnåelse, viser bedriftsundersøkelsen i 2003 få og små forskjeller mellom de bedrifter som kom sent i gang og de som ikke gjorde det. En eventuell sen start ser ikke ut til å ha innvirket negativt på resultatene i bedriftene.
Sluttevaluering - Alternative vurderings- og prøveformer i fagopplæringen 13 2.1 emappa I tillegg til dette generelle så vi vel i dette prosjektet også noen spesielle faktorer som bidro til uklarhet, og som også førte til en noe forsinket start for mange deltakerer. En, av flere slike forklaringer finner vi i den såkalte emappa. Denne, som var tenkt å skulle bli et sentralt IKT- basert redskap for dokumentasjon og vurdering, ble i første omgang sterkt forsinket, og forelå ikke ferdig utviklet før våren 2001. 18 emappa ble samtidig av mange deltakere oppfattet som et viktig element i prosjektet, og flere bedrifter ventet bevisst med å starte prosjektløpet, i påvente av dette redskapet. Dette førte uten tvil til en del frustrasjon i fylkeskommuner og i bedrifter som ønsket å benytte verktøyet. Noen bedrifter ga våren 2001 uttrykk for at de holdt på å gi opp ventinga, enkelte steder så vi at man på det tidspunkt hadde startet forsiktige forsøk på å utvikle egne IKT- baserte dokumentasjonsverktøy til erstatning for det som tilsynelatende ikke kom. Vi så også eksempler på prosjektdeltakere som i en periode nærmest satte likhetstegn mellom prosjektet og emappa, at emappa altså var det som skulle prøves i prosjektet. I flere tilfeller har vi snakket med bedrifter som ga uttrykk for at de ikke satte i gang vurderingsarbeidet for fullt fordi de ventet på emappa. Hvordan denne forestillingen har oppstått, vet vi ikke, men det er klart at emappa hadde en relativt sentral plass i en del av den tidlige informasjonen fra prosjektledelsen. Samtidig ligger nok noe av bakgrunnen for denne misforståelsen i at informasjon gjennom flere ledd fra Læringssenteret via fylkeskommuner og opplæringskontor og ned til den enkelte lærebedrift ble fortolket noe ulikt. Dette ga opphav til at dette verktøyet ble fortolket som et mer sentralt element i prosjektet enn det som var hensikten. I rapporten fra en av prosjektlederne heter det: Svakheten var å starte med emappa som en del av prosjektet. Frustrasjonen ble veldig stor hos enkelte deltakere i prosjektet, noe som ga seg uttrykk i at et opplæringskontor gikk lei allerede tidlig i perioden. Det hadde vært bedre at det ble satt i gang to atskilte prosjekt, et prosjekt som omhandlet emappa og ble utprøvd på skolene først, før det ble igangsatt et prosjekt på de alternative modellene hos lærlingene ute i bedriften. Dette ville ført til at IT- verktøy i bedriftene kunne blitt prøvd ut i og med at lærlingene allerede hadde kjennskap til emappa gjennom skolegangen. 18 Det viste seg senere at den heller ikke da var så ferdig utviklet som utviklermiljøene kanskje hadde trodd, og at det var en rekke problemer forbundet med å ta dette redskapet i bruk ute i lærebedriftene.
14 SINTEF Teknologiledelse IFIM 2.2 SVENN og behovet for en informasjonsstrategi Et viktig begynnerproblem i prosjektet handlet slik vi ser det om informasjon. Det kan se ut som om det tok tid å etablere velfungerende kommunikasjonskanaler i prosjektet. I den forbindelse er det viktig å være klar over at prosjektets Internett-side, SVENN, også var noe forsinket. 19 Mengden av informasjon her, og kanskje særlig fra prosjektfylkene, var relativt liten i alle fall det første året i prosjektet. At denne siden var forsinket, bidro nok, sammen med andre faktorer, til at enkelte i startfasen opplevde at informasjonsstrømmene i prosjektet ikke var tilfredsstillende. 20 Dette gjaldt informasjon både internt mellom deltakerne i prosjektet, mellom deltakerne og prosjektledelsen både i fylkeskommunene og ved Læringssenteret, og mellom prosjektet og andre fylkeskommuner, opplæringsråd og SU- kontorer som ikke selv var med i prosjektet. Rundt 1/3 av bedriftene som besvarte vårt spørreskjema i denne første fasen av evalueringen, sa for eksempel at de ikke hadde opplevd den informasjon de fikk i forbindelse med prosjektet som tilfredsstillende. I dag framstår nettstedet SVENN som en relativt rik informasjonsbase. Her finner man for det første utførlig informasjon om prosjektet; bakgrunn, mål og deltakere, i tillegg til at de tre vurderingsmodellene blir presentert. Alle prosjektfylkene har nå også lagt inn informasjon om arbeidet. Her ser vi eksempler på svært omfattende dokumentasjon fra i alle fall noen av fylkene, mens andre er mer kortfattet. Videre finnes det informasjon om lærefagene, 21 og en omfattende verktøykasse" der man blant annet finner praktiske råd om startfasen, vurderingskriterier og prosedyrer for sluttvurdering og klagebehandling. SVENN rommer dessuten oversikt over og referat fra referansegruppens arbeid, presentasjon av emappa, samt all delrapportene fra evalueringen, og annen relevant informasjon. I tillegg finner vi her et on-line diskusjonsforum, åpent for deltakere i prosjektet og andre. Dette har i oktober 2003 165 registrerte deltakere. Totalt er det vår vurdering at nettsiden SVENN i dag inneholder et både innholdsrikt og potensielt nyttig informasjonstilbud til brukerne. Mye av prosjektledelsens informasjonsstrategi ser i startfasen ut til å ha vært sentrert rundt nettsiden, som altså var forsinket og ikke særlig egnet som informasjonskanal da prosjektet startet. Nettsiden ble etter hvert operativ, og innholdsrik, og kom derfor til å fylle i alle fall deler av det informasjonsbehovet 19 http://svenn.ls.no/ 20 Det må i denne sammenheng også nevnes at det, med unntak av ett fylke, tok svært lang tid før de deltakende fylkeskommunene tok denne hjemmesiden i bruk som ledd i sitt informasjonsarbeid. 21 Bare tre av lærefagene har riktig nok lagt inn slik informasjon pr. oktober 2003, men etter planen skal alle fagene her presenteres.