MITT VALG Evaluering og resultater 2001 2014 Sammenfatning BAKGRUNN DMV har vært kjent i norsk skole siden 1989/90. I 2000 vurderte en statlig forskergruppe en rekke skoleprogrammer i Norge. DMV fikk der en positiv omtale og en oppfordring om å trekke inn evaluering i den framtidige satsingen. Siden 2001 har Stiftelsen DMV gjennomført ulike evalueringsprosjekter, som vi her kort skal redegjøre for. I 2006 ble nok en gang aktuelle programmer i norsk skole vurdert av en statlig oppnevnt forskergruppe med professor Thomas Nordahl som leder. Her ble DMV plassert i en kategori med stor sannsynlighet for positive resultater. Tre år senere i 2009 ble DMV satt i en kategori programmer med dokumenterte resultater. Dette skjedde på bakgrunn av en systematisk evalueringssatsing og en statistisk reanalyse av spørreskjemamaterialet. Forskergruppen sier videre: DET ER MITT VALG synes å vektlegge viktige momenter når det gjelder å utruste elevene med grunnleggende sosial kompetanse. At programmet fokuserer på elevmiljøet, synes å øke verdien av programmet. Varierte arbeidsformer og metoder fremstår også som en styrke. Forskergruppen sier blant annet i sin reviderte anbefaling at analysen viser at undervisningsprogrammet kan dokumentere effekter når det gjelder elevenes selvoppfatning. Dette må sies å være en positiv vurdering fra en gruppe forskere og et godt utgangspunkt for videreutvikling av DMV de nærmeste årene. SATSINGSOMRÅDER - EVALUERING 1: KVALITETEN PÅ SKOLERINGEN Fokus Det legges stor vekt på pedagogisk og metodisk skolering av de som skal bruke opplegget. Det er et krav om skolering for å få tilgang til materiellet. Det er nå på landsbasis skolert i overkant av 40000 personer i barnehage og skole. Deltakerne fyller ut et enkelt vurderingsskjema etter fullført kurs. Det har gjennomgående vært positive tilbakemeldinger. Lærernes vurdering av innføringskurset var gjenstand for den første evalueringsstudien i 2001.
Metode På bakgrunn av vurderingsskjemaene ble det trukket ut et representativt antall skjemaer, slik at alle landsdeler og alle kursinstruktører var representert. I alt ble 1000 skjemaer gjenstand for bearbeidingen. Resultat Funnet her var temmelig entydig: 90 % av deltakerne uttrykte at de var svært godt fornøyd med faglig og metodisk skolering. De fleste sa også at et slikt praktisk kurs var en viktig forutsetning for at opplegget ble brukt. Utfordring Nå over 12 år etter den første evalueringen kan det være nyttig å framskaffe fornyet og oppdatert dokumentasjon. 2: BRUK AV OPPLEGGET Fokus Vi vet at kursdeltakere er fornøyd med skoleringen som tilbys. Et viktig spørsmål blir å belyse hvorvidt lærerne etter endt skolering arbeider langsiktig med opplegget de neste skoleårene. Metode For å undersøke systematisk bruk over tid ble et representativt utvalg lærere bedt om å svare på et tilsendt spørreskjema i 2001. Populasjonsgrunnlaget var de ca. 15.000 lærere i grunnskolen som har vært på to- eller tre-dagers kurs i Det er mitt valg i årene 1990 til 2000. Fra deltakerlistene ble et tilfeldig utvalg lærere fra alle skoler i 3-4 kommuner i hvert fylke trukket ut. Til sammen er utvalget på 1.360 personer. Både store og små kommuner er representert. Siden hensikten er å kartlegge omfang og bruk av opplegget over tid, er det viktig at utvalget består av lærere som har vært på kurs, og som fortsatt arbeider i grunnskolen Resultater Det er få som sier de har jobbet systematisk med opplegget i lengre tid. Bare 29 % av de spurte sier de har jobbet tre år eller mer. 22 % svarer at de har jobbet sporadisk med opplegget. De fleste har jobbet et eller to år. Dette er trolig et realistisk svar på det en har hatt mistanke om lenge, nemlig at det er et mindretall av lærerne som bruker opplegget over lenger tid etter å ha vært på kurs. De fleste har arbeidet med opplegget i klassen det første året og til dels det andre året etter skoleringsseminaret. For å si det på en annen måte: skoleringsseminaret har stort sett hatt korttidseffekt når det gjelder bruk av opplegget. Det vil da være viktig å drøfte hva som skal til for å gi en mer langsiktig bruk av opplegget.
Utfordring Utfordringen framover blir å bidra til at opplegget brukes systematisk over tid. Dette er en avgjørende forutsetning for å oppnå resultater. For å få til dette må det satses enda mer på avtalte oppfølgingskurs og erfaringsdelinger. Veiledning fra kommunenivået er også viktig. 3: EFFEKTER PÅ ELEVATFERD Fokus Dette er den viktigste fasen i evalueringsopplegget. Det er viktig for alle programeiere å sannsynliggjøre og dokumentere at arbeid med et opplegg gir resultater. Her er det tale om å kunne si noe om endring av atferd og holdninger etter en intervensjon. Aktuelle områder vil være sosiale ferdigheter, mobbeatferd og annen problematferd og forhold til rus. Derfor har Stiftelsen DMV gjennomført flere evalueringsstudier der elevatferd har vært hovedfokus. Metode Forskergruppen i 2006 anbefalte en reanalyse av datamaterialet fra 2005, som skulle innbefatte en analyse av endring fra pre- til posttest. Materialet var en treårig design med kontroll- og intervensjonsgrupper og med pre- og posttest. Anbefalingen ble tatt til følge, og det er gjennomført en ny analyse av materialet. Resultatene foreligger i rapport 5 fra april 2007. Reanalysen benytter statistiske metoder som er anbefalt fra forskningsmiljøer. I dette arbeidet har det vært kontakt med professor Thomas Nordahl og professor Per Holth. Framgangsmåten som er benyttet er General Linear Modell og Repeated Measures under Analyze i SPSS. De statistiske målene finner vi i tabellen Tests of Within-Subjects-Contrasts. Dette sier noe om hvorvidt de to gruppene endrer seg forskjellig fra pre- til posttest. Videre er det i enkelte tabeller tatt med aktuelle Effektmål. Resultater På skalaen Hva jeg synes om meg selv har intervensjonsgruppen det beste resultatet. Forskergruppen uttaler etter reanalysen: Analysen av evalueringen fra 5. til 7. trinn tyder på at DMV kan dokumentere effekter når det gjelder elevenes selvoppfatning. På skalaen Hva jeg synes om å gå på skolen er det signifikant forskjell i endring når det gjelder faktoren Sosial trivsel På skalaen Hvordan jeg er på skolen har intervensjonsskolene de samme resultatene som kontrollskolene. På skalaen Klassen og klassekameratene mine er det signifikant forskjell i endring når det gjelder faktoren Forholdet mellom elevene i klassen. Intervensjonsgruppen har her det beste resultatet. På skalaen Hva jeg kan om selvrapportert sosial kompetanse viser dataanalysen at det ikke er signifikante forskjeller. Vi registrerer den samme positive utviklingen både i intervensjonsskolene og kontrollskolene. Det at skoler arbeider systematisk og planmessig med et område kan føre til positive resultater uansett hvilket program eller undervisningsopplegg som er benyttet.
Det er signifikant forskjell i endring når det gjelder skalaen Hva jeg lærer om andre ting på skolen. Intervensjonsgruppen har her et stabilt resultat fra pre- til posttest, mens kontrollgruppen har en ugunstig utvikling. Skalaen Andre forhold dreier seg om ulike forhold. Når det gjelder spørsmålet om å ha snakket med sine foreldre om rus har intervensjonsskolene det signifikant beste resultatet. Dialog mellom voksne og barn på dette området må sies å være positivt. På samme skala er det ingen forskjell på skolene når det gjelder spørsmålene om mobbing. Dette betyr at intervensjonsskolene har de samme resultatene som skoler som arbeider med andre opplegg. Utfordring Dokumentasjon av resultater/effekter vil være avgjørende for framtidig støtte både offentlig og internt i Lions. Det er innledet et samarbeide med et forskningsmiljø ved Institutt for Atferdsvitenskap ved Høgskolen i Oslo og Akershus. 4: KURS FOR DE PEDAGOGISKE HØGSKOLENE Fokus Stiftelsen DET ER MITT VALG har i flere år gjennomført dagsseminar for lærerhøgskolestudenter. Hensikten er å gjøre lærerstudenter kjent med metodiske opplegg når det gjelder skolemiljø, forebyggende arbeid og sosiale ferdigheter. Dette kan være nyttig når studentene kommer ut i praktisk arbeid som lærere. Det har blitt stilt spørsmål om en slik satsing fører til resultater i den forstand at integrering av opplegget i lærerutdanningen fører til at det lettere blir benyttet i praksisfeltet Det er viktig å få tilbakemeldinger fra høgskolene med tanke på videre utvikling av opplegget og i forhold til framtidig samarbeid med lærerutdanningsinstitusjonene. Metode Det ble tatt kontakt med 15 høgskoler i 2008, som etter kursoversikten de siste årene hadde gjennomført kurs/skolering i forhold til sine studenter. Først ble det gjennomført et telefonintervju med den faglig ansvarlige ved de enkelte høgskolene. Dette var en strukturert samtale med på forhånd oppsatte punkter, i tillegg til åpne spørsmål til slutt. Hensikten var også å motivere høgskolene til å svare på et tilsendt spørreskjema, slik at vi kunne få en skriftlig dokumentasjon Resultater Det registreres svært gode tilbakemeldinger fra studentene etter DMV-kurs. Videre har høgskolens personale i de fleste tilfeller et positivt inntrykk av opplegget. Praktisk vektlegging og konkrete metoder med stor overføringsverdi til skolehverdagen blir sett på som verdifullt. Flere sier at opplegget utfyller generell læreplan og bidrar til økt fokus på dannelsesperspektivet i skolen. Opplegget passer svært godt inn i forhold til Rammeplan for lærerutdanning og i forhold til Kunnskapsløftet. 12 av de 14 skolene var veldig positive til opplegget og til samarbeidet med DMV. Videre ble det sagt at kurslederne var meget dyktige.
En av høgskolene hadde gjort kurset obligatorisk for studentene med gode erfaringer. Studentene ble meget positive etter hvert som kursdagen gikk. Utfordring Vi foreslår at temaer som læringsmiljø og sosial kompetanse blir en obligatorisk del i lærerutdanningen. 5: EVALUERING PÅ KOMMUNENIVÅ TRØGSTAD I november 2011 ble det holdt et informasjons- og vurderingsmøte i Trøgstad kommune. Bakgrunnen er at kommunen satser langsiktig og systematisk på DMV. Undertegnede laget en rapport etter dette møtet. Skolefaglig rådgiver, rektorene, Lions Club Trøgstad og Stiftelsen DMV var med på møtet. Trøgstad ungdomsskole og tre barneskoler (Båstad, Skjønhaug og Havnås) har tatt i bruk programmet. Alle lærerne har vært på en grunnskolering i 2008, og det har blitt gjennomført et oppfølgingskurs høsten 2009 og høsten 2010. I tillegg har barnehagene i kommunen tatt barnehageopplegget i bruk. Forut for oppstarten ble det inngått en avtale om samarbeid mellom Trøgstad kommune og Lions Club Trøgstad i en 10-årsperiode fra januar 2008. Det er kjent at også andre kommuner har en slik helhetlig og langsiktig strategi. Utfordringen blir å få flere kommuner til å ta i bruk verktøyene fra DMV. VURDERING SÅ LANGT AV SATSINGEN PÅ «DET ER MITT VALG» I TRØGSTAD - NOEN KONKLUSJONER: 1. Opplegget brukes på alle skoler. 2. Omfanget og systematikken varierer noe fra lærer til lærer og fra trinn til trinn. 3. Det vil være ønskelig å få til mer helhetlig og systematisk satsing. Dette er vesentlige premisser for å oppnå resultater. 4. For å få til en slik systematisk satsing, er virkemidler som jevnlige oppfølgingskurs og tilbud om veiledning sentrale. 5. Selv om barnehagen ikke var representert på møtet, ble det sagt at barnehagene er positive til opplegget. 6. Samarbeid mellom skolene med tanke på temavalg og progresjon kunne være en ide. Likeledes ble det nevnt at en kunne tenke oppfølging på tvers av kommuner. 7. Samarbeidet med Lions ble vurdert som meget bra. Samarbeidsavtalen mellom Trøgstad kommune og Lions Club Trøgstad er et nyttig og forpliktende styringsverktøy. VOLD OG SEKSUELLE OVERGREP MOT BARN. På informasjonsmøtet i Trøgstad presenterte Gunnar Malmin undervisningsopplegget om Vold og seksuelle overgrep mot barn og ga metodiske eksempler fra enkelte leksjoner. Det ble også gitt en kort gjennomgang av foreldremøtet, som er en integrert del av opplegget.
Det ble også orientert om teoridelen med situasjonsbeskrivelse, mål for opplegget, utvikling og utprøving med støtte fra sentrale myndigheter, utgangspunkt i Kunnskapsløftet, samt problemstillinger i forhold til forebyggende arbeid. Den metodiske veiledningen ble også gjennomgått. Alle deltakerne fikk et eksemplar av materiellet. Skolene ga følgende tilbakemeldinger etter orienteringen: Viktig at opplegget er forankret i Kunnskapsløftet og Opplæringsloven. Temaet og problemstillingene er relevante også for ungdomstrinnet. Det kan være en fordel å utvikle noen leksjoner med spesiell tanke på utfordringer ungdomsskoleelever møter. Tegningene/illustrasjonene ble vurdert som meget gode. Generell enighet om at det er nyttig for skolene å ha et konkret verktøy når det gjelder vanskelige temaer. Det var enighet om at det må være en skolering av personalet før opplegget tas i bruk. Det presiseres at pedagogisk personale har en oppdagerfunksjon. Ved vanskelige tilfeller melder skolene videre til aktuelle ressurspersoner/etater. Helsesøster er en svært aktuell samarbeidspartner i deler av opplegget. Det er mulig at helsesøster kan holde noen timer med læreren som observatør. Det ble sagt at barnehagene lett kan tilpasse deler av opplegget til de eldste barna i barnehagen, dvs. 4-6-åringene. Selv om lærere flest har kompetanse og trening i å snakke med barn og unge om vanskelige ting, ser vi ikke bort fra at enkelte kan være ubekvemme med å ta opp problematikk rundt vold og overgrep. 6. VOLD OG OVERGREP DMV har også utviklet et opplegg om vold og seksuelle overgrep mot barn og unge. Hensikten er å bevisstgjøre barn og unge på egen kropp og egne grenser ved siden av å gi dem et begrepsapparat, som kan gi trygghet og mot til å melde fra om uønskede hendelser. Opplegget ble utviklet etter initiativ fra Stine Sofies Stiftelse, og DMV fikk i etterkant statsmidler fra Helsedirektoratet til utprøving og erfaringsdeling. Deltakerne i denne utprøvingen ga stort sett positive tilbakemeldinger til materiellet. Kommuner og organisasjoner har i ettertid vært positive til hele opplegget. Av og til blir vi spurt om opplegget virker, det vil si om det blir mindre vold og overgrep i det aktuelle lokalsamfunnet. Dette er det vanskelig å si noe sikkert om, i hvert fall på kort sikt. Temaet er spesielt utfordrende og forbundet med metodiske måleproblemer. Det går selvsagt an å spørre barn og unge hva de synes om opplegget og begynne der. Men å måle effekter i forhold til om det blir mindre vold eller færre overgrep synes vanskelig. Kanskje det motsatte er tilfelle: hvis det blir rapportert flere volds- og overgrepssaker fra barn
og unge, kan det være en indikasjon på at flere har våget å si ifra. Det er jo nettopp et av målene med opplegget! I tillegg til en slik erkjennelse må det være en beredskap i den enkelte kommune og på den enkelte skole for å fange opp de barna og de ungdommene som er blitt utsatt for vold og overgrep. For å komme videre i denne problemstillingen i forhold til evaluering bør DMV ha drøftinger med fagmiljøer, som også har forskningsbasert kompetanse på dette feltet. 7: TILLITSVALGTE LIONSMEDLEMMER De siste årene har det vært en sterk satsing på å skolere tillitsvalgte Lionsmedlemmer i forbindelse med organisasjonens satsingsområder med vekt på implementering av opplæringsprogrammet DET ER MITT VALG. Evaluering har i flere år vært en integrert del av hele virksomheten til stiftelsen DMV. Nå var turen kommet for å evaluere satsingen på Lionsmedlemmer. Sentrale myndigheter har vurdert det som positivt at frivillig sektor spiller en rolle i samfunnets forebyggende tenkning, og vi har fått statsmidler til evaluering på et bredt felt. Her kommer resultatene fra en landsdekkende spørreundersøkelse: HOVEDKONKLUSJONER Lionsmedlemmene er stort sett meget godt fornøyd med skoleringen de har fått de siste årene. Flere mener det er behov for oppfølging for å sikre kontinuitet og langsiktighet i det forebyggende arbeidet. Det er viktig å samarbeide med offentlige myndigheter for å få til flere kurs i barnehage og skole. Det er tilfredsstillende måloppnåelse når det gjelder økt salg av kurs, klubbenes forebyggende ungdomsarbeid og promotering av Lionsdagen. Tegnekonkurransen byr på større utfordringer. Distriktene kan vise til en rekke konkrete tiltak som er gjennomført eller igangsatt Distriktene har en rekke forventninger og ønsker når det gjelder framtidig satsing på å kvalifisere piloter. Dette går på motivasjon, kvalitet i opplæringen og synlighet i media og lokalsamfunn Det er en fordel at Lionsmedlemmer er med på ordinære DMV-kurs Innholdet i DMV blir vurdert til å passe meget bra inn i Kunnskapsløftet i skolen. De fleste har presentert pilotpakken i egen klubb med positive resultater 8: FORSKNING FRA USA - CASEL Når det gjelder vurdering av programmer om sosiale ferdigheter og problematferd, kan vi også vise til amerikansk forskning i regi av CASEL, der Lions Quest (=DMV, som er den norske versjonen) inngår.
(www.casel.org) Forkortelsen står for The Colloborative for Academic,Social and Emotional Learning. CASEL er et uavhengig og non-profit forskningssenter ved University of Illinois i Chicago. Senteret ble grunnlagt i 1997 av blant annet Daniel Goleman (forfatter til blant annet Emotional Intelligence), professor Peter Weissberg og professor Joseph Zins. Slike programmer har som mål å øke den sosiale og emosjonelle kompetansen, skape et godt læringsmiljø, samt forebygge bruk av rusmidler hos barn og unge. Disse skoleprogrammene kalles ofte SEL-programmer (social and emotional learning), som er forebyggingsprogrammer der sosial og emosjonell læring inngår. Forskerne ved instituttet har også fokusert på å undersøke om det finnes noen forbindelse mellom SEL-undervisning og tilegnelse av teoretiske og faglige kunnskaper. En stor metaanalyse av SEL-programmene er blitt gjennomført de siste årene med start tidlig på 2000-tallet. Omkring 200 programmer ble valgt ut for å inngå i metaanalysen, og av disse ble 80 programmer ansett for å ha oppfylt kriteriene for fortsatt forskning. Mer enn 288000 elever i alderen 5 18 år inngikk i studien. Ved nærmere analyse stod man igjen med 22 program som forskerne kunne anbefale ut fra de oppstilte kriteriene. Disse programmene har benevnelsen SELECT PROGRAMS. Lions Quest er blant disse programmene. Programmene har en utførlig veiledningsmanual og en design som er velstrukturert, og som har et langsiktig perspektiv over flere år. Lions Quest (DMV) er et av de beste utvalgte SELECT-programmene der de oppstilte kriterier i høy grad er oppfylt. Noen resultater fra evalueringsstudiene (Casel 2007) Elever i intervensjonsgruppene viste signifikant bedre atferd og var mindre engstelige og urolige. Studien viser at SEL signifikant øker intervensjonsgruppenes prestasjoner i kunnskapstester. Der elevene hadde deltatt i SEL-undervisningen økte faglige kunnskaper med 11 % sammenlignet med kontrollgruppen. (Durlak og Weissberg 2007) Det ble registrert forbedringer i sosiale og emosjonelle ferdigheter. De mest effektive programmene fokuserer på hele skolemiljøet, og at det settes av tid til dette. Følelser påvirker hva og hvordan vi lærer (Zins 2007). I CASELS forskning blir det understreket at skoler er sosiale arenaer for relasjonstrening. Gode relasjoner og trygge omgivelser er viktige forutsetninger for læring. Sosial kompetanse er en viktig forutsigelse med tanke på faglig kompetanse og karakterer. Den vitenskapsbaserte forskningen støtter påstanden om at sosiale og emosjonelle faktorer har en sterk påvirkning på skolefaglig mestring og framgang senere i livet. Gunnar Malmin Høsten 2014