Høgskolen i Oslo og Akershus Avdeling for Helsefag Institutt for atferdsvitenskap

Transkript

1 Høgskolen i Oslo og Akershus Avdeling for Helsefag Institutt for atferdsvitenskap Postadresse: Pb. 4 St. Olavs plass, 0130 OSLO Telefon: postmottak@hioa.no, Evaluering av Mitt Valg Børge Strømgren, Høgskolen i Oslo og Akershus Utdanningsdirektoratet har tidligere utgitt en rapport om ulike forebyggende programmer og innsatser som er i bruk i skolen (Nordahl, Gravrok, Knudsmoen, Larsen, & Rørnes, 2006). Rapporten gir en god oversikt, men kan være noe forvirrende da den ikke skiller på enkeltstående programmer og modeller. For eksempel beskrives modellen Positiv atferd, støttende læringsmiljø og samhandling i skolen (PALS) på samme måte som for eksempel det mer enkeltstående programmet Steg for Steg, selv om Steg for Steg ofte inngår som ett av flere programmer i modellen PALS. Steg for Steg inngår i PALS fordi det har empirisk støtte (Grossmann et al., 1997; Holsen, Smith, & Frey, 2008; Taub, 2001) og virker godt sammen med andre elementer som inngår i PALS (Sprague et al., 2001). Det er prinsipielt ingen ting i veien for at andre programmer med samme formål og virkemåte som Steg for Steg for eksempel Mitt Valg kan inngå som et program i modeller som PALS. For modeller som PALS er det viktig at programmene er empirisk støttet, og et større tilfang av empirisk støttede programmer kan gjøre det lettere å tilpasse modeller som PALS til lokale ønsker og behov. Programserien Mitt Valg (MV) består av mange enkeltprogrammer, fra hel-klasse programmer for sosial og emosjonell kompetanse og klassemiljø for trinnene 1 4 (MV 1), 5 7 (MV 2), 8 10 (MV 3), og videregående skole (MV 4). Også mer frittstående programmer som tar opp temaer som vold og seksuelle overgrep, rus og mobbing inngår. Internasjonalt synes det som det kun er det rusforebyggende programmet som er utsatt for en grundig evaluering (Eisen, Zellman, Massett, & Murray, 2002; Eisen, Zellman, & Murray, 2003). Det har ikke lyktes å finne publiserte evalueringer av programmene for sosial og emosjonell kompetanse (MV 1 4). Det er gjort noen evalueringer i Norge som viser at MV kan være effektivt, men disse evalueringer er interne rapporter og er ikke publisert i fagfellevurderte publiseringskanaler. Allikevel brukes programmet mye i norske skoler. Det drives av stiftelsen Det er Mitt Valg (som igjen eies av Lions Norge), og lokale Lions-klubber tilbyr programmet til skoler og står for kursingen av lære/skoleansatte som skal gjennomføre programmet. I tråd med utviklingen av skoletiltak og vektlegging av evidensbasert praksis er det derfor er det behov for en evaluering av programmet i Norge. Et naturlig utgangspunkt for evalueringen kunne vært å ta sikte på å vurdere programmet MV 2 (trinn 5 7) fordi det er viktig at forebyggende arbeid settes inn tidlig og det er her man også kan få med elevene i evalueringen i tillegg til lærer og foreldre, noe som vil være vanskeligere med MV 1 (Trinn 1 4). Det kan være noen praktiske problemer med dette, først og fremst at stiftelsen Det er Mitt Valg har tradisjon for å lære opp alle lærerne på en skole samtidig. Dette betyr at det kan være vanskelig å isolere en effekt for MV 2 for elever på trinn 5 7 da de vil ha hatt MV 1 i Saksbehandler: Mobil: E-post: Besøksadresse: Børge Strømgren Borge.Stromgren@hioa.no Pilestredet 38, 0166 Oslo

2 Børge Strømgren HiOA Evaluering av Mitt Valg 2 løpet av trinn 1 4 fordi hele skoler bruker MV. Dette vil ikke være noe problem med skoler som starter med MV som en del av prosjektet. Det også være interessant å se på muligheten for å inkludere trinn 8 10 med MV 3, da de i mindre systematisk grad vil ha mottatt MV eller andre skolemiljøtiltak på barnetrinnet. Dette må man forsøksvis kontrollere for ved første datainnsamling. Designmuligheter Det er tre hovedtyper design man kan velge, et eksperimentelt (Cluster Randomized Control Trial, eventuelt med Matching eller Strata (lagdeling)), eller to kvasi-eksperimentelle (Gruppedesign uten randomisering (non-equivalent groups), eller Kohortdesign - muligens med Matching) (Shadish, Cook, & Campbell, 2002). Alle er brukt i forskning på ulike programmer i skole og det er fordeler og ulemper med alle tre. De skal kort beskrives. I tillegg vil det bli beskrevet noen fordeler og ulemper med bruken av dem. Det presiseres at beskrivelsene av bruken og av fordeler og ulemper er basert på skoleforskning der skoler og klasser er deltagerne. Eksperimentelt Cluster Randomisering/Matchet Cluster Randomisering En Cluster Randomized Control Trial er en design der deltakerne i dette tilfellet skoler tildeles tilfeldig til en eksperimentgruppe eller til en kontrollgruppe. Eksperimentgruppa får et tiltak mens kontrollgruppa ikke får tiltaket, eller får vanlig tiltak, såkalt treatment as usual. Hvis det er få deltakere, eller av andre grunner, kan man gjøre en Matched randomiseringsdesign. Da finner man par av skoler som ligner hverandre, for eksempel med hensyn på størrelse, antall elever med spesialpedagogiske tiltak, SES, eller andre variabler. Så trekker man lodd mellom skoleparene om hvem som skal allokeres til eksperimentgruppa eller kontrollgruppa. Dette vil være en sterk design for å evaluere effekt av MV, da vil MV implementeres på noen skoler og ikke på andre. Man må unngå å gjøre MV i noen klasser på en skole og ikke i andre, fordi et program gjennomført i en klasse på en skole lett smitter over (treatment diffusion) til en annen klasse på samme skole (Shadish et al., 2002). Man kan gjerne ha flere skoler fra samme kommune, gitt at de ikke er i samme bydel, skolekrets eller lokalmiljø. Da skulle faren for smitte være mindre. Fordeler. Fordeler med denne designen er at gruppene er i prinsippet like, eller ekvivalente. Dermed kan en observert forskjell mellom dem etter tiltaket med stor sannsynlighet tilskrives tiltaket og ikke andre faktorer som modning, regresjon, historie og andre såkalte trusler mot konklusjonsvaliditeten. Statistiske analyser er ofte basert på at grupper er ekvivalente og at dataene er uavhengige, så designen letter også i prinsippet statistisk analyse og tolkning. Det er også laget analysemodeller for cluster-data, for eksempel når hele skolen eller hele klasser er analysenivået. Ulemper. Power, antall deltagere. For å øke sjansen for at studien kan konkludere bør det være tilstrekkelig antall deltagere i hver gruppe eller cluster (Bonell et al., 2014; Dray et al., 2014;

3 Børge Strømgren HiOA Evaluering av Mitt Valg 3 Grossmann et al., 1997; Humphrey, 2012; Stallard et al., 2012, 2014). Studien kan inkludere to eller tre grupper/clustere (klynger). En studie (Bonell et al., 2014) beregnet at det var nødvendig med 3000 deltager i hver klynge for å kunne oppnå 90% Power for et signifikant utkommemål ratingskalaer på standardavvik (d). Andre har deltagerantall på 5250 (Humphrey, 2012), 1448 (Stallard et al., 2012)(tre klynger), 1200 til 1400 (Stallard et al., 2014)(tre klynger), 790 (Grossmann et al., 1997)(to klynger). Deltagelse/frafall. Med en slik design må halvparten av skolene akseptere å være med på studien uten å få tiltaket. Når studien/tiltaket går over tid med flere måletidspunkter kan det øke risikoen for at færre og færre deltar ved hvert måletidspunkt, slik at gruppen blir mindre. Dette kan redusere muligheten for å konkludere med hensyn på effekt. Det er heller ikke snakk om bare frafall, man kan også risikere skjevhet i frafallet, slik at gruppene ikke lengre er ekvivalente. Etikk. Skolebaserte programmer søker å forebygge eller redusere problemer av sosial viktighet, dette vil sannsynligvis også være en motivasjon til å delta for de skolene som melder seg. Det kan derfor være etisk problematisk å holde tilbake et tiltak som det er behov for og som man antar ville være til hjelp for å bedre situasjonen (Midthassel, Bru, & Idsoe, 2008). Eksempler på bruk av designen i Norge. Midthassel, Bru og Idsoe (2008) brukte randomisering av skoler i en studie av effekten av Zero. 170 skoler ble invitert, 77 ville være med i starten. De laget tre grupper, to versjoner av Zero (A og B), og en kontrollgruppe. Skolene ble tilfeldig fordelt til de tre betingelsene. Totalt bestod studien av 72 skoler og elever ved tidspunkt for første måling, og samme antall skoler men elever ved andre gangs måling. De fant ingen endring i hverken utførelse av eller utsatthet for mobbing. Eksempler på bruk av designen utenfor Norge. Grossman (1997) bruke en randomisert design for å evaluere effekten av Steg for Steg (Second Step). 12 barneskoler deltok, de ble matchet i par ut fra skoledistrikt, antall elever som fikk gratis eller rabattert lunsj (et mål på SES), og andelen minoritetselver. Så ble hver skole i et par tilfeldig tilordnet til eksperimentgruppen eller kontrollgruppen. De fant ingen forskjell mellom gruppene ut fra de vurderingsskalaene som ble bruk, men observasjonene av elevatferd viste at elevene i de skolene som fikk Steg for Steg sjeldnere brukte fysisk aggresjon og oftere brukte prososiale ferdigheter. Disse effektene hold seg ved 6 måneders oppfølging. Harrington og kolleger (2001) brukte randomisert design i en studie av effekten av programmet All Stars, som er et karakterdannelsesprogram med mål om å redusere rusbruk, seksuell debut, og vold. Når det leveres i klasse brukes debatter, spill og diskusjoner om holdninger generelt. 12 skoler deltok, de ble matchet (eller parret) ut fra elevmassens kjønn og etnisitet i tillegg til andelen som fikk gratis eller rabattert lunsj. En skole i hvert par ble tilfeldig allokert til eksperimentgruppa og den andre da til kontrollgruppa. Først etter randomisering ble skolen kontaktet med spørsmål om de ville bli med. Alle ble med, unntatt én i eksperimentgruppa. Antallet elever var De fant en

4 Børge Strømgren HiOA Evaluering av Mitt Valg 4 effekt rett etter programslutt (posttest), men den avtok til basislinjenivå ved oppfølging seks måneder senere. Rivers og kolleger (Rivers, Brackett, Reyes, Elbertson, & Salovey, 2013) brukte også randomisering i evalueringen av skoleprogrammet RULER Approach. RULER Approach fokuserer på klassemiljø og sosialt og emosjonelt klima. De har leksjoner som fokuserer på ferdigheter i å gjenkjenne følelser hos seg selv og andre, forstå følelsers årsaker og konsekvenser, navnsetting av følelser og å uttrykke og regulere følelser på en prososial måte. 62 skoler med 3824 elever deltok. Skolene ble delt inn i par, og parene ble igjen tilfeldig allokert til eksperiment eller kontroll. De oppgir ikke hvordan parringen ble gjort. Resultatene viste at eksperimentskolene skåret høyere på varme og kontakt mellom elever og lærere, autonomi og lederskap blant elever, og mer fokus på elevenes interesser og motivasjon fra lærernes side. Riggs og kolleger (2006) evaluerte klasseprogrammet Positive Alternative Thinking Strategies (PATHS), et program som tar sikte på å lære barn selvkontroll ved verbal impulskontroll de lærer å benevne og identifisere følelser og så finne gode løsninger. De brukte en en randomisert design, der fire skoler med i alt 318 elever ble tilfeldig allokert til eksperimentgruppe som fikk PATHS og kontrollgruppe. De fant at programmet var effektiv for eksperimentgruppa i betydningen bedret impulskontroll og bedret evne til verbal identifisering og benevning av følelser og løsninger. Kvasieksperimentelt Gruppedesign uten randomisering En gruppedesign uten randomisering betyr at deltagerne i eksperimentgruppa og sammenligningsgruppa ikke er tilfeldig allokert til sin gruppe. Dermed er de i utgangspunktet ikke like. Det kan derfor være systematiske forskjeller som man ikke har oversikt over og som kan påvirke muligheten til å si noe sikkert om resultatet. For å minske sjansen for systematiske forskjeller finner man gjerne deltagere i sammenligningsgruppen som er mest mulig like deltagerne i eksperimentgruppen. Det gjør man gjerne med matching, på samme måte som i eksperimentelle design, men uten å bruke matching som grunnlag for tilfeldig tildeling. Man finner skoler som ligner de som er i eksperimentgruppa. Også i en slik design må man unngå å gjøre MV i noen klasser på en skole og ikke i andre, fordi et program gjennomført i en klasse på en skole lett smitter over (treatment diffusion) til en annen klasse på samme skole (Shadish et al., 2002). Fordeler. En fordel er at skoler som ønsker og er motivert for tiltaket eks MV kommer i eksperimentgruppa og slipper å måtte utsette det slik de kunne har risikert om det hadde vært en randomisert design (Dette er også en betydelig ulempe, se under). Likedan slipper skoler som heller vil være i sammenligningsgruppa å innføre tiltaket slik de kunne har risikert om det hadde vært en randomisert design. Dette kan lette implementeringen, eller gjennomføringen av, tiltaket og også lette gjennomføring av tester med lite frafall fordi alle får det de har ønsket seg. I og med at effekten av et skolebasert tiltak er svært avhengig av kvaliteten av implementeringen og et positivt

5 Børge Strømgren HiOA Evaluering av Mitt Valg 5 syn på tiltaket blant de som skal gjennomføre det, kan en slik design være nyttig i en tidlig fase av forskning på et skolebasert tiltak. Ulemper. I gruppedesign uten randomisering det gjerne slik at eksperimentgruppa består av skoler som ønsker å motta tiltaket eks MV, og sammenligningsgruppa av skoler som av ulike grunner ikke ønsker eller kan motta tiltaket. Dette vil bety at de skolene som ønsker tiltaket er selv-selekterte til eksperimentgruppa, noe som i seg selv kan være en systematisk forskjell mellom gruppene, og dermed redusere muligheten for å konkludere med hensyn på effekt. Eksempler på bruk av designen i Norge. Sørlie og Ogden (2007) har gjort en ikke-randomisert studie på effekten av PALS, der totalt 735 elever deltok. De hadde en eksperimentgruppe og en sammenligningsgruppe og tok data én gang 2 år etter implementering av PALS. Eksperimentgruppen bestod av 4 skoler og sammenligningsgruppen bestod av 4 skoler i samme kommune som var like med hensyn på størrelse, antall elever med spesialpedagogiske tiltak osv. For eksperimentskolene fant de små men signifikante effekter på sosiale ferdigheter (d = 0.25), og store effekter på lærervurdert forekomst av problematferd i klasserom (d = 1.04) og skolegård (d = 0.76). De fant ikke tilsvarende effekter for skolene i sammenligningsgruppen. Zero-programmet er også evaluert i Norge med en kvasi-eksperimentell gruppedesign (Roland, Bru, Midthassel, & Vaaland, 2010). De hadde elever som deltagere fra trinn som fikk Zero og sammenlignet de med nasjonale data samlet inn tidligere, henholdsvis 3973 og 2828 elever. De fant redusert forekomst av mobbing og utsatthet for mobbing i de skolene som brukte Zero. Det var også en reduksjon for de skolene som inngikk i de nasjonale dataene, men ikke så stor som for de skolene som brukte Zero. Eksempler på bruk av designen utenfor Norge. Sprague og kolleger (2001) studerte effekten av Second Step brukt i en helskolemodell kalt Effective Behavior Support (EBS) (en tidlig utgave av modellen Schoolwide Positive Behaivor Intervertions and Support (SWPBIS) som blant annet PALS bygger noe av sitt fundament på). Det var lokale skolemyndigheter som bestemtde om deltagerskolen skulle innføre EBS og Second Step eller ikke, og forfatterne veiledet de skolene som var i eksperimentgruppen (EBS og Second Step), men ikke de andre. De hadde ni eksperimentskoler og seks sammenligningsskoler. De hadde 3699 elever i eksperimentskolene og 3432 i sammenligningsskolene. De fant at eksperimentskolene hadde større reduksjon i registrerte regelbrudd (Office Discipline Referrals) enn sammenligningskolene, og elevene i eksperimentskolen viste større kunnskap om sosiale ferdigheter. Lærerne i eksperimentskolene var også mer fornøyde med hvordan skolen fungerte generelt. Taub (2001) undersøkte effekten av Second Step på en landsens skole med 54 elever fra trinn 4 til 6, og brukte en nærliggende skole som sammenligningsskole, 33 elever på trinn 4 til 6. Halvparten av elevene i eksperimentskolen ble tilfeldig valgt ut til å motta Second Step, og halvparten

6 Børge Strømgren HiOA Evaluering av Mitt Valg 6 av elevene i sammenligningsskolen ble tilfeldig valgt ut til sammenligningsgruppa. Taub fant en signifikant bedring i sosial kompetanse og antisosial atferd målt med lærervurderinger for eksperimentskolen, men ikke sammenligningsskolen. Også atferds-observasjoner viste bedring i noen prososiale ferdigheter i eksperimentskolene men ikke i sammenligningsskolene. Endelig er Zippys venner undersøkt med kvasi-eksperiementell gruppedesign. Mishara og Ystgaard (2006) hadde 314 barn i eksperimentgruppa (barnehager) og 104 barn i sammenligningsgruppa (barnehager som var like med hensyn på barnas sosioøkonomiske status). I Danmark bestod eksperimentgruppa av 322 barn og sammenligningsgruppa av 110 barn. De fant signifikant forbedring i ratingskalaer (SSRS) for eksperimentgruppa. Denne studien ble senere fulgt opp (Monkeviciené et al., 2006), igjen med en ikke-randomisert kontrollgruppe. Kvasieksperimentelt Kohortstudie En kohortstudie er longitudinell og den følger en bestemt gruppe over tid. I skolesammenheng kan man følge klassetrinn over tid, såkalt alders-kohort. For eksempel kan man se på elevene i trinn 5 og så se på de også når de er i trinn 6 og 7. Så kan man sammenligne med trinnet under året etter, altså også å se på det trinnet når de er i trinn 5 og 6. Så kan man sammenligne det første trinn 5 med det andre trinn 5, det første trinn 6 med det andre trinn 6, osv. (se Figur 1 under, hentet fra (Holsen et al., 2008)). På denne måten blir trinn 5 i år kontroll for trinn 5 i fjor, og likedan for trinn 6 i år og fjor. Det er altså ikke de samme elevene som sammenlignes med seg selv, men med årskullet som er født året etter. I en alderskohort kan man i tillegg også følge et årskull over tre år, og se på utviklingen i enkelte variabler over år. De kan da sammenlignes med nasjonale normer, eller andre normer, dersom slike finnes for de variablene man har som utkommemål. Dette kan utgjøre en ekstra støtte for konklusjonsvaliditet, eller også som en vurdering av relativ effekt for tiltaket som er iverksatt. Figur 1. Oversikt over en alders-kohort design, fra Holsen et al., Fordeler. Mangel på kontrollgrupper. Denne designen er nyttig nå man ikke kan ha kontrollgrupper, randomiserte eller ikke-randomiserte. Det kan for eksempel være at ingen vil være kontrollskole, eller at alle skoler har et eller annet program, slik at rene kontrollgruppeskoler ikke er lett å finne.

7 Børge Strømgren HiOA Evaluering av Mitt Valg 7 Dette er gjerne situasjonen i Norge i dag, der det er stort fokus på at alle skoler skal ha iverksatt en eller annen forebyggende innsats. Modning. I og med at de gruppene som sammenlignes har samme alder har man kontrollert for en vanlig trussel mot konklusjonsvaliditet, modning at deltagerne gjør det bedre fordi de har blitt ett år eldre og ikke på grunn av tiltaket. Dette er særlig viktig i forskning med barn og unge, utviklingen går fort på mange områder, og på mange vurderingsskalaer vil de naturlig skåre bedre år for år. På et område som mobbing er det dokumentert at forekomsten minker som funksjon av alder. Historie. En annen trussel mot konklusjonsvaliditet er Historie at andre faktorer en tiltaket er ansvarlig for endringen. Det kan være andre tiltak skolen har, endringer som har skjedd i nærmiljø eller i samfunnet, eller sågar årstider. Når man måler effekt på samme tid hvert år, kontrollerer man for årstidsvariasjoner. Lokal historie, som øvrige tiltak på skolen og hendelser i lokalsamfunnet kan man kontrollere for ved å inkludere både små og store skoler i både små og store samfunn i et stort geografisk område. Man kan også inkludere like skoler i samme geografiske område som ikke mottar tiltaket, og bruke de som en parallell kohort-studie eller en slags sammenlignings-kohort. Hvis denne viser samme endring som eksperiment-kohorten, så er de sannsynlig at historie og ikke tiltaket er årsaken til endringen. Trusselen som samfunnsmessige hendelser utgjør som manifest mot mobbing, kan man ikke kontrollere for, men prøve å kartlegge og ta høyde for i konklusjonen om effekt. Utvalg. Dette handler om systematiske forskjeller i gruppene i utgangspunktet. Disse forskjellene utjevnes ved randomisering, men kan være et problem i kvasi-eksperimentelle design. I en alderskohort utgjør dette en mindre trussel. I skoleforskning har man i utgangspunktet naturlig forekommende grupper som er nokså like, klassene er ikke så ulike fra år til år på samme skole, de har ofte nokså lik sosioøkonomisk status fra år til år, de har vært i samme skolemiljø over år, osv. Og feilkilden fra utvalg minskes ytterligere hvis kohorten inkludere flere klassetrinn over flere år, da blir det flere grupper å sammenligne med. Ulemper. Deltagelse/frafall. En kan risikere selektiv frafall ved de målingene som foretas etter første måling. For eksempel kan elver som i basislinjen har skåret høy på ulike mål for problemer falle fra ved senere målinger, slik at en nedgang i problemer ved evalueringstidspunktet delvis kan skyldes at de med høye problemskårer ikke deltok på den målingen. Det kan også hende eleven med mye problemer har sluttet, altså fått et annet tilbud. Det kan videre hende at det har kommet elever til etter baseline som ikke har problemer og dermed skårer lavt på evalueringstesten. For å kontrollere for dette må man identifisere hver enkelt som har svart og ikke inkludere de som har falt fra eller kommet til siden basislinjen. Testing. Dett er en effekt av at svarene på ulike spørreskjemaer endrer seg hvor hver gang man spør fordi man spør flere ganger og ikke fordi det i realiteten har skjedd en endring. Typiske kunnskapstester er et godt eksempel på tester som er utsatt for denne feilkilden. I en alders-kohort

8 Børge Strømgren HiOA Evaluering av Mitt Valg 8 er det en viss beskyttelse hvis man tester en gang i året til samme tid på året, det er ikke sannsynlig at en test-effekt holder seg et år. En kan kontrollere videre for dette med å ha to basislinjetester, altså før man iverksetter tiltak. Tap av data. Noen av dataene kan ikke brukes i beregningen av tiltakseffekt. Man kan derfor ikke gjøre en statistisk analyse av gjentatte målinger fullt ut. Man kan følge et årskull over de årene studien varer for å se på utviklingen år for år, men det blir bare en indikasjon på effekt som kun kan være en eventuell støtte til en hovedkonklusjon. Eksempler på bruk av designen i Norge. Olweus (2005) har brukt designen i flere studier, publisert i 1991 og 1993, og i Bergensposjektet (21000 deltagere), og han fant at Olweus-programmet var effektiv i å redusere mobbing og utsatthet for å bli mobbet, samt noe økt trivsel på skolen. Holsen og kolleger (2008) bukte en kohort-design for å evaluere effekten av Steg for Steg i norske barneskoler. 11 skoler deltok med 1153 elever i trinn 5 og 6. De fant at programmet hadde signifikante positive effekter med hensyn på sosial kompetanse, spesifikt for både jenter og gutter i trinn 5, og for jenter alene i trinn 6. Gutter i trinn 6, Rapporterte derimot reduksjon i eksternaliserte problemer. De fant ingen endring i internaliserte problemer. Nordahl og kolleger har evaluert LP-modellen flere ganger med brukt av en kohortdesign, eller et tidsserielt forskningsdesign som de kaller det (Knudsmoen, 2012; Nordahl, Sunnevåg, & Ottosen, 2009; Sunnevåg & Aasen, 2010; Aasen & Kostøl, 2011; Aasen & Søby, 2011). LP-modellen er en helskoleinnsats rettet mot å bedre skolens miljø. De har brukt spørreskjema for både elever og lærer og spurt om mange funksjonsområder for både individuelle og konstekstuelle variabler. For individvariabler er elever er spurt om atferd på skolen, sosial kompetanse, skolefaglige prestasjoner og motivasjon og arbeidsinnsats, mens lærerne har vurdert elevenes sosiale kompetanse, skolefaglige prestasjoner og motivasjons og arbeidsinnsats. For kontekstuelle variabler er elevene spurt arbeidsmåter og innhold i undervisningen, relasjoner mellom elev og lærer, relasjoner mellom elevene og miljøet i skolen. Lærerne har også svart på arbeidsmåter og innhold i undervisningen og på miljøet i skolen. Knutsmoen (2012) hadde henholdsvis 1300 og 1500 elever hvert år, og fant små effekter på de ratingskalaene som ble brukt. Nordahl, Sunnevåg og Ottosen (2009) kartla elevers og læreres vurderinger av skolemiljø blant 8802/8701 elever og 1389/1311 lærere i 2006/2088 (trinn 5 10), og fant en liten men positiv effekt på læreres vurderinger av trivsel, og samarbeid, og en moderat positiv effekt på syn på elevene (Skolekultur). For elevvurderingene fant de ingen forskjell med hensyn på elev-lærer-relasjon eller elev-elev-relasjon. Elevene vurderte videre små bedringer i undervisning, mens lærerne rapporterte medium bedring i ro og orden i undervisningen. Sunnevåg og Åsen (2010) evaluerte LP-modellen 2007/2009, der 2105/2184 elever og 399/397 lærere deltok. De fant ingen endring med hensyn på elevenes vurdering av problematferd eller sosiale ferdigheter med unntak for en svak bedring i empati. Elevens skolefaglige prestasjoner viste ingen endring, ei heller elevens vurdering av undervisningen. Lærerne rapporterte ingen endringer på noen av skalaene med unntak

9 Børge Strømgren HiOA Evaluering av Mitt Valg 9 for en moderat bedring av elev-lærer-relasjonen og lærernes trivsel. Åsen og Kostøl (2011) evaluerte LP-modellen i videregående skole i 2008/2010, der 1661/1719 elever og 31/275 lærere deltok. De fant gjennomgående ingen eller små/moderate positive resultater med hensyn på læringsmiljøet både fra elever og lærere. Endelig gjorde Aasen og Søby (2011) en evaluering 2008/2010 med 4100/4019 elever og 683/666 lærere på trinn De får stort sett samme resultater som de som er nevnt over, ingen eller små til moderate effekter på de vurderingsskalaene som er brukt. Eksempler på bruk av designen utenfor Norge. Fraser og kolleger (Fraser et al., 2005; Fraser, Lee, Kupper, & Day, 2011) brukte en alders-kohort for å evaluere effekten av klasseromprogrammet the Making Choices Program (MC), et program som fokuserer på sosiale kognitive prosesser og sosialkognitiv ferdighetstrening. 2 skoler deltok med totalt 606 elever, og de hadde tre grupper, MCgruppe, MC Plus-gruppe (foreldresamarbeid i tillegg til klasseundervisning), og sammenligningsgruppe. Det første året var alle i sammenligningsgruppen, de fikk altså vanlig undervisning og det ble kun tatt data. Det andre året fikk de MC, og det tredje året MC Plus. Den fant en lærervurdert økning i prososial atferd og reduksjon i problematferd for elevene etter at de fikk MC og MC Plus sammenlignet med basislinjen. Anbefalt design Evalueringen av MV vil møte de samme utfordringene som andre evalueringer av skolebaserte programmer i Norge (Eriksen, Hegna, Bakken, & Lyng, 2014). Utfordringene er krevende fordi alle skoler er pålagt å arbeide aktivt med skolemiljøet, og slike programmer anvendes av åtte av ti skoler. Derfor er det sannsynligvis svært vanskelig å finne skoler som kan fungere som sammenligningsgruppe. Dette gjør at en design med ulike skoler der en eksperimentskole matches med en sammenligningsskole også blir vanskelig, det kan være store forskjeller mellom skolene som man ikke får kontrollert for i tillegg til at sammenligningsskolene også mest sannsynlig har tiltak for skolemiljøet. Derfor ser det ut til at en alderskohort med flere kohorter eller årskull samtidig er den designen som vil være mest praktisk å gjøre samtidig som den gir en tilfredsstillende kontroll over de viktigste truslene mot slutningsvaliditet. Dette gitt at en tar hensyn til mulige trusler som kan ligge innbakt i selve designen som (1) at utvalget antall deltagere er stort nok for å utjevne eventuelle forskjeller mellom kohorter, (2) analysere data med tanke på at der er klyngedata, at klassetrinn/skole er nivåene man sammenligner mellom og ikke enkeltelever, (3) at data innhentes på samme tid av året hver gang for å unngå årstidsvariasjoner, (4) en kontroll for seleksjon på skolenivå ved at for eksempel a) skoler som enten sliter med eller er godt fornøyd med skolemiljøet systematisk er mer tilbøyelige til å delta, eller b) skoler med høyt eller lavt nivå av problemer i forkant er systematisk mer tilbøyelige til å delta. I tillegg kan nivåene for hver enkelt kohort følges i perioden og sammenlignes med for eksempel like indikatorer fra et større eller nasjonalt utvalg, for eksempel elevundersøkelsen. På

10 Børge Strømgren HiOA Evaluering av Mitt Valg 10 denne måten kan man se om en endring i MV-skolene sammenfaller med større historiske hendelser som samfunnsendringer/-trender og for eksempel fornyet krafttak mot mobbing fra sentralt hold (Roland et al., 2010). Det anbefales å gjøre fire runder med kartlegging, med start våren Dette er vist i øverste panel i figur 2. En multippel kohort bestående av trinnene 5 7 på barneskoler og 8 10 på ungdomsskoler vil kunne gi to kontroll og sammenligningsgrupper fra T1 til T2, to fra T2 til T3 og to fra T3 til T4 for barneskoler og ungdomsskoler hver seg. Videre kan man få to langtidskontroller hver for barneskoler og ungdomsskoler; henholdsvis T3 til T2 til T1 og T4 til T3 til T2 for trinn 7 og trinn 10. For trinn 5 og 8 er det også mulig å legge inn en ekstra runde med kartlegging hver høst (T1b høsten 2015, T2b høsten 2016, og T3b høsten 2017). Da kan man få en dobbel basislinje og eventuelt kontrollere for effekter av repetert testing og eventuelle erfaringer med MV eller andre programmer fra trinn 4 og 7. Designoppsett for barneskoler (øverst) og ungdomskoler (nederst) Vår 2015 Vår 2016 Vår 2017 Vår 2018 Trinn 5 T1 T2 T3 T4 Trinn 6 T1 T2 T3 T4 Trinn 7 T1 T2 T3 T4 Trinn 8 T1 T2 T3 T4 Trinn 9 T1 T2 T3 T4 Trinn 10 T1 T2 T3 T4 Designoppsett for kombinerte barne- og ungdomskoler Vår 2015 Vår 2016 Vår 2017 Vår 2018 Trinn 5 T1 T2 T3 T4 Trinn 6 T1 T2 T3 T4 Trinn 7 T1 T2 T3 T4 Trinn 8 T1 T2 T3 T4 Trinn 9 T1 T2 T3 T4 Trinn 10 T1 T2 T3 T4 Figur 2. Skisse over designoppsett for Barneskoler og ungdomsskoler, og for kombinerte barne- og ungdomsskoler. Hvis man har en kombinert barne- og ungdomsskole kan man ta data for perioden tinn 5 til og med trinn 10. Slik vil man få flere kontroll og sammenligningsgrupper og også flere langtidskontroller, se stiplede piler i nedre panel på figur 2. Det kunne teknisk sett også gått an å gjør dette hvis ungdomsskolekretsen har faste rekrutteringsbarneskoler som bruker MV (eller andre programmer eller ingen), og invitert de barneskolene til å delta også. Det kan imidlertid bli for komplisert rent praktisk, og det ville kreve at det ikke er fritt ungdomsskolevalg eller andre endringer i skolestruktur gjennom perioden. Anbefalt plan for gjennomføring Ideelt sett bør første datainnsamling være våren/forsommeren 2015 (Mai/Juni), eventuelt høsten 2015 (før høstferien). Da må følgende være klarlagt:

11 Børge Strømgren HiOA Evaluering av Mitt Valg 11 Skoler må være invitert og ha sagt ja/forpliktet seg, se inkluderingskriterier under Inkludering Foreldre må være informert skriftlig om prosjektet, kartleggingen som skal være anonym, og muligheten til å frita sitt barn/sin ungdom fra kartlegging Ferdige sett med elektroniske spørreskjema for kontaktlærere og elever, samt rektor/inspektør og øvrige lærere/pedagogisk personell o Blant annet oversikt over antall klasser på hvert trinn og antall elever på hvert trinn Prosjektet er anbefalt av personvernombudet, det må meldes inn våren Inkluderingskriterier Deltagende skoler må ikke ha MV eller andre programmer implementert siste to år før oppstart (siden skoleåret ) være villig til å implementere i tråd med MV sine standarder kun implementere MV 2 og ikke MV 1 i prosjektperioden ikke implementere andre programmer i prosjektperioden forplikte seg til å delta i hele studien selv om de ikke får MV o eventuelt implementere et annet program i samme periode som MV implementeres implementere MV i minst 80% av klassene (de som får MV) o samme implementeringsgrad for de som eventuelt gjør et annet program legge til rette for ulike kartlegginger av utkommevariablene i implementeringsperioden Prosjektperiode Prosjektperioden bør vare i to til tre år, tre år er foretrukket fordi det kan gå en tid før program som MV setter seg og man får den effekten man er ute etter. MV er laget for å hjelpe barn og unge til å utvikle en positiv sosial atferd og til personlig vekst og utvikling med evne til å ta selvstendige valg. Dette er verdibaserte mål som man aldri kan si man har nådd full ut, det er snakk om å arbeide i en slik retning, og det er et langsiktig systematisk arbeid. Forskningsspørsmål og utkommemål Forskningsspørsmål Programmet MV har som formål å styrke elevene ved å bidra til at de kan utvikle en positiv sosial atferd, oppnå personlig vekst og utvikling, og ta selvstendige valg. Derfor blir et primærspørsmål om slik elevstyrking har forekommet etter ett, to eller tre år med MV. Mer spesifikt vil vi se om elevene skårer høyere på selv-regulering, sosial kompetanse, empati, og ansvarlighet etter

12 Børge Strømgren HiOA Evaluering av Mitt Valg 12 ivrksettelsen av MV sammenlignet med ført. Vil vil også se om forekomsten av problematferd generelt avtar i klasserommet og skolemiljøet etter iverksettelsen av MV sammenlignet med før. Og vil vil se om forekomsten av mobbing og bruk av rusmidler avtar etter MV sammenlignet med før. Som sekundæreffekter vil vi også se på om elevene oppfatter at klassemiljø og relasjon til lærer endrer seg med innføringen av MV. Måling av utkomme og øvrige faktorer hver vår i prosjektperioden Det er tre nivåer som faktorer bør måles på; skolenivå, klassenivå og elevnivå/lærernivå (Ozer, 2006). I tillegg bør implementeringskvaliteten måles (Payne, Gottfredson, & Gottfredson, 2006). De ulike nivåene med faktorer vil bli kort beskrevet her. Det legges opp til å bruke skaler som er brukt før i norske evalueringer av PALS ("Massiv rektorstøtte til PALS," 2013; Mari-Anne Sørlie & Ogden, 2007; Mari-Anne Sørlie & Ogden, 2014; Mari-Anne Sørlie, Ogden, Arnesen, Olseth, & Meek-Hansen, 2014) og LP-modellen (Knudsmoen, 2012; Nordahl, 2005; Nordahl et al., 2006; Nordahl & Hansen, 2012; Nordahl et al., 2009), samt evalueringer av flere programmer (Eriksen et al., 2014). På denne måten kan evalueringen av MV sammenlignes med evalueringer av disse programmene. Det anbefales også bruke skalaer som er brukt i andre norske undersøkelser av for eksempel rus (Skretting, Lund, & Bye, 2014) og mobbing (Wendelborg, 2014) for å kunne sammenligne med nasjonale data fra et større utvalg. Skolefaktorer For skolefaktorer er det en fordel å kartlegge faktorer som skolestørrelse, beliggenhet (bykommune/landkommune, kommunestørrelse), elevgrunnlag (andel med spesialundervisning, andel minoritetsspråklige), miljøet på skolen generelt (skalaen Miljøet i skolen fra Knudsmoen), nåværende bruk av programelementer, oppslutning om skolemiljøarbeidet og initiativtagere (skalaene Likhetstrekk i bruk av programelementer, Oppslutning om skolens arbeid med skolemiljøet, og Initiativtagere til valg av program fra Eriksen et al.), og Involvering i valg av program (skalaene fra spørsmål 21 og 22 fra Sørlie et al.). Disse skalaene brukes med rektor/skoleleder og lærere/skoleansatte og vil være nyttige for å kontrollere for forskjeller mellom skoler utenom MV i starten av prosjektet, og eventuelle forskjeller som måtte oppstå underveis, igjen utenom MV. Dette kan være hjelpsomt for å vurdere validitetstrusler fra historie og utvalg. Noen av skalaene vil også være relevante for å vurdere programintegritet (M-A Sørlie, Ogden, Solholm, & Olseth, 2010). Utkommemål Kontaktlærerfaktorer. Kontaktlærere bør også fylle ut et skjema som kartlegger hver elevs sosiale kompetanse, motivasjon og ferdigheter i regning og lesing. Dette kan gjøres med skalaen Performance Screening Guide (Elliott & Gresham, 2007). Videre vil det være interessant å se på

13 Børge Strømgren HiOA Evaluering av Mitt Valg 13 lærernes kollektive mestringstro som en utkommefaktor, dette kan gjøres med Collective Self- Efficacy-Short Form (Goddard, 2002). Elevfaktorer. Det legges opp til anonym besvarelse, det vil si at vi bare spør om kjønn og klassetrinn i tillegg til skole. Det foreslås å brukes skalaen Hva jeg synes om å gå på skolen (Knudsmoen) for å tappe generell info om trivsel, motivasjon og trygghet, dette vil være en viktig utkommevariabel i prosjektet. Videre er de primære utkommevariablene formålet med MV viktige å kartlegge; utvikle en positiv sosial atferd, personlig vekst og utvikling, og ta selvstendige valg. Disse variablene kan kartlegges ved bruk av Social Emotional Assets and Resilience Scales (SEARS)(Merrell, 2011). SEARS fins for elever (8-12år og år), foreldre og lærere, den bygger på styrker resiliens og har gode psykometriske egenskaper (Romer & Merrell, 2013). Elevene bør også bli spurt om miljøfaktorer som lærerelasjon (Skalaen Lærerne fra Knudsmoen), elevrelasjon (skalaen Basisgruppen/klassen og klassekameratene mine fra Knudsmoen), opplevelse av undervisning (Skalaen Undervisningen fra Knudsmoen), generelle miljøfaktorer (Skalaene Regler på skolen og Trygt miljø, og Mobbing fra Wendelborg). For ungdomsskoleelever bør det i tillegg spørres om bruk av rusmidler (Skalaen Rus fra Skretting, Lund og By) fordi MV har fokus på utsatt rusdebut i sitt ungdomsskoleprogram MV3. Disse faktorene vil også være viktige utkommefaktorer da man vet at de er beskyttelsesfaktorer mot atferdsproblemer, eller alternativt formulert: faktorer som bidrar til resiliens (Ogden, 2009). Foreldrefaktorer. Dersom foreldre skal inviteres til å delta bør de bidra til data på Social Emotional Assets and Resilience Scales (SEARS)(Merrell, 2011). Observasjoner i skolen: Det er mulig å foretas observasjoner i skolegården og i timene i vårsemesteret hvert år. Slike observasjoner vil ikke se på enkeltelever, men vurdere det sosiale klimaet i skolegård og eventuelt klasserom. For observasjoner i skolegård kan omkring 5 timer effektiv observasjon på hver skole være tilstrekkelig til å kunne si noe om det sosiale klimaet. Eksempler på instrumenter for observasjon i skolegård er Student Interaction in Specific Settings (SISS) (Cushing, Horner, & Barrier, 2003) og School-Wide Observation System (SW-OBS) (Smith, 2006, 2007). Det er også mulig å gjøre observasjoner i klasserommet. Opplæring og Implementering Implementering av programmet MV vil være en kritisk faktor for en eventuell effekt, dårlig implementering kan medføre dårligere effekt enn en ellers kunne fått (M-A Sørlie et al., 2010). Det er to hoveddimensjoner i implementering, Programintegritet og Tiltaksintegritet. Programintegritet. Dette går på om tiltaket MV faktisk blir iverksatt, og det er faktorer på organisasjonsnivå som det er viktig å kartlegge her, så som ressurser og rammebetingelser, i tillegg til støttestrukturer i organisasjonen. Noen av disse elementene er dekket av spørsmål til rektor og lærere vedt1, eksempelvis oppslutning om skolemiljøarbeidet og initiativtagere. Elementer som

14 Børge Strømgren HiOA Evaluering av Mitt Valg 14 ressurser og støttestrukturer (eksempelvis veiledning, effektvurdering og kvalitetssikring etter opplæring) vil det være naturlig å spørre om ved T2, T3 og T4. Behandlingsitegritet. Opplæring. Stiftelsen Det er Mitt Valg vil stå for opplæring og eventuell veiledning gjennom det programmet de allerede har for dette. Det anbefales å bruke kartlegging som allerede er brukt, for eksempel evaluering av Kurskvalitet og Oppfatning av programmet. Treatment fidelity. Det må avklares hva som allerede fins i MV-manaualene eller andre systemer. En kvalitetssikring av tiltakslevering bør inngå som en del av opplæringen og kan måles ved at deltagende lærere fyller ut en sjekkliste eller loggbok, der hver økt de har gjennomført merkes av når den er gjennomført og hvordan mottagelsen vurderes av lærer og nytten ble vurderes av elevene. Loggboken bør gjøres tilgjengelig for prosjektet. Det bør også vurderes å bruke lokale kursholdere i en todelt funksjon på enkelte tidspunkter i prosjektet: 1) som veiledere til lærerne og hjelp til lokal tilpasning (programintegritet) 2) for å vurdere treatment fidelity sammen med lærer (observatørenighet) i tillegg til å vurdere elevenes oppfatning av relevans (behandlingsintegritet). Oppfatning av programmet. Rektor, lærere og elever kan i tillegg gjøre en vurdering av MV på ulike tidspunkter i prosjektperioden.

15 Børge Strømgren HiOA Evaluering av Mitt Valg 15 Referanser Bonell, C., Allen, E., Christie, D., Elbourne, D., Fletcher, A., Grieve, R.,... Viner, R. (2014). Initiating change locally in bullying and aggression through the school environment (INCLUSIVE): study protocol for a cluster randomised controlled trial. Trials, 15(1), 381. doi: / Cushing, L. S., Horner, R. H., & Barrier, H. (2003). Validation and congruent validity of a direct observation tool to assess student school climate. Journal of Positive Behavior Interventions, 5(4), doi: / Dray, J., Bowman, J., Freund, M., Campbell, E., Wolfenden, L., Hodder, R., & Wiggers, J. (2014). Improving adolescent mental health and resilience through a resilience-based intervention in schools: study protocol for a randomised controlled trial. Trials, 15(1), 289. doi: / Eisen, M., Zellman, G. L., Massett, H. A., & Murray, D. M. (2002). Evaluating the Lions-Quest Skills for Adolescence drug education program: First-year behavior outcomes. Addictive Behaviors, 27, doi: /S (01) Eisen, M., Zellman, G. L., & Murray, D. M. (2003). Evaluating the Lions Quest Skills for Adolescence drug education program: Second-year behavior outcomes. Addictive Behaviors, 28, doi: /S (01) Elliott, S. N., & Gresham, F. M. (2007). SSIS. Classwide intervention program teacher's guide. Minneapolis, MN: NCS Pearson, Inc. Eriksen, I. M., Hegna, K., Bakken, A., & Lyng, S. T. (2014). Felles fokus. En studie av skolemiljøprogrammer i norsk skole. Oslo: Velferdsforskningsinstituttet NOVA. Fraser, M. W., Galinsky, M. J., Smokowski, P. R., Day, S. H., Terzian, M. A., Rose, R. A., & Guo, S. (2005). Social Information-Processing Skills Training to Promote Social Competence and Prevent Aggressive Behavior in the Third Grades. Journal of Consulting and Clinical Psychology, 73(6), doi: / X Fraser, M. W., Lee, J.-S., Kupper, L. L., & Day, S. H. (2011). A Controlled Trial of the Making Choices Program: Six-Month Follow-Up. Research on Social Work Practice, 21(2), doi: / Goddard, R. (2002). A Theoretical and Empirical Analysis of the Measurement of Collective Efficacy: The Development of a Short Form. Educational and Psychological Measurement, 62(1), doi: / Grossmann, D. C., Neckerman, H. J., Koepsell, T. D., Liu, P.-Y., Asher, K., Beland, K.,... Rivara, F. P. (1997). Effectiveness of a Violence Prevention Curriculum Among Children in Elementary School. A Randomized Controlled Trial. The Journal of the American Medical Association, 277(20), doi: /jama

16 Børge Strømgren HiOA Evaluering av Mitt Valg 16 Harrington, N. G., Giles, S. M., Hoyle, R. H., Feeney, G. J., & Yungbluth, S. C. (2001). Evaluation of the All Stars Character Education and Problem Behavior Prevention Program: Effects on Mediator and Outcome Variables for Middle School Students. Health Education & Behavior, 28(5), doi: / Holsen, I., Smith, B. H., & Frey, K. S. (2008). Outcomes of the Social Competence Program Second Step in Norwegian Elementary Schools. School Psychology International, 29(1), doi: / Humphrey, N. (2012). Evaluating the efficacy of the Promoting Alternative Thinking Strategies (PATHS) curriculum in promoting social and emotional wellbeing among children in primary school: a cluster randomised controlled trial. from Knudsmoen, H. (2012). Utvikling av skolens miljø. En kvantitativ undersøkelse om arbeid med læringsmiljøet ved bruk av LP-modsellen Foratterne: Høgskolen i Hedmark. Massiv rektorstøtte til PALS. (2013). Retrieved 10 Desember, 2014, from Merrell, K. W. (2011). SEARS. Social Emotional Assets and Resillience Scales. Professional Manual. Lutz, FL: PAR. Midthassel, U. V., Bru, E., & Idsoe, T. (2008). Is the sustainability of reduction in bullying related to follow up procedures? Educational Psychology, 28(1), doi: / Monkeviciené, O., Mishara, B., & Dufour, S. (2006). Effects of the Zippy s Friends Programme on Children s Coping Abilities During the Transition from Kindergarten to Elementary School. Early Childhood Education Journal, 34(1), doi: /s Nordahl, T. (2005). Læringsmiljø og pedagogisk analyse. En beskrivelse og evaluering av LP modellen. Oslo: Norsk institutt for forskning om oppvekst, velferd og aldring. Nordahl, T., Gravrok, Ø., Knudsmoen, H., Larsen, T. M. B., & Rørnes, K. (Eds.). (2006). Forebyggende innsatser i skolen. Oslo: Utdanningsdirektoratet. Nordahl, T., & Hansen, O. (2012). Klasseledelse. Oslo: Gylendal Akademisk. Nordahl, T., Sunnevåg, A.-K., & Ottosen, A. L. (2009). LP-modellen. Evaluering av LP-modellen Elverum: Høgskolen i Hedmark. Ogden, T. (2009). Sosial Kompetanse og Problematferd i Skolen (2. ed.). Oslo: Gyldendal Akademisk. Olweus, D. (2005). A useful evaluation design, and effects of the Olweus Bullying Prevention Program. Psychology, Crime & Law, 11(4), doi: / Ozer, E. J. (2006). Contextual Effects in School-Based Violence Prevention Programs: A Conceptual Framework and Empirical Review. The Journal of Primary Prevention, 27(3), doi: /s x

17 Børge Strømgren HiOA Evaluering av Mitt Valg 17 Payne, A. A., Gottfredson, D. C., & Gottfredson, G. D. (2006). School predictors of the Intensity of implementation of school-based prevention programs: Results from a national study. Prevention Science, 7(2), doi: /s Riggs, N., Greenberg, M., Kusché, C., & Pentz, M. (2006). The Mediational Role of Neurocognition in the Behavioral Outcomes of a Social-Emotional Prevention Program in Elementary School Students: Effects of the PATHS Curriculum. Prevention Science, 7(1), doi: /s Rivers, S., Brackett, M., Reyes, M., Elbertson, N., & Salovey, P. (2013). Improving the Social and Emotional Climate of Classrooms: A Clustered Randomized Controlled Trial Testing the RULER Approach. Prevention Science, 14(1), doi: /s Roland, E., Bru, E., Midthassel, U., & Vaaland, G. (2010). The Zero programme against bullying: effects of the programme in the context of the Norwegian manifesto against bullying. Social Psychology of Education, 13(1), doi: /s Romer, N., & Merrell, K. W. (2013). Temporal Stability of Strength-Based Assessments: Test Retest Reliability of Student and Teacher Reports. Assessment for Effective Intervention, 38(3), doi: / Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. New York: Houghton Mifflin Company. Skretting, A., Lund, K. E., & Bye, E. K. (2014). Rusmidler i Norge Alkohol, tobakk, vanedannende legemidler, narkotika, sniffing og doping. Oslo: Statens institutt for rusmiddelforskning. Smith, B. W. (2006). SW-OBS Manual & Tool. University of North Carolina - Greensboro. Greensboro. Smith, B. W. (2007). School-Wide Observation System (SW-OBS): A Direct Observation Assessment of Changes in Student-Teacher Interaction Patterns. Paper presented at the ABAI 33rd Annual Convention, San Diego, CA. Sprague, J., Walker, H., Golly, A., White, K., Myers, D. R., & Shannon, T. (2001). Translating research into effective practice: The effects of a universal staff and student intervention on indicators of discipline and school safety. Education & Treatment of Children, 24(4), Stallard, P., Taylor, G., Anderson, R., Daniels, H., Simpson, N., Phillips, R., & Skryabina, E. (2012). School-based intervention to reduce anxiety in children: study protocol for a randomized controlled trial (PACES). Trials, 13(1), 227. doi: / Stallard, P., Taylor, G., Anderson, R., Daniels, H., Simpson, N., Phillips, R., & Skryabina, E. (2014). The prevention of anxiety in children through school-based interventions: study protocol for a 24- month follow-up of the PACES project. Trials, 15(77). doi: / Sunnevåg, A.-K., & Aasen, A. M. (2010). Implementering av LP-modellen. Evaluering av arbeidet med LP-modellen (LP-2). Elverum: Høgskolen i Hedmark.

18 Børge Strømgren HiOA Evaluering av Mitt Valg 18 Sørlie, M.-A., & Ogden, T. (2007). Immediate Impacts of PALS: A school wide multi level programme targeting behaviour problems in elementary school. Scandinavian Journal of Educational Research, 51(5), doi: / Sørlie, M.-A., & Ogden, T. (2014). Mindre problematferd i grunnskolen? - Lærervurderinger i et 10-års perspektiv. Norsk pedagogisk tidsskrift, 98 E(03). Sørlie, M.-A., Ogden, T., Arnesen, A., Olseth, A. R., & Meek-Hansen, W. (2014). Skoleledere om PALS. Spesialpedagogikk(1), Sørlie, M.-A., Ogden, T., Solholm, R., & Olseth, A. R. (2010). Implementeringskvalitet - om å få tiltak til å virke: En oversikt. Tidsskrift for Norsk Psykologforening, 47, Taub, J. (2001). Evaluation of the second step violence prevention program at a rural elementary school. School Psychology Review., 31(2). Wendelborg, C. (2014). Mobbing, krenkelser og arbeidsro i skolen. Analyse av Elevundersøkelsen 2013 Retrieved from krenkelser og arbeidsro i skolen.pdf?epslanguage=no Aasen, A. M., & Kostøl, A. (2011). «Det gjelder å holde ut». En kvalitativ og kvantitativ evaluering av pilotprosjektet LP-modellen i videregående opplæring (LPVGO). Elverum: Høgskolen i Hedmark. Aasen, A. M., & Søby, K. (2011). «Vi ser at det funker». En kvalitativ og kvantitativ evaluering av arbeidet med LP-modellen (LP3). Elverum: Høgskolen i Hedmark.