Forsknings- og implementeringsplan. Høgskolen i Oslo og Akershus

Transkript

1 Evaluering av en modell for systematisk frafallsforebygging i skole gjennom klynge-randomisert design. Et samarbeidsprosjekt mellom Høgskolen i Oslo og Akershus og fylkeskommunene Akershus, Hedmark, Oppland, Nord-Trøndelag og Aust-Agder. Forsknings- og implementeringsplan Høgskolen i Oslo og Akershus Ira Malmberg-Heimonen (Sosialforsk), Anne-Grete Tøge (Sosialforsk), Mira Aaboen Sletten (NOVA), Anders Bakken (NOVA), Knut Fossestøl (AFI), Øyvind Pålshaugen (AFI) og Mary Visher (MDRC, USA) 1

2 Innhold 1 Introduksjon Frafallsforebyggende arbeid som politisk prioritet Effekter av frafallsforebyggende tiltak IKO-modellen og systematisk frafallsforebygging i skolen Deltakende fylkeskommuner: praksis per i dag og motivasjon for deltakelse RCT- evalueringen Klynge-randomisert design som evalueringsmetode Prosessevalueringen Styrkeberegning Hva er et realistisk ICC-nivå? Dikotome og kontinuerlige utfall Plan for implementering og forskning Hva som skal implementeres Forskningsplan Implementeringsplan Etiske aspekter ved gjennomføring av prosjektet Risikovurderinger Kostnader og budsjett ved gjennomføring av prosjektet Kostnader for forskning Kostnader for implementering Relevante enheter og etablert forskergruppe Relevante enheter og kompetanse Forskergruppe og ansvarsområder

3 1 Introduksjon Forskere fra enhetene Sosialforsk, AFI og NOVA fra Høgskolen i Oslo og Akershus har etablert et samarbeid med fem fylkeskommuner: Akershus, Hedmark, Oppland, Nord- Trøndelag og Aust-Agder. Samarbeidet skal resultere i utprøving og effektevaluering av en modell for systematisk frafallsforebygging i skole. Modellen som skal prøves ut vil ta utgangspunkt i Akershus fylkeskommunes erfaringer med IKO-modellen. I denne modellen er det blant annet utviklet et elektronisk verktøy for identifisering, kartlegging og oppfølging av «risikoelever». I samarbeidsprosjektet skal forskerne gjennomføre en randomisert kontrollert studie (RCT) bestående av en effektevaluering i kombinasjon med en prosessevaluering. RCT-studien vil ha et klynge-randomisert design der enheten for randomisering, av etisk-metodologiske årsaker, vil være videregående skoler og ikke enkelt-elever (Campbell og Walters 2014). Mens randomiserte kontrollerte studier i utgangspunktet er et design for å vinne sikker kunnskap om hva som virker eller ikke virker, skal prosessevalueringen synligjøre de mekanismene som kan forklare hva det eventuelt er ved intervensjonen som fører til den ønskede effekten. For å oppnå god integrering mellom effekt- og prosessdelen av undersøkelsen vil alle forskerne delta i begge deler av evalueringen. Det overordnede målet med evalueringen er å undersøke om en modell for systematisk frafallsforebygging i skolen bidrar til økt gjennomføring i videregående opplæring. Modellen som implementeres er en intervensjon på systemnivå og antagelsen er at skoler som bruker denne modellen forbedrer sitt frafallsforebyggende arbeid slik at elever med identifiserte «risikokjennetegn» oftere enn tilsvarende gruppe ved skoler som ikke bruker modellen, blir i opplæring, fullfører og består videregående opplæring. Utfallsmål for effektstudien vil blant annet være redusert antall elever som avslutter opplæringen og redusert antall elever med risikokjennetegn (herunder prestasjoner, motivasjon og andre utfordringer i hverdagen) for frafall. I prosessevalueringen undersøkes også implementeringskvalitet, samt hvorvidt skolene (ved ledelse, rådgivere, kontaktlærere) opplever modellen som frafallsforebyggende og hvilke deler av den de eventuelt opplever har størst betydning. Denne forsknings- og implementeringsplanen er utarbeidet i samarbeid mellom forskerne og fylkeskommunene, basert på en prosess initiert av fylkeskommunene og som har pågått siden august Akershus erfaringer fra implementering av IKO-modellen, samt behov i de deltakende fylkeskommunene er diskutert via e-post og i fysiske møter, og har influert prosjektets oppbygging. Prosjektet etterstreber en optimal løsning for både forskningsdesign og implementering i skolene, uten at kompromissene for noen av delene av prosjektet blir for store. Til tross for at en lengre planleggings- og implementeringsfase kunne vært ønskelig, vil forberedelsene av implementeringen starte våren Dette for at IKO-modellen skal være i bruk ved skolestart høsten Det er også viktig å merke seg at deltakende fylkeskommuner allerede har påbegynt forankringen av prosjektet høsten 2015, for eksempel gjennom orientering på rektormøter. 1.1 Frafallsforebyggende arbeid som politisk prioritet Å redusere frafall fra videregående opplæring står høyt på den politiske agendaen og er et av hovedmålene for grunnopplæringen i Norge (Utdanningsdirektoratet 2014). Å sørge for at flest mulig gjennomfører er for det første viktig fordi det påvirker den enkeltes sjanser senere i livet. Forskning viser for eksempel at frafall øker risikoen for økonomisk og yrkesrettet inaktivitet (Falch, Borge, Lujala, Nyhus og Strøm 2010; Falch og Nyhus 2011; Fekjær og 3

4 Brekke 2009; Støren, Helland og Grøgaard 2007) og for lave lønninger blant de som kommer i arbeid (Bratsberg 2010; Opheim 2009). At personer står utenfor arbeidsmarkedet over lengre tid, og er avhengig av offentlige overføring, har samtidig store samfunnsøkonomiske kostnader. I dag brukes det betydelige ressurser både nasjonalt og lokalt for å øke gjennomføringsgraden i videregående opplæring. Fordi frafall kan gi alvorlige konsekvenser er det grunn til å tro at denne aktiviteten vil lønne seg på lang sikt hvis den faktisk fører økt gjennomføring. Det viktige spørsmålet blir altså om gevinsten av frafallsforebyggende tiltak er høyere enn kostnadene ved å gjennomføre tiltaket. Senter for økonomisk forskning har estimert de samfunnsøkonomiske kostnadene av manglende gjennomføring i videregående opplæring og konkluderer med at dersom man reduserer frafall og forsinkelser i utdanningsløpet med en tredjedel i forhold til dagens nivå, vil man kunne oppnå samfunnsøkonomiske besparelser på om lag seks milliarder kroner for hver kohort (Falch og Johannesen 2009). Beregningene tar både hensyn til effekter på individnivå og offentlige utgifter, og gir en sterk indikasjon på at det er betydelig potensiale for samfunnsøkonomisk gevinst ved å redusere frafall og forsinkelser i videregående opplæring. Falch har også gjort et estimat på de samfunnsøkonomiske kostnadene per individ 1 ved å havne utenfor arbeidslivet i 20 års alder (Hyggen, Aaboen Sletten og Haakestad 2013). Falck beregner tapt verdiskaping til å være drøyt 7 millioner per individ. Da ser han bort fra kostnader til at økt skatt for å finansiere trygder gir effektivitetstap i økonomien, økt sannsynlighet for uheldig atferd med kostnader for samfunnet (kriminalitet, rus m.m), mulige sosiale smitteeffekter og lavere livskvalitet. Konklusjonen han trekker av dette regnestykket er at tiltak vil være samfunnsøkonomisk lønnsomme dersom de virker, og dersom nåutgiften for hver ekstra elev som fullfører er mindre enn 7.1 millioner kroner. Tiltaket som skal implementeres og effektevalueres i dette prosjektet befinner seg på systemnivå. Med systemnivå avses at tiltaket har å gjøre med hvordan det frafallsforebyggende arbeidet er organisert snarere enn innholdet i spesifikke tiltak. Det er altså ikke uten videre lett å beregne forholdet mellom gevinst og kostnader med utgangspunkt i Falchs individbaserte regnestykke. Falchs beregninger illustrerer likevel hvordan også relativt kostnadskrevende tiltak vil være samfunnsøkonomisk lønnsomme på lang sikt vel og merke hvis de virker. Som vi oppsummerer i kapittel 1.2 om tidligere forskning, har vi i dag relativt lite sikker kunnskap om virkningen av ulike forebyggende innsatser på frafallsfeltet. Mye av forskningen på feltet tyder imidlertid på at implementeringskvalitet slik som tidlig identifisering, grundig forankring, god planlegging og tett oppfølging, er viktige suksesskriterier. Hensikten med IKO-modellen og lignede modeller for systematisk frafallsforebygging i skolen er nettopp å sikre slike forhold. Det kan videre argumenteres for at kunnskap om virkning av et tiltak på systemnivå, som handler om å systematisere skolenes frafallsforebyggende arbeid, har stor overføringsverdi til andre lokale kontekster ut over de fire fylkeskommunene der tiltaket skal prøves ut. At mange fylkeskommuner allerede er interessert i og ønsker å prøve ut Akershus sin IKOmodell er en god indikasjon på dette. Fordi årsakene til at ungdom slutter i videregående er sammensatte, og fordi lærere og andre voksenpersoner som skal jobbe sammen med ungdommene har ulike kvaliteter og operere under ulike rammebetingelser vil det ofte være vanskelig å peke ut ett type tiltak eller noen typer av tiltak som virker for alle. Derimot er det 1 Alternativet til utenforskap er satt opp til å være jobb fra 20 til 65 årsalderen, med unntak av 5 år i 30 årsalderen. 4

5 grunn til å tro at det vil være hensiktsmessig på tvers av lokale kontekster å innføre et system for å sikre implementeringskvaliteten i det frafallsforebyggende arbeidet, gjennom forenkling, målretting og kvalitetssikring av et arbeid som allerede er en del av skolenes ansvarsområde. Det er også grunn til å tro at en modell basert på systematisering av allerede foreliggende informasjon, tydelige felles maler og tydelig ansvarsfordeling vil gjøre omkostningene ved å bruke systemet relativt små for skolene. Samtidig vil innføringen av tiltaket ikke nødvendigvis kreve betydelig omlegging av den tiltaksaktiviteten (på individnivå) som allerede finnes i fylkene og som man har gode erfaringer med. Tilpasning til individer og den lokale konteksten ligger som en forutsetning i modellen. Valg av aktiviteter, støtteordninger og tilpasninger på individnivå må avgjøres på skolenivå, av de som kjenner eleven og den lokale konteksten best. 1.2 Effekter av frafallsforebyggende tiltak Frafall fra videregående opplæring er et vedvarende problem. Mens det etter hvert er god kunnskap om årsaker til frafall, finnes det fremdeles relativt lite forskning om virkningene av ulike forebyggende innsatser. I litteraturen om årsaker til frafall er det særlig tre typer av forklaringer som dominerer; prestasjons-, motivasjons- og institusjonsforklaringer (se f.eks. Markussen 2010; Sletten, Bakken og Andersen 2015). I tillegg løftes ofte elevens hjemmesituasjon og problemer utenfor skolen fram som viktige bakenforliggende årsaker. Forskning basert på registerdata har undersøkt ulike kjennetegn ved ungdommene og deres situasjon, og beskriver frafall primært som et prestasjonsproblem. Svake prestasjoner fra grunnskolen er den klart viktigste enkeltforklaringen til frafall, mens familiebakgrunn har en betydelig indirekte effekt via skoleprestasjoner. Forskning basert på spørreskjemadata eller intervjuer med ungdom har i tillegg beskrevet frafall som et motivasjonsproblem og argumenterer for at lav grad av identifisering med og engasjement i skolen bidrar til at ungdom velger å avslutte opplæringen. I tillegg til forskning som peker på utfordringer hos de unge (og i deres livssituasjon) finnes det også forskning som argumenterer for at utdanningsinstitusjonene i seg selv kan konstituere faktorer som fremmer eller hemmer gjennomføring (Bäckmann, Jakobsen, Lorentzen, Österbacka og Dahl 2011), og at manglende gjennomføring oppstår i relasjonen eller i møtet mellom ungdommen med sine ressurser og opplæringssystemet med sine institusjonelle begrensninger. Forskning om frafallsforebyggende tiltak gir ingen klare svar i forhold til hvilke utfordringer det er mest hensiktsmessig å ta tak i eller hvilke typer av tiltak som gir best effekt. Kunnskapssenteret for utdanning har nylig undersøkt systematiske oversikter og litteraturgjennomganger på feltet (Lillejord, Halvorsrud, Ruud, Morgan, Freyr, Fischer- Griffiths, Eikeland, Hauge, Homme og Manger 2015). De finner at de fleste av de foreliggende studiene konkluderer med at det er vanskelig å peke ut én eller flere bestemte tiltakskategorier som er mer effektive enn andre (se f.eks. Wilson, Tanner-Smith, Lipsey, Steinka-Fry og Morrison 2011). Derimot ser implementeringskvalitet hvor godt de ulike intervensjonene er planlagt og gjennomført ut til å være avgjørende. For å ha effekt bør tiltakene være grundig forankret og følges tett opp av alle involverte parter. Kunnskapssentrets egen gjennomgang av nyere effektstudier på feltet har identifisert tre hovedkategorier av frafallstiltak. Disse er 1) tiltak rettet mot oppmøte og atferd, 2) tiltak i form av veiledning og oppfølging av «risikoelever» og 3) tiltak i form av kurs som forberedelse for videre utdanning. Tiltak i den første kategorien handler om å identifisere risikoelever, gi tydelige forventninger og sanksjonere uønsket atferd. Innsatsen er altså ikke 5

6 primært rettet mot å påvirke elevens faglige forutsetninger eller motivasjon, men handler i større grad om hvordan skolen identifiserer og følger opp «risikoelever». Tiltak i den andre kategorien handler om at eleven gjennom ulike typer veiledning eller mentorordninger får hjelp med faglige eller andre utfordringer som står i veien for gjennomføring av videregående opplæring. Tiltak i den siste kategorien omhandler kurs som skal virke motiverende gjennom å hjelpe ungdommene å se framover og forstå nytten av å ta videregående utdanning. I tillegg til å beskrive enkelttiltak oppsummerer Kunnskapssenteret fem tverrgående temaer i tiltak mot frafall som ser ut til å bidra til om et tiltak er effektivt eller ikke. For det første trekker de fram behovet for å etablere sterke og tillitsskapende relasjoner. Deretter har effektfulle tiltak ofte lykkes med å etablere sammenheng mellom nivåene (for eksempel mellom skole og kommune). Videre framheves tidlig innsats og forankring at man kommer tidlig i gang med innsatsen før problemet får utviklet seg og at tiltaket har bred tilslutning blant de som deltar. Til slutt argumenteres det for at vellykkede tiltak er systematiske både i planlegging, gjennomføring og evaluering. Kort oppsummert er hovedinntrykket fra studier der kunnskap om effekter av frafallsforebyggende tiltak er sammenfattet, at det ikke finnes én eller noen typer av tiltak som gjennomgående har effekt. Frafall er et komplekst problem, og det finnes ikke én type medisin som virker for alle, i alle kontekster. Tiltakene må derfor tilpasses lokale rammebetingelser og ungdommenes individuelle utfordringer. Oversiktene gir samtidig viktige innsikter når det gjelder implementeringskvalitet på tvers av kontekster. Sjansen for å lykkes med frafallsforebyggende tiltak er størst når disse settes inn tidlig, er godt forankret, legger til rette for tillitsskapende relasjoner og ikke minst; når de gjennomføres systematisk. 1.3 IKO-modellen og systematisk frafallsforebygging i skolen Modellen for systematisk frafallsforebygging i skolen som skal prøves ut og evalueres i dette samarbeidsprosjektet vil ta utgangspunkt i IKO-modellen som er utviklet av Akershus fylkeskommune. 2 IKO-modellen er utviklet for å hjelpe skolene i deres frafallsforebyggende arbeid, slik at skolene raskt kommer i gang med målrettede tiltak rettet mot elever som står i fare for å avslutte opplæringen. Modellen er først og fremst en intervensjon på systemnivå, der hensikten er å forbedre strukturer og systematikk ved oppfølging av risikoelever. Slik vil dette prosjektet produsere kunnskap med stor overføringsverdi til frafallsforebyggende arbeid i skolesektoren generelt, både lokalt, nasjonalt og internasjonalt. IKO-modellen bygger på en forståelse av en tredelt elevgruppe: 1) elever med normal oppfølging, 2) elever med rett til spesialundervisning og 3) elever uten rett til spesialundervisning men som har behov for tett oppfølging i perioder. IKO-modellens særlige bidrag i denne sammenheng er systematisering av skolenes frafallsforebyggende arbeid rettet mot den tredje elevgruppen. Utgangspunktet er at mens det finnes klarere retningslinjer i arbeidet med elever som har rett til spesialundervisning, mangler en tilsvarende systematikk i skolenes arbeid rettet mot «risikoelever» som ikke kvalifiserer for spesialundervisning. 2 Denne beskrivelsen baserer seg blant annet på skriftlig og muntlig informasjon fra Akershus Fylkeskommune, aktuelle nettsider 2 og Akershus og Østfold fylkesrevisjons rapport om IKO (2014). 6

7 Modellen består av tre hovedelementer Identifisering, Kartlegging og Oppfølging. IKO er en modell for systematisk a) identifisering av «risikoelever», b) kartlegging av utfordringer i og årsaker til elevenes situasjon, og c) oppfølging av endringer i elevenes situasjon. IKOmodellen skal dermed hjelpe skolene iverksette målrettede tiltak på et tidlig stadium og sikre at tiltakene justeres i forhold til virkning og endringer i elevens situasjon. Det kan innvendes at disse elementene er så allmenne at de til en viss grad vil betegne det frafallsforebyggendearbeidet som foregår på alle skoler. IKO-modellens særlige bidrag er imidlertid automatisering, målretting og kvalitetssikring av dette arbeidet ved skolene. Konkret skjer identifiseringen av mulige IKO-elever i overgangen mellom ungdomsskole og videregående. Sammenlignet med ordinær praksis, muliggjør modellen en god praksis for samarbeid mellom ungdomsskoler og videregående. Selve identifiseringen gjennomføres på bakgrunn av fastsatte kriterier: Grenseverdier for karakterer og fravær, melding om mistrivsel, urealistiske studie-/yrkesvalg, kritiske grunnleggende ferdigheter i lesing, skriving og regning. For å lette identifisering og kartlegging som er i tråd med IKO-modellen har Akershus fylkeskommune utviklet en IKO-modul i VOKAL. Programmet har automatiske funksjoner for overføring av elevinformasjon fra ungdomstrinnet til videregående skole og identifisering av frafallsutsatte elever og funksjoner. IKO-modulen i VOKAL finnes for ungdomstrinnet og videregående skoler og er et sentralt element i IKO-modellen. I denne prosessen identifiseres elever med risikokjennetegn og den videregående skolen kontakter ungdomsskolen dersom man ser behov for ytterligere opplysninger. Identifisering av mulige IKO-elever skjer gjennom hele skoleåret. En eventuell identifisering innebærer selvfølgelig ikke at en elev «alltid» er IKO-elev; vurderingene gjøres fortløpende. Klassene settes sammen etter at IKO-elevene er identifisert og etterstreber balanserte fordelinger. Etter at klassene er fordelt tar rådgiver en grundig gjennomgang med kontaktlærere (gjerne på skolens planleggingsdager) for å forberede disse på eventuelle utfordringer og å gi nødvendig informasjon rundt enkeltelever. Kartlegging gjennomføres etter samme mal med alle elever (IKO-elever prioriteres først). Her blir man enig med eleven om behov for videre oppfølging. Resultatene oppsummeres etter hvert i klasselærermøter, og eventuelle enkeltvedtak om spesialundervisning blir fattet omtrent ved høstferien. Akershus fylkeskommune har erfaring med at en betydelig del av alle elevene med risiko for frafall fanges opp under denne identifiserings- og kartleggingsprosessen. På bakgrunn av resultatene av kartleggingen skreddersyr skolen en tett og systematisk oppfølging. Innholdet i tiltakene rettes mot styrking av elevenes grunnleggende ferdigheter, økt motivasjon for videre skolegang, bruk av læringsstrategier og eksamensrettede intensivkurs. En midtveisvurdering gjennomføres for alle elever innen 1. november. Her setter lærere karakterer og oppsummerer fraværet. Dette er en viktig milepæl for å avdekke elever med risiko for frafall før det er for sent. Erfaringer fra bruk av IKO-modellen tyder på at identifisering etter første halvårsvurdering er for sent. Samtidig viser erfaringer fra Akershus Fylkeskommune at ytterligere IKO-elever fanges opp ved dette tidspunktet, noe som viser at risiko for frafall er et dynamisk fenomen. Derfor arbeides det kontinuerlig med identifisering gjennom hele skoleåret, og elevenes tiltaksplaner evalueres og justeres etter behov. Kort oppsummert bygger IKO-modellen på følgende premisser: Når man (i vårt tilfelle skolene) setter inn tiltak for å løse et problem (i vårt tilfelle frafall), må man vite hvem tiltakene skal settes inn for. Man må altså ha en metode for å screene risikogrupper. For å tilpasse tiltakene den enkeltes behov må de som identifiseres i risikogruppen i tillegg kartlegges. Skal screening og kartlegging skje systematisk og effektivt trengs det 7

8 automatisering og IKT-støtte. Screening og kartlegging legger grunnlag for å sette inn i oppfølgingstiltak. Det antas at det finnes ulike tiltak som kan settes inn for ulike problemstillinger. Utgangspunktet for problemløsning er at løsningene først søkes lokalt, før større ressurser og mer omfattende tiltakspakker settes inn. Det er implementeringen av en slik modell for systematisk frafallsforebygging rettet mot «risikoelever» som skal evalueres i dette forskningsprosjektet. Det som skal prøves ut er dermed ikke implementering av et individrettet tiltak. Tiltaket vil være på systemnivå. Sagt på en annen måte skal det undersøkes om det å bruke et hjelpemiddel for systematisk frafallsforbygging øker sannsynligheten for at risikoelever gjennomfører videregående opplæring. Hypotesen er at tidlig identifisering og målrettet tilpasning av opplæringen fra skolens side vil øke sannsynligheten for at «risikoelever» blir i opplæring og finner en vei gjennom videregående skole. Videre antas det at skolene lykkes best med dette arbeidet hvis de følger en modell som bidrar til automatisering, målretting og kvalitetssikring av det frafallsforebyggende arbeidet ved skolen. Det som vil være likt på de skolene som deltar i forsøket og blir randomisert til tiltaksgruppe er at de i forsøksperioden bruker modellen for systematisk identifisering, kartlegging og oppfølging av «risikoelever». Denne modellen vil bygge på elementene i IKO-modellen. Sammenlikningsskolene vil skille seg fra forsøksskolene ved at de ikke bruker modellen, de får ikke tilgang til IT-verktøy og maler utviklet for identifisering, kartlegging og oppfølging av risikoelever, og får heller ikke opplæring i modellen. Hvilke faktiske innsatser, individuelle tilpasninger i opplæringen eller støtteordninger skolene velger å sette inn ovenfor enkeltelever i forsøksperioden vil dette prosjektet imidlertid ikke ha kontroll over. Dette avgjøres på skolenivå, og vil fortrinnsvis følge av ungdommenes individuelle utfordringer og de lokale rammebetingelsene. IKO-modellen er blitt vurdert av Akershus og Østfold fylkesrevisjon (2014). Sentrale materialer i vurderingen har vært en survey til respektive skoler og gruppeintervjuer med elever. Vurderingen viser generelt at skolene i fylkeskommunen arbeider godt med modellen. Skolene har utviklet sine kartleggingssystemer og har god oversikt over elevgruppen gjennom skoleåret. Samtidig viser rapporten til noen forbedringspunkter: I noen skoler kan IKOelevgruppene bli ganske store: Kan kriteriene for identifisering av IKO-elever spesifiseres ytterligere? Identifiseringen av elever utfordrer kravet til personvern: har unødvendig mange personer i skolene tilgang til elevdata som samles inn i samband IKO-prosessene? Det er videre behov for av kontinuerlig støtte av implementeringsprosessene, slik at planene for hver elev blir gode nok. En del skoler mener det også har vært for lite etterutdanning i modellen, og at det har vært for lite erfaringsutveksling mellom skoler. Kontinuerlig opplæring og erfaringsutveksling fremheves som viktig for å oppnå best mulig gjennomføring. Det er viktig at disse konklusjonene gjenspeiles i den videre planleggingen av dette prosjektet. 1.4 Deltakende fylkeskommuner: praksis per i dag og motivasjon for deltakelse I prosjektperioden skal en modell for systematisk frafallsforebygging (IKO-modellen) implementeres og effektevalueres gjennom en randomisert kontrollert studie i fire fylkeskommuner: Hedmark, Oppland, Aust-Agder og Nord-Trøndelag. Forskerne og fylkeskommunene har kontinuerlig utvekslet informasjon og diskutert ulike løsninger via e- post, telefon og møter. I denne utvekslingen har forskerne fått innsikt i fylkeskommunenes motivasjon for å delta i prosjektet, og fylkeskommunene har bidratt med viktig informasjon om muligheter og utfordringer ved implementering av IKO i en lokal kontekst. 8

9 Selv om kartlegginger de siste årene tyder på at det frafallsforebyggende arbeidet både i og utenfor skolen er styrket (Sletten mfl. 2015), viser både forskning og fylkeskommunenes beskrivelser behov for systematisering og målretting av dette arbeidet. For å få et inntrykk av situasjonen i de fem fylkeskommunene som deltar i samarbeidsprosjektet har de beskrevet hvordan de jobber med frafallsproblematikken, og hva som er styrker og svakheter ved dette arbeidet. Akershus har utviklet og implementert IKO-modellen i alle videregående skoler og mener modellen er et viktig bidrag til den positive utviklingen hva gjelder økt fullføring. De fire øvrige fylkeskommunene har ulike systemer for oppfølging på skolenivå. For eksempel har Hedmark fylkeskommune de siste årene gjennomført resultatoppfølging på skolenivå, der resultatene til de enkelte skolene har blitt fulgt tett opp av administrasjonen. Etter skoleåret analyseres resultatene og skolene utarbeider en utviklingsplan med tiltak som blir fulgt opp i en såkalt styringsdialog. En del rektorer mener at skolene driver et systematisk frafallsforebyggende arbeid, men dette arbeidet er ikke manualbasert, utbredelsen og konkrete metoder varierer dermed fra skole til skole. Det er også usikkerhet knyttet til den faktiske effekten av det nåværende frafallsforebyggende arbeidet, fordi Hedmark kommer ut som det nest dårligste fylket hva angår grunnskolepoeng. Aust-Agder fylkeskommune har satt i gang en kartlegging av hva slags tiltak de videregående skolene i fylket gjennomfører for elever som står i fare for ikke å fullføre og bestå videregående opplæring. Hensikten er å utarbeide felles handlemåter og rutinebeskrivelser til bruk i de videregående skolene i fylket, samt maler for skolenes lovpålagte- og ikke-lovpålagte elev- og foreldresamtaler. Aust-Agder mener IKO-modellen kan fungere som ramme for dette arbeidet, fordi det kan tilføre en systematikk i kartlegging av elever og vurdering av hensiktsmessige tiltak. Nord-Trøndelag har de senere årene fulgt med på utviklingen i Akershus. Fylkeskommunen har jobbet bredt med ulike tiltak og på ulike oppfølgingsområder, men har ikke oppnådd de samme resultatene som i Akershus. En mulig forklaring er at innsatsen ikke er systematisert. Nord-Trøndelag fremhever spesielt at det foreslåtte forskningsprosjektet gir anledning til å utvikle og forbedre systematikken i det frafallsforebyggende arbeidet i samarbeid med andre fylkeskommuner, og mener at et slikt samarbeid på tvers av fylker vil styrke utviklingsarbeidet. Også Oppland har de siste årene jobbet mye med systemer og rutiner for oppfølging av elever som står i fare for å avslutte opplæringen. I likhet med de øvrige fylkeskommunene ønsker de likevel en mer systematisert innsats, der identifiseringen og oppfølgingen er bedre koordinert. Spesielt fremhever Oppland behovet for at identifisering og oppfølging i overgangen fra grunnskolen blir bedre ivaretatt. Alle fire fylkeskommuner praktiserer per i daget system med overgangsskjema, med informasjon som ungdomsskolene fyller ut for elever de identifiserer som risikoelever. Oppland fylkeskommune rapporterer imidlertid at et problem med denne ordning kan være at man ikke alltid får den informasjonen man er ute etter (innhold er til en viss grad opp til «utfyller»). Informasjonen er heller ikke lett tilgjengelig for kontaktlærer på VG1. Videre praktiseres det per i dag (i varierende grad) et system med oppstarts-samtaler mellom kontaktlærer og nye elever på de videregående skolene. Dette er semi-strukturerte intervjuer der informasjon må legges manuelt inn og kan hentes ut i papirversjon. Kontaktlærer har ikke direkte tilgang til lagret informasjon. Gjennomføring av oppstarts-samtaler er ikke lov- /forskriftsforankret. Selv om de fire fylkeskommunene per i dag har implementert ulike aktiviteter som skal styrke det frafallsforebyggende arbeidet, har ingen per i dag et helhetlige tiltak for å øke systematikk, automatisering, målretting og kvalitetssikring av de videregående skolenes frafallsforebygging på individnivå. Hverken Hedmark, Oppland, Nord-Trøndelag eller Aust- Ager har per i dag et IT-verktøy egnet til tidlig identifisering, kartlegging og oppfølging på elevnivå, slik Akershus fylkeskommune har gjennom sin IKO-modell. Akershus 9

10 fylkeskommune vil ha rolle som mentor ovenfor de andre fylkeskommunene som inngår i prosjektet. Akershus fylkeskommune har de siste årene arbeidet målrettet med IKO-modellen. Deres omfattende erfaringer fra innføring og bruk av IKO-modellen, herunder opplæring og veiledning, vil være svært viktig i implementeringsprosessen. 2 RCT- evalueringen Virkningen av å implementere en modell for systematisk frafallsforebygging tilsvarende IKO-modellen Akershus bruker i dag vil evalueres gjennom en randomisert kontrollert studie bestående av en effektevaluering og en prosessevaluering. Mens effektevalueringen vil svare på hvorvidt modellen virker eller ikke, vil prosessevalueringen si hvorfor og hvordan modellen virker (eller ikke). Begrunnelsen for valg av et klynge-randomisert design i denne konteksten er at tiltaket som prøves ut berører utvikling i hele skoler, noe som gjør individrandomisering lite hensiktsmessig. Av ovennevnte årsaker er også klynge-randomiserte design internasjonalt dominerende blant RCT-studier innen skoleforskningsfeltet (Campbell og Walters 2014; Hedges og Hedberg 2007). 2.1 Klynge-randomisert design som evalueringsmetode For å kunne estimere kausale effekter av IKO som frafallsbyggende modell, er det nødvendig å konstruere to sammenlignbare klynger av skoler. For at klyngene av skolene skal bli så like som mulig, må skolene fordeles tilfeldig randomiseres til tiltaks- og sammenligningsgrupper. Dersom antall skoler er høyt nok, fører randomiseringen til at skolene, lærerne og elevene i de to klyngene blir forholdsvis like hverandre. Mens den ene gruppen av skoler fortsetter med vanlig praksis (TAU) mottar den andre tiltaket som skal evalueres (IKO). Dersom klyngene har ulik endring fra tidspunktet før tiltaket iverksettes (baseline) til oppfølgingene kan dette endringsavviket anses som en effekt av IKO-modellen. Vi ser for oss en modell der skoler randomiseres til tiltak- og sammenligningsgrupper. Mens IKO blir implementert i skoler som er randomisert til tiltaksgruppen, vil skoler som er randomisert til sammenligningsgruppen følge opp sine elever som vanlig (TAU). I selve evalueringen vil alle førsteklassingene, både i tiltak- og sammenligningsgruppen, følges opp som en del av det eksperimentelle designet. To år etter (fra 2018-kullet) kan sammenligningsskolene implementere modellen dersom det er ønskelig. Skolene i tiltaksgruppen skal selvfølgelig arbeide videre med IKO-modellen med 2016-kullet og kullet (begge disse inngår i effektevalueringen). Til tross for at randomisering skjer på skolenivå, skal effekten måles på så vel skole-, lærer- og elevnivå, noe forskerne har god kompetanse på. Slike analyser som korrigerer for denne designeffekten gjøres for eksempel gjennom flernivå-analyser. Antagelsen er at skoler som bruker en modell for systematisk frafallsforebygging vil forbedrer sitt frafallsforebyggende arbeid slik at risikoelever oftere enn tilsvarende gruppe ved skoler som ikke bruker modellen, blir i opplæring, fullfører og består videregående opplæring. Utfallsmål for effektstudien vil blant annet være 1) redusert antall elever med risikokjennetegn (herunder prestasjoner, motivasjon og andre utfordringer i hverdagen), 2) redusert antall elever som avslutter opplæringen, og 3) redusert antall tidligere elever som står helt utenfor opplæring, arbeid eller annen aktivitet etter at de er skrevet ut av skolen. Utfallsmål 1 planlegges målt ved hjelp av registerdata om karakterer, fravær o.l. fra VIGO, samt spørreskjemadata innhentet både fra tiltaksskoler og sammenligningsskoler i prosjektet. 10

11 Utfallsmål 2 måles ved hjelp av registerdata fra VIGO. Utfallsmål 3 måles ved hjelp av data fra OTTO, evt. supplert med ARENA-data. I tillegg til å undersøke skolene i tiltaksgruppen er det også viktig å undersøke den vanlige elevoppfølgingen (TAU 3 ), det vil si praksisen ved «baseline» og virksomheten underveis i sammenligningsskolene. For å kvalitetssikre funnene bør det benyttes ulike datakilder, både selvrapportert og registerdata, -samt følge tendenser over tid. Gjennom nøye planlegging og oppfølging vil undersøkelsen bli gjennomført i tråd med metodologiske krav til RCT-studier. Spørreskjemaene bidrar med kunnskap utover informasjonen fra registerdataene og er dermed viktige både hva gjelder målinger ved baseline og oppfølginger. I alle oppfølginger benyttes tilgjengelig registerdata fra fylkeskommunene og andre relevante registereiere til å supplere data fra spørreskjema. I tillegg benyttes registerdata for å følge opp elevene i tiden etter at prosjektet formelt er avsluttet. Ved en RCT (uansett om den er individ- eller klynge-randomisert) er detaljert planlegging avgjørende for gjennomføringen. Dette innebærer konkrete tidsplaner for alle oppgaver og prosesser som inngår i prosjektet. Se kapittel 3.1 og 3.2 for nærmere beskrivelser av konkret fremgangsmåte. For å sikre etterprøvbarhet vil forsøket bli registrert på ClinicalTrials.gov og bli rapportert i tråd med internasjonale protokoller og retningslinjer for eksperimentelle studier innen samfunnsfag, så som TIDieR og CONSORT-SPI (Hoffmann, Glasziou, Boutron, Milne, Perera, Moher, Altman, Barbour, Macdonald og Johnston 2014; Montgomery, Grant, Hopewell, Macdonald, Moher, Michie og Mayo-Wilson 2013). 2.2 Prosessevalueringen I tillegg til effektevalueringen vil forskningsprosjektet inneholde en prosessevaluering. Målet med denne delen av evalueringen er å undersøke hvordan og på hvilke måter modellen eventuelt er virksom. Prosessevalueringen vil fremme den praktiske nytten av studien gjennom innsikter i hvordan IKO-modellen fungerer i ulike kontekster og gjennom å identifisere «best practice», herunder faktorer og prosesser som fremmer forankring og implementeringskvalitet. Slike innsikter er nyttige for både beslutningstakere og praktikere (Chen 2010; Oakley, Strange, Bonell, Allen og Stephenson 2006). Prosessevalueringen vil bygge på informerte antakelser om hvilke mekanismer som vil gjøre seg gjeldene og hvilke virkninger de vil ha. Begrunnede antakelser om virkningsmekanismer kalles programteori (Funnell og Rogers 2011; Pawson 2013). Teoretisk begrunnede intervensjoner forventes å være mer effektive, fordi de er basert på teorier om kausale mekanismer. Det er dermed ikke bare en teoretisk forventing om at intervensjonen skal ha en bestemt effekt, men også hvordan denne effekten genereres. På den måten legger programteorier et grunnlag for å utvikle kunnskap om virkningsmekanismer utover den spesifikke intervensjonen som evalueres (Michie et al 2008; Lippke & Ziegelmann 2008). IKO-modellen er en kompleks intervensjon der det ikke er en eller få virksomme ingredienser, men mange elementer som spiller inn, -og disse er også virksomme i interaksjon med hverandre. Ved denne typen komplekse intervensjoner kan det være vanskelig å kontrollere for konteksten hvor tiltaket implementeres. Forskerne vil basere prosessevalueringen på både kvalitative og kvantitative data for å gi en mest mulig helhetlig beskrivelse av utviklingen i ulike kontekster, og for å optimalisere analysene av samspillet 3 TAU er forkortelsen for «Treatment as usual» og innebærer den oppfølging elevene får som vanlig mottar til vanlig. 11

12 mellom tiltak og kontekst. De kvantitative prosessdataene omfatter alle skoler og ansatte, og vil dermed gi bredere kunnskap om implementeringsprosessene på tvers av ulike organisatoriske, strukturelle og kontekstuelle variasjoner. Det kvalitative datamaterialet vil bli samlet inn fra et utvalg av skoler, med bruk av metoder som er tilpasset prosessens karakter i ulike faser og støtter betingelsene for teoretisk generalisering. Prosessevalueringen skal altså gi kunnskap om virkningsmekanismene, dvs. undersøke hvilke aspekter av implementeringen og gjennomføringen av IKO-modellen som har ført til eventuelle effekter. Forskningsbasert kunnskap om disse virkningsmekanismene er viktig, både for videre implementering av modellen hvis den viser seg effektiv, og for å kunne justere og videreutvikle de elementer av modellen som er mest virkningsfulle. For de fylkeskommuner og VGS som ikke har deltatt i prosjektet, og som ønsker å implementere modellen på et senere tidspunkt, er kunnskap om hvordan de kan få modellen til å virke like viktig som kunnskap om at den virker. Prosessevalueringen bidrar derfor til å øke overføringsverdien av kunnskapen som frambringes gjennom dette prosjektet. Programteorien utvikles i dialog med de aktørene i feltet. Dette vil finne sted våren 2016, under den såkalte Utviklingsfasen i prosjektet (jf. 3.2 Forskningsplan). Kunnskapsgrunnlaget for programteorien vil være basert på følgende hovedtyper av kunnskap: i) empirisk kunnskap om feltet, ii) teorier om sosiale mekanismer som forårsaker/hindrer frafall og iii) erfaringsbasert kunnskap fra deltakende fylkeskommuner/vgs om tiltak og praksis som har bidratt til å redusere frafall. På bakgrunn av programteorien fremstilles program- og implementeringsmanualer. 2.3 Styrkeberegning En viktig del av RCT-planleggingen er å gjøre en styrkeberegning for å estimere hvilke effektstørrelser designet kan avdekke. I et klynge-randomisert design avhenger den identifiserbare effektstørrelsen av flere faktorer. Noen av disse faktorene er kjente, mens andre er ukjente. I den grad faktorene er ukjente må styrkeberegningen bygge på antakelser om disse ukjente størrelsene. Her er antall skoler, klasser og elever kjent, men hvor mye ulike utfall (f.eks. frafall, karakterer og motivasjon) vil variere på tvers av skoler og klasser er ukjent. I en klynge-randomisert studie er omfanget av variasjon på tvers av klyngene (her skoler og klasser) en viktig faktor for å kunne skille mellom kausale effekter av IKO og andre faktorer som påvirker utfallene. Den identifiserbare forskjellen mellom klyngene vil også avhenge av om utfallsmålet er dikotomt eller kontinuerlig. Vi har derfor valgt å utforske hvilke effektstørrelser det vil være mulig å identifisere i denne studien, ved 1) ulike nivåer av variasjon mellom skoler og klasser (ICC-nivåer), 2) analyser som baserer seg på elevene gruppert i klasser og analyser der elever er gruppert i skoler, og 3) dikotome versus kontinuerlige utfall. Alle beregninger antar at analysene benytter et 0.10 signifikansnivå (det vil si 10 % sjanse for å forkaste en gyldig nullhypotese) og 80 prosent statistisk styrke på selve styrkeberegningen (det vil si 80 prosent sjanse for at den beregnede nedre grensen for effektstørrelse vil være identifiserbar i de empiriske analysene, -gitt alle andre antakelser i beregningene er riktige) Hva er et realistisk ICC-nivå? Som nevnt er grad av variasjon mellom skoler og klasser (ICC-nivået) per nå en ukjent størrelse i prosjektet. For å kunne estimere effektstørrelser ved ulike nivåer av variasjon 12

13 mellom skoler og klasser, må vi først ha en idé om sannsynlig variasjon på klasse og skolenivå. For å gjøre en antakelse om dette kan det være nyttige å se på ICC-nivåer i andre randomiserte studier der intervensjonen er implementert i skoler, men det er dessverre et fåtall av slike studier som rapporterer ICC-nivåer. I en skolestudie der en intervensjon ble implementert for å øke fysisk aktivitet blant tenåringsjenter fant Murray, Varnell og Blitstein (2004) at ICC-nivået var for det dikotome utfallet «moderat til energisk fysisk aktivitet», og for det kontinuerlige utallet «antall aktiviteter per dag». ICC-nivået ble ytterliggere redusert etter kontroll for etnisitet (henholdsvis ICC= og ICC<0.0000). En studie av psykisk helse i blant elever i skoler viste at ulike kontinuerlige skalaer hadde ICCverdier fra til (Anderman 2002), mens en annen studie av depresjon blant elever i videregående skoler fant at variasjonen mellom skoler tilsvarte ICC-verdier mellom og (Roeger, Allison, Martin, Dadds og Keeves 2001). I studier av «well-being» er ICC funnet å være 0.01 i en studie av elever i Finland (Konu, Lintonen og Autio 2002), mens den er funnet å være 0.04 i en studie av elever i Nederland (Van den Oord og Rispens 1999). Hvorvidt ICC-nivåene fra disse studiene er overførbare til norsk kontekst og denne studien, avhenger av om forskjeller i elevsammensetning og pedagogikk mellom skoler og klasser i studiene ligner den vi finner i Norge. Mens allokering av studieplasser i den norske videregående skolen i sterk grad baserer seg på en kombinasjon av studieretning og geografisk område elevene bor i, noe som skulle tilsi nokså lite variasjon mellom skolers ICCverdier, har andre land mer prestasjonspreget fordeling av skoleplasser, noe som fører til større ulikhet mellom skoler og dermed høyere ICC-verdier. Land hvor prestasjons-studier er gjennomført (USA og Australia) har friere skolevalg og dermed sterkere seleksjon av «evner» (abilities) inn i ulike skoler. Det er dermed mindre trolig at ICC-nivåene fra slike studier (med en antakelse om høyere ICC-verdier) er overførbare til norsk kontekst. ICC-nivåene i denne studien vil naturligvis også variere på tvers av utfall, og hvorvidt disse utfallene er kodet som dikotome eller kontinuerlige variabler. Når vi under neste punkt redegjør for hvilke effektstørrelser det vil være mulig å identifisere legger vi derfor til grunn et gjennomsnittlig ICC-nivå på 0.02 eller lavere (men tabellene viser også resultater for høyere ICC-verdier) Dikotome og kontinuerlige utfall I den planlagte studien skal vi både se på dikotome (f.eks. fullføring) og kontinuerlige utfall (f.eks. mestring). Ved bruk av et dikotomt utfall vil ikke bare den påvisbare forskjellen mellom tiltak og sammenlikning være avhengig av om elevene er gruppert i skoler eller klasser og på variasjonen mellom skoler/klasser (ICC-nivået), men også på andelen elever i sammenligningsgruppen som har et «positivt» utfall. Her tester vi for fullført på normert tid, men andre dikotome mål vil selvfølgelig også undersøkes i studien. I Norge fullfører 57 prosent av elevene innen normert tid (OECD, 2014). Vi antar at vi vil finne tilsvarende fullføring i sammenligningsgruppen i denne studien. Dersom analysene tar utgangspunkt i at elever (totalt 7500) er gruppert i skoler, vil et ICCnivå på 0.02 innebære at vi kan identifisere en signifikant effekt dersom 63.0 prosent av elevene i tiltaksgruppen fullfører innen normert tid (sammenlignet med 57 prosent for sammenligningsskolene). Viser ICC-nivået seg å være 0.01 vil vi kunne identifisere 13

14 signifikante effekter dersom tiltaksskolene oppnår 61.7 prosent fullførelse innen normert (sammenlignet med 57 prosent for sammenligningsskolene). Selv om intervensjonen vil bli randomisert til og implementert i hele skoler, kan man anta at klassene i skolene også er tilfeldig fordelt mellom tiltaks- og sammenligningsskoler. Dersom det er betydelig variasjon mellom klasser i skoler kan man argumentere for at analysene bør justere for at elevene er gruppert i klasser. Effekten av IKO-modellen vil for eksempel avhenge av lærerens bruk av denne. Fordi klasser - i motsetning til skoler - har samme lærer, vil variasjon på klassenivå kunne bli viktig i analysene. Intervensjonen vil også påvirke antall klassekamerater som får alternativ undervisning og dermed arbeidsmiljøet for gjenværende elevene i klasserommet, mens arbeidsmiljøet for elevene ved resten av skolen er uberørt av hva som skjer i denne bestemte klassen. Å gruppere elever innenfor klasser (istedenfor skoler) har også en statistisk fordel, det gir flere frihetsgrader på nivå 2 og reduserer dermed kravet til endring for å identifisere effekt. Dersom analysene baserer seg på at elevene er gruppert i klasser, vil et ICC-nivå på 0.02 bety at vi kan identifisere en effekt dersom 60.5 prosent av elevene i tiltaksgruppen fullfører innen normert tid (sammenlignet med 57 prosent for sammenligningsskolene). Med et ICC-nivå på 0.01 vil det være mulig å identifisere signifikante effekter dersom 60.2 prosent av elevene i tiltaksgruppen fullfører innen normert tid (sammenlignet med 57 prosent for sammenligningsskolene). Tabell 1: Styrkeberegninger for dikotome utfall når andelen i sammenligningsgruppen som fullfører på normert tid er 57 prosent.* Antall kluste r Antall elever per kluster ICC Andel i sammenlikningsgruppen som fullfører på normert tid % 65.0 % % 64.1 % % 63.0 % % 61.7 % Identifiserbar andel i tiltaksgruppen som fullfører på normert tid % 61.0 % % 60.8 % % 60.5 % % 60.2 % *Power=80%. Signifikansnivå=10%. Kontinuerlige utfall er viktige for å analysere endringer i karakterer, motivasjon og trivsel. Vi rapporterer derfor også styrkeberegninger for denne typen utfall. Dersom elever (totalt 7500) er gruppert i skoler, vil et ICC nivå på 0.01 gjøre at vi kan identifisere signifikante effekter tilsvarende 9.6 prosents effektforskjell mellom gruppene ved oppfølging. Et ICC nivå på

15 gjøre at vi kan identifisere signifikante effekter tilsvarende 12.2 prosents effektforskjell ved oppfølging. Når de statistiske analysene antar at elevene er gruppert i klasser og ICC-nivået er 0.02 er det mulig å identifisere effekter tilsvarende en økning på 7.1 prosents effektforskjell. Dersom ICC nivået er 0.01 vi kan identifisere signifikante effekter ved 6.4 prosents effektforskjell. Tabell 2: Styrkeberegninger for kontinuerlige utfall* Antall kluster Antall elever per cluster ICC Effektforskjell ved oppfølging % % % % % % % % *Power=80%. Signifikansnivå=10%. ** her antar vi ingen endring i sammenligningsgruppen Oppsummert har resultatene fra styrkeberegningene presentert i tabell 1 og 2 vist at det, med det antall skoler og klasser som er til rådighet i denne studien innebærer dette at det vil være mulig å identifisere en effektforskjeller mellom tiltaks- og sammenligningsgruppen ned mot 3.2 prosentpoeng for frafall og tilsvarende dikotome utfall, og effektforskjeller ned mot 6.4 prosent ved kontinuerlige utfall (f.eks. skalaer for mental helse og well-being). Disse beregningene forutsetter at vi har 0.10 signifikansnivå, dvs. 90 prosent sannsynlighet for at effektfunnene er forskjellig fra null. Det er fullt mulig at vi finner effekter som ikke er statistisk signifikante, dvs. at elevene i IKO-skolene har bedre progresjon enn kontrollskolene, men at denne effekten ikke er signifikant på 0.10-nivå. Slike funn vil likevel være av substansiell interesse, og fordrer analyser av subgrupper. Dersom IKO fungerer bedre for elever, klasser og skoler med visse kjennetegn, vil dette kunne avdekkes ved å analysere interaksjonseffekter. Siden IKO identifiserer og innretter tiltak overfor elever med risikokjennetegn forventes det at IKO vil ha størst effekt på elever i denne gruppen. Det vil derfor være relevant å undersøke effekten av IKO blant elever der avgangskarakterene fra ungdomsskolen er under et kritisk nivå og der fraværet er over et kritisk nivå. 3 Plan for implementering og forskning Under dette punktet gjør vi rede for implementerings- og forskningsplanen i prosjektet. Aktiviteter som tilhører henholdsvis forsknings- og implementeringsdelen vil pågå parallelt i tid, men beskrives hver for seg for å tydeliggjøre de ulike oppgavene. Begge deler må ta hensyn til praksis og er derfor utviklet i samarbeid mellom deltakende fylkeskommuner og forskerne. Ansvarsmessig er oppgavene klarere fordelt. Mens forskerne har ansvar for evalueringen har fylkeskommunene sammen med skolene ansvar for implementering 15

16 (tiltaksskoler) og levering av forskningsdata (alle skoler). Forskerne vil støtte fylkeskommuner og skoler i implementeringen av tiltaket. Som en del av prosessevalueringen vil implementeringsprosessene følges nøye opp av forskerne. 3.1 Hva som skal implementeres Under følger en gjennomgang av hvilke elementer som må være på plass innenfor områdene identifisering, kartlegging og oppfølging på henholdsvis skole-, fylkes- og prosjektnivå. Identifisering Skolenivå: Tilgang til et IT-verktøy som forenkler skolenes arbeid med identifisering av risikoelever. Identifiseringen skjer på bakgrunn av registerdata (om karakterer, fravær m.m.) som mates inn i systemet fra VIGO, fortrinnsvis etter samme grenseverdier på alle skoler. Skolene må bruke verktøyet til identifisering av nye elever i VG1 allerede i begynnelsen av august, før elevene møter opp på skolen. Klassene settes sammen ut fra informasjon fra identifiseringsprosessen. Deretter tar rådgiver en grundig gjennomgang med kontaktlærer (på skolens planleggingsdager) for å forberede utfordringer og å gi nødvendig informasjon rundt enkeltelever. Skolene skal også bruke IT-verktøyet til identifisering av risikoelever underveis i opplæringsløpet. Skoler som bruker modellen må sette midtveiskarakterer (november og april) som mates inn i systemet. I tillegg skal skolene etablere et system for å fange opp mistrivsel. Det må avtales faste perioder for når underveis identifiseringen skal gjennomføres i skolene. IT-verktøyet vil ha en egen rapportfunksjon der skolelever og kontaktlærer kan hente ut oversikt over fravær og karakterresultater på den enkelte elev. Fylkesnivå: Må sørge for at relevante opplysninger fra VIGO mates inn i IT-verktøyet slik at de er klare til bruk ved skolene i begynnelsen av august. Tilby teknisk støtte til skolene og arena for erfaringsutveksling mellom skoler. Følge opp om identifisering av risikoelever faktisk gjennomføres på skolenivå. Prosjektnivå: Sørge for at IT-verktøyet, et system for å fange opp mistrivsel og en mal for systematisk identifisering (både ved oppstart og underveis i skoleløpet) foreligger. Malen skal gi klare anbefalinger til hvilke kriterier og grenseverdier som bør utløse handling på skolenivå. Det må gis opplæring i bruk av IT-verktøyet og malen for identifisering av risikoelever. Tilby rådgivning til fylkeskommuner og skoler i bruk av verktøyet. Kartlegging Skolenivå: Tilgang til et system for kartlegging av utfordringer og årsaker hos identifiserte elever. Kartleggingsskjemaet skal dekke helheten i elevenes situasjon (skoleresultater, fravær, motivasjon, grunnleggende ferdigheter, trivsel, sosiale utfordringer, helse etc.). Alle identifiserte «risikoelever» kartlegges i løpet av de første ukene av skoleåret. I denne perioden innhentes også informasjon fra ungdomskolen (overgangsskjema), samt eventuelle faglige tester. 16

17 Tilsvarende kartlegginger skal også gjennomføres for elever som identifiseres underveis i skoleløpet, men elevene kartlegges mer omfattende ved overgang til et nytt trinn. Fylkesnivå: Legge til rette for overføring av informasjon fra ungdomsskolene. Legge til rette for erfaringsutveksling mellom skoler. Følge opp om kartlegging av risikoelever faktisk gjennomføres på skolenivå både ved skolestart og i etterkant av fastsatte identifiseringstidspunkt underveis i skoleløpet. Prosjektnivå: Sørge for at skjema og mal for kartlegging av risikoelever foreligger. Tilby opplæring i bruk av kartleggingsverktøyet. Rådgivning til fylkeskommuner og skoler i bruk av verktøyet. Oppfølging Skolenivå: Med utgangspunkt i resultatet fra kartleggingen skal skolen, i samråd med eleven, lage en individuelt tilpasset tiltaksplan ut fra elevens behov. Resultatene oppsummeres etter hvert i klasselærermøte og eventuelle enkeltvedtak om spesialundervisnings fattes ca. høsteferieuken. Etter at adekvat tiltak er definert, skal elevens situasjon vurderes fortløpende gjennom fastsatte tidspunkt for elevsamtaler og vurdering av resultater/fravær. Midtveisvurdering 1. november (første halvårsvurdering er for sent). Dersom skolen vurderer at oppfølgingen virker skal den fortsette inntil utfordringen er løst. Dersom ikke, skal oppfølgingen justeres og det må eventuelt gjennomføres en ny kartlegging av elevens utfordringer. Skoleledelsen skal få informasjon om utviklingen til alle identifiserte risikoelever. Fylkesnivå: Fylkeskommunene må sørge for at skolene har informasjon og får tilstrekkelig opplæring i aktuelle tiltak som kan brukes ovenfor enkeltelever som intensivundervisning, individuelle planer for øke prestasjoner i enkeltfag, spesiell yrkes- og studieveiledning, støtteordninger og aktivisering av eksterne fagmiljøer, f.eks. ved fysisk eller psykisk sykdom (mye vil være på plass i fylkene). Fylkeskommunen må påse at skolene følger opp elevenes situasjon og at informasjon om utviklingen til «risikoelevene» forankres på skoleledernivå. Prosjektnivå: Sørge for at mal og fremgangsmåte for oppfølging av risikoelever foreligger. Tilby opplæring i bruk av oppfølgingsverktøyet. Tilby informasjon om egnede tiltak som kan brukes ved ulike type utfordringer i elevens situasjon som høyt fravær, manglende karakterer i fag, svake grunnleggende ferdigheter, mistrivsel etc. Tilby rådgivning til fylkeskommuner og skoler i bruk av verktøyet. 17

18 3.2 Forskningsplan Forskningsprosjektet vil bestå av to integrerte faser, hvor den første er utviklingsfasen (fra oppstart til høsten 2016) og den andre er forskningsfasen (fra baseline og randomisering til oppfølging av effekter og prosesser). Tidsmessig går fasene over i hverandre, mens de oppgavemessig er adskilt (se Figur 1). 4 Utviklingsfasen starter med forberedelser til og oppstart av prosjektet, og vil pågå frem til innsamling av baselinedata og randomisering av skoler. For å sikre at forskningsprosjektet blir vellykket vil de første forberedelsene starte før formell prosjektstart Prosjektet vil forberedes gjennom analyser av eksisterende forsknings- og erfaringsbasert kunnskap. Her inngår kartlegging av programelementer og videreutvikling av IKO-modellen samt fremstilling av materialer til forskning og implementering, så som program- og implementeringsmanualer. Akershus erfaringer vil være spesielt viktige i denne delen av prosjektet. I denne fasen må det også søkes om forskningstillatelser og tilhørende konsesjoner fra registereiere. Studien organiseres slik at senere oppfølginger (etter prosjektslutt) vil være mulige, disse må da inkluderes i forskningssøknadene og konsesjonene. Randomisering av skoler til IKO og TAU skoler vil skje innen , slik at IKOimplementering i skoler som er blitt randomisert til tiltak kan igangsettes rett etter dette. IKOmodellen skal da være i bruk ved skoleoppstart august 2016 og identifisering av IKO-elever skjer allerede ved overgangen fra ungdomsskole til videregående. I årene etter implementering fortsetter tiltaksskolene å benytte IKO, hvor et minimum er at IKO-modellen blir benyttet overfor og 2017-kullene. Mens vi måler effekter av 2016-kullet med spørreskjemaer og registerdata, vil oppfølgingen av 2017-kullet gjøres kun gjennom registerdata. Ettersom implementeringsprosesser tar tid, mener vi det er viktig å også undersøke 2017-kullet. Prosessevalueringen vilundersøke implementeringen av IKO for og 2017-kullene. Fra høsten 2018 vil sammenligningsskolene ha mulighet til å implementere IKO, men kun for kullet som starter opp høsten 2018 og etterfølgende kull. Implementering i sammenligningsskolene fra og med høsten 2018 er mulig fordi disse kullene (og etterfølgende kull) ikke inngår i effektevalueringen, det vil dermed ikke påvirke det eksperimentelle designet. Dersom sammenligningsskolene tar i bruk IKO-modellen høsten 2018, må imidlertid IKKE modellen benyttes på elevene som ble innrullert i 2016 eller For å ivareta hensynet til det eksperimentelle designet er det viktig at denne restriksjonen etterfølges i alle skolene. 4 For eksempel vil innsamling av baselinedata og randomisering oppgavemessig tilhøre forskningsfase, mens de tidsmessig er plassert under utviklingsfasen. 18

19 Figur 1 : Forskningsdesign for klynge - randomisert evaluering av IKO - modellen Fase Tid RCT Fremdriftsplan Prosess U tv O Forberedelser av implementering og pilotering (Akershus) ik b Forberedelser av forskning V år 2016 se lin g rv a sfa sjo se n V år 2016 Forbedring av modell og programelementer V år 2016 V å r (T1) p å skole - lærer/rådgiver og elevnivå. Høst (T1) baseline elever spørreskjema In te rv ju F o rsk n in g sfa se V år 2016 Høst 2016 Randomisering av skolene til tiltak og sammenligning IKO Implementering for førsteklassinger TAU Fortsetter vanlig praksis O b se rv a sjo n Høst 2017 T2 (+12 m åneder ) effekter p å skole -, lærer og elevnivå. T1 Registerdata kull 2017 Høst 2017 Videre arbeid med IKO blant kull 2016 i tiltaksskolene IKO for kull 2017 Effekteevalueringen baserer seg på elevene som ble innrullert høsten 2016 samt høsten In te rv ju Høst 2018 T3 (+24 m åneder ) effekter p å skole - lærer og elevnivå T2 registerdata for kull 2017 IKO for sammenligningsskolene (nye kull) Høst Vår 2019 Analyse og rapporteringer av prossess - og effektdata Publisering og formidling Prosjektet avsluttes formelt Det vil være oppfølginger etter dette, T4 - T5. 19

20 Selve forskningsfasen begynner med innsamling av baselinedata (T1). Med unntak av spørreskjemaundersøkelsene til elevene vil baselinedata samles inn før randomisering. Baselinedata vil bestå av følgende: Registerdata fra VIGO (elevnivå): registerdata fra VIGO samles inn for alle avgangselever i grunnskolen våren 2016 og våren 2017 (Karakterer GS, fravær GS, søkeatferd til videregående, ulike type støtteordninger/merknader fra GS). Informasjonen vil innhentes for hele kullene så raskt den foreligger og er tilgjengelig for forskerne. Det vurderes som lite sannsynlig at randomisering av skoler vil påvirke elevenes søkeatferd i og med at søknadsfrist for VGO er 1. mars. Registrert informasjon om elevene fra grunnskolen kan derfor regnes som baselinedata selv om informasjonen rent praktisk kanskje ikke kommer forskerne i hende før etter randomiseringsdatoen. Spørreskjemadata (elevnivå): Baseline spørreskjema gjennomføres i løpet av september 2016 blant alle elever i første klasse i deltakende skoler (både forsøks- og sammenligningsskoler). Følgende temaer vil inngå: sosial bakgrunn, foreldre, innvandrerbakgrunn, barnehage, skolehistorikk, opplevelse av faglig mestring, motivasjon/ambisjoner, trivsel, sosial inklusjon i skolen, hjemmeliv, utfordringer utenfor skolen, fysisk aktivitet, venner etc. Vi vil bruke validerte måleinstrumenter i den grad som mulig, for eksempel «General Self-Efficacy Scale» (Schwarzer og Jerusalem 1995), «Self-Esteem» (Rosenberg 1965) og «Children s Academic Intrincic Motivation Inventory» (Gottfried 1985). Det vil videre være viktig å koble registerdata med data fra spørreskjemaene. Spørreskjemadata/intervjuer på skolenivå: Baseline spørreskjema/intervjuguide rettet mot skoleledelsen gjennomføres i løpet av mars 2016 i deltakende skoler. Disse handler om skolenes nåværende arbeid og planer for arbeid med oppfølging av elever som står i fare for å avslutte opplæringen. Den overordnede hensikten er å beskrive den frafallsforebyggende virksomheten og vurdere forskjeller og fellestrekk på tvers av deltakende skoler. Den første effektmålingen (T2) foretas høsten Det vil si +12 måneder etter T1 for 2016-kullet. For elever vil vi måle effekter på gjennomføring, fravær, karakterer og andre risikorelaterte utfall. I tillegg vil disse effektene bli undersøkt på skolenivå. I praksis betyr dette at alt som blir undersøkt ved baseline undersøkes på ny, for på den måten å avgjøre om elevene i IKO-skolene har større progresjon enn elevene i sammenligningsskolene. I tillegg vil det innhentes data om aktivitetsstatus for ungdom som ikke lenger er i VGO fra OTTO. Registerdata fra VIGO (elevnivå): Fra VIGO for alle elever (som begynte i første klasse H16) både på IKO- og TAU-skoler: Elevstatus, karakterer, andre resultater og fravær VGO. Ulike type støtteordninger/merknader fra VGO evt. andre opplysninger som fylkeskommunene registrerer. OTTO- data (oppfølgingstjenestens administrative verktøy) om aktivitetsstatus (f.eks. om de er i ulike typer tiltak, arbeid, er syke, er hjemme med barn, i militæret eller er i jobb). Spørreskjemadata (elevnivå): Gjenta deler av baseline-spørreskjemaet for alle elever både på IKO- og TAU skoler. Spørreskjemadata/intervjuer på skolenivå: Tilpasset versjon av skjema som brukes ved baseline både på IKO- og TAU-skoler. Om skolenes arbeid med oppfølging av elever som står i fare for å avslutte opplæringen. 20

21 Andre effektmålingen (T3) gjennomføres høsten Det vil si +24 måneder etter T1. Her vil effekter på skole- og elevnivå undersøkes. Dette vil være tilsvarende data som ved T2 oppfølgingen kullet undersøkes kun gjennom registerdata. Senere og utenom prosjektperiode vil T4 og T5 gjennomføres basert på registerdata fra VIGO og OTTO. For 2017-kullet vil disse registerbaserte oppfølgningene være T3 og T4 oppfølginger. Tiden frem til prosjektets formelle slutt vil brukes på analyser av data, formidling og publisering av prosjektets hovedfunn. I tillegg legger vi opp til T4 (+36 måneder for kullet, +24 måneder for 2017-kullet) og T5 (+48 måneder for 2016-kullet, +36 måneder for 2017-kullet) oppfølginger basert på registerdata. Ettersom randomiserte kontrollerte studier er sjeldne og ressurskrevende, samt at det kan ta tid før implementerte tiltak manifesterer seg i effekter, er det viktig å muliggjøre langtidsoppfølginger av tiltaket. Prosesser relatert til IKO-implementeringen vil undersøkes fortløpende ved hjelp av både kvantitative og kvalitative data (høst 2016 og fremover). De kvalitative dataene vil bygge på intervjuer med ledere, rådgivere og lærere, samt dokumentasjon og materialer fra implementeringsprosessene. I tillegg vil det gjennomføres observasjoner av skolenes konkrete arbeid med modellen, herunder opplæring og hvordan IT-verktøyet brukes i skolene. Til tross for at tiltaksskolene vil være i spesielt fokus, er det også viktig å vite hva som skjer i sammenligningsskolene. Blir det for eksempel implementert IKO-lignende tiltak i disse skolene? En caseprotokoll som beskriver datainnsamlingen vil bli utarbeidet og holdes løpende oppdatert gjennom hele prosessevalueringen. Caseprotokollen bidrar til å tydeliggjøre hvilke data det er behov for, samt operasjonalisere og standardisere metodene for innsamling av disse dataene. Vi har lagt inn 2 mellomrapporter og en sluttrapport i planen. Rapportene vil være viktige for å rapportere fremdriften i prosjektet og preliminære funn, samt bidra til formidling til feltet underveis i prosjektet. 21

22 Tabell 3: Milepæler i forskningsdelen Milepæler Fra Til Prosjektoppstart Forskningstillatelser + konsesjoner Utvikling av modell og programteori, pilotering av måleinstrumenter, utvikling av implementeringsprogram (kurs og seminarer) IKO-forberedelser på fylkesnivå IKO erfaringer fra Akershus fylkeskommune, innsamling av data og analyse* Innsamling av baseline-data (T1): Registerdata + survey til rådgivere i deltakende skoler Fylkesintern randomisering av skoler IKO- implementering skolenivå, gjennomføring av kurs/seminarer, iverksetting av veiledningsstrukturer Innsamling av baseline-data (T1) spørreskjema for elever IKO er i bruk i alle tiltaksskoler Prosessevaluering implementering, observasjoner og intervjuer Første underveisrapport Innsamling av oppfølgingsdata (T2) +12 måneder: Registerdata + survey til deltakende skoler og elever Andre underveisrapport Innsamling av oppfølgingsdata (T3) +24 måneder. Registerbasert for 2016-kullet (elever) + survey til deltakende skoler: rådgivere og elever Analyse og rapportering. Formidling og internasjonal publisering Formell prosjektslutt og sluttrapport T4 effektdata +36 måneder 2016-kullet** T5 effektdata, +48 måneder 2016-kullet** * I Akershus fylkeskommune vil tilsvarende data samles inn, unntatt spørreskjemaer fra elever. Dataene vil brukes for å evaluere Akershus Fylkeskommunes IKO-erfaringer og resultater (kan benyttes kvasieksperimentelt). ** T4-T5 er lagt etter formell prosjektslutt og baserer seg kun på registerdata 3.3 Implementeringsplan Det er avgjørende med en nøyaktig planlegging av implementeringen. Det bør etableres et eget implementeringsteam med representanter fra Akershus og fylkeskommunene. Hver fylkeskommune vil ha en fylkeskommunal prosjektleder med ansvar for implementeringsprosesser. Deres mandat vil være å støtte implementeringen av IKOmodellen i de fire andre fylkene og følge opp fremdriften i denne prosessen. Det er svært viktig at prosjektet får (en eller flere) kontaktpersoner fra hver skole, som forskerne kan holde 22

23 kontakt med underveis i prosjektet, både under utviklings- og forskningsfasen. Forskernes rolle i denne sammenheng er blant annet å sørge for at tiltaket så langt det er mulig implementeres på fylkes- og skolenivå i overenstemmelse med intensjonene. Dersom selve innholdet i intervensjonen varierer mye fra fylkeskommune til fylkeskommune og fra skole til skole, vil det ikke være mulig å vurdere hva eventuelle effekter er forårsaket av. I tillegg vil det etableres en styringsgruppe bestående av ledere fra fylkeskommuner, prosjektlederen fra forskningsgruppen og sentrale personer fra implementeringsteamet. Styringsgruppens viktigste mandat er å forankre prosjektet på høyest mulig beslutningsnivå. Fylkeskommunene vil ha ansvar for forankring og må sørge for at ledelsen og ansatte i skoler støtter opp under prosjektet. Støtte fra ledelsen og ansatte i skoler er avgjørende for å oppnå en implementering av høy kvalitet (Wilson mfl. 2011). Forankringsfasen er allerede igangsatt gjennom møter mellom fylkeskommunene og forskerne og mellom fylkeskommunene og skoleledelsen ved de respektive skolene. I tillegg har en representant fra Akershus fylkeskommune, som har utviklet IKO-modellen, allerede deltatt på rektormøte i Nord- Trøndelag. Fylkeskommunene har også blitt enige om å utarbeide et felles årshjul for implementeringsprosessen. I følge innspill fra Akershus fylkeskommune kan IKO-implementeringen ses i forhold til tre sentrale komponenter: kompetanse-, struktur- og en holdningskomponent. Mens strukturkomponenten er enklere å vedta og innføre, vil spesielt holdninger være vanskelige å endre. Erfaringer fra Akershus tilsier at fylkesdirektør og rektorer spiller en viktig rolle. Også forskning viser at ledere har en viktig rolle ved implementering av nye tiltak (Price, Cowen, Lorion og Ramos-McKay 1989). Vurderingen av IKO-implementeringen i Akershus, gjennomført av fylkesrevisjonen, demonstrerer betydningen av kompetanseheving gjennom erfaringsutveksling og etterutdanning. Tidsmessig har flere av fylkeskommunene allerede startet orienteringen om prosjektet gjennom generelle presentasjoner på rektormøter, fagenheter, ledergrupper og rådgiversamlinger. Fylkeskommunene har allerede opprettet interne arbeidsgrupper og kontaktet Conexus ( ), som kan garantere fungerende ITverktøy til oppstart høsten Fylkeskommunene er enige om at dette må være et felles verktøy som brukes i alle tiltaksskolene. 23

24 Tabell 4: Hovedmilepæler i den klynge-randomisert evalueringen av IKO-modellen: implementeringsprosesser Milepæler Fra Til Utviklingsfase: Forankringsfase Utviklingsfase: Planleggingsfase Utviklingsfase: Spesifisering av tiltak og implementeringsprosesser Utviklingsfase: Utvikling av modell og pilotering av måleinstrumenter, programteori Forberedelser på fylkeskommunalt nivå Innsamling av baseline-data (T1): Registerdata + survey til elever lærere og deltakende skoler (berører skoler og fylkeskommuner) Fylkesintern randomisering av skoler Implementeringsfase-IKO-implementering i tiltaksskoler for førsteklassinger, forberedelser, kurs og seminarer 2016 Implementeringsfase-IKO-implementering i tiltaksskoler for og 2017-kullene, oppstart og full drift. Opprettholde full drift 2016 Formell prosjektslutt Etter foreløpig finansieringsbeslutning ( ) begynner planleggingsfasen ( ). Her utvikles rammene for implementeringen og forankringsarbeidet fortsetter. Forskerne begynner formelt sitt arbeid fra , men vil følge opp forankrings- og planleggingsfasen før det. I denne fasen skjer det forberedelser på fylkeskommunalt nivå, men også generelt informasjonsarbeid på skolenivå. Parallelt fortsetter arbeidet med spesifisering og konkretisering av tiltaket. Her har forskerne i en aktiv rolle som tilrettelegger, ved å fasilitere en felles modell mellom fylkeskommuner. Samtidig fortsetter også forankrings- og planleggingsarbeidet. Disse oppgavene må gjøres kontinuerlig og samtidig. Etter dette vil skoler som er blitt randomisert til tiltak begynner konkrete implementeringsforberedelser på skolenivå. I denne sammenheng planlegges fellesseminarer, for rådgivere og skolerepresentanter, samt representanter fra fylkeskommuner (jf. kapittel 4.2). Modellen tas i bruk på forsøksskolene skoleåret 2016/17, og fra august 2016 skal skolene arbeide aktivt med modellen. Å arbeide med å opprettholde full drift (jf. Fixsen, Blase, Naoom og Wallace 2009) av tiltaket vil være fokuset for resterende prosjektperiode. For å oppnå dette vil kurs, seminarer og veiledning bli viktige aktiviteter. Her vil vi hente frem betydningen av implementeringsteamet som følger opp implementeringsprosesser og drift av tiltaket. 3.4 Etiske aspekter ved gjennomføring av prosjektet Sosialforsk, NOVA og AFI har lang tradisjon for forskning på utsatte grupper i samfunnet og undersøkelser med skolen som kontekst. Sosialforsk har gjennomført flere RCT-evalueringer av tiltak for å inkludere marginaliserte grupper. Prosjektleder er ansvarlig for at forskningen gjennomføres på en etisk forsvarlig måte og påser også at forskningsdata fra prosjektet samt forskningsfiler, koblingsnøkkel og fil med koblingsnøkkel behandles, lagres, sikres og slettes 24

25 i tråd med gjeldende lover. Tillatelse til empirisk datatilvirkning søkes fra datatilsynet gjennom Norsk Samfunnsvitenskapelig Datatjeneste (NSD) og konsesjoner for registerdata søkes av registereierne. Etiske standarder som følges innen forskningen er i tråd med Forskningsetiske retningslinjer for samfunnsvitenskap, humaniora, juss og teologi, som er utarbeidet av Nasjonal forskningsetisk komité for humaniora og samfunnsfag (NESH). Forskerne konsulterer NESH og de Regionale komiteer for medisinsk og helsefaglig forskningsetikk dersom det er behov for det eller forskningens art krever det. I prosjektet skal det opprettes et individbasert register der foreliggende registerdata, kobles med spørreskjemadata på individnivå. I utviklingsfasen må det søkes om forskningstillatelser og tilhørende konsesjoner. Utdanningsdirektoratet drifter i samarbeid med fylkeskommunene en sentral database (VIGO-sentralbasen 5 ) som blant annet inneholder opplysninger om fravær (dager/enkelttimer), karakterer fra ungdomstrinnet, søkeatferd og resultater i videregående opplæring. For at fylkeskommunene skal kunne utlevere disse dataene til forskningsprosjektet må det søkes om dispensasjon fra taushetsplikten. For VIGO er Utdanningsdirektoratet (på vegne av KD) registeransvarlig instans. I tillegg til registerdata skal det innhentes spørreskjemadata på individnivå. Disse undersøkelsene vil ikke være anonyme for forskerne da vi ønsker å koble informasjon fra spørreskjemaundersøkelser med registerdataene fra VIGO. Dette vil kreve en konsesjon for å behandling av personopplysninger fra Datatilsynet. En alternativ framgangsmåte som må utredes nærmere, er at VIGO sentralt bistår ved koblingen av registerdata og spørreskjemadata, slik at forskerne kun får tilgang til anonyme, koblede filer. Det vil imidlertid være nødvendig at datafilene minst inneholder opplysninger om hvilken videregående skole eleven tilhører. For å sikre at senere oppfølginger (etter prosjektslutt) er mulig bør elevene utstyres med et ID-nummer som evt. fylkeskommunene oppbevarer koblingsnøkkelen til. Generelt må muligheten for senere oppfølging inkluderes i forskningsog konsesjonssøknader. Uansett framgangsmåte må alle elever (m/foreldre) som inngår i registeret informeres om at det er opprettet, og få mulighet til å reservere seg. Vi må vurdere å søke om at behandlingen av personopplysninger ikke baseres på samtykke, kun på informasjon og mulighet til å reservere seg. Elever (og foresatte) både på IKO- og TAU-skoler må motta informasjon om forskningsprosjektet og opprettelsen av registeret fra skolene/fylkeskommunene/forskerne. Gjennomføring av eksperimentet innebærer oppbevaring av forskjellige typer av personsensitive data. HiOA vil implementere et nytt datalagringssystem, TSD 2.0 (Services for sensitive data innen utgangen av TSD 2.0 er utviklet for å tilfredsstille den nasjonale lovgivning om lagring av sensitive data. Systemet har en sikker sentralisert tjeneste ved Universitetets senter for informasjonsteknologi (USIT), der data og backup er lagret. TSD 2.0 lagrer sensitive data i et sikkert virtuelt hvelv og gir kun brukerne tilgang til data via eksternt skrivebord (Remote Desktop Connections, RDP). Alle prosjekter vil ha sitt eget sett av virtuelle maskiner i det sentrale TSD systemet. I tillegg har USIT et «Nettskjema», wwwbasert PGP kryptering av TSD systemet, som sikrer sikker opplastning av data til TSD. Selve TSD bruker selvkrypterende harddisker til lagring. TSD 2.0 benytter ID-porten (eid.difi.no) for innlogging, vi kan dermed garantere ID på samme måte som Skatteetaten. En brannmur beskytter systemet og slipper kun inn de som er tillatt i systemet. Login er i henhold til sikkerhetskrav gitt av norsk lov og består av to faktor (brukernavn + passord og et 5 VIGO er fylkeskommunens inntakssystem for videregående opplæring. 25

26 engangspassord). Systemet er også sikret ved personlig legitimering; man må opp til USIT og legitimere seg for å få tilgang. Forskergruppen har fått bekreftelse ( ) fra ITavdelingen om at prosjektet kan legges inn i TSD systemet. 3.5 Risikovurderinger I denne typen prosjekt, der forskere og praksisfelt arbeider tett sammen om forsknings- og implementeringsprosesser, er det knyttet en del risikoer til gjennomføring. Å identifisere slike risikoer er første steg i å forebygge eventuelle utfordringer. I dette prosjektet er utviklings- og implementeringsperioden kort, hvilket innebærer høy intensitet for forskere og fylkeskommuner i tiden før randomisering, samt for alle aktører etter randomisering. Det vil altså være nødvendig med en streng prioritering av oppgaver, der aktørene fokuserer på oppgaver som må gjøres innenfor fastsatte tidsintervall. Implementeringsteamet og forskerne vil forberede disse prosessene, men vil også være spesielt oppmerksom på behov for støtte fra de ulike aktørene i denne fasen av forsøket. Selv om rask oppstart kan utgjøre en risiko er det også viktig å poengtere at det samtidig vil redusere faren for «smitteeffekter», dvs. redusere risikoen for at IKO-modellen spres til sammenligningsskoler i forsøksperioden. Rask oppstart kan derfor styrke det randomiserte designet. Det er også en viss risiko knyttet til varierende implementeringskvalitet. Det er selvfølgelig viktig at alle aktører i prosjektet støtter implementeringen og at høy implementeringskvalitet er målsetningen i alle tiltaksskoler. Likevel vil noen av skolene i tiltaksgruppen kunne oppleve utfordringer av en slik karakter at de, helt eller delvis, ikke klarer å implementere IKO-modellen. Prosjektet vil innebære «ekstraarbeid» i forhold til implementering i tiltaksskoler og innsamling av forskningsmateriale i begge gruppene, noe som kan innebære en risiko for implementeringskvalitet. Dette er et kjent fenomen i intervensjonsstudier. Basert på tidligere prosjekter vet vi at resultatene sannsynligvis vil variere mellom skolene, noe som innebærer at vi prinsipielt måler effekten av en intensjon om å implementere modellen («intention-to-treat») snarere enn effekten av modellen per se. Dette aktualiserer behov for å kontrollere for varierende implementeringskvalitet i analysene. I denne studien vil forskerne gjennomføre en grundig prosessevaluering, basert på både kvalitative og kvantitative data, for å få innsikt i implementeringsprosesser ved alle deltakende skoler. Slike data kan benyttes til å undersøke om og på hvilken måte IKO-effektene varierer i henhold til implementeringskvalitet, hvilke elementer i IKO-modellen som bidrar til effekt, samt utfordringer og strategier for suksess ved implementering av IKO-modellen. På den måten redusere risikoen for at varierende implementeringskvalitet svekker muligheten for å identifisere eventuelle effekter av IKO-modellen. Noe risiko kan også knyttes til sammenligningsskolenes eventuelle manglende motivasjon til å levere forskningsdata, noe som tydeliggjør betydningen av grundig informasjon om prosjektet før randomisering. For at prosjektet skal lykkes må derfor alle aktører føle delaktighet og eierskap, både fylkeskommuner, skolene og forskerne. Det er viktig at prosjektet oppleves som relevant i alle skoler, uavhengig av om de tilhører tiltaks- eller sammenligningsgruppen. For å realisere et slikt eierskap må ledelsen ved skolene være tydelig involvert. Spesielt må det formidles at sammenligningsskolene er like betydningsfulle for forskningsprosjektet som tiltaksskolene. Slik informasjon må forskerne og fylkeskommunene formidle direkte til skoler og lærere omgående ved prosjektoppstart. Et resultat av prosjektet vil være at det utvikles klare rutiner og strukturer for implementering av tiltaket. Dette vil 26

27 komme sammenligningsskolene til gode dersom fylkeskommunene bestemmer seg for å implementere modellen i disse skolene fra høsten Dette illustrerer at det også kan være fordeler ved å havne blant sammenligningsskolene, fordi kunnskapen om effekter og gode implementeringsstrategier vil være mer utviklet når disse skolene eventuelt skal implementere tiltaket. Det skal i prosjektet innhentes individdata både fra registre (VIGO og OTTO) og gjennom spørreskjemaundersøkelser. Disse dataene skal fortrinnsvis omfatte alle elever (2016- og 2017-kullene) både på tiltaksskoler og sammenligningsskoler, og innebærer risiko knyttet til ivaretakelse av personvern, samtykke og tilgang på data. For det første vil opplysninger fra registrene VIGO og OTTO være taushetsbelagte. Det må derfor innhentes konsesjon fra datatilsynet for behandling av personopplysninger hvis individer skal følges over tid, samt hvis register- og spørreskjemadata skal kobles sammen. I henhold til forskningsetiske retningslinjer har alle informanter rett til å trekke seg fra forskningsprosjektet. I og med det store antallet elever som inngår i datamaterialet vurderes det imidlertid som lite realistisk å samle inn skriftlige samtykke fra alle elever (m/foreldre) for behandling av disse opplysningene. Forskerne har gjennom erfaring med lignende prosjekter grunn til å tro at Datatilsynet vil gi konsesjon til behandling av personopplysninger uten samtykke, gitt at kunnskapen som skal innhentes i forskningsprosjektet har stor samfunnsmessig og politisk betydning, og at det innføres tiltak som minimerer personvernulempene (f.eks. bruk av avidentifiserte forskningsfiler, oppbevaring av koblingsnøkkel hos ekstern forvalter og lagring av indirekte personidentifiserbare opplysninger på sikker sone, se Sletten mfl for eksempel på et lignende prosjekt der slik konsesjon er gitt). Som et minimum må alle elever (m/foreldre) som inngår i forskningsregisteret uansett informeres om at det er opprettet, og få mulighet til å reservere seg. Dette kan gjøres enkelt gjennom skolenes vanlige kanaler for informasjon til elever og foresatte. Når det gjelder selve tilgangen til registerdataene er fylkeskommunene selv registereier av sine lokale VIGO- og OTTO-databaser. Dette sikrer lett tilgang til data og vil gi innsparinger i tid og kostnader fordi det ikke er nødvendig å bruke Statistisk Sentralbyrå som registerbehandler. For å sikre effektiv tilgang vil det i prosjektet opprettes en egen gruppe på tvers av fylkeskommuner bestående av personer fra alle fem fylkeskommunene som har særlig relevant registerdatakompetanse. Innhenting av spørreskjemadata på individnivå skal foregå via skolene (fortrinnsvis i skoletiden) ved bruk av et elektronisk spørreskjema. Forskere i prosjektet har lang erfaring med gjennomføring av denne typen undersøkelser i skolen, og vil samarbeid med en teknisk leverandør av det elektroniske spørreskjema som har lang erfaring og god kompetanse i å ivareta personvern. 6 Selv om skolene etter hvert har lang erfaring med gjennomføring av denne typen undersøkelser skal betydningen av tydelige instrukser og tett oppfølging ikke undervurderes, og det må settes av ressurser både i fylkeskommunene og i forskerteamet til planlegging og gjennomføringsstøtte. Selv om undersøkelsen gjennomføres i skoletiden er det videre grunn til å tro at en del av ungdommene og kanskje særlig «risikoelever» vil være vanskelig å nå. Det bør derfor også settes av tid og ressurser til å følge opp elever som ikke deltar ved ordinær gjennomføring. 6 For eksempel ved at svar ikke lagres sammen med informasjon om IP-adresser eller direkte personopplysninger, kun med koblingsnøkkel 27

28 Vår erfaring tilsier at et krav om aktivt samtykke fra foreldre vil bidra til å svekke oppslutningen om undersøkelsene og dermed datakvaliteten. Vi tar derfor sikte på å gjennomføre undersøkelsene på en måte som ikke krever at det innhentes skriftlig samtykke fra foreldre/foresatte, kun at de informeres i forkant og at ungdommene selv samtykker til deltakelse ved at de svarer på undersøkelsen 7. Dette innebærer at lokal administrator av undersøkelsen må få en tydelig instruks om at elevene skal informeres om at deltakelse er frivillig og at de kan trekke seg når som helst i løpet av undersøkelsen. Gjennomføring uten aktivt samtykke fra foreldre vil legge føringer for hva det kan spørres om i spørreskjema. I dette forskningsprosjektet vil imidlertid ikke sensitive data, f.eks. diagnoser, være viktig. Spørsmål om skolemotivasjon og mestring vil derimot være mer sentralt. I den grad det er tilrådelig med hensyn til deltakernes personvern vil vi inkludere spørsmål familiebakgrunn, psykososiale problemer, økonomiske problemer og lignende. I den grad det er mulig og hensiktsmessig vil vi å bruke validerte spørsmål og spørsmålsbatterier (fortrinnsvis kortversjoner). I et slikt prosjekt vil det være avgjørende at spørreskjemaet utformes så kompakt som mulig, for å sikre størst mulig deltakelse, særlig blant ungdom som kanskje i utgangspunktet er minst motivert. Vi legger opp til at undersøkelsene skal ta om lag 15 minutter å besvare. Spørsmålene vil bli utformet med forhåndsdefinerte svaralternativer, samt et åpent spørsmål der ungdommene gis mulighet til å skrive litt mer utfyllende om deres situasjon. 4 Kostnader og budsjett ved gjennomføring av prosjektet 4.1 Kostnader for forskning Dette er oppdragsfinansiert virksomhet. Det betyr at HiOA som statlig utdanningsinstitusjon ikke får legge inn egenfinansiering av konkurransehensyn til andre tilbydere. Vi har derfor vurdert forskningskostnadene i helhet, beskrevet som personer i prosjektet (tabell 5) og endelige kostnader per aktivitet og år (tabell 6). Selv om oppstartfasen (våren 2016) er aktivitetsmessig mest krevende ønsker KD jevn fakturering , Derfor viser tabell 5 en jevn årlig fordeling av kostnader til tross for at aktivitetsmengden vil variere (se tabell 6). 7 Enlig lov kan mindreårige som er fylt 15 år, selv kan samtykke til innhenting og bruk av egne personopplysninger. 28

29 Tabell 5: Kostnader forskning per forsker og år med driftsmidler Sum Oppdragsinntekt inkl. merverdiavgift navn enhet funksjon andel periode Ira Malmberg-Heimonen SAM prosjektleder og forsker 46 % Anne-Grete Tøge SAM forsker, senior 51 % Mira Aaboen Sletten SVA - AFI forsker, senior 60 % Anders Bakken SVA - AFI forsker, senior 20 % Knut Fossestøl SVA - NOVA forsker, senior 20 % Øyvind Pålshaugen SVA - NOVA forsker, senior 40 % Mary Visher forsker, konsulent 7 % Sum lønnskostnader inkl. sosiale kostnader og indirekte kostnader Reisekostnader (inkludert også Visher og andre internasjonale eksperter såsom Richard Price) Formidling og konferanse Spørreundersøkelser, datainnsamling Kobling registerdata, T3-T Transkribering, kval. data Konferanse/seminar/formidling Diverse Sum driftskostnader Sum kostnader % merverdiavgift Sum anbud Antall timer: Ira Malmberg-Heimonen SAM prosjektleder og forsker Anne-Grete Tøge SAM forsker, senior Mira Aaboen Sletten SAM forsker, senior Anders Bakken SAM forsker, senior Knut Fossestøl AFI forsker, senior Øyvind Pålshaugen SAM forsker, senior Mary Visher SAM forsker, senior Sum lønnkostnader inkl. sosiale kostnader og indirekte kostnader Timepris alle kostnader inkludert (også drift og mva.): 1671 Timepris kun lønn og indirekte kostnader uten mva.:

30 Tabell 6: Kostnader etter hovedaktivitet og år. Til tross for at en betydelig del av forskningsarbeidet gjennomføres våren 2016, vil faktureringen av prosjektet følge tabell Totalt Fase/aktivitet timer pris timer pris timer pris timer pris timer pris Administrasjon og prosjektledelse Programteoriutvikling og undersøkelse av erfaringer (Akershus fylkeskommune) Utvikle måleinstrumenter, utvikle forskningsdokumenter Søke forskningstillatelser inkludert konsesjoner til registereiere Informere ansatte på alle nivåer om forskningsetikk (forskerne sørger for at disse er tilstrekkelig informert, slik at disse kan ivareta elevenes muligheter til å motsette seg deltakelse) Utarbeide questback-survey for skoler (om organisering, måltall og tiltaksportefølje) Utarbeide survey for elever Forberedelser til og randomisering av skoler Gjennomføre questback-survey blant VGS (om organisering, måltall og tiltaksportefølje), gjennomføres 6 ganger i prosjekt-perioden Gjennomføre survey T1 blant 7500 elever Første underveisrapport (analyse og skrivearbeid) Observasjon av IKO-implementeringen (seks utvalgte skoler). Observasjon av opplæring, seminarer, undervisning og alternativ opplæring Intervju av 15 elever og tilhørende lærere ved seks ulike skoler. Hver elev og lærer intervjues tre ganger gjennom prosjektperioden Intervju av rektorer/rådgivere ved tre IKO-skoler og tre TAU-skoler (systemintervensjonen). Hvert objekt intervjues 3 ganger i perioden Gjennomføre T2 blant 7500 elever Andre underveisrapport (analyse og skrivearbeid) Gjennomføre T3 blant 7500 elever Sluttrapport (analyse og skrivearbeid) Publisering i norske og internasjonale fagfellevurderte tidsskrift Formidling i norske og internasjonale fora, herunder konferanser og forelesninger for undervisning og praksisfelt T4 kvantitative data 7500 elever T5 kvantitative data, 7500 elever Sum lønnskostnader Driftskostnader Sum kostnader Merverdiavgift Sum tilbud

31 4.2 Kostnader for implementering Kostnader for implementering er vurdert og budsjettert av de deltakende fylkeskommunene. Fylkeskommunenes søknad inneholder mer detaljerte begrunnelser for de ulike kostnadspostene. Tabell 7: Årlige implementeringskostnader, beregnet av de deltakende fylkeskommunene 5 Relevante enheter og etablert forskergruppe 5.1 Relevante enheter og kompetanse Prosjektet vil gjennomføres ved Høgskolen i Oslo og Akershus (HiOA) som et samarbeid mellom enhetene Sosialforsk, Arbeidsforskningsinstituttet (AFI) og Norsk institutt for forskning om oppvekst, velferd og aldring (NOVA). Prosjektet vil formelt plasseres ved forskningsenheten Sosialforsk ved Fakultet for samfunnsfag. Et viktig satsingsområde ved Sosialforsk er evalueringer av velferdsintervensjoner gjennom eksperimentelle design (RCT). Denne satsingen på RCT-er innebærer effektevaluering av sosiale og helsebaserte intervensjoner ved bruk av randomiserte kontrollerte studiedesign, der prosessevalueringer er en viktig del av evalueringen. Gjennom flere RCT studier med tilhørende prosessevalueringer har forskerne ved Sosialforsk 31