RANDOMISERT KONTROLLERT FORSØK MED INTENSIVOPPLÆRING I MATEMATIKK FOR YRKESFAGELEVER

Transkript

1 Til Kunnskapsdepartementet Dokumenttype Delrapport Dato Juni, 2018 RANDOMISERT KONTROLLERT FORSØK MED INTENSIVOPPLÆRING I MATEMATIKK FOR YRKESFAGELEVER

2 INNHOLD 1. SAMMENDRAG 1 2. INNLEDNING Om Tiltaket Begrunnelse Organisering Metode Gjennomføring Analyser 4 3. SPØRREUNDERSØKELSER 5 4. IMPLEMENTERINGSMILJØET Vurdering av implementeringsmiljøet Ledelse Kompetanser og forandringsparathet Organisatoriske rammer Elevenes motivasjon, holdninger og vurderinger Elevenes opplevelse av skolen Elevenes matematikkunnskaper Elevenes holdninger Elevenes innsats Elevenes utdannings- og jobbmuligheter TILTAKETS FIDELITET Vurdering av tiltakets fidelitet Dosering Lojalitet Kvalitet Responsitivitet KONKLUSJON 20 Ramboll Hoffsveien 4 Postboks 427 Skøyen N-0213 Oslo Norway T

3 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 1 of SAMMENDRAG Rambøll Management Consulting (RMC) og Senter for økonomisk forskning (SØF), i samarbeid med skoleeierne i fylkeskommunene Vest-Agder, Rogaland, Sør-Trøndelag og Nordland fylkeskommune, har våren 2017 gjennomført et randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever. Denne delrapporten omhandler erfaringene fra casebesøkene på skolene og resultatene fra fidelitets- og implementeringsmiljøundersøkelsene. Det presenteres ingen effektanalyser, men kun før- og ettermålinger av implementeringen og deltakernes opplevelser. For å vurdere om formålet med intensivopplæringen er nådd brukes det en kombinasjon av kvalitative og kvantitative metoder. Effektevalueringen gjøres gjennom bruk av et randomisert kontrollert forsøk (RCT) og ikke-kontinuerlig design (RRD). Evaluering av implementeringsmiljøet og tiltakets fidelitet gjøres ved hjelp av spørreundersøkelser, intervjuer og observasjon. Intensivopplæringen hadde til formål å øke kompetansen, ferdigheter og motivasjon i matematikk blant svakt presterende elever på yrkesfagene helse og omsorg og teknisk industriell produksjon i de fire samarbeidsfylkene. På lengre sikt er målsettingen å øke gjennomføringen i videregående opplæring. Totalt gjennomførte 25 skoler og omtrent 500 elever tiltaket. Intensivundervisningen ble gjennomført over 5 hele dager fra torsdag til onsdag. Elevene fikk pause fra i undervisningen i helgen. Undervisningen dekket temaene geometri og måling, geometri og forhold, tall og tallregning og algebra. Basert på IGP-metoden ble det utarbeidet et pedagogisk rammeverk som lærerne måtte følge. De foreløpige analysene viser at implementeringsmiljøet for tiltaket er meget godt. Lærerne har høy formell kompetanse, både pedagogisk og matematisk, og arbeider i et godt arbeidsmiljø hvor tilliten til nærmeste leder er høy. Lærerne er villige til å prøve ut nye metoder som har dokumentert effekt. Elevene har generelt en god opplevelse av skolen, både før og etter gjennomføringen av tiltaket. De vurderer seg selv som signifikant flinkere i matematikk etter gjennomføringen, sammenliknet med førmålingen. Samtidig ser vi en negativ utvikling hva angår elevenes holdninger til og innsats i matematikkfaget og en negativ vurdering av utdannings- og jobbmulighetene. Vi ser imidlertid at det er en signifikant økning i om elevene tror de vil oppnå ståkarakter i faget. Videre viser evalueringen at tiltaket fidelitet er god. Det har vært krevende å gjennomføre undervisningen, men både skolene, lærerne og elevene mener at et intensivkurs over fem dager har vært hensiktsmessig. Det ser ut til at tiltakets kvalitet har vært god i den forstand at det faglige nivået og innholdet i undervisningen er tilpasset elevene, samt at den pedagogiske tilnærmingen har vært god. Dette har medført at både elever og lærere mener undervisningen har gitt elevene godt utbytte. Undervisningen har særlig gitt elevene mulighet til å arbeide med matematikk på en ny og bedre måte og de har fått bedre oppfølging fra læreren. Prosjektet gjennomfører p.t. en ny runde med intensivundervisning i de samme fylkene, men de skolene som var kontrollskoler i forrige runde er nå tiltaksskoler. Datainnsamling og metode er likt i begge rundene. Prosjektet arbeider fortløpende med å samle inn registerdata og behandle samtykkeskjemaer slik et en effektevaluering kan gjennomføres. Dette presenteres i prosjektets sluttrapport.

4 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 2 of INNLEDNING [Text - Do not delete the following line since it contains a section break. NOTE! Page numbers are updated on "Save" and "Print"] Rambøll Management Consulting (RMC) og Senter for økonomisk forskning (SØF), i samarbeid med skoleeierne i fylkeskommunene Vest-Agder, Rogaland, Sør-Trøndelag og Nordland fylkeskommune, leverer med dette delrapport på prosjektet «randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever». Delrapporten omhandler erfaringene fra casebesøkene på skolene og resultatene fra fidelitets- og implementeringsmiljøundersøkelsene. Rapporten vil ikke inkludere analyser som krever kobling av data om enkeltindivider før og etter tiltaket. Dette skyldes at dataene ikke er koblet med samtykkeskjema hos SSB. Det presenteres derfor ingen effektanalyser, men kun før- og ettermålinger av implementeringen og deltakernes opplevelser. 2.1 Om Tiltaket 2.2 Begrunnelse Frafall og svak gjennomføring er mest utbredt på de yrkesfaglige utdanningsprogrammene. Manglende kompetanse og ferdigheter i matematikkfaget er ofte avgjørende for svak progresjon i utdanningen. Matematikk omtales som et «hengefag» som fører til motløshet og frafall og manglende gjennomføring i opplæringen. Den internasjonale forskningen tyder også på at prestasjoner i matematikkfaget har stor betydning for framtidig suksess i utdanning og arbeidsliv. Målrettede tiltak mot frafall som vi gjennomførte har vist seg å ha målbar effekt i tidligere effektstudier i andre land, også tiltak rettet mot faglige ferdigheter i matematikk. Det eksisterer ikke norske studier på området som har en randomisert design eller en annen utforming som gjør at det kan avdekkes kausale effekter. Det er behov for mer forskningsbasert kunnskap om virkningen av intensivopplæring i en norsk kontekst. Et randomisert forsøk, kombinert med en implementeringsstudie, vil både kunne påvise kausale sammenhenger (om de finnes), og beskrive hvorfor og hvordan tiltaket virker (evt. ikke virker). 2.3 Organisering Tiltaket er organisert med én styringsgruppe, én prosjektgruppe og en utviklingsgruppe. I styringsgruppen deltar én person fra hvert fylke. Dette er beslutningstakere hos skoleeierne. I tillegg er prosjektleder i forskergruppen fullverdig medlem av styringsgruppen. Forskergruppen er i tillegg sekretariat. I styringsgruppen besluttes rammene for tiltaket formelt. På dette nivået fastsettes økonomiske rammer, herunder en felles forståelse av lærernes deltakelse under forberedelsene, i forbindelse med gjennomføringen og i etterarbeidet for forsøket (blant annet deltakelse i datainnsamlingsaktiviteter). Det utøvende ansvaret er lagt til en egen prosjektgruppe med dedikerte prosjektledere på saksbehandlernivå fra skoleeierne, en person per fylke. I tillegg er hele forskergruppen fullverdige medlemmer i prosjektgruppa, som dermed er forumet for løpende dialog mellom skoleeierne og forskerne. Forsøket blir utarbeidet og gjennomført med utgangspunkt i denne gruppen. Gruppen har ansvar for dialogen med oppdragsgiver underveis i prosjektet. En viktig oppgave for prosjektgruppen er informasjon, forankring og oppfølging på skolene. Prosjektgruppen har dessuten ansvaret for etablering og drift av utviklingsgruppen, overordnet ansvar for opplæringen av de utøvende lærerne, samt det overordnede ansvaret for gjennomføringen av tiltaket på skolene. Hver av skoleeierne har utpekt én ekspertlærer som er frikjøpt deler av sin tid for å delta i utviklingen av selve intensivopplæringen. Utviklingsgruppen er suppleres med relevante fagdidaktikere, som støtter og utfordrer ekspertlærerne i utviklingen av tiltaket.

5 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 3 of Metode Prosjektet benytter en kombinasjon av kvantitative og kvalitative metoder. For å evaluere tiltakets effekter brukes et randomisert kontrollert forsøk (RCT) og ikkekontinuerlig design (RDD). RCT er et av de enkleste og sterkeste verktøyene for å etablere kausale sammenhenger og undersøke effekten av et tiltak. Kort fortalt er denne metoden et forsøk der personer trekkes tilfeldig ut til å motta en av flere mulige intervensjoner. En av disse intervensjonene er en kontroll- eller sammenlikningsintervensjon, og består i dette tilfellet av nåværende praksis. Den andre intervensjonen er tiltaket som skal prøves ut, dvs. innsatsen som vi skal måle effekten av - i dette tilfellet intensivopplæringen i matematikk. Gjennom loddtrekning plasseres personene tilfeldig i en av intervensjonsgruppene; kontrollgruppen eller innsatsgruppen. Etter at tiltaket er gjennomført sammenligner vi intervensjonsgruppene på et eller flere kvantifiserbare utfallsmål. Dersom vi avdekker forskjeller, antar vi at dette skyldes intervensjonen, og at det altså er en kausal sammenheng mellom intervensjonen og resultatene. For å sikre en best mulig evalueringspraksis og for å styrke forskningsdesignet, legger vi også opp til at tiltaket kan evalueres med en ikke-kontinuerlig tilnærming (RDD). Ved ikke-kontinuerlig tilnærming sammenlignes elever på samme skole som har nesten identisk ferdighetsnivå, men der noen deltar på intensivopplæringen og andre ikke. Ved å gjøre deltakelse obligatorisk og basert på resultater på en kunnskapstest, settes det en skarp grense for hvem som skal delta og hvem som ikke skal delta. Elever rett under og rett over denne grensen vil ha tilnærmet samme kunnskapsnivå før intensivopplæringen og kan derfor sammenlignes for å undersøke effekten av opplæringen. En viktig forskjell fra RCT er at RDD-metoden ikke forutsetter randomisering av skoler til innsats- og kontrollgruppe. Isteden hviler metoden på tilordningen innad på hver skole. 2.5 Gjennomføring Prosjektet gjennomførte våren 2017 et eksperiment med intensivundervisning i matematikk i to yrkesfaglige studieprogram i Vg1 for relativt lavt presterende elever. 25 skoler og omtrent 500 elever gjennomførte tiltaket. Dette tilsvarer om lag 1/3 av elevene på de uttrukne skolene. Styrkeberegninger indikerer at dette designet vil avdekke effekter av rimelig størrelse. Styrkeberegninger viser at gjennomføring må være om lag 5-7 prosentpoeng høyere for gruppen med tiltak enn for gruppen uten tiltak for at vi med statistisk utsagnskraft skal kunne konkludere med at tiltaket har effekt. Deltakelse på intensivundervisningen ble bestemt av resultatet på en forutgående prøve. Oppgavene til prøven ble hentet fra nasjonale prøver på 8. og 9. trinn, samt læringsstøttende prøve Vg1. Prøven hadde som formål å teste grunnleggende ferdigheter i matematikk slik at forkunnskapskrav utover grunnskole ikke er påkrevd. Den besto av 28 oppgaver som maksimalt ga 25 poeng. Grensen for om en elev er i målgruppen for prosjektet ble satt til mindre enn 9 poeng. I tillegg har skolene fått mulighet til å gjøre en vurdering av hvorvidt elevene bør få undervisningen under følgende kriterier: - Hvis lærer mener at elev med poengsum lavere enn 9 åpenbart ikke hører til i målgruppen kan eleven tas ut dersom eleven er en 4-er kandidat eller bedre - Hvis lærer mener at elev med poengsum 9 eller bedre egentlig er en del av målgruppen (f.eks. klar 1-er elev) kan eleven tas med i målgruppen under forutsetning at eleven ikke oppnådde en poengsum lik 11 eller bedre på pretesten. - For elever som ikke har gjennomført pretesten må lærer vurdere om eleven er i målgruppa for intensivundervisning.

6 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 4 of 24 Dette sikret en skarp grense på deltakelse som er felles for alle skolene. Dette gir oss en mulighet til å gjennomføre en ikke-kontinuerlig tilnærming (RDD-analyser) på individnivå, i tillegg til RCT-analyser. Skolene som mottok tiltaket i 2017 blir kontrollskole i 2018, og omvendt. Intensivundervisningen ble gjennomført over 5 hele dager fra torsdag til onsdag. Elevene fikk pause fra i undervisningen i helgen. Rekkefølgen på dagene er som under: 1) Geometri og måling 2) Geometri og forhold 3) Tall og tallregning 4) Algebra 5) Oppsummering (litt av hvert) Elevene gikk glipp av annen undervisning på dagene intensivundervisningen foregikk. Vi vil derfor også undersøke effektene på andre fag enn matematikk for både kontroll- og tiltaksgruppen. Tabellen nedenfor gir et sammendrag av intensivkurset i matematikk. Tabell 1 Sammendrag av intensivkurset i matematikk Tiltaket Målgruppe Hovedmålsetting Innhold og utvikling i tiltaket Gjennomføres av Beskrivelse Tiltaket er et 30 timers intensivkurs i matematikk 1 PY. De 30 timene fordeles over 5 dager, med en helg imellom. Maksimalt 15 elever per innsatsgruppe Tiltaket er rettet mot elever fra yrkesfaglige utdanningsprogram på Vg1 på enten helseog oppvekstfag (HO) eller teknikk og industriell produksjon (TIP), som står i fare for å stryke i matematikk. Disse er valgt ut på bakgrunn av en prøve/pre-test på høsten. Gi elevene tilstrekkelig kompetanse i faget til å komme videre til neste nivå Våren 2016 ble innholdet i undervisningen utarbeidet av en utvalgt lærer fra hvert fylke og 2 fagdidaktikere fra forskningsmiljø. Arbeidet er organisert i en egen utviklingsgruppe. Tiltaket ble gjennomført av matematikklærere som underviser elevene i matematikk på Vg1. Lærerne ble kurset i gjennomføring og innhold i intensivopplæringen. Tidspunkt for tiltaket Intensivtiltaket ble gjennomført i april Analyser Vi benytter ulike utfallsmål for å analysere effekter av forsøket. Dette inkluderer prøveresultater, karakterer, deltakelse og elevmotivasjon. I tillegg er det på lengre sikt ønskelig å se på gjennomføring, læreplass og andre sosioøkonomiske variabler Det konkrete innholdet i tiltaket ble utviklet våren 2016, og tar hensyn til hva tidligere forskning har pekt på som forutsetninger for å lykkes med frafallsreduserende tiltak, og til de mulige årsakene til at man ikke kunne påvise sikre effekter av intensivopplæringen i NyGIV. Tabellen nedenfor viser utfallsmål på kort og lang sikt. Tabell 2 Utfallsmål for evalueringen Utfallsmål Egenvurdering av matematikkunnskaper Holdning til matematikk Testresultater etter tiltaket Karakter i matematikk Vg1/ Karakterer i andre fag Vg1 Overgang til Vg2 Fullføring Vg2 Overgang til Vg3, inkl. overgang til lære Fagbrev og fullføring VGO Datainnsamling Spørreskjemaundersøkelse blant elever i innsats og sammenligningsgruppen Spørreskjemaundersøkelse blant elever i innsats og sammenligningsgruppen Læringsstøttende prøve og egenutviklet prøve som gis til alle elevene på tiltaks- og sammenlikningsskoler. Registerdata om standpunkt-/eksamenskarakterer Registerdata om forløpet til elevene, VIGO/NUDB. Det kan også være mulig å bruke informasjon fra Oppfølgingstjenesten (OT) Registerdata om forløpet til elevene, Registerdata om forløpet til elevene, VIGO/NUDB Påfølgende utfall kan trolig ikke evalueres innenfor tidsrammen av dette prosjektet Registerdata om fullføring av utdanning, VIGO/NUDB

7 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 5 of 24 Selvforsørgelse Levevilkår 3. SPØRREUNDERSØKELSER Registerdata om arbeidsmarkedstilknytning Registerdata om inntekt, helse etc. Forsøket følger og måler implementeringen av tiltaket og betydningen av ulike måter å implementere tiltaket på. Selv om skolene fikk grundig informasjon og hadde mulighet for løpende å få avklart spørsmål og få støtte, vet vi erfaringsmessig at det vil være noe variasjon i implementeringen. Det er derfor gjennomført systematiske målinger av implementeringsmiljøet og fideliteten. Implementeringsmiljøundersøkelsen avdekker sentrale faktorer med betydning for implementeringskapasiteten ved skolene. Hensikten med disse målingene er dels å vurdere skolenes forutsetninger for at intervensjonen implementeres med en høy grad av fidelitet og dels å samle inn et kunnskapsgrunnlag om hvilke faktorer som skaper gunstige implementeringsmiljøer. Undersøkelsen ble sendt til lærere og elever i kontroll- og sammenligningsgruppen før og etter tiltakets implementering. Fidelitetsundersøkelsen er kun rettet mot lærere som deltar i selve tiltaket. Det er brukt en standardisert tilnærming til fidelitetsmålingen som gjør at vi kan sammenlikne på tvers av intervensjoner og forsøksprogrammer. Selv om en innsats kan ha klare retningslinjer, kan det være forskjell på hvordan tiltaket i teorien bør leveres, og den måten tiltaket rent faktisk blir levert på i praksis. Kjernen i fidelitetsmålinger er nettopp å avgjøre hvordan en innsats gjennomføres i praksis, dvs. å avdekke, hvordan det faktiske tiltaket ser ut. Tabellen nedenfor viser svarprosenten på de ulike spørreundersøkelsene. Tabell 3 Svarprosent på de ulike spørreundersøkelsene Før tiltaket Etter tiltaket Elever Lærere Elever Lærere Implementeringsundersøkelse 65 % 60 % 46 % 40 % Fidelitetsundersøkelse % 4. IMPLEMENTERINGSMILJØET Vår overordnete tilgang til implementeringsevaluering baserer seg på implementeringsmodellen Active Implementation Framework. Modellen tar utgangspunkt i en antakelse om at implementering av nye arbeidsmetoder og -redskaper i praksis ikke foregår i en enkel adapsjonsprosess, men at praksisendringer oppstår i et samspill mellom et bilde av ønsket praksis og en rekke implementeringsdrivkrefter. Modellen tar utgangspunkt i at det er tre grunnleggende implementeringsdrivkrefter som er gjennomgående i alle faser av implementeringsprosessen: Ledelse (f.eks. fylkenes prioritering av innsatser for elever i fare for frafall, eksisterende innsatser og praksis i forhold til arbeidet med faglig svake elever mv.) Kompetanser og forandringsparathet (f.eks. læreres matematisk didaktiske kompetanser, forventninger til elevers kompetanser og arbeidsinnsats, villighet til at prøve nye metoder mv.) Organisatoriske rammer (f.eks. matematikk-ressurspersoner, ressurser til ekstra tiltak mv.). De påfølgende kapitlene om implementeringsmiljøet og tiltaket fidelitet er i hovedsak deskriptive. På lengre sikt kan dette brukes til å beskrive forhold som kan ha betydning for forsøkets eventuelle effekter.

8 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 6 of Vurdering av implementeringsmiljøet Implementeringsmiljøet for tiltaket vurderes som godt. Lærerne har høy formell kompetanse, både pedagogisk og matematisk, og arbeider i et godt arbeidsmiljø hvor tilliten til nærmeste leder er høy. Lærerne opplever at dagens organisatoriske og pedagogiske praksis ikke egner seg til å ivareta elever som står i fare for å stryke. Dette innebærer at de er villige til å prøve ut nye metoder som har dokumentert effekt. Elevene har generelt en god opplevelse av skolen, både før og etter gjennomføringen av tiltaket. Elevene vurderer seg selv som signifikant flinkere i matematikk etter gjennomføringen, sammenliknet med førmålingen. Samtidig ser vi en negativ utvikling hva angår elevenes holdninger til og innsats i matematikkfaget. Til sist ser vi at elevene har signifikant mer negativ vurdering av utdannings- og jobbmulighetene etter gjennomføringen av undervisningen. Vi ser imidlertid at det er en signifikant økning i om elevene tror de vil oppnå ståkarakter i faget. 4.2 Ledelse Nesten samtlige lærere (76 prosent) uttrykker å ha høy eller meget høy grad av tillit til sin nærmeste leder, de fleste lærerne (71 prosent) og et mindretall av lærerne føler seg ofte utbrent (12 prosent). Figur 4-1 I hvilken grad kjennetegner påstandene din nærmeste leder? Jeg har tillit til min leder Min leder prioriterer innsats rettet mot elever i fare for å stryke Min leder diskuterer nye ideer til det pedagogiske arbeidet med meg og mine kolleger Min leder tar initiativ til videreutdanning av den pedagogiske praksis i matematikkundervisningen Slett ikke I mindre grad I noen grad I høy grad I meget høy grad

9 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 7 of 24 Figur 4-2 Hva karakteriserer samarbeidskulturen blant matematikklærerne? Jeg føler meg ofte utbrent Jeg har tilstrekkelig med tid til å ivareta arbeidsoppgavene Vi bruker hverandre som sparringspartnere Vi har et godt sosialt felleskap i personalgruppen Kompetanser og forandringsparathet Matematikklærerne har høy formell kompetanse, både matematiske og pedagogiske. Nesten samtlige lærere har utdanning med godkjent pedagogisk utdanning. I tillegg har henholdsvis 35 og 40 prosent videreutdanning i pedagogikk eller matematikk. Figur 4-3 Lærernes utdanningsnivå Slett ikke I mindre grad I noen grad I høy grad I meget høy grad Hovedfag, mastergrad eller embetseksamen, med godkjent pedagogisk utdanning Bachelorgrad med godkjent pedagogisk utdanning Lektorutdanning Annen utdanning, angi hvilken: Allmenn-/grunnskolelærer Faglærerutdanning Hovedfag, mastergrad eller embetseksamen, uten godkjent pedagogisk utdanning Bachelorgrad uten godkjent pedagogisk utdanning 0 % 5 % 10 % 15 % 20 % 25 % 30 % Undersøkelsen viser at 69 prosent av lærerne i høy eller meget høy grad gir god kollegastøtte når matematikkfaget og dets pedagogiske praksis videreutvikles. I tillegg ser vi at lærerne aktivt søker å videreutvikle seg som matematikklærer (68 prosent).

10 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 8 of 24 Figur 4-4 I hvilken grad kjennetegner påstandene deg som matematikklærer? Jeg underviser elver som er svakt presterende i matematikk med særskilte undervisningsforløp utenfor klassen Jeg støtter aktivt opp når kolleger vidreutvikler matematikkfaget og dets pedagogiske praksis Jeg søker kunnskap for å videreutvikle meg som matematikklærer Flesteparten av lærerne (60 prosent) oppgir at de villig til å prøve nye ideer og metoder i matematikkundervisningen, videre oppgir 41 prosent av lærerne at de i noen grad vet bedre enn forskerne hvordan man hjelper elever med å forstå matematikk. Samtidig fremkommer det at det har mindre betydning at metoden blir anbefalt av utdanningsdirektoratet eller fylkeskommunen. Figur 4-5 Hva kjennetegner lærernes holdning til nye arbeidsformer? Slett ikke I mindre grad I noen grad I høy grad I meget høy grad Jeg vet bedre enn forskerne hvordan man hjelper elever med å forstå matematikk Jeg er villig til å prøve nye ideer, selv om det er veldig forskjellig fra det jeg er vant til Jeg liker å prøve nye metoder i min matematikkundervisning Slett ikke I mindre grad I noen grad I høy grad I meget høy grad

11 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 9 of 24 Figur 4-6 Hvilke forhold har betydning for om du vil bruke en ny eller annen metode enn du vanligvis benytter i din matematikkundervisning? At metoden har dokumentert effekt At jeg har hatt tilstrekkelig opplæring til å bruke metoden At metoden anvendes av kolleger som er tilfredse med den At metoden er anbefalt av Utdanningsdirektoratet At metoden er anbefalt av min fylkeskommune At metoden er anbefalt av min nærmeste leder At metoden appellerer intuitivt til meg Helt uenig Litt uenig Verken enig eller uenig Litt enig Helt enig 4.4 Organisatoriske rammer Lærerne oppgir at de er modne for endringer. Dette gjelder endringer i både dagens organisatoriske rammer og undervisningspraksis. Henholdsvis 49 og 44 prosent av lærerne er helt uenige eller uenige i at dagens organisering og praksis er den beste for å hjelpe elever som står i fare for å stryke i matematikk. Samtidig ser vi at lærerne mener at disse elevene prioriteres i stor grad. 4.5 Elevenes motivasjon, holdninger og vurderinger Det primære formålet med tiltaket er å undersøke om intensivopplæring i matematikk kan få flere til å gjennomføre videregående opplæring. Matematikk er et fag som gjør at mange får ikke- bestått, og er et «hengefag» som gjør at man ikke får fagbrev. En av undersøkelsens betingelser er at det er lang tid mellom tiltakets gjennomføring til vi kan måle den endelige effekten (gjennomføring av videregående opplæring). Vi undersøker derfor effekten av intensivopplæringen i matematikk på en rekke utfallsmål. I surveyen er det viktigste hvordan elevene: 1) Opplever skolen 2) Vurderer egne matematikkunnskaper 3) Vurderer egne holdninger til faget 4) Vurderer egen innsats i faget 5) Ser på utdannings- og jobbmulighetene Elevenes opplevelse av skolen Generelt kan det sies at elvene har en god opplevelse av skolen, men det er små og signifikante endringer etter gjennomføringen av tiltaket. Undersøkelsen viser at elevene svarer mer negativt på spørsmål om hvordan de trives, om de er interesserte i og villige til å lære og hvor villige til er til å møte til timene. Det er vanskelig å gi en nøyaktig forklaring på hvorfor disse indikatorene får negativt utslag, men det kan skyldes flere forhold. Undersøkelsen ble sendt til elevene på slutten av siste undervisningsdag. Det er derfor nærliggende å anta at det påvirker svarene negativt. I tillegg svarte færre på ettermålingen enn førmålingen. Det kan være at før-gruppen inkluderer flere av de dyktige elvene enn etter-gruppen. Vi har ikke mulighet til å sjekke dette pr. nå da

12 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 10 of 24 samtykkeskjemaene ennå ikke er ferdigbehandlet. Samtidig ser vi små positive signifikante endringer på spørsmål om tilstedeværelse på skolen. Figur 4-7 Hvordan opplever elevene skolen - før og etter tiltak

13 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 11 of Elevenes matematikkunnskaper Elevene vurderer egne matematikkunnskaper som relativt dårlige. De synes imidlertid å erkjenne at dersom det legges ned en innsats i faget så vil det resultere i bedre resultater. Undersøkelsen viser at elevene vurderer seg selv som signifikant flinkere i matematikk etter gjennomføringen av tiltaket, sammenliknet med førmålingen. Figur 4-8 Hvordan vurdere elevene egne matematikkunnskaper før og etter tiltak

14 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 12 of Elevenes holdninger Det er en viss grad av forskjell i hvordan elevene vurderer egne holdninger til matematikkfaget før og etter gjennomføringen av tiltaket. De ser i mindre grad fram til matematikktimene og de liker i mindre grad å løse oppgaver i matematikk. Samtidig ser de at matematikk er nødvendig for å få en relevant jobb, i dagliglivet og for å lære andre skolefag. De er mener selv de i stor grad gjør leksene sine, men matematikktimene er kjedelige. Undersøkelsen viser negativ utvikling hva angår elevenes holdninger til matematikkfaget. Det er en signifikant nedgang i hvorvidt de vurderer at matematikk er nødvendig for å lære andre skolefag, om de ser fram til matematikktimene og om de gjør leksene sine. Figur 4-9 Hvordan vurderer elevene egne holdninger til matematikkfaget

15 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 13 of Elevenes innsats Generelt viser undersøkelsen at elevene vurderer egen innsats i matematikkfaget som god. Vi ser samtidig at de rapporter at de rapporterer en negativ signifikant utvikling før og etter gjennomføringen av tiltaket på hvorvidt de følger godt med i timene og om de fortsetter å arbeide de stoffet er forstått. Figur 4-10 Hvordan vurderer elevene egen innsats i matematikkfaget

16 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 14 of Elevenes utdannings- og jobbmuligheter Undersøkelsen viser at elevene er meget positive til utdannings- og jobbmulighetene i framtiden. De oppgir å være særlige positive til å få seg en jobb etter videregående opplæring og å starte på VG 2. Vi ser imidlertid en signifikant tilbakegang på flere elementer etter gjennomføringen av tiltaket. Det er en særlig sterk endring i hvorvidt elevene tror de får en relevant læreplass og hvorvidt de får en jobb etter videregående opplæring. Vi ser imidlertid at det er en signifikant økning i om elevene tror de vil oppnå ståkarakter i faget. Figur 4-11 Hvordan vurderer elevene utdannings- og jobbmulighetene?

17 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 15 of TILTAKETS FIDELITET Vi bruker en generisk tilgang til fidelitetsmålinger som kan nyttiggjøres på tvers av intervensjoner og forsøksprogrammer til å dokumentere om tiltak implementeres etter hensikten. Gjennom dette bidrar fidelitetsevalueringen til innsikt i sammenhengen mellom tiltak og effekt, som kan gi innsyn i de mekanismer og komponenter i intervensjonen som bidrar til effektrealiseringen. I vår inngang til fidelitetsmålinger måles det faktiske tiltaket på fire fidelitetsdimensjoner, som har avgjørende betydning for tiltakenes overordnede implementeringsgrad: Dosering, dvs. hvor ofte (hyppighet) og i hvor lang tid (varighet/intensitet) tiltaket leveres. Lojalitet, dvs. i hvor høy grad det faktiske tiltaket leveres etter de formelle retningslinjene for tiltakets utrulling. Kvalitet, dvs. hvor hensiktsmessig leveringen av tiltaket til målgruppen er i forhold til å oppnå de ønskede resultatene, f.eks. om det er problemer med å gjennomføre innsatsen, slik som konflikter med eleven under intensivopplæringen og utfordringer med å motivere eleven til egeninnsats. Responsitivitet, dvs. læreres reaksjon på og opplevelse av tiltaket, herunder om de opplever at tiltaket har en positiv innvirkning på elevens matematikk-kompetanser, motivasjon og mestringsfølelse mv. 5.1 Vurdering av tiltakets fidelitet Tiltaket fidelitet vurderes som godt. Det har vært krevende å gjennomføre undervisningen, men både skolene, lærerne og elevene mener at et intensivkurs over fem dager har vært hensiktsmessig. Samtidig har skolene og lærerne vært lojale til forsøkets rammer. Lærerne har fulgt undervisningsopplegget tett og gjennomført undervisningen i den rekkefølgen som er angitt. Skolene har valgt lærere til å undervise i forsøket tilsynelatende tilfeldig. Det ser ut til at tiltakets kvalitet har vært god i den forstand at det faglige nivået og innholdet i undervisningen er tilpasset elevene, samt at den pedagogiske tilnærmingen har vært god. Dette har medført at både elever og lærere mener undervisningen har gitt elevene godt utbytte. Undervisningen har særlig gitt elevene mulighet til å arbeide med matematikk på en ny og bedre måte og de har fått bedre oppfølging fra læreren. 5.2 Dosering Både skolens administrasjon, lærere og elever opplever undervisningen som krevende å gjennomføre. Fra skolens administrasjon pekes det særlig på at det var vanskelig å skaffe vikarer til de ordinære timene, selv om økonomien var på plass. Dette kan gi negative ringvirkninger til de andre elevene. Generelt gir lærerne uttrykk for at de praktiske utfordringene og ekstra belastning som følge av mangel på vikarer har gjort at tiltaket har vært krevende å gjennomføre. I tillegg oppleves det som mye materiale de skal sette seg inn noe de opplever å bruke mer tid på enn de blir kompensert for. Elevene synes det er krevende å ha så lange dager med et fag de i utgangspunktet ikke har mye til overs for. Samtidig rapporterer både lærere og elever at de har tro på tiltaket og en ekstra intensiv innsats. 5.3 Lojalitet Både lærerne og skolens administrasjon har vært lojale mot tiltaket i den forstand at de har fulgt undervisningsopplegget og instruksjonene tett. Lærerne har gjennomført dagene i den rekkefølgen som var anvist i materialet og de benyttet i stor grad undervisningsmaterialet som var utviklet. Samtidig hadde lærerne utfordringer med å gjennomføre de obligatoriske oppgavene som ble skissert. Det ble laget obligatoriske oppgaver som lærerne skulle komme gjennom i hver undervisningsbolk. Lærerne rapporterer at det var vanskelig å rekke alle fordi de måtte bruke ekstra tid på klasseledelse.

18 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 16 of 24 Figur 5-1 Lærernes lojalitet i gjennomføring av intensivundervisningen Fra 1 - i liten grad til 5 - i stor grad Figur 5-2 I hvilken grad brukte lærerne undervisningsmaterialet? Brukte ikke kursets undervisningsmateriale 0% Brukte i liten grad kursets undervisningsmateriale 2% Brukte delvis kursets undervisningsmaterialet og delvis annet materiale 0% Brukte hovedsakelig kursets undervisningsmateriale, men supplerte med annet materiale 20% Brukte utelukkende kursets undervisningsmateriale 78% 0% 20% 40% 60% 80% 100% Skolens administrasjon fikk instruksjoner om at de lærerne som skulle gjennomføre undervisningsopplegget skulle være «normale» lærere. I det ligger det en instruks om at det skulle være tilfeldig rekruttering av lærere, men med samme kriterier for alle skoler. Det skal sikre at effekten som eventuelt finnes er den samme som om tiltaket gjøres permanent for alle elevene i målgruppen. I tillegg fikk skolens administrasjon beskjed om at det kun var tillatt med én lærer i klasserommet samtidig. Det er liten forskjell mellom de lærerne som har undervist i tiltaket og de som ikke har undervist. Det er lik kjønnsfordeling, alder, ansiennitet og utdanning/spesialisering. Det ser derfor ut som om skolens administrasjon har valgt lærere i henhold til instruksjonene fra prosjektet. Basert på spørreundersøkelsene, case og observasjon er det heller ingenting som tyder på at det har vært mer enn én lærer i klasserommet samtidig.

19 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 17 of Kvalitet Det ser ut til at tiltakets kvalitet har vært god i den forstand at det faglige nivået og innholdet i undervisningen er tilpasset elevene, samt at den pedagogiske tilnærmingen har vært god. Undervisningsopplegget har fulgt IGP-modellen 1 som pedagogisk prinsipp. Dette er en metode som skal gi eierskap og skape engasjement i undervisningen. Både lærerne og elvene mener at modellen fungerte godt. Elevene og lærerne er uenig i om elevene lærte mest av å løse oppgaver i plenum eller individuelt, men begge er enige i at oppgaveløsning i grupper fungerte godt. Figur 5-3 Hvordan fungerte IGP-modellen? Lærte mye av å løse oppgaver i plenum 3,5 3,9 Lærte mye av å løse oppgaver i grupper 3,9 3,9 Lærte mye av å løse oppgaver individuelt 3,6 3, Elever Lærere Fra 1 - i liten grad til 5 - i stor grad Lærerne mener generelt at det faglige nivået på de ulike dagene var godt tilpasset elevenes matematisk ferdigheter. Samtidig ser vi en viss forskjell mellom dagene hvor dag 4 med algebra var dårligst tilpasset elevene, mens dag 2 med geometri og forhold var best tilpasset. Dette samsvarer med elevenes tilbakemeldinger på det faglige nivået. Figur 5-4 I hvilken grad var det faglige nivået på de ulike dagens tilpasset elevene? Dag 5: Litt av hvert 3,6 Dag 4: Algebra 3,4 Dag 3: Tall og tallregning 3,6 Dag 2: Geometri og forhold 3,8 Dag 1: Geometri og måling 3,6 1,0 2,0 3,0 4,0 5,0 Fra 1 - i liten grad til 5 - i stor grad 1 Individuell, gruppe, plenum

20 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 18 of Responsitivitet Lærerne mener at elevene har fått godt utbytte av intensivundervisningen. De mener særlig at den har gitt elevene mulighet til å arbeide med matematikk på en ny og bedre måte. Samtidig mener de at elevene har fått bedre oppfølging fra læreren sammenliknet med ordinær undervisning. Lærerne er mer skeptiske til hvorvidt undervisningen ga elevene dypere forståelse av matematikk, men det har bidratt til å øke elevenes mestringsopplevelse. Figur 5-5 Lærernes vurdering av elevenes utbytte Intensivundervisningen har gitt elevene økt mestringsopplevelse 3,8 Intensivundervisningen ga elevene dypere forståelse av matematikk 3,5 Intensivundervisningen gjorde at elevene fikk bedre oppfølging fra læreren enn ved ordinær undervisning Intensivundervisningen ga elevene mulighet til å arbeide med matematikk på en ny og bedre måte 3,9 4,1 Elevene ble bedre i matematikk ved at undervisningen var intensiv over flere dager 3,4 1,0 2,0 3,0 4,0 5,0 Fra 1 - i liten grad til 5 - i stor grad Undervisningen har ikke i like stor grad gitt lærerne ny kunnskap om elevene i målgruppen og deres læring, både generelt og i matematikk. De synes likevel undervisningsmaterialet var variert, ga inspirasjon til å arbeide på nye måter og at det var en ny og spennende undervisningsform. Figur 5-6 Lærernes vurdering av intensivundervisningen Undervisningsmaterialet var variert og godt 3,9 Undervisningen ga ny kunnskap om matematikkundervisning generelt 3,4 Undervisningen ga ny kunnskap om målgruppen og deres læring 3,2 Materialet har gitt meg inspirasjon til å arbeide på nye måter 4,1 Det var en ny og spennende undervisningsform 3,8 1,0 2,0 3,0 4,0 5,0 Fra 1 - i liten grad til 5 - i stor grad Elevene vurderer at undervisningen har gitt de godt utbytte. De mener særlig at undervisningen har gitt de større sjanse til å bestå matematikk, men rapporterer også økt mestringsopplevelse.

21 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 19 of 24 Nesten 60 prosent av elevene mener at undervisningen har gitt de en dypere forståelse av matematikk. Figur 5-7 Elevenes vurdering av undervisningens utbytte Fått økt mestringsopplevelse 9% 5% 27% 33% 20% Fått økt arbeidsinnsats 9% 7% 29% 30% 20% Fått økt motivasjon for matematikkfaget 10% 7% 29% 30% 20% Fått bedre mulighet til å fullføre videregående opplæring 8% 5% 29% 29% 23% Fått større sjanse for å bestå matematikk 9% 6% 23% 38% 21% Fått større faglig selvtillit 9% 8% 27% 32% 19% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% Helt uenig Litt uenig Hverken enig eller uenig Litt enig Helt enig 60 prosent av elevene er helt enige eller enige i at de ville anbefalt undervisningen til andre elever i samme situasjon. Figur 5-8 Ville du anbefalt undervisningen til elever i samme situasjon som deg? Ikke svart 3% Helt enig 43% Litt enig 17% Hverken enig eller uenig 14% Litt uenig 6% Helt uenig 16% 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50%

22 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever 20 of KONKLUSJON Implementeringsmiljøet for tiltaket vurderes som meget godt. Lærerne har høy formell kompetanse, både pedagogisk og matematisk, og arbeider i et godt arbeidsmiljø hvor tilliten til nærmeste leder er høy. Lærerne opplever at dagens organisatoriske og pedagogiske praksis ikke egner seg til å ivareta elever som står i fare for å stryke. Dette innebærer at de er villige til å prøve ut nye metoder som har dokumentert effekt. Elevene har generelt en god opplevelse av skolen, både før og etter gjennomføringen av tiltaket. De vurderer seg selv som signifikant flinkere i matematikk etter gjennomføringen, sammenliknet med førmålingen. Samtidig ser vi en negativ utvikling hva angår elevenes holdninger til og innsats i matematikkfaget og en negativ vurdering av utdannings- og jobbmulighetene. Vi ser imidlertid at det er en signifikant økning i om elevene tror de vil oppnå ståkarakter i faget. Tiltaket fidelitet vurderes som godt. Det har vært krevende å gjennomføre undervisningen, men både skolene, lærerne og elevene mener at et intensivkurs over fem dager har vært hensiktsmessig. Samtidig har skolene og lærerne vært lojale til forsøkets rammer. Lærerne har fulgt undervisningsopplegget tett og gjennomført undervisningen i den rekkefølgen som er angitt. Skolene har valgt lærere til å undervise i forsøket tilsynelatende tilfeldig. Det ser ut til at tiltakets kvalitet har vært god i den forstand at det faglige nivået og innholdet i undervisningen er tilpasset elevene, samt at den pedagogiske tilnærmingen har vært god. Dette har medført at både elever og lærere mener undervisningen har gitt elevene godt utbytte. Undervisningen har særlig gitt elevene mulighet til å arbeide med matematikk på en ny og bedre måte og de har fått bedre oppfølging fra læreren.

23 Randomisert kontrollert forsøk med intensivopplæring i matematikk for yrkesfagelever