TOLKNING OG BRUK AV DATA SOM GRUNNLAG FOR KVALITETSARBEID / Conexus Conexus AS Grønland 32 B, 3045 Drammen post@conexus.no www.conexus.no Telefon: 02182
Viktige oppdrag: Utdanningsdirektoratet 18 Fylkeskommuner 13 av de 15 største kommunene i Norge (180 kommuner) Attføringsbedrifter Barnevern (helsedirektoratet) Nettverk: KS BI IMTEC Gyldendal VISMA ICSEI Knut Roald og Louise Stoll
FoU prosjekt: Evidensbasert kvalitetsstyring i norsk skole Prosjektets hovedmål er å utvikle et nytt teknologisk og metodisk rammeverk for å optimalisere tilretteleggingen for læring i og kvalitetsstyring av barnehage, grunnskole, ungdomsskole og videregående skole. Dette inkluderer forbedret elevoppfølging, styringsinformasjon og effektivisering av vurderingsarbeidet i skolesektoren. Akershus Fylkeskommune Sørum Kommune Andre kommuner Conexus/Læringslaben IMTEC Gyldendal, Aschehoug, Andre forlag Knut Roald, Høgskulen i Sogn og Fjordane Professor Louise Stoll, University of London SolidQ Forskningsrådet/innovasjon Norge
Tema i dag: Hva er kvalitetsarbeid? Hva er de mest relevante dataene for å legge til rette for kvalitetsarbeid? Hvordan planlegge og gjennomføre gode kvalitetsprosesser? Eksempler på bruk av data
Refleksjonsarbeid PROFESJONSUTVIKLING Forstår Skaper mening
Ben Levins motto: Linking research & practive and building capacity with focus on results Hvis Ontarios utvikling på skoleområdet skulle vært oppsummert i én setning, kunne det vært: «varig forbedring av elevresultater krever et varig engasjement i å forandre skole- og klasseromspraksis». Fokuset på praksis som nøkkel til bedre resultater er sentralt i Ontarios suksesshistorie. Det samme er det varige engasjementet der ikke minst sterk ledelse og kollektiv profesjonsutvikling står sentralt. Klare og få mål, mål som har fått stå fast over år, og som skolestyrer og skoler dermed har rukket å realisere, er andre sentrale faktorer i en historie som utgjør en av de mest spektakulære suksesshistorier innen utdanningsfeltet de senere årene.
LINEÆRT / HIERARKISK LINEÆRT / KAUSALT SYSTEMISK
Målstyring blir instrumentell hvis den ikke tar hensyn til følgende faktorer: Vurdering for læring, Hattie og Wærness Balansert målstyring, Kaplan & Norton Egenskaper ved kvalitetsarbeid, Knut Roald Systemtenking, Bourdieu og Senge Den fjerde vei og Profesjonell kapital, Andy Hargraves Profesjonell kompetanse, Erling Lars Dale Kunnskap om grunnleggende statistikk
Den tredje vei
fra 3 til 4 Fra: Prestasjonsdrevet kvalitet Til: Oppdrags-og situasjonsdrevet kvalitet Overtalte lærere og fagforeninger Lærere og fagforeninger som partnere Datadrevne team og beslutninger Til datainformerte beslutninger og skoler Fysisk tilstede Psykisk tilstede
Viktig å skille mellom: Mål Indikatorer på måloppnåelse
Balanse i data, for å unngå naiv (instrumentell) målstyring: 1. Resultater og gjennomstrømming 2. Brukere (elevundersøkelsen, foresatte, etc.) 3. Profesjonelle (personalundersøkelse, kompetansekartlegging, kvalitetskjennetegn, etc.)
Profesjonell kapital Humankapital Profesjonalitet Sosial kapital Beslutningskapital forutsetter Profesjonell kompetanse K1 K2 K3 kollektivitet
Individoppfølging og vurdering for læring
Læringskurver i mellomlangt og langt Enkeltemner perspektiv Ferdigheter/kompetanse Kilde : Egil Weider Hartberg
1 3 Input Proses Actions Profil
IKO gjennom året - Med læring som konsekvens Kartlegging og oppfølging: Hva er elevens utfordring? Hva må gjøres? Hvem er ansvarlig? Kontakt med hjemmet? Når skal det evalueres? Krav til dokumentasjon? Kvittere ut Normal oppfølging Tett oppfølging Identifisere Identifisert når: Mønster i fravær 3-5 dager fravær per halvår IV eller 1. Mistrivsel Urealistiske yrkes/studieplaner
Lærer går inn i Vokal. Får oversikt over klassens resultater. 3. Fremover
Oppfølgingsskjema. Lærer får oversikt over hvilke ressurser elever kan jobbe med for å tette hullene. Bok og digitale. Kan brukes i foreldresamtale. 3. Fremover
Hva fører til gode resultater? Bedre faglige resultater God vurderingspraksis og tydelig klasseledelse Høyere motivasjon og innsats Mestring Flere fullfører og består Færre slutter
Resultater og gjennomføring
Skole x Resultater og gjennomføring Input
Hvor ser vi fra?
Modell for elevens læringsmiljø Bekreftende faktoranalyse Chi-square = 148,084 Degrees of freedom = 1 Probability level =,000 Modelltilpasning:,141,00 Motiverende lærere,72 r1 1,00 CFI = 0,984 IFI = 0,984 RMSEA = 0,061 Motivasjon 1,30 Interesse for å lære,62 r2 1,00,10 Miljø,17 1,00,54 Sosial trivsel,46 r3 1,00 1,00 Mobbing,51 r4
5 viktige prinsipper 1. O,3 regelen 2. Finn relevant sammenligning 3. Som du spør får du svar 4. Input - output 5. En analyse av kvalitet må bygge på en analyse av sammenheng
2. Arbeid med egne data og bruk av farger for å illustrere resultatet på indikatoren: Eksempel: Nasjonale prøver 8 trinn. Resultat = 3,2 Nasjonalt snitt 3 Farge gul+ Underveisvurdering i elevundersøkelsen Resultat = 3,8 Relevant sammenligning 4,1 Farge Rød På skalaer fra 1-4, 1-5, 1-6, 1-7 (0,3) På skala fra 1-3 (0,2) 100% (6 %) 40% (3%) 15% (2%)
Følger dere samme grupper over tid? Nasjonale prøver 5 og 8 trinn Nasjonale prøver 8 og 9 trinn Kartleggingsprøver Gjennomstrømning i vgo sortert på skoler
Utfordring: Det finnes ingen normerte skalaer innen samfunnsvitenskapen Ingen spørsmål er verdifrie
Skalaer Er du interessert i å lære på skolen Trives du a. med skolearbeidet?
Fakta Hauketo Marienlyst skole skole Motivasjon se delskår 2,5 2,9 Trivsel se delskår 3,3 3,3 Mobbing se delskår 3,7 3,7 Elevmedvirkning se delskår 2,3 2,0 Elevdemokrati se delskår 2,8 2,7 Fysisk læringsmiljø se delskår 2,3 2,2
Hva er et bra resultat?
Grunnskolepoeng 11/12 Bærum 42,8 1 Bergen 41 2 Oslo 40,6 3 Trømsø 40,6 4 Drammen 40,5 5 Stavanger 40 6 Kristiandsand 39,8 7 Fredrikstad 39,7 8 Trondhjem 39,7 9 Sandnes 39,2 10
Gjennomføring vg3 Bærum kommune (07-08) 75,45 1 Oslo (07-08) 61,29 2 Kristiansand kommune (07-08) 59,71 3 Drammen kommune (07-08) 59,49 4 Bergen kommune (07-08) 58,38 5 Stavanger kommune (07-08) 57,27 6 Trondheim kommune (07-08) 56,49 7 Tromsø kommune (07-08) 55,05 8 Sandnes kommune (07-08) 54,96 9 Fredrikstad kommune (07-08) 48,13 10
Bærum kommune (07-08) Oslo (07-08) Stavanger kommune (07-08) Trondheim kommune (07-08) Bergen kommune (07-08) Tromsø kommune (07-08) Kristiansan Sandnes d kommune kommune (07-08) (07-08) Drammen kommune (07-08) Fredrikstad kommune (07-08) GS 16,90 % 21,50 % 23,40 % 23,30 % 24,50 % 27,50 % 25,20 % 28,40 % 30,60 % 32,90 % Høgskoleog univ. 49,20 % 46,70 % 39,60 % 39,20 % 37,60 % 37,20 % 32,80 % 29,80 % 29,40 % 25,90 % SUM 32,30 % 25,20 % 16,20 % 15,90 % 13,10 % 9,70 % 7,60 % 1,40 % -1,20 % -7,00 %
Er resultatene som forventet? Drammen 2,00 Bergen 1,43 Kristiansand 1,40 Fredrikstad 1,11 Trømsø 1,09 Bærum 1,00 Sandnes 0,84 Oslo 0,80 Stavanger 0,50 Trondhjem 0,47
Er resultatene som forventet? Drammen 2,00 Bergen 1,43 Kristiansand 1,40 Fredrikstad 1,11 Trømsø 1,09 Bærum 1,00 Sandnes 0,84 Oslo 0,80 Stavanger 0,50 Trondhjem 0,47
GUL + GUL + Grønn GUL - GUL - GUL + Grønn GUL + GUL - GUL - GUL + Grønn GUL +
Indikator 2009/2010 Elevundersøkelsen Sosial trivsel 4,2 Interesse for å lære 3,3 Motiverende lærere 3,1 Fravær av mobbing 4,9 Kunnskap om og deltagelse i målsettninger 3 Underveisvurdering 3,1 Fravær 6,50 % Frafall 2,60 % Antall vitnemål 74 % Antall elever bestått 94 % Personalundersøkelsen Internt samarbeid 3,5 Gjennomføring av elevsamtaler 3,5 Mål-planfokus 3,5 Ledelse 2,8 Nyskapende medarbeidere 3,7 Sykefravær i personalet 4 % Budsjettoverholdelse over 2,1% Eksamensresultater Norsk 3,1 Matematikk 3,7 Engelsk 3,2 Standpunkt Norsk 3,7 Matematikk 4 Engelsk 4,1
Indikator 2007/2008 2008/2009 2009/2010 Elevundersøkelsen Sosial trivsel 4,1 4 4,2 Interesse for å lære 3,1 3,2 3,3 Motiverende lærere 2,9 3 3,1 Fravær av mobbing 4,8 4,9 4,9 Kunnskap om og deltagelse i målsettninger 2,7 2,8 3 Underveisvurdering 2,5 2,7 3,1 Fravær 11 % 10 % 6,50 % Frafall 5 % 3,50 % 2,60 % Antall vitnemål 79 % 77 % 74 % Antall elever bestått 87 % 90 % 94 % Personalundersøkelsen Internt samarbeid 3,4 3,5 Gjennomføring av elevsamtaler 3,2 3,5 Mål-planfokus 3,2 3,5 Ledelse 2,1 2,8 Nyskapende medarbeidere 3,4 3,7 Sykefravær i personalet 6 % 7 % 4 % Budsjettoverholdelse ok ok over 2,1% Eksamensresultater Norsk 3,7 3,1 3,1 Matematikk 3,2 3,7 Engelsk 2,9 3,3 3,2 Standpunkt Norsk 3,8 3,7 3,7 Matematikk 3,8 3,2 4 Engelsk 3,8 3,7 4,1
Indikator 2007/2008 2008/2009 2009/2010 Elevundersøkelsen Sosial trivsel Grønn Grønn Grønn Interesse for å lære Gul + Gul + Gul + Motiverende lærere Gul + Gul + Gul - Fravær av mobbing Grønn Grønn Grønn Kunnskap om og deltagelse i målsettninger Rød Gul - Gul + Underveisvurdering Rød Gul - Gul + Fravær 11 % 10 % 6,50 % Frafall 5 % 3,50 % 2,60 % Antall vitnemål 79 % 77 % 74 % Antall elever bestått 87 % 90 % 94 % Personalundersøkelsen Internt samarbeid Grønn Grønn Gjennomføring av elevsamtaler Gul + Grønn Mål-planfokus Gul + Grønn Ledelse Gul - Gul + Nyskapende medarbeidere Gul + Grønn Sykefravær i personalet 6 % 7 % 4 % Budsjettoverholdelse ok ok over 2,1% Eksamensresultater Norsk 3,7 3,1 3,1 Matematikk 3,2 3,7 Engelsk 2,9 3,3 3,2 Standpunkt Norsk 3,8 3,7 3,7 Matematikk 3,8 3,2 4 Engelsk 3,8 3,7 4,1
Indikator 2011 2012 2013 Forutsetninger Økonomi Elevmiljø/motivasjon Nasjonale prøver Gjennomstrømning Karakterer Ledelse/personal Egenvurdering/kvalitetsvurdering Tiltak
Indikator 2011 2012 2013 Forutsetninger Økonomi Elevmiljø/motivasjon Nasjonale prøver Gjennomstrømning Karakterer Ledelse/personal Egenvurdering/kvalitetsvurdering Tiltak
39,7 40,9 39,8 39,6 40,2 39,6
Grunnskolepoeng: 43,8 40,9 39,7
Oppgave 3: Hvordan komme fra tall og fakta til konkret handling for å styrke elevenes læring? Er dataene organisert slik at dere får fokus på forbedring? Analyseres data i sammenheng? Er det lett å forstå hva som er godt og dårlig? Ser dere på trender? Følger dere samme grupper over tid? Brukes resultatene til fremover-meldinger?
Kvalitetsvurdering (Knut Roald 2012) Auka tilgang på resultatinformasjon kan bidra til målretta pedagogiskutvikling. Men kvalitetsvurdering kan også fungere som meiningstomme og kontraproduktive ritual når vurderingsresultat ikkje blir bearbeidde på måtar som gir kollektiv innsikt og engasjement.
Spenningsforhold i arbeidet med kvalitetsvurdering (Knut Roald 2012) Informasjon vs kunnskap Forvaltningslogikk vs kvalitetslogikk Medbestemmelse vs medskaping Delegasjon vs distribusjon Kvalitetssystem vs kvalitetsarbeid Kvalifikasjon vs profesjon
Wells læringssyklus (1999) Svak intensjon om endring Erfaring Informasjon Innsikt Kunnskapsbygging Sterk intensjon om endring Individ Fellesskap
Professional Learning Communities (PLC) is not a model, per se; rather, it is an approach or process. 1. Shared values and vision 2. Collaborative culture 3. Focus on examining outcomes to improve student learning 4. Supportive and shared leadership; 5. Shared personal practice Stoll & Louis, 2007
FØR UNDER ETTER
EKSEMPEL PÅ SYSTEMISK KVALITETSARBEID: Plan for arbeidet Forberedelser Hva får vi til? (rekkefremlegg) Neste kompetansenivå (Hva gjør vi/jeg?) Tiltaksbeskrivelse Dokumentasjon
Betre leseopplæring Spørsmål Hva er vi gode på? (her kan du også ta utgangspunkt i andre ting enn dataene på denne siden) Hva kan jeg forbedre? Hvilke tiltak skal vi gjøre Korleis arbeider vi med den andre leseopplæringa for å betre elevane sine læringsresultat Alle diagnostiske prøver er registrerte i VOKAL. Resultata blir følgde opp for grupper og individ i elevsamtalar, foreldresamtalar, foreldremøte og interne fagmøte til faste tider. Det blir gjort handfaste avtalar om tiltak når utviklinga ikkje er god nok, og tiltaka blir gjennomførde og evt justerte. Leiinga er velorientert om utviklinga, og deltar i vurderingar og avgjerder. Potensielt svake lesarar blir oppdaga når dei er 4 år i barnehagen gjennom bruk av kartleggingsverkty. Skulen har ein velfungerande kollektiv strategi for innlæring og bruk av lese- og læringsstrategiar. Skulebiblioteket er tidsmessig utstyrt og organisert og blir brukt så ofte som råd av skule og barnehage.
Vurdering For Læring (VFL) Spørsmål Hva er vi gode på? (her kan du også ta utgangspunkt i andre ting enn dataene på denne siden) Hva kan jeg forbedre? Hvilke tiltak skal vi gjøre Kvalitetsbeskrivelse Læraren tydeleggjer på ulike måtar kva som er målet for økta. Avklaringsprosess i starten resulterer i at elevane forstår kva dei skal lære og kva som er forventa gjennom at læraren sjekkar dette ut. Læraren sørger for at elevane si førforståing vert aktivert, og at dei deltek aktivt i læringsarbeidet. Enkelteleven vert involvert i eige læringsarbeid ved mellom anna å vurdere eige arbeid og utvikling. Læraren gir framovermeldingar på ein slik måte at enkelteleven forstår kva som er kvaliteten på arbeidet eller prestasjonen, og korleis eleven kan forbetre seg. Læraren bruker elevane sine tilbakemeldingar til å justere undervisninga og forbetre læringa til elevane.