Fra datastyrt til datainformert

Transkript

1 Fra datastyrt til datainformert Akershus fylkeskommune Regionale samlinger Jarl Inge Wærness, Conexus Oktober 2014

2 Program : Å lede skoler i en datarik verden : Data fra egen skole: Hva forteller de oss og hvordan kan de benyttes? : Lunsj : Bruk av PULS som verktøy for målrettet utvikling Konkret arbeid med egne utviklingsområder

3 1.økt: Å lede skoler i en datarik verden

4 «Data do not drive decisions by themselves We can t simply use data and expect good things to happen» (Datnow and Park 2014)

5 Hovedmålet med satsingen Den gode Akershusskolen er å forbedre elevenes læringsresultater gjennom en profesjonalisering av alle ledd i Akershusskolen. Resultatmålet for satsingen er 10 % økning av elever som fullfører og består videregående opplæring innen 2018 (nullpunkt 2010). Skal vi i Akershus lykkes med en radikal forbedring av elevresultatene, krever det at vi på alle nivåer gjør noe grunnleggende forskjellig framover sammenliknet med det vi historisk har gjort.

6 Turkey. Hungary. Japan. Belgium. Italy. Germany. Austria. Netherlands. Czech Republic. Korea. Slovak Republic. Greece. Switzerland. Luxembourg. Portugal. Mexico. United States. Australia. New Zealand. Spain. Canada. Ireland. Denmark. Poland. Sweden. Norway. Finland. Iceland Within schools Between schools -80 McGaw (2008) Within schools Between schools explained by social background of schools Between schools explained by social background of students Between schools not explained by social background

7 Data i bøtter og spann

8 Refleksjonsspørsmål Hvilke data anser du som de viktigste i din rolle som leder? Hvorfor? På hvilken måte anvender du dem i dag?

9 Ulike typer data Data på individnivå Data på aggregert nivå

10 Ulike typer data Data på individnivå: - Elevenes egenarbeider - Elevenes egenvurderinger - Diagnostiske prøver - Standardiserte tester/prøver - Tilbakemeldinger fra foreldre, elever, medarbeidere - Tilstedeværelse Data på aggregert nivå: - Data fra spørreundersøkelser - Læringsresultater - Gjennfomføring

11 Refleksjonsspørsmål Hvilke data motiverer lærerne til «Inquiry», evt hvilke typer data kan du/dere bruke for å motivere lærerne til å undersøke egen praksis (Inquiry)?

12 «We advocate for datainformed leadership, not data-driven leadership. This reflects our belief that data do not drive courses of action but rather provide the starting point for inquiry» (Datnow and Park 2014)

13 Hva vi ikke vil ha Et eksternt accountability-system basert på kontroll og frykt Blåse opp prøveresultater Quick fix Bruke ressursene på de elevene som er akkurat under en nivågrense Innskrenke læreplanen og bare fokusere på det som blir målt Skoler som drukner i data

14 Hva vi ikke vil ha «Det er jo enklere å sette en 2 er enn å få alt maset som er knyttet til å gi en elev karakteren 1 eller IV» «Det er ingen som klager på en 2 er når alternativet er 1 eller IV verken elever, skoleledere eller fylkeskommunen»

15 Ledelse av forbedringsarbeid: «det er handlingene som danner grunnlaget for refleksjonen. En kan derfor si at læring skjer som en konsekvens av handlinger. Når handlingene i arbeidet endres, blir læringsprosessen en endringsprosess. Dersom det skapes rom og tid for refleksjon kan handlingsendringen over tid medføre en holdningsendring»

16 «One of the most important jobs a leader undertakes with respect to data use is asking the right questions.» (Datnow and Park 2014)

17

18 Open-tolearning Conversations The Ladder of Inference Auckland UniServices Ltd, 2013.

19 Open-tolearning Conversations The Ladder of Inference: An example We conclude You have poor classroom management We interpret You have not taught these children good classroom routines TAKE ACTION We describe Children are not fully engaged in the learning We select Children are running around in class AVAILABLE DATA Auckland UniServices Ltd, 2013.

20 Open-tolearning Conversations Building a stronger ladder Interrupt conclusions What information/logic led me to my conclusion/judgement? Interrupt interpretations What other possible interpretations are there? Interrupt descriptions Am I reporting the situation accurately? Interrupt Available selection data What have I noticed? What might I have missed? Auckland UniServices Ltd, 2013.

21

22 Open-tolearning Conversations Auckland UniServices Ltd, 2013.

23 Refleksjonsspørsmål Tenk på en hendelse fra din hverdag der du trakk en slutning basert på din forutinntatthet Hva skjedde? Ville utfallet vært annerledes dersom du hadde undersøkt dine antagelser grundigere og tatt hensyn til andres synspunkter?

24 «The purpose of data use..is to assist individual and collaborative reflection on the quality of decisions about how and what to teach and the quality of decisions about the administrative and organizational supports for such teaching» (Viviane Robinson 2011)

25 Be evidence-informed, not data driven 1. Ikke overless deg selv med så mye data at du ikke har rom og tid til å tenke på eller diskutere noe annet. 2. Data er der for å hjelpe deg med å forstå elevene bedre. Ikke la dataanalyse bli et mål i seg selv. 3. Det er viktig å bruke data og evidens for å følge opp elever som er i ferd med å falle fra. Men vi må også bruke data og evidens for å løfte de som har middels og gode resultater også. 4. Data dreier seg ikke bare om kvantifiserbare tall (karakterer, tester etc), men også om kunnskap om elevene og deres læring, samt de kvalitative erfaringene vi har med elevene.

26 Felles holdninger: alle elever møtes med respekt og tro på at de kan lære dersom de får utfordringer alle elever skal fullføre opplæringen med best mulige resultater likeverd betyr at elever med ulike utfordringer må møtes på ulike måter læring handler om å lykkes og om å ville refleksjon og åpenhet rundt egen undervisning er en forutsetning for kollektiv læring

27 Inquiry: Undervisning og vurdering

28 Undervisningsvurdering:

29 Elevundersøkelsen:

30 Hvis du starter et møte med å vise lærerne disse tabellene, hvilken respons kan du forvente da?

31 Vurderingskultur (Udir) Hvordan skolen oppfatter og praktiserer vurdering, hva og hvem vurderingen er rettet mot og hvordan skolen bruker resultatene.

32 Underveisvurdering ( 3-2) Undervegsvurdering skal brukast som ein reiskap i læreprosessen, som grunnlag for tilpassa opplæring og bidra til at eleven aukar kompetansen sin i fag.

33 Sluttvurdering ( 3-17) Sluttvurdering skal gi informasjon om kompetansen til eleven, lærlingen og lærekandidaten ved avslutninga av opplæringa i fag i læreplanverket Sluttvurderingar er standpunktkarakterar, eksamenskarakterar og karakterar til fag- /sveineprøva og kompetanseprøve.

34 Læreren som trener Enkeltemner og dommer Ferdigheter/kompetanse Kilde : Egil Hartberg m fl 2012

35 «We use the general term assessment to refer to all those activities undertaken by teachers and by their students in assessing themselves that provide information to be used as feedback to modify teaching and learning activities. Such assessment becomes formative assessment when the evidence is actually used to adapt the teaching to meet students needs»

36 Kinds of questions: Which fraction is the smallest? a) 1 6, b) 2 3, c) 1 3, d) 1 2. Success rate 88% Which fraction is the largest? a) 4 5, b) 3 4, c) 5 8, d) Success rate 46%; 39% chose (b) Dylan William, fra Vinner (1997)

37 Gode kriterier og dårlige kriterier?

38 Kilde: Brevik/ Blikstad-Balas, ILS

39 Refleksjonsspørsmål Hva vet vi om kvaliteten på de oppgavene og kriteriene som lærerne bruker/utarbeider til elevene? Er dette spørsmål som vekker nysgjerrigheten hos lærerne du har ansvar for? Hva kan vi som ledere gjøre for å sikre at lærerne arbeider med å forbedre kvaliteten på oppgavene/kriteriene?

40 2.økt: Data fra egen skole: Hva forteller de oss og hvordan kan de benyttes?

41 Resultatmålet for satsingen er 10 % økning av elever som fullfører og består videregående opplæring innen 2018 (nullpunkt 2010).

42 Raising the bar, closing the gap «Of course, an increase in the average level of educational achievement in a society is important, but light years better is whether the gap between high and low achievers decreases as the overall average rises. Closing the gap has profound multiple benefits for both individuals and for society as a whole. Large gaps spell doom. The facts are impressive and scary». (Fullan 2010)

43

44

45 Resultatmålet for satsingen er 10 % økning av elever som fullfører og består videregående opplæring innen 2018 (nullpunkt 2010). En felles holdning er: - Alle elever skal fullføre opplæringen med best mulig resultater

46 Be evidence-informed, not data driven Det er viktig å bruke data og evidens for å følge opp elever som er i ferd med å falle fra. Men vi må også bruke data og evidens for å løfte de som har middels og gode resultater også.

47 Identifisering er viktig, kartlegging er viktig, men viktigst av alt er oppfølgingen! I K O

48 Tredelt elevgruppe: Spesialundervisning Normal oppfølging (tilpasset opplæring) Tett oppfølging (i perioder) NY GIV: Intensivopplæring IKO-arbeidet

49 IKO-modellen: Hovedelementene Normal oppfølging (tilpasset opplæring) Tett oppfølging (i perioder) Kriterier for identifisering Lave karakterer Høyt fravær Karakter 1/IV i enkeltfag Under kritisk nivå i grunnleggende: Leseferdighet Skriveferdighet Regneferdighet Felles mål i Akershus

50 Ny GIV i Akershusskolen Identifisering ved trinnoppstart: Videregående skoler Tatt inn på 1. valg og karaktersnitt 2,5 Tatt inn på 2. valg og karaktersnitt 3 Fravær > 6% Karakterer 1/IV i enkeltfag Melding om behov for spesialundervisning Under kritisk nivå i grunnleggende: Leseferdighet Skriveferdighet Regneferdighet Gjennom skoleåret: Videregående skoler Midtveisvurdering (1. nov, 15. jan, 1.apr) fag/fravær Meldingsrutiner for elever som: Har urealistiske studie-/yrkesvalg Mistrives Mønster i fravær høyt fravær Under kritisk nivå i grunnleggende ferdigheter

51

52 Oppfølging: Tiltak vurderes opp mot kartlagte årsaker. Dersom svake karakterer eller under kritisk nivå i grunnleggende ferdigheter Ekstra viktig med undervisning i tråd med prinsipper lært i etterutdanningen Læringsstrategier (i alle fag) Vurdering for læring Grunnleggende ferdigheter Anvendelse og forståelse

53 IKO Hva er vi gode på når det gjelder IKOarbeidet i dag? Hvorfor er vi gode på dette? Hva kan forbedres? Hvordan kan jeg som leder jobbe for å forbedre dette?

54 Dreier IKO-arbeidet seg bare om elever som sliter?

55 Spørsmål tilknyttet elevers motivasjon og deltagelse i læringsprosessen (Marzano 2012, fra Thomas Nordahl) 1.Hvordan har jeg det? 2.Er jeg interessert? 3.Er det viktig? 4.Kan jeg klare det? Konsekvenser for læreren: Spørsmål 1 og 2 er knyttet til oppmerksomhet. Har jeg deres oppmerksomhet? Spørsmål 3 og 4 er knyttet til engasjement. Er de engasjerte?

56 4. Kan jeg klare det? (Marzano 2012, fra Thomas Nordahl) Hvis svaret er ja, øker sannsynligheten for engasjement og læring. Hvis svaret er nei, har ja-svar på de andre spørsmålene liten verdi. Forståelsen av svaret på spørsmålet er knyttet til self-efficacy forventning om mestring: Den oppfattede kapasiteten til læring eller utførelse av handlinger.

57 Suksess og nederlag (Dale/Wærness 2007) Motivasjon er ofte forbundet med mestring og opplevelsen av suksess men er det tilstrekkelig? Enkelte elever forklarer suksess med utgangspunkt i sine evner, som forstås som fastsatt og gitte For elever som har suksess med skolearbeidet og anser evnene som gitte, er det et poeng å lykkes med liten innsats, fordi innsats anses som et tegn på manglende evner (Dweck 1999) Det er psykologisk sett bedre å mislykkes på grunn av manglende innsats enn på grunn av dårlige evner Det som blir viktig, er hvordan de framstår for andre elever, mens egen læring og framgang blir mindre viktig

58 Forventing om mestring Teori om forventing om mestring eller oppfattelse av egen kapasitet er knyttet til to modeller: 1.En ferdig forståelse av egen kapasitet (smart eller mindre smart), en tro på at intelligens er stabilt og uforanderlig. 2.En vekstforståelse av egen kapasitet. Min kapasitet er mest avhengig av egen innsats. Intelligens eller smartness er ikke stabil.

59 Mindset (Carol Dweck) Fixed mindset: - Talent er en stabil egenskap - Kunnskap bør komme av seg selv Growth mindset: - Talent kan utvikles - Hardt arbeid er nøkkelen til kunnskap

60

61 4. Kan jeg klare det? pedagogiske konsekvenser (Thomas Nordahl) Vær forsiktig med konstant å fortelle ungdom hvor smarte og flinke de er Alle barn og unge trenger autentiske mestringsopplevelser Synliggjør framgang for elevene Gi tydelig verbal tilbakemelding på arbeidsinnsats og forberedelser Den voksne må formidle forventninger om mestring jeg tror du klarer dette Det må være lov å gjøre feil

62 Pass på (James Nottingham) Smart Begavet Talentfull Flinke barn En av de beste Geni Akademisk Middels Gjennomsnittlig Vanlig Sen Ikke akademisk Svak Av de dårligste IOP-elev

63 Hva virker? (Dylan William) Track progress Not grades Hvor ofte må vi bruke tallkarakterer i underveisvurderingen i løpet av et skoleår for å dekke kravene i vurderingsforskriften? Hvor ofte benytter vi tallkarakterer i underveisvurderingen?

64 Midtveisvurdering Målet er å identifisere elever i faresonen så tidlig som mulig (i god tid for T1) Kunne gi elevene tilbakemelding på hvor de står faglig og hva de må arbeide mer med - først Stimulere til å utvikle et «growth mindset»

65

66

67 Midtveisvurdering Hva er vi gode på når det gjelder midtveisvurdering i dag? Hvorfor er vi gode på dette? Hva kan forbedres? Hvordan kan jeg som leder jobbe for å forbedre dette?

68 Undervisningsvurdering Hensikten med undervisningsvurdering er at lærere og elever sammen reflekterer over hva som skaper god læring. I tillegg kan nærmeste leder benytte vurderingen i en samtale med den enkelte lærer.

69

70 Forslag til ny indikator Faglig fokus: Jeg dagdrømmer i timene i dette faget Jeg gleder meg til at timen skal ta slutt i dette faget I timene prater jeg med andre elever om ting som ikke har med undervisningen å gjøre

71 Undervisningsvurdering Hva er vi gode på når det gjelder undervisningsvurdering i dag? Hvorfor er vi gode på dette? Hva kan forbedres? Hvordan kan jeg som leder jobbe for å forbedre dette?

72 3.økt: Bruk av PULS som verktøy for målrettet utvikling

73 Læreren som trener Enkeltemner og dommer Ferdigheter/kompetanse Kilde : Egil Hartberg m fl 2012

74 Standpunktkarakterer En standpunktkarakter skal uttrykke den kompetansen eleven har ved avslutningen av opplæringen. Fastsetting av standpunktkarakter (sluttvurdering) er et enkeltvedtak etter forvaltningsloven 2.

75 Etter Kommunerevisjonens mening tyder undersøkelsen på at flere skoler hadde en vurderingspraksis som førte til at elever ikke fikk samme standpunktkarakter som elever med samme kompetanse ved andre skoler. Elevene ble i så fall ikke likebehandlet. Dette kan gjelde både for skoler med «snill» og «streng» vurderingspraksis.

76 Har vår skole en «snill» eller en «streng» karakterpraksis? Hva sier ryktet? Hvordan kan vi finne ut av hva som stemmer og hvordan kan vi benytte slike karakterdata i vårt kvalitetsarbeid?

77 Avvik standpunkt og eksamen

78 Generelt om verktøy A tool is only as good as the mindset using it (Fullan 2013)

79 PULS inneholder aggregerte data VOKAL inneholder individ-data

80 Hva er et bra resultat?

81

82 Utfordringer i PULS resultatindikatorer: Dersom resultatindikatorene har samme grenseverdier, uavhengig av elevenes forutsetninger, medfører dette at yrkesfaglige utdanningsprogrammer ofte havner på gul minus og rødt, mens studieforberedende utdanningsprogrammer ofte havner på gul pluss og grønt. Da fungerer ikke fargene godt nok som indikasjon på input-output.

83 Hva kan vi gjøre med det? Det utarbeides separate grenseverdier for: - Studieforberedende utd.programmer - Yrkesfaglige utd.programmer - Påbygg

84 Hva kan vi gjøre med det? Vi normerer skalaene: Det nasjonale snittet de fire siste år utgjør skjæringspunktet for gul pluss og gul minus Grønt er da et positivt avvik fra det nasjonale snittet. Rødt er et negativt avvik.

85 Dette vil gjelde for følgende indikatorer: Karakterpoengsum fra ungdomsskolen Samleindikator alle fag Et utvalg standpunktkarakterer Karakterutvikling Fullført og bestått

86 Input output Nasjonalt YF (minus Oslo og Sogn og Fjordane)

87 Input output Akershus YF

88 Input output Nasjonalt Stud (minus Oslo og Sogn og Fjordane)

89 Input output Akershus Stud

90 Input output Akershus Idrettsfag

91 Input output Akershus Helse- og oppvekstfag

92 Refleksjonsspørsmål Resultatmålet for satsingen er 10 % økning av elever som fullfører og består videregående opplæring innen 2018 (nullpunkt 2010). Hvordan kan vi bruke tabeller som viser input og output på konstruktive måter, dvs på måter som gjør at vi nærmer oss resultatmålet?

93 1. Hvordan får jeg hentet opp resultater fra tidligere år? Klikk på utvalg Klikk på «legg til utvalg» Huk av for ønsket skoleår Klikk på «opprett utvalg»

94 2. Hvem kan jeg sammenligne meg med? 1. Klikk på utvalg 2. Klikk på «legg til utvalg» 3. Velg hvem du vil sammenligne deg med via hierarkiet (fylket, nasjonalt). 4. NB! Du kan også sammenligne innad på skolen

95 3. Hvor finner jeg alle karakterene? 1. Klikk på «indikatorer» 2. Klikk på «læringsresultater» 3. Velg ønsket karaktertype 4. NB! Klikk på den gule pila

96 4. Hvor finner jeg alle data fra Elevundersøkelsen? 1. Klikk på «indikatorer» 2. Klikk på «læringsmiljø» 3. Klikk på «elevundersøkelsen 2013-»

97 5. Hvor finner jeg alle data fra medarbeiderundersøkelsen? 1. Klikk på «indikatorer» 2. Klikk på «profesjonsutvikling» 3. Klikk på «medarbeiderundersøkelsen 2014»

98 6. Hvor finner jeg dialogkartene (boblekartene)? 1. Klikk på «indikatorer» 2. Klikk på «læringsmiljø» 3. Klikk på «elevundersøkelsen 2013-» 4. Klikk på «analyse av sammenhenger»

99 7. Hvordan lager jeg trendgraf for andelen fullført og bestått? 1. Klikk på prosenttallet eller pila ved siden av 2. Trendgrafen kommer da automatisk opp

100 8. Hvordan lager jeg en oversikt over input - output? 1. Klikk på «PULS-prosesser» 2. Klikk på «Input og output (studieforberedende)» eller «Input og output (yrkesfag)» 3. Sett opp ønsket utvalg

101 9. Hvor finner jeg en oversikt over avvik standpunkt og eksamen? 1. Klikk på «indikatorer» 2. Klikk på «læringsresultater» 3. Klikk på «avvik standpunkt og eksamen» 4. Klikk på ønsket fagtype

102 10. Hvordan kan jeg sammenligne flere utvalg i samme trendgraf? 1. Klikk på «prosessdesign» 2. Klikk på «design prosess»

103 4.økt: Konkret arbeid med egne utviklingsområder

104

105

106

107 Oppgave Klikk på «PULS-prosesser» Klikk på «Vurdering for læring» Les innholdet Kan noe av dette innholdet benyttes i kvalitetsarbeidet på vår skole? Evt hvilke endringer bør vi gjøre?

108 Oppgave Gå sammen med andre fra din skole Velg et utviklingsområde fra din egen skole Tenk at du skal forberede et lærende møte med oppfølging i etterkant Hvilke indikatorer og spørsmål er det viktig at lærerne/deltakerne forbereder seg på? Start arbeidet med å designe en prosess bestående av disse indikatorene med tilhørende spørsmål og begrunnelser Bruk prosessdesigneren hvis du føler du behersker den nok

109 (Til refleksjon): 1. Hva er din egen mening om nåværende kvalitet på det utviklingsområdet dere har valgt? 2.Hva har du valgt å fokusere på? Hva er bakgrunnen for dette? Hvilke observasjoner/data ligger til grunn? Hvorfor har du valgt akkurat disse dataene/observasjonene? 3.Beskriver dataene/observasjonene situasjonen nøyaktig? Hva inkluderes? Hva utelates?

110 Jarl Inge Wærness Conexus AS Grønland 32B, 3045 Drammen Telefon: 02182