ANALYSE AV DATA SOM GRUNNLAG FOR LÆRING

Transkript

1 ANALYSE AV DATA SOM GRUNNLAG FOR LÆRING / Conexus Yngve Lindvig Conexus AS Grønland 32 B, 3045 Drammen post@conexus.no Telefon: 02182

2 Analyse og analysekompetanse : Aldri har det vært så mye fakta tilgjengelig for lærere og skoleledere. Nasjonale prøver, elevundersøkelser, foreldreundersøkelser, medarbeiderundersøkelser, SOL ing, LUS ing, TALIS, PISA, lesetester, skrivetester, mattetester osv. osv. Faktabasert kvalitetsutvikling kjennetegner de fleste virksomheter som oppnår gode resultater over år også skoler. Spørsmålet vi imidlertid må stille oss er om vi har god nok kompetanse på analyse av alle foreliggende fakta? Hvordan bør vi analysere de dataene vi har og hvilke konsekvenser bør det få for skolens videre arbeid?

3 Viktige oppdrag: Utdanningsdirektoratet 17 Fylkeskommuner 13 av de 15 største kommunene i Norge (140 kommuner) Attføringsbedrifter Barnevern (helsedirektoratet) Nettverk: KS BI IMTEC Bureau2000 Gyldendal ICSEI

4

5

6

7

8

9 En avis er bedre enn et ukeblad. Et åpent område er bedre enn en gate. I begynnelsen er det bedre å løpe enn å gå. Du må trolig prøve noen ganger. Det krever visse ferdigheter, men disse er enkle å lære. Selv små barn har glede av det. Når du først har lyktes, blir det sjelden vesentlige problemer. Fugler vil sjelden komme for nær. Derimot kan regnvær by på problemer. Det vil også bli vanskelig dersom mange mennesker gjør det samme. En trenger masse plass. Dersom det ikke er noen problemer, kan det være en veldig rolig aktivitet. En stein kan være et anker. Dersom noe løsner fra den, vil du ikke få en ny sjanse

10 Å lage og fly en drage En avis er bedre enn et ukeblad. Et åpent område er bedre enn en gate. I begynnelsen er det bedre å løpe enn å gå. Du må trolig prøve noen ganger. Det krever visse ferdigheter, men disse er enkle å lære. Selv små barn har glede av det. Når du først har lyktes, blir det sjelden vesentlige problemer. Fugler vil sjelden komme for nær. Derimot kan regnvær by på problemer. Det vil også bli vanskelig dersom mange mennesker gjør det samme. En trenger masse plass. Dersom det ikke er noen problemer, kan det være en veldig rolig aktivitet. En stein kan være et anker. Dersom noe løsner fra den, vil du ikke få en ny sjanse

11

12 Analyser av data blir instrumentell hvis den ikke tar hensyn til følgende faktorer: Vurdering for læring, Hattie og Wærness Balansert målstyring, Kaplan & Norton Systemtenking, Bourdieu og Senge Den fjerde vei og profesjonell kapital, Andy Hargraves Profesjonell kompetanse, Erling Lars Dale Grunnleggende statistikk

13 Hva er vurdering for læring? Fokus på mål og ikke konkurranse Fokus på det neste kompetansenivået Refleksjon rundt vurderingsinformasjonen Fokus på hvordan mestre det neste kompetansenivået Ansvar for egen læring Fokus på hvordan eleven kommer til målet - læringsstrategier

14 Hva er vurdering for læring mht. skoleutvikling? Utvikle og dele mål og verdier Fokus på mål og ikke konkurranse Fokus på det neste kompetansenivået Refleksjon rundt vurderingsinformasjonen Fokus på hvordan mestre det neste kompetansenivået Personalet tar ansvar for egen læring Fokus på hvordan skolen kommer til målet læringsstrategier

15 Norge på 50 og 60 tallet

16

17 Den første vei 1. Vei Ideologi: Autoritetsforakt Idealisme Autonomi Konsekvens: mangel på kontroll og lukket system

18 Den andre vei 2. Vei Ideologi: Marked Privatisering Konkurranse Åpenhet Fritt skolevalg Mål og prestasjoner Testing Konsekvens: Ovenfra og ned, for mye fokus på det målbare, for lite støtte og profesjonalitet

19 Den tredje vei

20 Den fjerde vei Nasjonal visjon Styring og støtte Læring og resultat Offentlig engasjement Profesjonell autonomi og involvering Sentrale begreper = Evidens og tillit

21 fra 3 til 4 Fra: Prestasjonsdrevet kvalitet Til: Oppdrags-og situasjonsdrevet kvalitet Overtalte lærere og fagforeninger Lærere og fagforeninger som partnere Datadrevne team og beslutninger Til datainformerte beslutninger og skoler Fysisk tilstede Psykisk tilstede

22 Profesjonell kapital Humankapital Profesjonalitet Sosial kapital Beslutningskapital forutsetter Profesjonell kompetanse K1 K2 K3 kollektivitet

23 Viktig å skille mellom: Mål Indikatorer på måloppnåelse

24 Måltyper Strukturmål (økonomi, bygninger, antall lærere, etc) Resultatmål (Tester, karakterer, brukere, etc.) Prosessmål (Hvordan ser våre handlinger ut?) Forutsetter beskrivelser og felles begrep.

25 Balanse i data, for å unngå naiv (instrumentell) målstyring: 1. Resultater og gjennomstrømming 2. Brukere (elevundersøkelsen, foresatte, etc.) 3. Profesjonelle (personalundersøkelse, kompetansekartlegging, kvalitetskjennetegn, etc.)

26 Oppsummering: Vi lærer når vi får vite hva vi har fått til, og hva vi må strekke oss mot Vi må ha balanserte mål Vi må ha balanserte data/indikatorer Utvikling av profesjonalitet skjer i felleskap

27 Oppgave 1 Hvilken konsekvens får denne innledningen for analyse og bruk av data? Hvordan evalueres endringsarbeid? Hva bruker nasjonale prøver og elevundersøkelsen til?

28 Hvor ser vi fra?

29 Sosial reproduksjon Norge 33% (LSE) Norge 34% (NTNU)

30 Modell for elevens læringsmiljø Bekreftende faktoranalyse Chi-square = 148,084 Degrees of freedom = 1 Probability level =,000 Modelltilpasning:,141,00 Motiverende lærere,72 r1 1,00 CFI = 0,984 IFI = 0,984 RMSEA = 0,061 Motivasjon 1,30 Interesse for å lære,62 r2 1,00,10 Miljø,17 1,00 Sosial trivsel,46 r3 1,00,54 1,00 Mobbing,51 r4

31 5 viktige prinsipper 1. O,3 regelen (se etter relevante forskjeller) 2. Finn relevant sammenligning 3. Som du spør får du svar 4. Input - output 5. En analyse må bygge på en analyse av sammenheng

32 Sammenligning 1. Samme utvalg 2. Samme organisatoriske enhet 3. Relevant organisatoriske enhet 4. Nasjonalt snitt

33 Følger dere samme grupper over tid? Nasjonale prøver 5 og 8 trinn Nasjonale prøver 8 og 9 trinn Kartleggingsprøver Gjennomstrømning i vgo sortert på skoler

34 Utfordring: Det finnes ingen normerte skalaer innen samfunnsvitenskapen Ingen spørsmål er verdifrie

35 Skalaer Er du interessert i å lære på skolen Trives du a. med skolearbeidet?

36 Fakta Hauketo Marienlyst skole skole Motivasjon se delskår 2,5 2,9 Trivsel se delskår 3,3 3,3 Mobbing se delskår 3,7 3,7 Elevmedvirkning se delskår 2,3 2,0 Elevdemokrati se delskår 2,8 2,7 Fysisk læringsmiljø se delskår 2,3 2,2

37 Indikator 2007/ / /2010 Elevundersøkelsen Sosial trivsel 4,1 4 4,2 Interesse for å lære 3,1 3,2 3,3 Motiverende lærere 2,9 3 3,1 Fravær av mobbing 4,8 4,9 4,9 Kunnskap om og deltagelse i målsettninger 2,7 2,8 3 Underveisvurdering 2,5 2,7 3,1 Fravær 11 % 10 % 6,50 % Frafall 5 % 3,50 % 2,60 % Antall vitnemål 79 % 77 % 74 % Antall elever bestått 87 % 90 % 94 % Personalundersøkelsen Internt samarbeid 3,4 3,5 Gjennomføring av elevsamtaler 3,2 3,5 Mål-planfokus 3,2 3,5 Ledelse 2,1 2,8 Nyskapende medarbeidere 3,4 3,7 Sykefravær i personalet 6 % 7 % 4 % Budsjettoverholdelse ok ok over 2,1% Eksamensresultater Norsk 3,7 3,1 3,1 Matematikk 3,2 3,7 Engelsk 2,9 3,3 3,2 Standpunkt

38 Indikator 2007/ / /2010 Elevundersøkelsen Sosial trivsel Grønn Grønn Grønn Interesse for å lære Gul + Gul + Gul + Motiverende lærere Gul + Gul + Gul - Fravær av mobbing Grønn Grønn Grønn Kunnskap om og deltagelse i målsettninger Rød Gul - Gul + Underveisvurdering Rød Gul - Gul + Fravær 11 % 10 % 6,50 % Frafall 5 % 3,50 % 2,60 % Antall vitnemål 79 % 77 % 74 % Antall elever bestått 87 % 90 % 94 % Personalundersøkelsen Internt samarbeid Grønn Grønn Gjennomføring av elevsamtaler Gul + Grønn Mål-planfokus Gul + Grønn Ledelse Gul - Gul + Nyskapende medarbeidere Gul + Grønn Sykefravær i personalet 6 % 7 % 4 % Budsjettoverholdelse ok ok over 2,1% Eksamensresultater Norsk 3,7 3,1 3,1 Matematikk 3,2 3,7 Engelsk 2,9 3,3 3,2 Standpunkt

39 Hva er et bra resultat?

40

41

42 2. Arbeid med egne data og bruk av farger for å illustrere resultatet på indikatoren: Eksempel: Nasjonale prøver 8 trinn. Resultat = 3,2 Nasjonalt snitt 3 Farge gul+ Underveisvurdering i elevundersøkelsen Resultat = 3,8 Relevant sammenligning 4,1 Farge Rød På skalaer fra 1-4, 1-5, 1-6, 1-7 (0,3) På skala fra 1-3 (0,2) 100% (6 %) 40% (3%) 15% (2%)

43 Eksempel:

44 Eksempel:

45 Eksempel:

46 Oppgave 2 Tar dere hensyn til elevens forutsetninger når dere analyserer resultater? Ser dere resultatene over tid?

47 Indikator Forutsetninger Økonomi Elevmiljø/motivasjon Nasjonale prøver Gjennomstrømning Karakterer Ledelse/personal Egenvurdering/kvalitetsvurdering Tiltak

48 Indikator Forutsetninger Økonomi Elevmiljø/motivasjon Nasjonale prøver Gjennomstrømning Karakterer Ledelse/personal Egenvurdering/kvalitetsvurdering Tiltak

49

50

51 1 3 Input Proses Actions Profil

52 Elevprofiler

53

54

55

56

57 Oppgave 3: Hvordan komme fra tall og fakta til konkret handling for å styrke elevenes læring? Er dataene organisert slik at dere får fokus på forbedring? Analyseres data i sammenheng? Er det lett å forstå hva som er godt og dårlig? Følger dere samme grupper over tid? Brukes resultatene til fremover-meldinger?