Elisabeth Hovdhaugen 12.11.2012 Læringsutbytte i høyere utdanning
Hva er læringsutbytte? Ingen entydig, overordnet definisjon av begrepet. Tradisjonelt to typer tilnærming til begrepet læringsutbytte: 1) Den undervisningsorienterte tradisjonen: Fokus på målsetninger for hva som skal læres bort, og hvordan, innenfor et kurs eller studium 2) Den læringsorienterte tradisjonen: Fokus på hva studentene skal ha lært etter fullført kurs/program. a) som foreskrevne intensjoner for læringen (de kvalifikasjoner studentene skal ha tilegnet seg i løpet av studiene) b) som målbare resultat av læringen Tilnærmingen i 2a tilsvarer nasjonale kvalifikasjonsrammeverk for høyere utdanning. Tilnærming 2b er nærmere det som OECD prøver å gjøre i AHELO
Dilemmaer ift måling av læringsutbytte Hvordan skal det måles? En test, eller flere tester (for å måle «value added» trengs flere tidspunkt) Egenrapportert utbytte Når skal målingen gjøres? Underveis i studiet I slutten av studiet I arbeidslivet Hva er det vi ønsker å måle? Fagspesifikt læringsutbytte Generelt læringsutbytte (generic skills)
Hva er AHELO? AHELO: Assessment of Higher Education Learning Outcomes et initiativ fra Organisasjonen for økonomisk samarbeid og utvikling, OECD. Mulighetsstudie (2009-2012): Teste ut om det er mulig å måle læringsutbytte i høyere utdanning på tvers av kulturer, språk og ulike typer læresteder. Undersøker studenter som er i siste år av bachelorstudiet, studenter som er i sitt tredje eller fjerde studieår. Målet er både å teste undersøkelsesmetoder for å undersøke læringsutbytte og samtidig teste den praktiske implementeringen. Målingen gjøres på lærestedsnivå, ikke landnivå. Utfordring siden OECD er en medlemsorganisasjon for land.
Ambisjonen med AHELO Skal utrede om det er vitenskapelig og praktisk mulig å iverksette en internasjonal måling av læringsutbytte i høyere utdanning. Store ambisjoner for hvilken funksjoner AHELO kan fylle: En balansert måling av kvalitet i høyere utdanning, ikke en ranking. Læresteder skal få info om egen kvalitet, sett i forhold til andre institusjoner. Læresteder skal få info om egne studenter, sett i forhold til studenter ved andre institusjoner. Staten skal få informasjon om ressursbruken i høyere utdanning er effektiv. Blivende studenter skal få info som hjelper dem å velge lærested.
Hva er inkludert i AHELO? AHELO består av fem delprosjekter A) Generic Skills Strand Generelle ferdigheter på tvers av fag B) Economics Strand - Disiplinspesifikk del i økonomiske fag (ikke i Norge) C) Engineering Strand - Disiplinspesifikk del i ingeniørfag (ikke i Norge) D) Kontekstuell dimensjon - prøve å kontrollere for landet og lærestedets kontekst Value added /learning gain - forskningsbasert del om hva som er lærestedets bidrag til studentens læring (rapport basert på tidligere forskning) Generic Skills Strand (GenS) Economics Strand (EcoS) Engineering Strand (EngS) Value-added Measurement Strand (VamS) Methodological/ instrument development Modul A Modul B (ikke i Norge) Modul C (ikke i Norge) Modul D: contextual dimension surveys students, faculty, institution VamS Research-based, no direct assessment involved, done by experts
Mange land er involvert i AHELO Land som deltar i Generic Skills Strand: - Norge - Finland - Korea - Kuwait - Mexico - USA - Colombia - Egypt - Slovakia
Collegiate Learning Assessment (CLA) Oppgaven skal måle kritisk tenkning, analytisk resonnering, problemløsning og skriveferdigheter. Ikke noen klar definisjon av hva de ulike begrepene betyr. En «scenarie-oppgave» som kommer i to varianter. Studentene får en tenkt situasjon og et dokumentbibliotek med 8-10 dokumenter som de skal bruke for å svare på oppgaven (all informasjon som trengs for å besvare oppgaven finnes i dokumentbiblioteket). Studentene skal selv formulerer sine svar en såkalt «langsvarsoppgave». Det er tilfeldig hvilken av de to oppgavene studentene får (randomisering).
CLA Performance Task: Crime Læringsutbytte i høyere utdanning 12.11.2012 10
Multiple choice-oppgavene Skal måle ulike typer kompetanse tar utgangspunkt i et rammeverk som sier hvilke typer kompetanse som blir målt. Spørsmålstyper (eksempel): Tekstoppgaver (taler/skuespill) Liste med argumenter Lese og tolke diagrammer Bruke formler til å gjøre slutninger Kilde: McCurry 2004 Læringsutbytte i høyere utdanning 12.11.2012 11
Resultater så langt Det er mulig å oversette og tilpasse tester mellom land. Gjennomført på liknende måte som i PISA Gjenstår å se hvor gode de fungere på tvers av land/kultur! Det er mulig å bli enige om hva studenter innenfor et spesifikt fag skal kunne, og utvikle en test som måler dette. Helt nye tester utviklet for Engineering og Economics. Svært vanskelig å rekruttere studenter til å delta i testen i Norge. Store variasjoner i svarprosent mellom land. En stor utfordring for AHELO er å klare å engasjere alle parter. For å engasjere studenter må det være noe i testen som er til nytte for studenten. Læringsutbytte i høyere utdanning 12.11.2012 12
Hva måler vi når vi måler læringsutbytte? Viktig å vite hva man er ute etter å måle og være sikker på at man måler det. Vet vi dette ift AHELO? Spørsmål: er det mulig å utvikle en enkelt test for å måle læringsutbytte? Kanskje må flere typer tester kombineres. Standardiserte mål har alltid begrensninger. Fordel å måle med utgangspunkt i et rammeverk. Læringsutbytte i høyere utdanning 12.11.2012 13