PISA-lupen-konsekvenser for universiteter og høgskoler

Transkript

1 PISA-lupen-konsekvenser for universiteter og høgskoler Are Turmo Institutt for lærerutdanning og skoleutvikling Universitetet i Oslo Nasjonal utdanningskonferanse for helsetjenesten, oktober, 2008 Ingeniørenes Hus, Oslo

2 PISA for høyere utdanning OECD International Assessment of Higher Education Learning Outcomes (AHELO)

3 Utgangspunktet Following decades of rapid growth in higher education numbers of students and institutions and its growing internationalisation, there is increasing recognition that greater attention should now be paid to its quality and relevance. At the OECD Ministers of Education meeting in Athens (June 2006), the OECD was asked to advise on how better to understand and evaluate the various dimensions of quality in higher education.

4 Den norske konteksten Kvalitet i høyere utdanning gjerne knyttet til studiepoengsproduksjon, samt studenttilfredshet. Noen studier basert på studenters egenrapporterte læringsutbytte, samt employability. Men hvilken kompetanse ligger egentlig bak studiepoengene? Innebærer for eksempel bestått bachelorgrad i økonomi det samme fra institusjon til institusjon? De få sammenlikninger som er gjort i Norge, indikerer et relativt klart nei. Behov for å gå grundigere til verks enn bare å telle studiepoeng?

5 Internasjonale rangeringer med store metodiske problemer Universitetet i Oslo blant verdens 200 beste Det finnes over universiteter og høyskoler på International Association of Universities autoritative liste. Årets viktigste rangeringer viser at Universitetet i Oslo ligger blant verdens 200 beste. Ingen andre institusjoner i Norge er i nærheten av en slik plassering. Dette feirer vi, samtidig som vi ikke liker at vi faller flere plasser på Times rangering nylig, sier rektor Geir Ellingsrud. I Times Higher Educational Supplements rangering over verdens 500 beste universiteter faller Universitetet i Oslo ti plasser fra i fjor og er nå på 188. plass. Rangeringen er endret, ikke Universitetet i Oslo. Resultatene i Times kommer ikke overraskende på oss. Vi har blitt vant til store endringer i denne rangeringen. Årsaken er i all hovedsak endring av metodikk, noe som har pågått siden rangeringen startet i Fallet i Times rangering viser ikke en nedgang i vår aktivitet eller kvalitet den viser en endring i utregning, presiserer Ellingsrud.

6 Lang tradisjon for internasjonale sammenlikninger av læringsutbytte i grunnopplæringen : The First International Science Study (FISS): 10-åringer, 14-åringer, elever i siste året av videregående skole : The Second International Science Study (SISS): 10-åringer, 14-åringer, elever i siste året av videregående skole. 1995: The Third International Mathematics and Science Study (TIMSS): 9-åringer og 13-åringer. 2000: OECD Programme for International Student Assessment (PISA): 15-åringer.

7 PISA 15-åringers kompetanse i lesing, matematikk og naturfag Undersøkelse hvert tredje år med ulike fokusfag PISA 2000: Lesing (Reading literacy) PISA 2003: Matematikk (Mathematical literacy) PISA 2006: Naturfag (Science literacy) PISA 2009: Lesing 2012,... Alle tre fagene med hver gang for å kunne måle utvikling over tid

8 Metode To timers faglig prøve til elevene med oppgaver fra alle tre fagområder Spørreskjema til elevene, minutter Spørreskjema til skolens leder

9 Resultater i naturfag Land Gj.snitt St. avvik Finland 563 (2,0) 86 Canada 534 (2,0) 94 Japan 531 (3,4) 100 New Zealand 530 (2,7) 107 Australia 527 (2,3) 100 Nederland 525 (2,7) 96 Korea 522 (3,4) 90 Tyskland 516 (3,8) 100 Storbritannia 515 (2,3) 107 Tsjekkia 513 (3,5) 98 Sveits 512 (3,2) 99 Østerrike 511 (3,9) 98 Belgia 510 (2,5) 100 Irland 508 (3,2) 94 Ungarn 504 (2,7) 88 Sverige 503 (2,4) 94 OECD gj.snitt 500 (0,5) 95 Polen 498 (2,3) 90 Danmark 496 (3,1) 93 Frankrike 495 (3,4) 102 Island 491 (1,6) 97 USA 489 (4,2) 106 Slovakia 488 (2,6) 93 Spania 488 (2,6) 91 Norge 487 (3,1) 96 Luxembourg 486 (1,1) 97 Italia 475 (2,0) 96 Portugal 474 (3,0) 89 Hellas 473 (3,2) 92 Tyrkia 424 (3,8) 83 Mexico 410 (2,7) 81 ( ) Standardfeil i parentes Naturfag

10 AHELO Expert meetings i 2007 Gruppens mandat var å gi råd til OECD om videre retning for et arbeid med å utvikle en internasjonal komparativ undersøkelse av læringsutbytte i høyere utdanning. OECD ga spesielt i oppdrag til det amerikanske firmaet Education Testing Service (ETS) å utrede muligheter og utfordringer knyttet til en slik undersøkelse. Forslag ble diskutert i ekspertgruppen.

11 Analysenivået Viktige forskjeller mellom AHELO og PISA for 15-åringer. Den kanskje viktigste er analysenivået. I AHELO er det ikke et mål å gjøre sammenlikninger på landsnivå. Man innser at å framskaffe nasjonale representative utvalg er urealistisk, i hvert fall på kortere sikt. Fokuset vil derfor være på sammenlikninger av institusjoner, fakulteter og institutter.

12 Value added Det er et ønske om å måle institusjonenes bidrag til elevenes læring ( value added ). Dette kan gjøres ved å se resultatene fra undersøkelsen i sammenheng med inntakskvaliteten ved institusjonene. Man ønsker også, som i PISA, å se resultatene i sammenheng med ulike typer kontekstuelle data.

13 Hva skal måles? Man ønsker å måle to hovedtyper av kompetanser: 1. Kompetanser på tvers av fagområder ( transversal skills ): Særlig snakk om evne til kritisk tenkning og evne til problemløsning. 2. Fagspesifikke kompetanser.

14 Hvem ønsker man å teste? I utgangspunktet studenter ved slutten av bachelor-nivå. Planlagt å starte med studenter i økonomi og ingeniørfag. Også andre fagområder etter hvert?

15 Mange utfordringer.. Hvordan sikre at det man måler er relevant i alle deltakerlandene? Hvordan motivere institusjoner og studenter til å delta i undersøkelsen? Hvordan få studentene som faktisk deltar, til å gjøre sitt beste? Testmotivasjon et viktig tema i denne typen low stakes testing. Studentene kan motiveres til å komme til testsesjonen gjennom ulike former for belønninger, men det er vanskeligere å sikre at de virkelig legger optimal innsats i testen.

16 Videre framdrift og tidsplan OECD ser det som viktig at de kommer på banen raskt, da læringsutbytte i høyere utdanning nå er et aktuelt tema i mange av medlemslandene. På bakgrunn av dette er det foreslått en offensiv tidsplan: Planen er i utgangspunktet å gjennomføre en feasibility study i noen relativt få utvalgte land i Arbeidet med feasibility study er i full gang i OECD.

17 To spor OECD tenker seg en videre utvikling langs to spor: 1. Ta utgangspunkt i allerede eksisterende tester og tilpasse dem til en internasjonal kontekst. 2. Utvikle et omfattende rammeverk gjennom internasjonal konsensusbygging. Hvis man derimot bare følger spor to, risikerer man at det vil gå 5-6 år før testen kan piloteres.

18 Formål med feasibility study 1. Test the science of the assessment : Er det mulig å gjennomføre målinger av høy nok kvalitet? 2. Test the practicality of implementation : Lar undersøkelsen seg gjennomføre i praksis; klarer man å motivere institusjoner og studenter til å delta?

19 Feasibility-studien vil ha 4 komponenter 1. Generic skills strand : Hvordan måle høyere ordens tverrfaglige kompetanser? 2. Discipline strand : Hvordan måle disiplinrelaterte kompetanser (innen økonomi, ingeniørfag)? 3. Value-added measurement strand : Hvordan måle institusjonenes bidrag til læringsutbytte? 4. Contextual strand : Hvordan innhente relevant kontekstuell informasjon på institusjonsnivå?

20 Når vil en undersøkelse i full skala gjennomføres? We don t know at this stage whether and when a full-scale AHELO will be launched. The feasibility study is expected to report by the end of 2010 on the scientific and practical feasibility of implementing an international assessment of higher education learning outcomes that is reliable and valid across diverse countries, cultures, languages and institutional types. On the basis of the outcomes of this feasibility study, the Education Policy Committee will decide by the end of 2010, whether to abandon the idea or pursue the AHELO initiative further and launch a full-scale AHELO study.

21 Norsk deltakelse i AHELO? Norge har signalisert interesse for å delta i feasibility study. Men ikke bestemt om Norge/norske institusjoner vil bli invitert til å delta i en eventuell hovedundersøkelse. Hvilke konsekvenser kan eventuell deltakelse i AHELO ha?

22 Positive og negative myter utfordres? Utdanningsdirektøren i Hordaland proklamerte høsten 2001 at den norske skolen aldri hadde vært bedre (Skrede 2004). Noen dager senere ble PISAundersøkelsen publisert. Utdanningsminister Gjerde hevdet i sin tid at den norske skolen er verdens beste (Telhaug 1994). Oppfatning blant mange at norsk skole var i verdenstoppen. Med PISA-undersøkelsen ble debattklimaet endret brått, radikalt og ugjenkallelig (H.O. Bergesen 2006: Kampen om kunnskapsskolen. Universitetsforlaget).

23 Noen sannsynlige konsekvenser av AHELO Et større fokus på faktisk læringsutbytte også i høyere utdanning, både i Norge og internasjonalt. Ikke bare innen de områdene som testes i første omgang. Undervisning får økt status i høyere utdanning? Åpner for nye perspektiver i kvalitetsdiskusjoner. Større fokus på accountability?

24 Spørsmål eller kommentarer?