Kvalitetsperspektivet i fleksibel utdanning, praktiske eksempler fra bruk av klikkere (ARS) Norgesuniversitetets Høstseminar 25.09.2013 Tromsø Rune Johan Krumsvik, Professor i pedagogikk, UiB Professor II ved HSH Disposisjon Innleiing Kva er ARS? Forsking om ARS Døme frå PEK-prosjekt ved UiB Oppsummering Feedback er ein av de mest viktige faktorane i studentars læring. Men korleis kan ein gi og få feedback i store førelesingar der det er hundrevis av studentar? Det er dette ein har prøvd å finne ut av i dette PEKprosjektet ved Universitetet i Bergen Can ARS enhance formative e-assessment in plenary lectures and how do students perceive this relationship? Can ARS reduce the discrepancy between the intended learning outcome and the subjective learning outcome in plenary lectures and how do students perceive this relationship? 1
«( ) a special time in education» (Bill Gates 2013) MOOC? Snowden-saka? Big Brother IKT-bruk i høgare utdanning Meiningsstyrt eller kunnskapsstyrt? Medium eller metode? Begge? 2
Status for Kvalitetsreforma (KD 2007) Nasjonalt Kvalifikasjonsrammeverk for livslang læring (KD 2011) Norgesuniversitetet (2012) Feedback (0.90) (Hattie 2009; 2012) Formative e-assessment (Pachler et al. 2009) When the cook tastes the soup, that s formative; when the guests tastes the soup, that s summative. (Schriven 1991, s. 169). Førsteårsstudentar i psykologi ved UiB. Fag: Kvalitativ metode, N=243 Kan ARS minske dette gapet? Subjektivt læringsutbytte Intendert læringsutbytte 3
Kva er ARS? ( clickers ) Audience Response System ARS kan takle opp til 800 studentar Alle studentar får utdelt kvar sin «klikkar» i førelesingane Feedback til førelesar? Feedback til studentar? Survey ( ) Context is not always everything, but it colors everything (Pajares 2006: 342). Vår kontekst: storførelesinga Caldwell (2007) finn at storførelsinga er dominert av: Passiv, einvegs kommunikasjon Lite interaktivitet Studentar er skeptiske til å ta ordet Redd for å svare feil Nokre er uvante med å ta ordet i så store forsamlingar som tidvis er større enn si eiga heimbygd ARS er difor nytta for å prøve betre interaktiviteten i slike storførelesingar 4
Do you appreciate the fact that you can answer anonymously by using the feedback-clickers during lectures? (N=243) 1. To a great extent 2. To some extent 3. To hardly any extent 4. Not at all 78% 18% 3% 2% To a great extent To some extent To hardly any extent Not at all Pedagogisk bruk av ARS-teknologi i PEKprosjektet Monolog Dialog Summing SF Videocase-analyse Feedback Digital didaktikk i PEK-prosjektet Saumlaus integrering av fysiske- og virtuelle læringsmiljø 5
Metanalyser og systematiske reviews om ARS ARS Metanalyser og systematiske reviews Richard Mayer s studier av «clickers» i storførelesingar: «The effect size from adjunct questions was 0.40, which shows that there can be important gains from only a small change from the typical lecture (Hattie 2012:75). Metanalyser og systematiske reviews Mayer et al. (2009): Studenters forsøk på å svare på faglige spørsmål og deretter motta umiddelbar feedback, ser ut til å fremme aktiv kognitiv prosessering på tre måter: studenter kan bli mer oppmerksom på forelesningsinnholdet i forkant av spørsmålene studenter synes å arbeide kognitivt hardere for å organisere og integrere materialet under spørsmålsvaring (inkl. summing med medstudenter) studenter kan utvikle metakognitive ferdigheter for å vurdere hvor godt de forstår forelesningsstoffet og hvordan de skal forbedre sitt eget læringsutbytte ut fra den feedback de mottar 6
Metanalyser og systematiske reviews LDK The effects of audience response systems on learning outcomes in health professions education. A BEME systematic review: "This review also revealed an interesting trend in that all three studies examining medical residents reported a large increase in knowledge assessment scores compared to noninteractive lectures. One may hypothesise that in settings, such as medical residencies, where sleep deprivation and subsequent difficulties with attention are common and well documented, the ability of ARS to enhance learner interactivity may be even more beneficial, although further study is required (Nelson et al., 2012: 403). Does the use of feedback-clickers lead to more discussion among students (two and two) during lectures compared if they were not in use (N=243)? 1. To a great extent 2. To some extent 3. To hardly any extent 4. Not at all 63% 28% 4% 4% To a great extent To some extent To hardly any extent Not at all Viktigheita av SOLO-spørsmål og pedagogisk forankring av ARS (..) the teacher teaches differently, because he or she needs to think before the class about the optimal questions for the intentions of the lesson, think about common mistakes that students are likely to make, and thus become more responsive to gaining feedback about his or her own teaching (Hattie 2012: 75) 7
27.09.2013 IKT, SOLO og taksonomiar i PEK-prosjektet (Hattie 2012; Anderson & Kraftwohl, 2001) Surface Remember the material? Surface 6 5 To understand it? (to translate, interpret, put into 4 own words)? To analyze it? (to break down the material into parts, detect relationships)? 3 Create something new from it? Deep To evaluate it (for a particular purpose value of ideas, solutions, methods, etc.) Før førelesing I førelesing Etter førelesing 2 1 Deep 0 Digital didaktikkmodell (Krumsvik og Almås 2009 Lærar- og studentføresetnadar (0.59) Læringsmål (0.50) Tekn. utf. Sosio.utf. Ped. utf. Etiske utf. Underveisvurdering (0.90) Fagleg innhald (1.28) Undervisings- og arbeidsmåter (0.53) Før førelesing 8
Før førelesing -> i førelesing Før førelesing -> i førelesinga > etter førelesinga Nokre døme frå PEK-prosjektet ved UiB 9
Før storførelesinga med bruk av ARS blir det lagt ut essayoppgåver, multiple choice-spørsmål og ein videocase på metodekurset ved UiB si læringsplattform og facebookside. Kvale og Brinkmann (2009) 10 kriterie for eit godt intervju Kunnskapsrik Strukturerande Klar Vennleg Sensitiv Open Styrande Kritisk Erindrande Tolkande Videocase: Vurdèr dette intervjuet i lys av Kvale og Brinkmann (2009) sine 10 intervjukriterie Kva for kriterie meinar du ser ut til å bli særskilt skadelidande i dette intervjuet? (N=153) 1. Kunnskapsrik 2. Strukturert 3. Klar 4. Høfleg 5. Sensitiv 6. Open 7. Styrande 8. Kritisk 9. Erindring 10. Fortolking 65% 18% 6% 6% 6% Kunnskapsrik Strukturert Klar 0% 0% 0% 0% 0% Høfleg Sensitiv Open Styrande Kritisk Erindring Fortolking 10
27.09.2013 Etter storførelesinga med bruk av ARS blir det lagt ut essayoppgåver der studentar skal jobbe vidare med videocase en i lys av pensum Døme på ARS-videocase i kvalitativ metode Lærar- og elevføresetnadar (0.59) Læringsmål (0.50) Tekn. utf. Sosio.utf. Ped. utf. Etiske utf. Underveisvurdering (0.90) Fagleg innhald (1.28) Undervisings- og arbeidsmåter (0.52) Kva meinar du er riktig svar i dette case et (N=153)? 1. Lengst mogleg frå spegelen ser ein mest av kroppen 2. Nærmast mogleg spegelen ser ein mest av kroppen 3. Ein ser like mykje av kroppen uavhengig av avstand 4. Veit ikkje 34% 6% 60% 0% Lengst mogleg... Nærmast mogleg... Ein ser like m... Veit ikkje 11
27.09.2013 Døme på ARS-videocase i kvalitativ metode Lærar- og elevføresetnadar (0.59) Kompetansemål (0.50) Tekn. utf. Sosio.utf. Ped. utf. Etiske utf. Underveisvurdering (0.90) Fagleg innhald (1.28) Undervisings- og arbeidsmåter (0.52) Kva er det forskarane i videocase en prøver å seie oss gjennom ein slik case om spegel og avstand? (N=153) 1. At persepsjon og intiusjon er eit interessant fenomen 2. Dei gir oss eit metodologisk dillemma som har relevans for utforming av eit forskingsdesign 3. At praktisk erfaring ikkje alltid er nok 4. Veit ikkje 24% 68% 4% 4% At persepsjon... Dei gir oss ei... At praktisk er... Veit ikke Etter storførelesinga med bruk av ARS blir det lagt ut essayoppgåver på metodekurset si UiB si læringsplattform og facebookside der videocase en held fram. 1. 19.01 2013 svarte de dette på den aktuelle videocase en. Bruk desse svara som utgangspunkt for å drøfte skilnaden på praktisk røynsle Videocase versus facebook forskingsbasert kunnskap, samt kva for metodologiske dillemma som kan dukke opp i skjeringspunktet mellom praksis og forsking? Drøft dette med utgangspunkt i kap. 1 pensumheftet. 12
Feedback til førelesar På en skala fra 1-9, hvordan vurderer du ditt eget læringsutbytte fra denne forelesingen? (N=153) 1. Svært lite utbytte 2. 3. 4. 5. Middels utbytte 6. 7. 8. 9. Svært godt utbytte 10. Veit ikke Svært lite utb... 0% 26% 22% 18% 18% 10% 3% 1% 1% 1% Middels utbyt... Svært godt ut... Veit ikke På ein skala fra 1-9, kva for læringsmessig utbytte har du hatt av å ha brukt klikkere førelesingane i kvalitativ metode? (n=90) 1. Svært lite utbytte 2. 31% 3. 24% 4. 20% 5. Middels utbytte 6. 10% 7. 8% 8. 2% 1% 9. Svært godt utbytte 0% 0% 10. Har delteke for lite til at eg kan uttale meg Svært lite utb... Middels utbyt... Svært godt ut... Har delteke f... 4% 13
På ein skala fra 1-9, kor nøgd er du med alle førelesingane i kvalitativ metode? (N=90) 1. Svært lite nøgd 2. 3. 4. 5. Middels nøgd 6. 7. 8. 9. Svært nøgd 10. Har vore på for få til å kunne uttale meg Svært lite nøgd 38% 25% 22% 8% 2% 1% 1% 1% 1% 0% Middels nøgd Svært nøgd Har vore på for få til å ku... ARS brukt i surveys (døme). Hva er karaktergjennomsnittet ditt fra videregående skole? 1. 2 eller over, men 48% 48% under 3 2. 3 eller over, men under 4 3. 4 eller over, men under 5 4. 5 eller over, men 0% 3% 0% under 6 5. 6 2 eller over,... 3 eller over,... 4 eller over,... 5 eller over,... 6 Funn (forskingsdel) In the survey, the majority of the students (92%) reported that the use of feedback clickers contributed to improved feedback compared to when they were not in use. Because when I get immediate feedback I learn more ( ) my attention is kept if I get a direct response it makes me stay focused (Sara). 14
Funn (forskingsdel) In total, 91% of the students agreed that feedback clickers (at least to some extent) led to more discussions among students (two and two, summing ) than if the clickers were not used, and 98% of the students found that the use of feedback clickers led to greater interactivity during lectures compared to other lectures. Students with high motivation to do well in the subject found that the clickers contributed to a higher level of interactivity in lectures (3.69, SD=0.47) than students with average motivation (3.46, SD= 0.78). The difference was significant (p=.043). Funn (forskingsdel) Moments of contingency: The survey showed that most of the students (92%) felt that the lecturer adjusted his lectures according to the result of the poll. The lecturer is happy to make adjustments. What did they understand? I make adjustments, the students become motivated. It goes back and forth, one feeds off the other (David). Omlag 8% av studentane rapporterte at klikkarar fungerte dårleg i høve deira læringsstrategiar Nokre atterhald: Nytt digitalt verktøy - spennande Hawthorne-effekt? «(...) educational technology in general, is only as good as the teacher who use it» (Castells 2001, s. 258) 15
Aktuelle publikasjonar Krumsvik, R. & Ludvigsen, K. (in press). Theoretical and methodological issues of formative e-assessment in plenary lectures. International Journal of Pedagogies and Learning. Nilsen, A. G., Almås, A. G. & Krumsvik, R. J. (in press). Teaching online or oncampus? - What students say about desktop videoconferencing. I Nordic Journal of Digital Literacy, 1-2, 90-106 Krumsvik, R. & Ludvigsen, K. (2012). Formative e-assessment and learning outcome in higher education. Nordic Journal of Digital Literacy 1(6), 36-54. Krumsvik (2012). Feedback clickers in plenary lectures - a new tool for formative assessment? In L. Rowan & P. Bigum, Future Proofing Education: Transformative approaches to new technologies and student diversity in futures oriented classroomss (s.191-216). New York: Springer. Krumsvik, R., Westrheim, K., Sunde, E. & Langørgen. K. (2012). "Teach as we preach" - lærerutdannerens digitale kompetanse. Högre Utbildning, 2(2), 93-108. Krumsvik, R. (In press). Formativ e-vurdering og læringsutbytte i høyere utdanning fra intensjon til realitet. Det lille bokprosjektet. Tromsø: Norgesuniversitetet. Krumsvik, R. (2011). Rapport frå PEK-prosjektet «Teach as we preach». IPED. UiB. 16