Dryppsteinsgrottens pedagogikk Erfaringer fra digitale tester som obligatorisk arbeidskrav. John Christian Langli BI, 3.

Transkript

1 Dryppsteinsgrottens pedagogikk Erfaringer fra digitale tester som obligatorisk arbeidskrav John Christian Langli BI, 3. februar 2011

2 Utfordring: Hvordan få studentene til å lære mer? Mulig løsning: Constructive Alignment Disposisjon: Hva er Constructive Alignment Erfaringer i BØK 3411 Backwash effekten + noen andre erfaringer/spekulasjoner/refleksjoner

3 CONSTRUCTIVE ALIGNMENT

4 I korte trekk Undervisningsopplegget må være integrert og synkronisert Læringsmål definerer ferdighetskrav Ferdighetskravene bruker verb for å angi hva studentene skal kunne (regne ut, beskrive, sammenlikne, utvikle...) Undervisnings- og læringsaktivitetene rettes inn mot verbene i læringsmålene Eksamen tester om og i hvilke grad studentene behersker ferdighetene spesifisert i læringsmålene Karakterer settes ut fra hvordan ferdighetskravene blir utført

5 BIG(G S) PICTURE LEARNING OUTCOMES Utvikling av mål for læringsutbytte Læreprosess Undervisningsaktiviteter Egenaktivitet TILBAKEMELDING Formativ evaluering DOKUMENTASJON Summativ evaluering Anne B. Swanberg

6 Prinsipp Aktiviteter underveis Aktivitetene skal ikke påvirke karakteren i kurset. Skal kun gi tilbakemelding om hvor studenten står Hvorfor: Læring pågår helt fram til eksamen starter. Underveis måles kun progresjonen. Dårlig start kan virke demotiverende. Man lærer av feil, men feilene må oppdages. Hvis feil teller på karakteren vil studentene forsøke å holde dem skjult eller (prøve å) jukse. 6

7 Læringsopplegg med aktiviteter underveis skal gjøre Robert mer lik Susan Susan Robert Kjennetegn: Intellektuell, faglig interessert, nysgjerrig, avansert, underviser seg selv. Vil forstå! Læringsstrategi: Deep approach to learning Kjennetegn: Ingen faglige ambisjoner, ønsker best mulig karakterer for minimum innsats (pga. jobbmulighetene) Læringsstrategi. Surface approach to learning

8 Når alle skal ha høyere utdanning øker andelen med Robert er Robert ene får lavere utbytte av tradisjonelle forelesninger enn Susan (de liker ikke 1800-tallsteknologien). Men de er ikke spesielt late eller inaktive. Robert enes læringsvilje må aktiviseres. Biggs m.fl. mener Constructive Alignment vil gjøre at Robert ene får økt læringsutbytte.

9 Student orientation, teaching method and level of engagement Students level of engagement Theorizing Applying Relating Explaining Describing A Academic Susan B Learning activities needed to achieve intended learning outcomes Note-taking Memorizing Non-academic Robert Passive Student activity required Active (e.g. the standard lecture) Teaching method (e.g. problem-based learning) (Biggs og Tang, 2007:10) 9

10 Ferdighetene vil øke over tid (drypp-drypp-drypp ) 10

11 ERFARINGER I BØK 3411 FINANS OG ØKONOMISTYRING I, HØSTEN 2009

12 Dimensjonene Innføringskurs på 7,5 sp i bedriftsøkonomi Økonomistyring, finans, regnskap/budsjett 200 timer inkl. 60 timer med forelesninger Felles for alle bachelorprogram ved BI unntatt siv.øk. Inngår også i årsenheter + andre tilbud Tilbys ved 6 studiesteder + nettstudier Heltid og deltid Høsten 2009: studenter fordelt på 16 klasser og 16 forelesere ved semesterstart Fra 27 til 587 studenter per klasse med et gjennomsnitt på 261 ved semesterstart Fra 17 til 502 studenter per klasse ved semesterslutt

13 Aktiviteter underveis Obligatoriske arbeidskrav (AK) = tester vha. Blackboard Kjøreplanen ble utdelt ved semesterstart Anga ut- og innleveringstidspunkter og pensumgrunnlaget Fem av åtte AK måtte være godkjent for å kunne ta eksamen Godkjent: minst 20 % riktig (2 av 10 spørsmål) En uke til disposisjon per innlevering Tidsforbruk per innlevering: anslått til ca 1 time Tre forsøk per innlevering og beste resultat telte Kunne ikke gå tilbake til foregående spørsmål Det skal ta litt tid + unngå hopping frem og tilbake for å finne de to letteste spørsmålet med en gang Alle fikk samme spørsmål Praktiske hensyn (plenumsgjennomgang blir uhåndterlig hvis spørsmål kan velges tilfeldig)

14 Tilbakemeldinger Oppnådd score etter hvert forsøk Fikk ikke vite hvilke spørsmål de har svart riktig på eller hva riktig svar var (i håp om at flere vil bruke tid på å fundere på hva riktig svar var) Studentene måtte selv holde oversikt på egne svar Fasit (uten forklaringer) tilgjengelig noen dager etter fristens utløp Det skal ta litt tid Ved å sammenlikne egne svar mot fasit finner studentene feilen(-e) Gjennomgang av oppgaver i plenum av foreleser etter behov/ønsker Foreleserne fikk oppnådd score brutt ned på studiested Studentene fikk muligheter til å se hvordan de lå an, relativt til andre i klassen og til resten av landet 14

15 Spørsmålet med stor S Fører arbeidskrav til økt læring? Metodisk problem: Alle fikk samme behandling. Det er umulig å isolere effekten av arbeidskravene Og store endringer i faglig innhold sammenliknet med tidligere år gjør sammenlikninger med tidligere år vanskelig

16 Datagrunnlaget (1/2) registrerte studenter ved første innlevering registrerte studenter ved semesterslutt studenter som var påmeldt til eksamen studenter tok eksamen 267 (8,5 % av de påmeldte) møtte ikke opp [De som ikke møtte hadde dårligere gjennomsnittlig score på AK ene og de hadde tatt færre AK] Har ikke komplett informasjon om samtlige studenter, så antall studenter i analysen er: Ca 2700 studenter når det ikke kreves detaljer fra sensuren Ca 1500 studenter når det kreves detaljer fra sensuren

17 Om aktivitetene underveis: Hvilke AK de har tatt Hvor mange forsøk de har brukt per AK Gjennomsnittlig poengsum per forsøk og per AK Hva de svarte på de (10x8=) 80 spørsmålene (bruker riktig/galt i analysene) Om studentene: Alder Kjønn Poengsum fra VGS Opptakspoeng Id på klasse (som stort sett er id på foreleser) Hvilket bachelorprogram (BP) de er påmeldt i Id på studiested Datagrunnlaget (2/2) Om eksamensresultatene Offisiell eksamenskarakter Id på sensorene Detaljerte sensurlister for ca studenter. Viser oppnådd score for hvert av de 25 spørsmålene som ble stilt på eksamen Koblingsskjema Sammenhengen mellom spørsmål i AK ene, spørsmål på prøveeksamen og spørsmål på eksamen

18 Metode Beskrivende statistikk (tabeller og fordelinger) Regresjonsanalyse: KAR i = β 0 + β 1j Xj i + ε i KAR i = β 0 + β 1j Xj i + β 2m AKm i + ε i KAR i = karakter for student i Xj i = j faktorer som antas å ha betydning for karakteren for student i, f. eks. alder, kjønn, poengsum videregående og faglige interesser AKm i = m faktorer som beskriver hvordan student i har arbeidet med AK ene, f. eks. antall AK og gjennomsnittlig score per AK Øk.adm. ligger i konstantleddet * (**) [***] angir p-verdi < 0.1, 0.05 og 0.01

19 Fordelingen av studenter per BP Liten skrift betyr at studentene ikke har startet på et tre-årig BP Antall stud. Gutteprosent Gjennomsnittlig Bachelor stk. i % alder snitt VGS Øk og adm % Mrk.føring % Inter. mrkf % Bed.øk % Eiendom % Mark.kom % Finans % Markedsøk % Varehandel % Revisjon % Forr.jus % Entreprenør % Kultur&led % Pr og komm % Øk og it % Reiseliv % Andre % Total %

20 Signifikante demografiske forskjeller per BP Sammenliknet med øk.adm. har: kultur og ledelse, PR og revisjon eldre studenter økonomi og IT, entreprenørskap og finans høyre gutteandel, eiendomsmegling samme gutteandel, mens alle andre programmer har lavere gutteandel kultur og ledelse (4.17) og PR (4.03) bedre karaktersnitt fra VGS, mens eiendomsmegling (3.68) har dårlige karaktergjennomsnitt. Gjennomsnitt for alle: 3,76 Finans, kultur og ledelse, PR og revisjon har høyest opptakspoeng, mens markedsføring skiller seg ut med lavest opptakspoeng. 25 % av studentene har et karaktersnitt fra VGS som er dårligere enn 3.38 bedre enn % av studentene har et karaktersnitt fra VGS på 5 eller bedre.

21 Utviklingen over tid i andel godkjente innleveringer, ikke prøvd seg og gj.sn. score (N=3640+) 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0, Gjennomsnittlig andel riktig Andel godkjent (antall godkjent/ antall studenter) Andel som ikke har vært inne 21

22 Hvor mange tok hhv 5, 6, 7 eller 8 AK? Antall ak tatt Antall studenter I prosent Akkumulert Total 2, % tok en eller flere AK frivillig

23 Hvordan ble eksamenskarakterene? Bachelor A=5 B=4 C=3 D=2 E=1 F=0 Total Andre Bed.øk Eiendom Entreprenør Finans Forr.jus Inter. mrkf Kultur&led Mark.kom Markedsøk Mrk.føring Pr og komm Reiseliv Revisjon Varehandel Øk og adm Øk og it Totalt Antall

24 Blir eksamensresultatene bedre for de med god innsats på AK-ene? Ja. Men NB: Ingen test av årsakvirkning! Fordelene som eldre studenter og studenter med høyt snitt fra VGS hadde, er blitt borte. Store forskjeller per BP AvgScore = gjennomsnittlig poengsum på fullførte arbeidskrav Antall ak = antall fullførte arbeidskrav (5, 6, 7 eller 8) Tallkar. Tallkar. Tallkar. Tallkar. Constant *** *** *** *** AvgScore *** *** *** Antall ak *** *** Kjønn *** *** Alder *** Poeng VGS *** Sum poeng *** *** Andre *** Eiendom *** *** Entreprenør *** Finans ** *** Intern. mrk *** *** Kultur og led *** *** Markedsøk *** ** Markedsføring *** *** Markedskom *** *** PR *** *** Reiseliv *** *** Revisjon *** *** Varehandel *** *** Adjusted R

25 Samme spørsmål - utvalgte BP er UTEN q_okadm q_mrkf q_fin q_eien q_reis q_pr q_rev Constant *** *** *** ** Kjønn *** * *** *** Alder *** * ** Poeng VGS *** * *** Sum poeng *** *** ** *** Observations Adjusted R MED: p_okadm p_mrkf p_fin p_eien p_reis p_pr p_rev Constant *** *** *** *** *** *** *** AvgScore *** *** *** *** *** *** *** Antall ak *** *** *** *** *** ** *** Kjønn *** *** *** Alder ** Poeng VGS * * Sum poeng *** ** * ** ** Observations Adjusted R Svaret er fortsatt ja: sterk positiv sammenheng mellom prestasjoner på AK ene, antall fullførte AK er og eksamenskarakteren

26 Hva er effekten av å ta AK frivillig? (NB: Måler kun samvariasjon og ikke årsak-virkning) Tallkarakter Tallkarakter Tallkarakter Tallkarakter AvgScore *** *** *** *** Antall ak *** Et frivillig ak *** *** To frivillige ak *** *** Tre frivillige ak *** *** Snittscore ak * Snittscore ak *** Snittscore ak *** *** Kjønn *** *** *** *** Alder Poeng VGS Sum poeng *** *** *** *** FE BP? Ja Ja Ja Ja FE bbc? Ja Ja Ja Ja Observations Adjusted R Sterk effekt: Studenter som har tatt alle AK ene har fått en bokstavkarakter bedre enn de som bare har gjort minimum

27 Er effekten av å ta AK frivillig uavhengig av studentenes faglige interesser? p_okadm p_mrkf p_fin p_eien p_reis p_pr p_rev Constant -5.37*** -3.86*** -3.80* -2.45* *** -4.86** AvgScore 0.04*** 0.04*** 0.03*** 0.03*** 0.05*** 0.04** 0.04*** Et frivillig ak 0.57*** 0.40** *** ** To frivillige ak 0.93*** 0.62*** 0.98*** 1.25*** 1.29** ** Tre frivillige ak 1.16*** 1.23*** 1.78*** 1.48*** 1.13** 1.56* 1.63*** Kjønn 0.43*** *** 0.59*** Alder ** Poeng VGS 0.36* * Sum poeng 0.06*** 0.05** 0.09* 0.10** * 0.07 Observations Adjusted R-squared Effekten av å ta et AK frivillig varierer mye mellom retningene. Effekten av å ta tre AK frivillig er ganske lik på tvers av retningene (og disse studentene har mye høyere eksamenskarakter)

28 Svar på enkeltspørsmål på AK ene og svar på tilsvarende spørsmål på eksamen Koblingsskjema (utdrag) Spørsmål på eksamen Referanse til AK Spørsmål på prøveeks. AK-nr Spm-nr. Kommentar mange slike oppgaver 2 ikke spurt 2a også 2-9 og 3-7 (mange på beregning av nåverdier) Mange på beregning av internrente men regneoppgave 7 ikke spurt 2b ikke spurt 7 10 ikke spurt mange: drypp-drypp delvis relevant, men har ikke med overgang fra nom. til reelt avk. krav.

29 Fire mulige kategorier for eksamensspørsmålene: A) Liknende spørsmål gitt som arbeidskrav B) Liknende spørsmål gitt på prøveeksamen C) Både A og B D) Ikke spurt om i arbeidskrav eller prøveeksamen Eksamensspørsmål fordelt på emner Finans Økonomistyring Regnskap og budsjettering Detaljert sensur fra en del av sensorene 4 er best og 0 er dårligst

30 Svarer studentene bedre når de har fått prøvd seg? Kategorier: N Snittkarakter Kun prøveeksamen Både prøveeks og arbeidskrav Bare arbeidskrav Uforberedt Snittkarakter på spørsmål N gitt som ak ikke gitt som ak t-verdi Alle spørsmål på eksamen Finansspørsmål Økonomistyringsspørsmål Regnskap/budsjettering Desidert mest drypp-drypp på arbeidskravspørsmålene, og det er disse spørsmålene studentene scorer best på

31 Svarer studentene bedre på eksamen når de har prøvd seg på de relevante arbeidskravene? Alle fikk tilgang til spørsmål og svar etter at forelesningene var avsluttet. Metode (regresjon): gj_akji = α + αjsnittscore_akji + Kontrollvariabler gr_akj = gjennomsnittskarakteren for student i på eksamenspørsmålene som er hentet fra arbeidskrav j Snittscore_akj = gjennomsnittsscoren som student i oppnådde på arbeidskrav j (satt lik 0 hvis han/hun ikke har prøvd seg). Kontrolvariabler: Alder, kjønn, bachelorprogram, poeng fra VGS, opptakspoeng, antall AK, gj.sn. score AK ene

32 Svarer studentene bedre... (forts.) gr_ak1 gr_ak2 gr_ak4 gr_ak5 gr_ak7 gr_ak8 Snittscore ak Snittscore ak Snittscore ak * Snittscore ak *** Snittscore ak Snittscore ak *** AvgScore *** *** *** *** *** *** Antall ak *** *** *** *** *** ** Constant *** *** *** *** *** Observations Adjusted R Bør kunne svare ja på spørsmålet

33 Svarer studentene bedre på eksamen når de svarte riktig på de tilsvarende arbeidskravsspørsmål? Regresjonsanalyse Analyser sammenhengen mellom poengsummen som sensor ga på et konkret eksamensspørsmål og score en som studenten fikk på tilsvarende arbeidskravspørsmål Alle kontrollvariablene er inkludert Svaret: Om de svarte riktig spiller ingen rolle. Det avgjørende er det generelle aktivitetsnivået (antall fullførte AK er) og gjennomsnittscoren per AK (AvgScore)

34 Oppsummering Sterk positiv samvariasjon mellom eksamensresultatene og prestasjoner på arbeidskrav og antall fullførte arbeidskrav, etter at det tas hensyn for studentenes: forkunnskaper (alder, kjønn, poeng VGS, opptakspoeng) faglige interesser (valgt bachelorprogram) Ser ut at innsatsen på arbeidskravene betaler seg i form av bedre eksamenskarakter Store karakterforskjeller på tvers av BP Studentene med best snitt fra VGS gjør det relativt sett dårligst til eksamen Studentene svarer bedre på oppgaver det har blitt terpet på gjennom semesteret Har de forstått hva de gjør, eller pugget teknikken? Er effekten av frivillige arbeidskrav større forskjeller mellom studentene?? Alle studenter får et opplegg som gir anledning til økt læring, men bare motiverte studenter benytter seg at tilbudet. Blir mindre motiverte studenter hengende mer etter?

35 BACKWASH-EFFEKTEN OG ANDRE ERFARINGER, SPEKULASJONER OG REFLEKSJONER

36 Backwash Studenter vil lære det de tror de blir testet i Strategi blir viktigere enn substans Studenter svare oppsiktsvekkende dårlig, selv når di har fått beskjed om at emnene kommer på eksamen Troverdighetsproblem hos avsenderen? Sperrer mot å forberede seg til eksamen ved å lese pensum (må de ha oppgaver?) Består eksamensforberedelsene i for stor grad av oppgaveløsning, kan man forvente høye strykprosenter når kurs/eksamensform legges om 36

37 Andre erfaringer, spekulasjoner og refleksjoner Har integrasjonen mellom læringsmål, arbeidskravene og eksamen vært god nok? Tidkrevende og vanskelig Har innføringen av CA endret måten det foreleses på? Tror foreleserne på CA? Gjør de ting annerledes? Fører digitale tester med automatisert retting til for stort fokus på regneoppgaver og for lite fokus på oppgaver som ikke kan besvares ved hjelp av tall? Arbeidskravene er nå gjort uavhengige av foreleserne Ingen plenumsgjennomgang mer detaljerte løsningsforslag. Håper det øker aktivitetsnivået blant studentene (de må gjøre noe selv for å finne svaret) Hvorfor klager studenter når antall eksamensspørsmål ikke tilsvarer antallet som ble gitt forrige gang? Hvordan tenker egentlig studentene?

38 Andre erfaringer... (forts.) Bør det være krav til minimumsinnsatsen på arbeidskravene? Lav prosent for godkjent AK: kan bestå uten å jobbe Høy prosent for godkjent AK: de samvittighetsfulle blir stresset, og insentivene til å få/kjøpe løsninger fra andre øker Hva gir størst effekt? Fungerer frivillige aktiviteter kun for de studentene som trenger det minst? Litt naivt å tro at studenter øker innsatsen nok når det ikke er tvang BØK 3411: Korte og avgrensede oppgaver som kan besvares i løpet av ca 1 time. I andre kurs nå: Flere tidkrevende arbeidskrav, samt omfattende oppgaver i AK ene som går igjen i flere AK er. Strykprosenter på 30 % 50 % er høyt Innføringen av arbeidskrav synes ikke å gitt merkbar økning i samlet tid brukt på studiene. Egenrapportering fra studentene viser at gjennomsnittstudenten jobber ca 60 % av normert tid, og at mindre enn 5 % jobber normert tid (og ca 5 % får A...) Basert på sammenlikninger mot siv.øk.: Studenter med best forkunnskaper målt med opptakspoeng jobber mye mer!

39 TAKK FOR OPPMERKSOMHETEN