Til: Fra Anne B. Svanberg og Torunn Gjelsvik Rolf Gunnar Strand og John Christian Langli Dato 15. september 2010 Emne EN VURDERING AV GJENNOMFØRINGEN AV KURSENE FINANS OG ØKONOMISTYRING I HØSTEN 2009 OG FINANS- OG ØKONOMISTYRING II VÅREN 2010 1. Læringsmål (jf kursbeskrivelsen) I kursbeskrivelsen er læringsmålene oppgitt som henholdsvis kunnskapsmål, ferdighetsmål og holdningsmål. Kunnskapsmålene innebærer at studentene etter endt kurs skal kunne forklare sentrale begreper og redegjøre for viktige verktøy som benyttes i bedriftsøkonomisk analyse. Ferdighetsmålene vektlegger at studentene etter endt kurs skal kunne anvende tilegnede kunnskaper, kunne skille mellom relevant og irrelevant informasjon og kunne gi skriftlige svar på spørsmål som gjør at leserne forstår anvendt framgangsmåte og svaret som framkommer. Holdningsmålene handler om at studentene etter endt kurs skal kunne stille kritiske spørsmål og reflektere over sentrale forutsetninger og antakelser innenfor det bedriftsøkonomiske fagområdet. 2. Aktiviteter for å nå målene Hvilke aktiviteter var tenkt å realisere læringsmålene? Dette framgår av kursbeskrivelsen. I en tabell under overskriften Læreprosess og tidsbruk er listet opp ulike aktiviteter og anslått tidsforbruk på de ulike aktivitetene. Deltakelse på undervisning/forelesninger er satt til 60 timer. Forberedelser til undervisning/forelesninger er oppgitt til 97 timer. Disse forberedelsene omfatter både lesning og bearbeiding av pensum pluss løsning av oppgaver. Arbeidet med arbeidskrav (de obligatoriske innleveringsoppgavene) er satt til 8 timer, dvs 1 time per innlevering. Tidsbruk knyttet til eksamensforberedelser er anslått til 35 timer. Total arbeidsbelastning summerer seg til 200 timer som er standard for et kurs med vekt 7,5 studiepoeng. Kursevaluering høsten 2009 for BØK 3411 indikerte at studentene som et gjennomsnitt arbeidet langt mindre enn de normerte 200 timene. Basert på hva studentene selv har oppgitt som tidsbruk per uke på dette kurset, vil gjennomsnittstudenten hatt et totalt tidsforbruk på ca 125 timer inklusiv forelesningene. Kun om lag 5 % av studentene var opp i et tidsbruk på rundt 200 timer. Kursevalueringen for BØK 3421 våren 2010 gir samme inntrykk. Studentene oppgir selv at de i gjennomsnitt arbeidet med kurset i underkant av 4 timer per uke. Undervisningstimene kommer i tillegg. Hvis vi regner oss fra semesterstart og fram til
eksamen, kommer vi til ca 20 uker. Med 4 timer per uke gir dette totalt 80 timer. Det var 45 undervisningstimer i vårkurset. Det gir en total belastning på 125 timer. 3. Arbeidskrav Det nye med opplegget høsten 2009 var innføringen av et antall arbeidskrav (obligatoriske elektroniske innleveringsoppgaver). I det tidligere førstesemesterskurset i økonomistyring (BØK 2601 Bedriftsøkonomi I) var det en - 1 - skriftlig innleveringsoppgave midtveis i semesteret. Opplegget med arbeidskrav er forklart i Langli (2009). 1 Kort oppsummert var det i alt 8 innleveringsoppgaver og hver innlevering besto av 10 spørsmål. Studentene måtte ha godkjent 5 av de 8 innleveringsoppgavene for å kunne gå opp til eksamen. Den enkelte innlevering ble godkjent hvis to av de ti spørsmålene var riktig besvart. Den enkelte test lå ute i en uke. Studentene hadde i løpet av denne uka mulighet til å gjøre tre forsøk. Det var på forhånd ikke opplagt at det skulle være akkurat 8 innleveringer og at 5 måtte være godkjent for å kunne gå opp til eksamen. Det var heller ikke opplagt at terskelen for å få den enkelte innlevering godkjent, skulle settes til to korrekte svar på i alt 10 spørsmål som innleveringen omfattet Både forelesere og studenter synes å mene at denne terskelen var for lav. Dette kom fram på seminar med foreleserne i juni 2010 og med studentene i møter i Oslo og Bergen i januar/februar 2010. Vi valgte derfor for skoleåret 2010/2011 å justere denne terskelen. Kravet for godkjent er hevet. Det kreves for dette skoleåret at 50% av spørsmålene i den enkelte innlevering er korrekt besvart. Til gjengjeld blir det mulig å gjennomføre testen et ubegrenset antall ganger i den uka testen ligger ute. Det er også et spørsmål om perioden med arbeidskrav bør strekkes lenger ut i semesteret enn tilfellet var høsten 2009. Høsten 2009 ble siste innlevering foretatt i slutten av oktober. Da var seks måneder igjen til eksamen. Grunnen til den forholdsvis tidlige avslutningen var administrasjonens behov for tid ifm. overføringen av data fra Blackboard til Banner og usikkerhet om tidsbruk på eventuell behandling av klager fra studenter som ble avmeldt til eksamen fordi de ikke hadde fått godkjent 5 arbeidskrav. Klagestormen uteble. Vi satser på at den uteblir også i år. Perioden med arbeidskrav er derfor strukket til midten av november. Pensumgrunnlaget for de enkelte innleveringsoppgaver ble sendt foreleserne i god tid før semesterstart. Meningen var at også studentene skulle gjøres kjent med denne oversikten. Pensumgrunnlaget ble gradvis utvidet. Prinsippet var slik: Pensumgrunnlaget for innlevering 1 var lærebokas kapittel 1. Pensumgrunnlaget for innlevering 2 var lærebokas kapittel 1 og 2. Pensumgrunnlaget for innlevering 3 var lærebokas kapittel 1, 2 og 3. Slik ble pensumgrunnlaget gradvis utvidet innlevering for 1 Langli, John Christian. 2009. Pedagogiske utfordringer i ny bachelormodell: Aktiviteter underveis med tilbakemelding i store kurs. Hvordan og hvorfor? Notat, Handelshøyskolen BI
innlevering. Hensikten var å skape en mekanisme som tvang fram stadig repetisjon av lærestoffet hos studentene. 4. Arbeidskrav: Organisering Planleggingen startet i mai/juni 2009. De kursansvarlige, John Christian Langli og Rolf Gunnar Strand, hadde fra start tett samarbeid med Simen Kristensen som var ansvarlig for den tekniske gjennomføringen i Blackboard. Andre enkeltpersoner og miljøer var også involvert i større eller mindre grad hele veien. Vi opprettet i juni/juli en task force som skulle tre sammen hvis situasjoner oppsto som krevde involvering av både faglige og administrative ansvarlige. Denne gruppen besto av Jan Frode Lien, Simen Kristensen, John Christian Langli og Rolf Gunnar Strand. Det ble ikke behov for noe møte i denne gruppen. 5. Arbeidskrav: Faglig og administrativ ressursbruk Det medgikk tid til planlegging og koordinering, produksjon av oppgaver og oppgaveløsninger, kontroll av oppgaver og løsninger, oppsett og innlegging i Blackboard, produksjon og bearbeiding av statistikk, oppklaring av tekniske problemer knyttet til Blackboard og henvendelser fra skolesteder og enkeltstudenter. Vi noterte ikke hvor mye tid vi brukte på de ulike aktivitetene, men opplevde subjektivt at det gikk mye tid. 6. Arbeidskrav og aktivitetsnivå hos studentene Ved hver innlevering beregnet vi aktivitetsnivået for hver enkelt klasse ved å regne antall innleveringer i prosent av antall registrerte studenter. Aktivitetsnivået målt på denne måten lå på landsbasis på ca 80-85% ved de fem første innleveringene. Ved innlevering 6, 7 og 8 falt aktiviteten til ca 50%. Det syntes å være slik for mange at da kravet om 5 godkjente innleveringer var oppnådd, valgte de å bruke sin tid på andre ting enn å arbeide med kurset BØK 3411. Hele 85 % av studentene tok imidlertid en eller flere arbeidskrav frivilling, og nesten 1/3-del av studentene gjorde alle åtte arbeidskravene. Pedagogisk leder, Anders Tveit, foreslo i forkant av semesteret at vil også skulle lage tester som var frivillige. Hensikten skulle være å undersøke hvorvidt tvang eller frihet hadde betydning for aktivitetsnivået. Vi har ikke laget noen ekstratester som skulle være frivillige. Vi mener at test 6, 7 og 8 i det ordinære opplegget i realiteten var frivillige. Svært mange studenter var strengt tatt i mål med arbeidskrav etter fem innleveringer. Vi ser da også at aktivitetsnivået sank dramatisk ved innlevering 6, 7 og 8. Vi så denne tendensen både i høstkurset og vårkurset.
7. Arbeidskrav og prestasjonsnivå hos studentene På en enkelt innlevering var det mulig å oppnå maksimalt 100 poeng, dvs 10 poeng per riktig svar. Ved de fem første innleveringene var gjennomsnittlig poengsum på landsbasis ca 58 per innlevering. Ved innlevering 6, 7 og 8 var gjennomsnittlig poengsum ca 36 poeng. Ved de fem første innleveringene var det per innlevering bare 2-3% av de innleverte oppgavene som ikke ble godkjent. Ved gang 6, 7 og 8 var dette tallet vesentlig høyere. Kravet om at fem av åtte innleveringer skulle være godkjent, ble oppnådd av ca 91-92% av studentene. Det var altså ca 8-9% som ble avmeldt til eksamen. I vårkurset startet studentene på et lavt nivå prestasjonsmessig. Utover i semesteret sank prestasjonene ytterligere. 8. Eksamen Både høst- og vårkurset ble avsluttet med en skriftlig eksamen på fem timer med kun eksamenskalkulator som hjelpemiddel. Eksamensoppgavesettene besto av 25 oppgaver og var svært likt et oppgavesett kalt prøveeksamen som ble sendt ut før undervisningsperioden var over. Et oppgavesett kalt prøveeksamen ble sendt ut både høst og vår. Oppgavene som ble gitt til eksamen speilte i stor grad også de elektroniske innleveringsoppgavene som var gitt i løpet av det aktuelle semesteret. Eksamensresultater Finans- og økonomistyring I: Vi kan se på ytterpunktene. Det var 33% som strøk og 5,7% som fikk A. Dette kan ikke betegnes som gode resultater. Resultatene er vesentlig svakere enn det som var vanlig i BØK 2601 Bedriftsøkonomi I. Det er likevel vanskelig å sammenlikne direkte. Kursene er innholdsmessig forskjellig både i forhold til omfanget på pensum og emnemessig sammensetning. Som en delforklaring på svake eksamensresultater er det nærliggende å hevde at studentenes arbeidsinnsats totalt sett har vært for liten. Det faktiske tidsforbruket synes i gjennomsnitt å ha ligget på ca 125 timer, mens kurset er normert til 200 timer. Dermed er det ikke overraskende at strykprosenten blir høy. Er det sammenheng mellom prestasjoner på arbeidskravene og eksamen? Det ser slik ut, og vi viser til nærmere analyser i notatet som er lagt ved denne rapporten. Retningen på sammenhengen er som forventet: Jo mer studentene har jobbet med arbeidskravene og jo bedre score de har oppnådd på arbeidskravene, jo bedre er eksamensresultene. Tanken bak arbeidskravene er at jevn aktivitet fra semesterstart fremmer læringsutbytte målt ved eksamenskarakteren, og det ser altså ut til å ha skjedd. Det er imidlertid et stor innslag av frivillighet ved arbeidskravene, og i vedlagte analyse lufter vi muligheten for at frivilligheten kan gjøre motiverte studenter bedre mens lite motiverte studenter lærer mindre enn tidligere.
Eksamensresultater Finans- og økonomistyring II: Vi ble positivt overrasket over eksamensresultatene i dette kurset. For igjen å ta ytterpunktene; Det var ca 22-23% av studentene som strøk og ca 12% som fikk A. 9. Vurdering Totalt sett mener vi det må være riktig å si den tekniske og administrative gjennomføringen av arbeidskrav i kurset BØK 3411 gikk på skinner både høsten 2009 og våren 2010. Dette håper vi skal fortsette. Noen endringer er gjort for skoleåret 2010/2011. semesteret. En mulig svakhet ved oppgavene som gis, er at de ensidig fokuserer på regneoppgaver og flervalgsoppgaver hvor det ikke er noen tvil om hva som er riktig svar. Det gis ikke rom for skjønnsmessige vurderinger og mer åpne løsninger. Vi tror nok at her er vi ganske låst. Det store antall studenter (ca 4 300 på landsbasis høsten 2010) krever automatisk vurdering. Dette begrenser variasjonsmulighetene når det gjelder oppgavetype. En konsekvens er sannsynligvis at holdningsmål som beskrevet i kursbeskrivelsen i liten grad blir realisert gjennom arbeidet med arbeidskravene. Nå hviler ikke studentenes læringsutbytte ensidig på arbeidskravene. Både høst- og vårkurset er på 7,5 studiepoeng. De er derfor hver for seg normert til 200 arbeidstimer inklusive undervisningstimene. Arbeidet med arbeidskravene kan antas å ta i gjennomsnitt 12 20 timer i hver kurs. Andre aktiviteter som undervisning, lesning av pensum, arbeid med andre oppgaver og kollokvievirksomhet med andre studenter påvirker også læringsutbyttet. Vedlegg: John Christian Langli og Rolf Gunnar Strand: En analyse av sammenhengen mellom eksamensresultater og arbeidskrav i BØK 3411 Finans og økonomistyring I, Foreløpig notat, BI, 15. september 2010.