En analyse av sammenhengen mellom eksamensresultater og arbeidskrav i BØK 3411 Finans og økonomistyring I høsten 2010

Transkript

1 En analyse av sammenhengen mellom eksamensresultater og arbeidskrav i BØK 3411 Finans og økonomistyring I høsten september 2010 John Christian Langli og Rolf Gunnar Strand Institutt for regnskap, revisjon og jus Handelshøyskolen BI Dette notatet analyser sammenhengen mellom aktivitetene som studentene gjorde underveis i BØK 3411 og eksamensresultatene i BØK Alle resultater er foreløpige. 1

2 Table of Contents 1 Innledning og sammendrag Metode Datagrunnlaget Presentasjon av dataene - tabeller Hvor mange studenter tok hhv 5, 6, 7 eller 8 arbeidskrav? Hvor mange ganger har studentene forsøkt seg på testene? Hvordan er sammenhengen mellom antall gjennomførte arbeidskrav og karakteren de fikk på eksamen? Hvordan er eksamenskarakterene når de fordeles på gutter og jenter? Hvordan er karakterfordeling per bachelorprogram? Hvordan er sammenhengen mellom oppnådd eksamenskarakter og gjennomsnittlig score på arbeidskravene? Analyser av samvariasjon - regresjonsanalyse Er det systematiske forskjeller mellom studenter som søker seg til ulike bachelorprogrammer? I hvilken grad blir eksamenskarakteren forklart vha variablene kjønn, alder, poeng fra VGS, sum poengsum, bachelorprogram og studiested? Blir eksamenskarakter, gjennomsnittlig score på arbeidskravene og antall fullførte arbeidskrav forklart av de samme variablene? Er det noen sammenheng mellom hvor mange arbeidskrav studentene har gjort, hvor mange poeng de i gjennomsnitt oppnådde på arbeidskravene og den endelige eksamenskarakteren? Får studenter som tar arbeidskrav frivillig bedre karakterer enn de som bare oppfylte minimumskravet? Sammenhengen mellom svar på enkeltspørsmål i arbeidskravene og på eksamen Hvordan var eksamen konstruert? Hvordan ble karakterene satt på enkeltspørsmål og hvordan ble karakterfordelingen på enkeltspørsmålene? Ble eksamensresultatene på enkeltspørsmål bedre når studentene hadde fått prøvd seg på forhånd ved hjelp av arbeidskravene? Ble eksamensresultatene på enkeltspørsmål bedre når studentene hadde fått prøvd seg på forhånd ved hjelp av både arbeidskrav og prøveeksamen?

3 6.5 Blir eksamensresultatene bedre når studentene har gjort deg godt på de relevante arbeidskravene? Blir eksamensresultatene bedre når studentene svarte korrekt på det relevante arbeidskravspørsmålet? Om forskjeller mellom de som møtte på eksamen og de som ikke møtte Hvordan var andel som ikke møtte til eksamen fordelt per bachelorprogram? Hvordan var prestasjonene på arbeidskravene til studentene som ikke møtte på eksamen sammenliknet med studentene som møtte på eksamen? I hvilken grad er det systematiske forskjeller i alder, kjønn, opptakspoeng og studieretninger mellom de som møtte til eksamen og de som ikke møtte?

4 1 Innledning og sammendrag Høsten 2009 ble det innført arbeidskrav i 1. årskurset BØK 3411 Finans og økonomistyring I ved Handelshøyskolen BI. Arbeidskravene besto i at studentene måtte få godkjent fem av åtte obligatoriske innleveringsoppgaver, levert via Blackboard (BB), for å kunne gå opp til eksamen. En innleveringsoppgave ble godkjent hvis studentene hadde svart korrekt på minst 2 av 10 spørsmål. Kravet til godkjent innlevering ble satt lavt fordi formålet med arbeidskravene var at studentene skulle få tilbakemelding på hvilke kunnskaper og ferdigheter de hadde ervervet seg. Bakgrunnen for innføringen av arbeidskravene og forklaringen på hvordan arbeidskravene ble implementert i BØK 3411, er forklart i Langli (2009). 1 Innføringen av arbeidskrav skyldes en antakelse om at studentenes arbeid med arbeidskravene vil bidra til økt læring. Er antakelsen korrekt? I dette notatet forsøker vi å besvare dette spørsmålet. Datagrunnlaget er hentet fra Blackboard (BB), Banner og en del av sensorene. Informasjonen fra BB viser prestasjonene på arbeidskravene. Informasjonen fra hvert spørsmål er 0 poeng (feil svar), 10 poeng (riktig svar) eller missing obs (studenten har ikke deltatt). Vi har også registrert antall forsøk (inntil tre per arbeidskrav) og hvilken klasse studentene var tildelt i BB. Ut fra disse opplysningene kan vi beregne forskjellige mål på studentenes aktivitetsnivå (antall arbeidskrav de har tatt) og ferdighetsnivå (hvor mange poeng de oppnår). Fra Banner har vi hentet informasjon om studentenes alder, kjønn, poeng fra videregående skole, sum opptakspoeng, hvilket studiested de er registrert ved og eksamenskarakter. Fra en del av sensorene har vi innhentet hvilken score sensorene har gitt på hvert eksamensspørsmål. I analysene som (ikke) bruker data fra sensorene, er datagrunnlaget informasjon fra ca (2 800) studenter. Årsak-virkningssammenhengene i denne analysen er usikker. Det skyldes at det kan være de samme uobserverbare faktorene som forklarer eksamensresultatene som forklarer hvordan studentene gjør det på arbeidskravene. Sagt på en annen måte: Siden vi ikke vet hvordan studentene hadde gjort det uten arbeidskrav, kan vi ikke utelukke at eksamensresultatene ville blitt nøyaktig de samme som det vi observerer om kurset hadde blitt gjennomført uten arbeidskravene. Mangelen på kontrollgruppe gjør at konklusjoner må trekkes med en viss varsomhet. Hovedfunnene er som følger: Jo flere arbeidskrav studentene har gjort og desto bedre de har gjort det på arbeidskravene, jo bedre blir eksamenskarakterene. I dette ligger det at studenter som tar arbeidskrav frivillig får signifikant bedre eksamensresultater enn studenter som bare oppfyller minimumskravet. På eksamen svarer studentene signifikant bedre på spørsmål som de har prøvd seg på i arbeidskravene sammenliknet med spørsmål som de ikke har fått prøvd seg på eller spørmål de har fått prøvd seg på via prøveeksamen. Hvis arbeidskravene var uten effekt for studentenes læringsutbytte, burde karakterene på enkeltspørsmål til eksamen vært uavhengig av om studentene har fått prøvd seg på tilsvarende spørsmål via arbeidskrav, spørsmål på prøveeksamen eller ikke i det hele tatt. Hvorvidt studentene svarer riktig på enkeltspørsmål på eksamen, avhenger mer av studentenes aktivitetsnivå (målt ved antall gjennomførte arbeidskrav) og prestasjonene 1 Langli, John Christian Pedagogiske utfordringer i ny bachelormodell: Aktiviteter underveis med tilbakemelding i store kurs. Hvordan og hvorfor? Notat, Handelshøyskolen BI. 4

5 samlet sett (målt ved gjennomsnittlig oppnådd poengsum på gjennomførte arbeidskrav) enn at de svarte korrekt på et liknende spørsmål gitt i et arbeidskrav. Strykprosentene varier svært mye mellom forskjellige bachelorprogrammer, selv etter at det kontrolleres for alder, kjønn, gjennomsnittskarakter fra videregående, sum opptakspoeng, aktivitetsnivå og prestasjoner på arbeidskravene og hvilken klasse studentene går i (hvilket bl.a. kontrollerer for effekten av at foreleserne kan ha ulik evner, herunder evner til å motivere studenter). o Karakterforskjellene mellom bachelorprogrammene er så store at BI bør vurdere konsekvensen av kombinasjonen et felles innføringskurs i økonomistyring og finans for alle bachelorprogrammer unntatt siv.øk og delvis frivillige arbeidskrav. Årsaken er at man ikke kan utelukke at felles innføringskurs med delvis frivillige arbeidskrav kan ha bidratt til å gjøre forskjellene i karakterer og strykprosenter mellom ulike bachelorprogrammer større. Mer frivillige aktiviteter og større ansvar på studentene for økt læring kan føre til at de som liker faget best vil være mest aktive. Følgelig vil disse, som vi sannsynligvis finner flest av blant studentene på økonomi og administrasjon, revisjon og finans, kunne lære relativt sett mer enn tidligere, mens de som av natur legger seg på minimumsinnsatsen lærer mindre enn tidligere. Notatets oppbygning er som følger. Fremgangsmåten vi bruker blir forklart i kap. 2. Datagrunnlaget beskrives i kap. 3. I kap. 4 gjør vi oss kjent med dataene ved å se på enkle fordelinger og 2x2-tabeller. I kap. 5 forsøker vi å forklare de endelige eksamenskarakterene ved hjelp av regresjonsanalyse. I kap. 6 analyserer vi sammenhengen mellom svar på enkeltspørsmål på eksamen og hva studentene har svart i arbeidskravene. I kap. 7 ser vi på hva som kjennetegner studenter som fikk godkjent arbeidskravene, men som ikke møtte til eksamen. Hvert delkapittel er formulert som et spørsmål, og ved hjelp av innholdsfortegnelsen kan man enkelt navigere seg dit man vil. 2 Metode Vi bruker karakteren på eksamen som mål på læringsutbytte, og definerer GRADE i som eksamenskarakteren for student i. Eksamensresultatene påvirkes av en rekke faktorer, f. eks. intelligens, alder, tidligere utdanning, motivasjon og faglige interesser. Sett at alle faktorer som forklarer eksamensresultatet for student i i et kurs uten arbeidskrav kan beskrives ved en samling av variabler vi kaller Z. Da vil vi ha en entydig sammenheng hvor Z bestemmer GRADE: (1) Z i GRADE i Hva er så sammenhengen mellom Z og KAR i et kurs med arbeidskrav? La AK i være en samling variabler som beskriver student i's arbeid med arbeidskravene. Hvilke av følgende sammenhenger er da korrekte? (2a) (2b) (2c) Z i GRADE i Z i AK i Z i og AK i GRADE i I sammenheng (2a) har arbeidskrav ingen effekt på eksamenskarakteren - studenten får den samme karakteren som om kurset ikke hadde arbeidskrav. Forklaringen ligger i (2b): Det er de samme egenskapene ved studentene som bestemmer både eksamenskarakteren og hvordan studentene 5

6 gjør det på arbeidskravene. Hvis det skulle være tilfelle, har innføringen av arbeidskrav intet for seg. Hvis derimot (2c) er korrekt, har arbeidskravene en effekt på eksamenskarakteren (og man får håpe at effekten er positiv, dvs. at AK bidrar til bedre eksamensresultater). Vi har ikke informasjon om Z. Ideelt sett burde man derfor testet effekten av arbeidskravene ved f. eks. å fordele studentene på hvert bachelorprogram på to grupper, og gjennomført kurset på en måte som gjør at eneste forskjell er at den ene gruppen har arbeidskrav og den andre ikke. Da kunne man sammenliknet eksamensresultatene for testgruppen med kontrollgruppen, og på den måten målt om arbeidskravene har effekt på eksamensresultatene. VI kjenner ikke Z, og vi har heller ikke en testgruppe og en kontrollgruppe. Dermed lider analysen av en metodisk svakhet som gjør at vi ikke kan være sikre på årsakssammenhengen mellom arbeidskravene og eksamensresultatene og konklusjonene som fremkommer. Selv om vi ikke kjenner Z, har vi noe bakgrunnsinformasjon om hver student (f. eks. alder, kjønn, gjennomsnittskarakter fra videregående og sum poeng ved opptak). Vi vet også hvilke bachelorprogram studentene har søkt seg til, hvilke BI-skole de har gått på, hvilke(-n) foreleser de har hatt og hvem som har vært sensorer. A priori bør informasjonen om hvilket bachelorprogram de har søkt seg til være nyttig, siden valgt bachelorprogram kan fange opp motivasjonen for å lære finans og økonomistyring og analytiske/tallmessige ferdigheter som ikke fanges opp av gjennomsnittskarakteren fra videregående og/eller tilleggspoeng (poengene fra videregående kan bli høy selv med en dårlig karakter i matematikk). Disse variablene, som ikke fanger opp studentenes arbeid med arbeidskravene, kaller vi X. Vi vet også hvordan studentene har arbeidet med arbeidskravene, f. eks. antall forsøk per test, hvor mange tester de har tatt og oppnådd poengsum per test. Med utgangspunkt i den informasjon som er tilgjengelig, kan metoden vi bruker for å analysere mulige effekter av arbeidskravene illustreres ved følgende regresjonslikninger: (3a) (3b) GRADE i = β 0 + β 1 X i + ε i GRADE i = β 0 + β 1 X i + β 2 AK i + ε i (3a) viser hvordan variablene i X forklarer karakterene. 2 Deretter legger vi på informasjon om hvordan studentene har gjort det på arbeidskravene (variablene som ligger i AK), og tester om β > 0. Test av om β > 0 vil vise om studenter som scorer høyere på variabler som fanger opp deres arbeid med arbeidskravene får bedre eksamensresultater, etter at det er kontrollert for faktorene som ligger i X. Variablene i AK måler derfor om karakterene blir bedre når studentene har arbeidet med arbeidskravene (dog uten at vi kan være trygge på det ikke er det samme underliggende informasjonssett Z som ligger bak både KAR og AK). 3 Datagrunnlaget Datagrunnlaget består av studenter som var registrert som studenter på BØK 3411 Finans og økonomistyring I høsten Dataene er hentet fra BIs studentadministrative system, fra Blackboard og - for et utvalg studenter - fra sensorene. 2 Vi bruker begreper som «forklare», «forklaringsgrad» og lignende, selv om det metodiske designet ikke gjør at vi kan være trygge på årsaks-virkning-sammenhengene. 6

7 I alt var det studenter registrert i Blackboard ved testperiodens utløp, og av disse var påmeldt til eksamen (dvs. at de har oppfylt arbeidskravene). Vi sletter imidlertid to studenter fordi dataene eksportert fra Blackboard viser at studentene ikke har oppfylt arbeidskravene, samtidig som de har fått karakter i kurset. I alt 267 studenter som hadde oppfylt arbeidskravene unnlot å møte til eksamen (og disse har koden IP = «in progress» i noen av tabellene), og det er studenter som har fått karakteren F eller bedre. Av studentene som har fått karakteren F eller bedre, har vi fått detaljerte sensurlister for studenter. De detaljerte sensurlistene viser hvilken score sensorer har gitt på hvert av de 25 spørsmålene som eksamensoppgaven besto av. Antall observasjoner i datagrunnlaget (N = antall studenter) vil variere noe mellom testene, siden vi bl.a. mangler opptakspoeng og gjennomsnittskarakter fra videregående for en del av studentene. Gruppering av studentene på bachelorprogrammer: Hvis studentene ikke var tilordnet et bachelorprogram eller gitt koden «Ikke angitt», ble de satt i kategorien «Andre». Studenter registrert på studiet «Reiseliv- og serviceledelse» ble overført til «Reiselivsledelse», og studenter på «Revisjon» og «Revisorstudiet - 1. studietrinn» ble slått sammen (til «Revisjon»). Studenter registrert på «Leadership in Action», «BP High Performance Leadership» og «BP Prosjektledelse» ble overført kategorien «Andre». Variabeldefinisjoner: gradexx = karakteren som sensor har gitt på eksamensspørsmål xx, xx = 01, 02,.. 25 grade_1ak = rowmean(grade01 grade03 grade04 grade05 grade06 grade08) = gjennomsnittlig karakter på delspørsmålene fra emneområde 1 som studentene har hatt anledning til å prøve seg på via arbeidskravene. grade_1no = rowmean(grade02 grade07 grade08 grade09 grade10)= gjennomsnittlig karakter på delspørsmål fra emneområde 1 som studentene ikke har hatt anledning til å teste seg på via arbeidskravene grade_2ak = rowmean(grade11 grade12 grade14 grade16 grade17) = tilsvarende som grade_1ak, men for emneområde 2. grade_2no = rowmean(grade13 grade15) = tilsvarende som grade_1no, men for emneområde 3. grade_3ak = rowmean(grade18 grade19 grade21 grade23 grade24) = tilsvarende som grade_1ak, men for emneområde 2. grade_3no = rowmean(grade22 grade25) = tilsvarende som grade_1no, men for emneområde 3. grade_aak = rowmean(grade_1ak grade_2ak grade_3ak) = gjennomsnittlig score på alle eksamensspørsmålene som studentene har hatt anledning til å prøve seg på via arbeidskravene. grade_ano = rowmean(grade_1no grade_2no grade_3no) = gjennomsnittlig score på ekamensspørsmål som studentene ikke har hatt anledning til å prøve seg på g_proveeks via arbeidskravene. = rowmean(grade02 grade07 grade09 grade21) = gjennomsnittlig karakter på eksamensspørsmål som studentene kun har hatt anledning til å prøve seg på via prøveeksamen. g_beggesteder = rowmean(grade11 grade12 grade14 grade15 grade21 grade23 grade24) = gjennomsnittlig karakter på eksamensspørsmål som studentene har hatt anledning til å prøve seg på via arbeidskrav og prøveeksamen. g_bare_ak = rowmean(grade01 grade03 grade04 grade06 grade08 grade16 grade18) = gjennomsnittlig karakter på eksamensspørsmål som studentene kun har hatt anledning til å prøve seg på via arbeidskravene. 7

8 g_ikketest = rowmean(grade10 grade15 grade25) = gjennomsnittlig karakter på eksamensspørsmål som verken er testet ved arbeidskrav eller prøveeksamen. gr_ak1 = rowmean(grade01 grade03 grade06) = gjennomsnittskarakteren for eksamensspørsmål hentet fra arbeidskrav 1. gr_ak2 = rowmean(grade11 grade12) gjennomsnittskarakteren for eksamensspørsmål hentet fra arbeidskrav 2. gr_ak4 = rowmean(grade17) gjennomsnittskarakteren for eksamensspørsmål hentet fra arbeidskrav 4. gr_ak5 = rowmean(grade08 grade16 grade18) gjennomsnittskarakteren for eksamensspørsmål hentet fra arbeidskrav 5. gr_ak7 = rowmean(grade05 grade14 grade19 grade21) gjennomsnittskarakteren for eksamensspørsmål hentet fra arbeidskrav 7. gr_ak8 = rowmean(grade23 grade24) gjennomsnittskarakteren for eksamensspørsmål hentet fra arbeidskrav 8. Tallkarakter = kar_p = bokstavkarakterene kodet til tall etter følgende system: A = 5, B = 4, C = 3, D = 2, E = 1 og F = 0. Alder = studentenes alder i år. Kjønn = 1 hvis gutt, 0 hvis jente. AvgScore = gjennomsnitt score på de arbeidskravene som studentene har gjennomført. Antall ak = antall gjennomførte arbeidskrav. Ikke møtt = 1 for studenter som ikke møtte til eksamen, og 0 ellers. 4 En oversikt over dataene Siktemålet med denne delen av rapporten er å presentere datagrunnlaget ved hjelp av enkle tabeller og oversikter. Studenter som ikke har møtt på eksamen er tatt ut av utvalget i analysene som følger. Sammenhengene blir analysert ved hjelp av regresjonsanalyse i neste kapittel. Bruk av regresjonsanalyse gir mer pålitelige resultater enn en- og to-veis tabeller, men tabellene i dette kapitlet er likevel nyttige fordi vi blir kjent med datagrunnlaget. 4.1 Hvor mange studenter tok hhv 5, 6, 7 eller 8 arbeidskrav? Antall ak tatt Antall studenter I prosent Akkumulert Total 2, Ca 15 % av studentene tok bare minimumsantallet, og nesten 1/3-del tok alle åtte arbeidskravene. Aktiviteten har vært høy, og 85 % har tatt arbeidskrav frivillig. 8

9 4.2 Hvor mange ganger har studentene forsøkt seg på testene? Antall forsøk Antall studenter I prosent Akkumulert Total 2, ,4 % av studentene gjorde absolutt minimum: De brukte 5 forsøk på å få fem godkjente arbeidskrav. Gjennomsnittet er 9.6 forsøk per student. 4.3 Hvordan er sammenhengen mellom antall gjennomførte arbeidskrav og karakteren de fikk på eksamen? Bokstav- Antall AK karakter Total A B C D E F Totalt Antall stud Antall i % av totalen Tabellen viser hvordan karakterene fordeler seg for studenter som har tatt hhv 5, 6, 7 eller 8 arbeidskrav. Mønsteret er tydelig, og de som har tatt mange arbeidskrav får bedre karakterer enn de som har tatt få arbeidskrav. Det er verdt å merke seg hvordan strykprosenten (andelen A, B og C) avtar (øker) med økende aktivitet. 9

10 4.4 Hvordan er eksamenskarakterene når de fordeles på gutter og jenter? Bokstavkar Kjønn akter Jente Gutt Total A B C D E F Total Tabellen viser hvordan karakterene fordeler seg blant guttene og jentene. Det var i alt jenter og gutter som tok eksamen. Tabellen viser at jentene får dårligere karakterer enn guttene (unntatt for karakteren E), og at det er flere jenter som styrker. 4.5 Hvordan er karakterfordeling per bachelorprogram? Bachelor A B C D E F Total Andre Bed.øk Eiendom Entreprenør Finans Forr.jus Inter. mrkf Kultur&led Mark.kom Markedsøk Mrk.føring Pr og komm Reiseliv Revisjon Varehandel Øk og adm Øk og it Total Antall Studentene på revisjon og finans (og sekkeposten Andre ) er de som får flest A er, B er og C er, hvilket vel bør være som forventet siden dette er studenter som har søkt seg til programmer hvor kursets temaer ligger midt i deres interesseområder. I den andre enden av skalaen, i betydning høyest strykprosent, finner vi reiseliv med over 51 % stryk. Deretter kommer de PR og kommunikasjon, eiendomsmegling, markedskommunikasjon, markedsføring og markedsøkonomi, alle med over 40 % stryk. Totalt sett fikk 5,6% av studentene A, mens 33 % av studentene fikk F (dvs. strøk). Strykprosentene er for høye, og det er for stor variasjon mellom retningene. 10

11 Før BØK 3411 ble innført, var innføringskurset BØK Dette kurset hadde mindre finans og mer regnskap, bl.a. bokføring med debet/kredit etc. Siden innholdet i BØK 3411 ikke er helt sammenliknbart med BØK 2601, er det vanskelig å trekke slutninger basert på sammenlikninger av karakterene i BØK 2601 med karakterene i BØK Eksamensresultatene fra de to siste ordinære gjennomføringene av BØK 2601 høsten 2007 og høsten 2008 (sortert etter antall studenter på retningene) er som følger: Antall Major A Prosent B Prosent C Prosent D Prosent E Prosent Stryk% 4069 ALLE ALLE Økonomi og administrasjon Økonomi og administrasjon Markedsføring Markedsføring Bedriftsøkonomi Bedriftsøkonomi Ikke angitt Ikke angitt Business (Siv.øk) Internasjonal markedsføring Eiendomsmegling Eiendomsmegling Business (Siv.øk) Internasjonal markedsføring Markedsøkonomi Markedsøkonomi Varehandelsledelse Markedskommunikasjon Markedskommunikasjon Varehandelsledelse Finans Finans Reiselivsledelse Forretningsjus Revisjon Revisjon Reiselivsledelse Økonomi og IT-Ledelse Forretningsjus Kultur og ledelse Kultur og ledelse Økonomi og IT-Ledelse PR og kommunikasjonsledelse PR og kommunikasjonsledelse Entreprenørskap Entreprenørskap Marketing (Siv.mark) Journalistikk med økonomi Journalistikk med økonomi Sammenliknet med resultatene fra BØK 3411, er det færre retninger som kommer over 40 % i stryk og jevnt over synes resultatene er være noe bedre. Forskjellen mellom de bedriftsøkonomibaserte retningene (økonomi og administrasjon, revisjon og finans) og de øvrige synes å ha vært mindre før. Vi kommer tilbake til forskjeller mellom bachelorprogrammene senere, men vi tror at bachelormodellen BI har i dag, med felles innføringskurs for alle retninger (unntatt siv.øk), bør revurderes. Vi kan vanskelig se for oss at man skal kunne sette inn tiltak mot retningene med svarke 11

12 resultater som ikke samtidig gjør at de gode retningene blir enda bedre, og dermed vil forskjellene bli opprettholdt eller forsterket. 4.6 Hvordan er sammenhengen mellom oppnådd eksamenskarakter og gjennomsnittlig score på arbeidskravene? Bokstavkarakter Score AK A B C D E F Total Total Tabellen viser hvordan karakterene fordeler seg for studenter som har fått en gjennomsnittlig score på arbeidskravene som ligger i et intervall vist i kolonnen til venstre. Eksempelvis har 29,4% av studentene som i gjennomsnitt fikk mellom 70 % og 80 % riktig på arbeidskravene fått A, mens bare (eller hele?) 16 % av dem fikk F. Av studentene som fikk en gjennomsnittlig poengsum på mellom 20 og 30 %, strøk imidlertid hele 65 % på eksamen. 5 Analyser av samvariasjon - regresjonsanalyse I dette kapitlet analyserer vi sammenhenger vha regresjonsanalyse. Når tabellene innholder adjusted R2 (pseudo R2) så er regresjonen estimert vha OLS (LOGIT). 5.1 Er det systematiske forskjeller mellom studenter som søker seg til ulike bachelorprogrammer? Tabellen viser om det er systematiske forskjeller i kjennetegnene vi har om hver student, og hvilket bachelorprogram de har søkt seg inn på. Studenter som har søkt seg til økonomi og administrasjon ligger i konstantleddet. (1) (2) (3) (4) Alder Kjønn Poeng VGS Sum poeng Økonomi & it * (-0.72) (1.80) (-0.78) (-0.97) Andre *** *** *** (27.12) (-4.52) (-5.73) (-1.23) Bed.økonomi *** *** *** (12.94) (-4.37) (-5.12) (-0.25) Eiendomsmegl * (0.17) (-0.37) (-1.75) (-1.44) Entreprenør ** (0.02) (2.18) (1.16) (0.94) Finans *** * (-0.53) (4.70) (1.24) (1.95) Jus og øk **

13 (0.18) (-2.49) (0.62) (0.60) Intern. Mrk *** (-1.00) (-4.17) (0.97) (0.54) Kultur og led *** *** *** *** (2.88) (-5.61) (4.47) (5.78) Markedsøk *** *** *** ** (7.35) (-3.27) (-3.37) (-2.01) Markedsføring *** ** (0.71) (-6.89) (-0.34) (-2.45) Markedskomm *** (0.36) (-7.07) (1.63) (0.85) PR ** *** *** *** (2.50) (-3.40) (2.96) (4.86) Reiseliv *** (0.28) (-4.90) (-0.61) (-0.54) Revisjon *** *** ** (2.70) (-4.01) (0.63) (2.25) Varehandel *** (1.09) (-3.72) (-0.04) (0.85) Constant *** *** *** *** (147.46) (8.30) (177.73) (208.14) Observations Adjusted R Pseudo R t statistics in parentheses * p < 0.1, ** p < 0.05, *** p < 0.01 I kolonne 1 betyr et signifikant og positivt (negativt) fortegn at studentene er eldre (yngre) enn studentene som søker seg til økonomi og administrasjon, som har gjennomsnittsalder på 21,5 år. I kolonne 2 betyr et signifikant og positivt (negativt) fortegn at det er en signifikant høyere andel gutter (jenter) på vedkommende bachelorprogram enn på bachelorprogrammet i økonomi og administrasjon. Det er bare eiendomsmegling som har samme kjønnsbalanse som økonomi og administrasjon. For alle andre programmer er det signifikante forskjeller, og det er bare på de tre retningene økonomi og it, entreprenørskap og finans at andelen med gutter er høyere for de øvrige programmene er det flest jenter. Tabellen nedenfor illustrerer dette tydeligere enn LOGITregresjonen: Prosentandel Bachelorprogram jenter gutter Total Andre Bed.øk Eiendom Entreprenør Finans Forr.jus Inter. mrkf Kultur&led Mark.kom

14 Markedsøk Mrk.føring Pr og komm Reiseliv Revisjon Varehandel Øk og adm Øk og it Total I kolonne 3 (i den første tabellen i dette delkapitlet) betyr et signifikant og positivt (negativt) fortegn at studentene har høyere (lavere) poengsum fra videregående enn studentene som søker seg til økonomi og administrasjon. Snittet for studentene på økonomi og administrasjon er 3,77. Det er studentene på kultur og ledelse og PR som har de beste karakterene fra videregående, med gjennomsnittskarakterer som er hhv 0,39 og 0,26 karakterpoeng høyere enn snittet for øk.adm. studentene. Retningene med studenter med svakere poeng fra vgs er markedsøkonomi (-0,21 karakterpoeng), bedriftsøkonomi (-0,26 karakterpoeng) og eiendomsmegling (-0,091 karakterpoeng). I kolonne 4 betyr et signifikant og positivt (negativt) fortegn at studentene har høyere (lavere) samlet opptakspoeng enn studentene som søker seg til økonomi og administrasjon. Forskjellene mellom retningene er nå mindre. Det er bare markedsføring som har studenter med svakere samlet poengsum enn øk.adm.-studentene. Studentene på kultur og ledelse og pr har klart høyest samlet opptakspoeng, men også studentene på finans og revisjon har høyere samlet poengsum enn øk.adm. studentene. 5.2 I hvilken grad blir eksamenskarakteren forklart vha variablene kjønn, alder, poeng fra VGS, sum poengsum, bachelorprogram og studiested? Tabellen nedenfor viser hvor godt eksamenskarakteren blir forklart av de variabler vi har tilgjengelig om hver student, men som ikke er knyttet til hvordan studentene har jobbet med arbeidskravene. (1) (2) (3) (4) (5) (6) Tallkarakter Tallkarakter Tallkarakter Tallkarakter Tallkarakter Tallkarakter Constant *** *** *** *** *** *** (-14.48) (-13.17) (-13.05) (-4.93) (-4.56) (-4.35) Kjønn *** *** *** *** *** *** (8.46) (6.20) (6.15) (6.91) (5.08) (5.24) Alder *** *** *** *** *** *** (4.04) (4.40) (4.23) (3.27) (3.69) (3.36) Poeng VGS *** *** *** (2.84) (2.98) (2.73) (0.62) (0.58) (0.63) Sum poeng *** *** *** *** *** *** (12.74) (12.62) (12.60) (9.80) (9.90) (9.72) Økonomi & it (-0.82) (-0.54) (-0.34) (-0.18) Andre *** *** ** *** (-2.63) (-2.63) (-2.00) (-2.58) Bed.økonomi * * ** (-1.62) (-1.75) (-1.74) (-2.13) Eiendomsmegl *** *** *** *** 14

15 (-5.02) (-5.15) (-2.84) (-3.04) Entreprenør *** ** (-2.65) (-2.32) (-0.91) (-0.57) Finans ** *** * (2.57) (2.89) (1.53) (1.91) Jus og øk * (1.02) (1.16) (1.43) (1.71) Intern. mrk *** *** *** *** (-5.32) (-5.39) (-4.50) (-4.43) Kultur og led *** *** *** *** (-4.13) (-3.82) (-3.09) (-2.70) Markedsøk *** *** * ** (-3.24) (-3.39) (-1.93) (-1.96) Markedsføring *** *** *** *** (-6.52) (-6.71) (-3.87) (-3.99) Markedskomm *** *** *** *** (-4.85) (-4.89) (-2.89) (-2.84) PR *** *** (-4.59) (-4.28) (-1.51) (-1.17) Reiseliv *** *** * (-3.44) (-3.16) (-1.72) (-1.56) Revisjon *** *** *** *** (3.51) (3.79) (2.75) (3.15) Varehandel *** *** *** ** (-3.86) (-3.49) (-2.68) (-2.43) Observations Adjusted R t statistics in parentheses * p < 0.1, ** p < 0.05, *** p < 0.01 Høy N (N=2 735) betyr at alle studenter er med, mens lav N (N = 1 831) betyr at de som strøk er ekskludert. Resultatene for studenter på økonomi og administrasjon ligger i konstantleddet. Indikatorvariabler for campus er med i modellene 3 og 6, men resultatene er ikke tabulert for disse variablene. Resultatene hva gjelder variablene kjønn, alder og sum opptakspoeng blir ikke påvirket av hvilke variabler som er inkludert i tillegg til disse: Eksamenskarakterene for guttene er bedre enn for jentene og de øker med alder og sum opptakspoeng. Effekten av poengene fra videregående er positiv når vi tar med studenter som strøk, men når vi ser på studenter som fikk stå-karakter eller bedre spiller karakterene fra videregående skole ingen rolle. Det er klare forskjeller mellom bachelorprogrammene. Økonomi og administrasjonsstudentene ligger i konstantleddet, slik at indikatorvariablene fanger opp forskjellene i karakter fra økonomi og administrasjonsstudentene. Revisjon og finans gjør det bedre enn økonomi og administrasjonsstudentene. Økonomi og it samt økonom og jus gjør det like godt som økonomi og administrasjonsstudentene, mens alle de øvrige retningene gjør det dårligere enn økonomi og administrasjonsstudentene. Det er urovekkende at så mange bachelorprogrammer har signifikant dårligere resultater enn referansegruppen. Vi kommer tilbake til det nedenfor. 15

16 5.3 Blir eksamenskarakter, gjennomsnittlig score på arbeidskravene og antall fullførte arbeidskrav forklart av de samme variablene? Det er mulig at variablene vi bruker for å forklare eksamenskarakteren også kan brukes til å forklare hvordan studentene gjør det på arbeidskravene. I tabellen under undersøker vi dette ved å la eksamenskarakterene (Tallkarakter), gjennomsnittlig oppnådd poengsum på arbeidskravene (AvgScore) og antall fullførte arbeidskrav (N_ak) bli forklart av det samme variablene. (1) (2) (3) Tallkarakter AvgScore Antall ak Constant *** *** *** (-13.17) (3.87) (25.42) Kjønn *** *** *** (6.20) (4.83) (-4.35) Alder *** *** *** (4.40) (7.52) (6.18) Poeng VGS *** *** *** (2.98) (2.92) (2.69) Sum poeng *** *** * (12.62) (5.88) (1.87) Økonomi & it (-0.82) (0.08) (0.74) Andre *** * ** (-2.63) (-1.72) (-2.52) Bed.økonomi * (-1.62) (1.33) (-1.92) Eiendomsmegl *** *** *** (-5.02) (-3.92) (-3.66) Entreprenør *** * ** (-2.65) (-1.92) (-2.33) Finans ** * *** (2.57) (1.83) (-2.69) Jus og øk (1.02) (0.63) (-1.28) Intern. mrk *** (-5.32) (0.18) (-1.41) Kultur og led *** *** * (-4.13) (-2.82) (-1.80) Markedsøk *** *** (-3.24) (-3.20) (-0.68) Markedsføring *** *** (-6.52) (-2.70) (0.03) Markedskomm *** * (-4.85) (-1.24) (-1.90) PR *** ** *** (-4.59) (2.28) (-5.88) Reiseliv *** * ** (-3.44) (1.66) (-2.18) Revisjon *** (3.51) (0.79) (-1.24) 16

17 Varehandel *** (-3.86) (1.12) (-0.48) Observations Adjusted R t statistics in parentheses p < 0.1, ** p < 0.05, *** p < 0.01 Resultatene viser at de samme variablene har betydning, men at modellene har forskjellig forklaringsgrad. Resultatene viser at guttene har høyere gjennomsnittlig score på arbeidskravene enn jentene, men at de har tatt færre arbeidskrav. Det er også systematiske forskjeller mellom bachelorprogrammene hva gjelder karakterer, gjennomsnittlig score på arbeidskravene og antall arbeidskrav som studentene har tatt. Det er ikke overraskende, siden studenter velger retninger ut fra interesser og noen av retningene har et større innslag av bedriftsøkonomi enn andre. 5.4 Er det noen sammenheng mellom hvor mange arbeidskrav studentene har gjort, hvor mange poeng de i gjennomsnitt oppnådde på arbeidskravene og den endelige eksamenskarakteren? (1) (2) (3) (4) (5) Tallkarakter Tallkarakter Tallkarakter Tallkarakter Tallkarakter Constant *** *** *** *** *** (-13.17) (-6.49) (-18.64) (-21.92) (-21.71) AvgScore *** *** *** *** (24.85) (26.52) (21.76) (21.55) Antall ak *** *** *** (17.53) (16.55) (17.13) Kjønn *** *** *** (6.20) (6.28) (6.56) Alder *** (4.40) (-0.17) (-0.74) Poeng VGS *** (2.98) (1.26) (1.15) Sum poeng *** *** *** (12.62) (11.03) (10.56) Økonomi & it (-0.82) (-1.19) (-1.01) Andre *** * (-2.63) (-1.43) (-1.76) Bed.økonomi * *** (-1.62) (-1.77) (-3.00) Eiendomsmegl *** *** *** (-5.02) (-2.81) (-3.50) Entreprenør *** (-2.65) (-1.43) (-0.82) Finans ** *** (2.57) (2.98) (0.95) Jus og øk (1.02) (1.29) (-0.44) Intern. mrk *** *** *** (-5.32) (-5.59) (-4.34) 17

18 Kultur og led *** *** (-4.13) (-2.88) (-0.57) Markedsøk *** ** ** (-3.24) (-2.07) (-2.47) Markedsføring *** *** *** (-6.52) (-6.19) (-4.70) Markedskomm *** *** ** (-4.85) (-4.32) (-2.12) PR *** *** (-4.59) (-4.21) (-1.45) Reiseliv *** *** *** (-3.44) (-3.86) (-3.68) Revisjon *** *** * (3.51) (4.00) (1.70) Varehandel *** *** ** (-3.86) (-4.64) (-2.03) Indikatorvar. for Nei Nei Nei Nei Ja BB-klasse? Observations Adjusted R t statistics in parentheses. * p < 0.1, ** p < 0.05, *** p < 0.01 Kolonne 1 viser resultatene uten variabler relatert til arbeidskravene. I kolonne 2 blir eksamenskarakterene forklart vha AvgScore alene, og i kolonne 3 blir eksamenskarakteren forklart vha AvScore og antall arbeidskrav studentene har tatt (Antall AK). I kolonne 4 slås modellene i kolonnene 1, 2 og 3 sammen, og i modell 5 utvides modellen i kolonne 4 med indikatorvariabler som viser hvilken klasse studentene har vært tilordnet. Indikatorvariablene for Bb-klasse kan fange opp en rekke forskjellige faktorer, og noen av disse kan være knyttet til foreleseren. Det er noen av indikatorvariablene for Bb-klassene som er signifikant positive, men siden indikatorvariablene ikke har noen betydning for resultatene for øvrig utelates indikatorvariablene for Bb-klassene i tabellen. Resultatene viser tydelig at prestasjonene på arbeidskravene har god forklaringskraft på eksamenskarakteren: Modell 4 forklarer 38,2% av variasjonene i eksamenskarakterene, og prestasjonene på arbeidskravene øker forklaringskraften med 16.1 prosentpoeng sammenliknet med modellen i kolonne 1. Resultatene i kolonne 5 (og kolonne 4) er for oss en vekker: Kun studentene på revisjon scorer bedre enn studentene på økonomi og administrasjon, og hele 9 bachelorprogrammer har signifikant dårligere karakterer enn økonomi og administrasjonsstudentene etter at vi kontrollerer for forskjeller i alder, karaktersnitt fra videregående, samlet opptakspoeng ved start på BI og hvilken Bb-klasse de har gått i. Resultatene sett under ett, med altfor høye strykprosenter og svært mange bachelorprogrammer med strykprosenter i intervallet 40% til 50% (jf. tabellen i kap. 4.5) gjør at BI bør vurdere om innføringen av arbeidskrav kan ha bidratt til (1) å forsterke karakterforskjeller mellom bachelorprogrammer, og (2) at resultatene blir dårligere totalt sett. Årsaken ligger i at kurs dimensjoneres ut fra 200 timers arbeid inklusiv åtte arbeidskrav og at studentene i større grad enn tidligere skal ha ansvar for egen læreprosess. Følgelig, og i tråd med den pedagogiske tenkningen som ligger til grunn for utformingen av arbeidskravene ved BI, skal arbeidskravene primært være en mekanisme for å gi studenter tilbakemelding på egen innsats, og ikke telle på eksamenskarakteren. Men når gjennomføringen baserer seg på en stor andel frivillig arbeid, vil de som har interesse av 18

19 faget sannsynligvis gjøre mer av det som er frivilling. Dermed vil de lære mer, og gjøre det bedre på eksamen, mens de som dimensjonerer sin innsats ut fra minimumskrav vil lære mindre. 5.5 Får studenter som tar arbeidskrav frivillig bedre karakterer enn de som bare oppfylte minimumskravet? Det var i alt 8 arbeidskrav, og av disse måtte 5 være godkjent for at studentene. Ca 85 % av studentene gjorde arbeidskrav frivillige, og i tabellen nedenfor ser vi på hvordan sammenhengen er mellom frivillig deltakelse på arbeidskravene og eksamenskarakteren. (1) (2) (3) (4) (5) Tallkarakter Tallkarakter Tallkarakter Tallkarakter Tallkarakter Constant *** *** *** *** *** (-19.87) (-15.48) (-14.46) (-11.25) (-13.52) AvgScore *** *** *** *** *** (21.55) (21.62) (21.41) (13.51) (17.00) Antall ak *** (17.13) Flere enn 5 ak *** (12.15) Et frivillig ak *** *** (5.97) (5.33) To frivillige ak *** *** (11.03) (8.72) Tre frivillige ak *** *** (15.75) (10.34) Snittscore ak * (1.94) (-1.14) Snittscore ak *** (6.73) (0.30) Snittscore ak *** *** (9.17) (5.14) Kjønn *** *** *** *** *** (6.56) (5.52) (6.53) (5.36) (6.39) Alder (-0.74) (0.70) (-0.67) (-0.89) (-0.84) Poeng VGS * (1.15) (1.81) (1.20) (1.57) (1.42) Sum poeng *** *** *** *** *** (10.56) (10.05) (10.44) (10.60) (10.26) Økonomi & it (-1.01) (-1.17) (-1.02) (-0.84) (-0.98) Andre * ** * ** * (-1.76) (-1.97) (-1.76) (-2.10) (-1.79) Bed.økonomi *** *** *** *** *** (-3.00) (-2.98) (-2.99) (-3.24) (-3.05) Eiendomsmegl *** *** *** *** *** (-3.50) (-3.99) (-3.53) (-3.87) (-3.45) Entreprenør (-0.82) (-1.22) (-0.82) (-0.96) (-0.79) 19

20 Finans (0.95) (0.73) (0.97) (0.57) (0.97) Jus og øk (-0.44) (-0.29) (-0.43) (-0.34) (-0.29) Intern. mrk *** *** *** *** *** (-4.34) (-4.56) (-4.35) (-4.47) (-4.24) Kultur og led (-0.57) (-0.77) (-0.57) (-1.10) (-0.56) Markedsøk ** *** ** ** ** (-2.47) (-2.68) (-2.49) (-2.51) (-2.44) Markedsføring *** *** *** *** *** (-4.70) (-4.57) (-4.68) (-4.76) (-4.60) Markedskomm ** ** ** *** ** (-2.12) (-2.39) (-2.12) (-2.63) (-2.15) PR ** ** (-1.45) (-2.03) (-1.44) (-2.14) (-1.29) Reiseliv *** *** *** *** *** (-3.68) (-4.23) (-3.70) (-4.07) (-3.79) Revisjon * * * (1.70) (1.60) (1.73) (1.38) (1.70) Varehandel ** ** ** ** * (-2.03) (-2.18) (-2.02) (-2.24) (-1.83) Observations Adjusted R t statistics in parentheses. * p < 0.1, ** p < 0.05, *** p < Indikatorvariabler for Bb-klasse inkludert i alle modellene, men resultatene ikke tabulert. Variablene som måler frivillighet er definert på følgende måte: Flere enn 5 ak = 1 hvis studenten har gjort flere enn 5 arbeidskrav, 0 ellers. Et frivillig ak = 1 hvis studenten har gjort 6 arbeidskrav, 0 ellers. To frivillige ak = 1 hvis studenten har gjort 7 arbeidskrav, 0 ellers. Tre frivillige ak = 1 hvis studenten har gjort 8 arbeidskrav, 0 ellers. I tillegg er følgende variabler tatt med for å fange opp prestasjoner på de siste arbeidskravene (hvor deltakelsen vil være frivillig for de fleste: Snittscore ak6 = gjennomsnittlig oppnådd poengsum på arbeidskrav 6, 0 ellers. Snittscore ak7 = gjennomsnittlig oppnådd poengsum på arbeidskrav 7, 0 ellers. Snittscore ak8 = gjennomsnittlig oppnådd poengsum på arbeidskrav 8, 0 ellers. Legg merke til at snittscore på arbeidskrav 6, 7 og 8 ikke er koblet til om dette er studentenes 1, 2 eller 3 frivillige test. Tabellen viser en entydig effekt på eksamenskarakteren: De som har tatt tester frivillig får en høyere eksamenskarakter enn de som bare har tatt minimumsantallet på fem arbeidskrav. Vi har utvidet modellene i tabellen med Ntotalt og lnntotalt = ln(ntotalt). Ntotalt går fra 5 til 24 og viser antall ganger studenter i alt har forsøkt. Koeffisienten til Ntotalt og lnntotalt er negativ, men den er ikke signifikant. 20