Til: Fra: Learning LAB Tormod Lunde, Nett og deltid (samt Stina Pedersen og Audhild Nydahl Håvaldsrud) Dato: 26. juni 2014 Sluttrapport «BI Oslo Live» Matematikk for økonomer (del 1 og 2) Vi leverer herved sluttrapport for pilot «BI Oslo Live», som har testet ut videostreaming i Matematikk for økonomer for studenter ved BI Oslo kveld. Piloten gikk over et hele studieåret 2014/2015, med Matematikk del 1 på høsten (videostreaming+videoopptak) og Matematikk del 2 på våren (videoopptak). Deltagerne i kursene er fra bedriftsøkonomstudiet, høyskolekursdeltagere samt kontinuasjonsstudenter fra heltidsstudiene. Sammendrag Vi har over høstsemesteret 2013 og vårsemesteret 2014 gjennomført pilot for Live videostreaming og videoopptak for deltagere på Matematikk for økonomer, 7,5 sp. Dette er gjennomført i samarbeid med Learning Lab og foreleser i matematikk, Robert Hansen. Rapporten er delt i to for hver av de to semesterne. Vi har hatt statusmøter og studentevalueringer som har gitt oss gode og konstruktive tilbakemeldinger på hvordan streaming og video kan implementeres som en del av BIs pedagogiske tilbud. Bakgrunnen er å teste ut om disse elementene kan utvide deltagerantallet ved å nå lengre ut geografisk mot de som ikke kan delta på forelesninger, men heller ikke ønsker dagens nettstudier (med færre undervisningsfomer). Funnene viser at lokale Oslostudenter benytter seg godt av fleksibiliteten ved å følge undervisning hjemmefra (eller på jobb) live eller via i videoer i etterkant. Studentene er godt fornøyd med det studietilbudet de har fått. Utfordringen videre er å lage det optimale studietilbudet ift. de ressursene vi kan sette inn, og samtidig dekke et størst mulig marked. Vi kan neppe tilby dobbelt opp av forelesninger, streaming og videoer i fremtiden, men må finne det som gir mest rasjonell drift i kombinasjon og fleksibel gjennomføring og god læringseffektivitet. Vi må kunne konkludere med at streaming og video driftet på en god og planlagt måte vil gi de aller fleste studentene det kurstilbudet de trenger, uten å gjennomføre tradisjonelle forelesninger. Spørsmålet er om dette kan sammensmeltes med det pedagogiske tilbudet Nettstudier har i dag. Det som driver frem disse tankene er at det over tid har vært en reduksjon i deltagerantallet på de tradisjonelle kveldsstudiene. Som kjent har ingen BI Høyskoler bortsett fra Oslo kveldsstudier igjen. Det som er av deltidsstudier er i dag først og fremst på dagtid. Vi ønsker å gå videre med testing av undervisningsaktiviteter for kveldsstudenter koblet opp mot Nettstudier, og har i skrivende stund fått godkjent pilot for dette i studieåret 2014/-15
Søknad om pilotmidler BI Nett og deltid søkte for høsten 2013 om pilotmidler til BI Oslo kveld. Søknaden om midler var som følger: BI Nett og deltid ønsker å tilrettelegge et studietilbud for deltidsstudenter som ikke ønsker nettstudier, men heller vil følge ukentlige forelesninger. Vi ønsker høsten 2013 å filme (streame) et kurs ved BI Oslo kveld ukentlig fra forelesing i et auditorium. Undervisningen skal lagres samt tilrettelegges for fleksibel bruk og gjenbruk. I tillegg skal studentene ha mulighet til å stille spørsmål elektronisk (realtime chat). Vi har tro på at dette er et nytt forretningskonsept som kan gi et landsdekkende deltidstilbud for studenter som ønsker forelesningsbasert gjennomføring. Ved å koble dette til deltidstilbudet ved BI Oslo kan enda flere ta del i eksisterende gjennomføring. Vi ser heller ikke begrensninger når det gjelder å delta fra utlandet på sikt. Vi ønsker å teste ut teknologien bak BI LIVE i kurset Matematikk for økonomer del 1 (1,5 sp) med 100-200 deltagere. En pilot og evaluering av denne gjennomføringen kan gi oss god erfaring og kunnskap for å utforme et best mulig deltidstilbud ved BI. Førstelektor Robert Hansen vil være tilknyttet prosjektet som foreleser og tilrettelegge undervisningen for både tilstedeværende studenter og deltakere på web. På grunn av kursets deltakerantall vil det være behov for utbygning av teknologisk infrastruktur i et større auditorium. Dette vil hele BI kunne dra nytte av. BI har nå kun fire studiesteder igjen, noe som medfører et redusert deltidstilbud til travle mennesker i arbeid. Erfaringsvis ønsker ikke alle studenter en ren nettbasert gjennomføring, siden dette forutsetter økt ansvar for egen læring og selvstudium. Dette er en målgruppe vi ønsker å nå. Med økt bruk av IKT og mobile enheter, samt teknologisk infrastruktur som muliggjør LIVE-sendinger, blir det enklere å nå studentene. Pilotmidler innvilget Pilot ble godkjent, og det ble innvilget kr 50.000,-. Pilotmidlene ble først og fremst benyttet til lønn til foreleser samt til studentassistenter i film- og redigeringsarbeid. Det ble benyttet 30.000,- på høstsemesteret til del 1, og 20.000,- på vårsemesteret til del 2. Prosjektgruppe Følgende prosjektgruppe ble nedsatt: Stina Pedersen, Audhild Nydahl Håvaldsrud, Tormod Lunde og Rober G. Hansen (faglig) Gjennomføringen av live streaming og videoopptak Delkurset Matematikk for økonomer, del 1 (1,5 sp), ble gjennomført med Live streaming høsten 2013. Streaming innebærer at studenten kan velge å møte til forelesning på BI eller velge å sitte hjemme og se på forelesningen i sann tid. Opptakene ble også lagret på mediaserveren og gjort tilgjengelig for studentene på Itslearning i etterkant. Tilgangen ble gjort via elektronisk klasserom på It slearning. Våren 2014 ble Matematikk for økonomer, del 2 (6 sp) filmet i forelesningen og publisert i etterkant. På grunn av tekniske begrensninger i opptakssutstyr i auditoriet vinterhalvåret ble det ikke streamet live. På denne måten fikk vi imidlertid muligheten til å teste ut to ulike konsepter hvert semester. Live streaming og filmopptak i auditorium.
Høst 2013 Matematikk for økonomer del 1, 1.5 sp Kurset har hatt 9 ukentlige forelesningsøkter på fire timer hver gang. Alle øktene har blitt filmet og streamet, og i etterkant publisert i kursrommet på it s learning. Gjennomføringen har vært vellykket. Det har vært enkelte episoder underveis med litt tekniske utfordringer vedrørende lyd i auditoriet samt at videoer stopper opp under avspilling i etterkant. Det er verdt å merke seg at det aldri ble benyttet chatfunksjonen blant studentene for å stille spørsmål hjemmefra. Studieadministrasjonen holdt kontakt med Learning Lab, som hadde ansvar for filmingen, og foreleser underveis i semesteret. Polling midtveis i høstsemesteret Halvveis inn i høstsemesteret ble det publisert en polling i kursrommet på it s learning for å finne ut hvor mange som faktisk fulgte live streaming hjemmefra, eller valgte forelesning. Resultatet viste at halvparten av studentene hadde fulgt streamingen en eller flere ganger, mens 17 % kun hadde vært på ordinær forelesning i Nydalen. Undersøkelsen viste at 34 % planla å følge streamingen på en av de kommende øktene. Dette ga et positivt bilde på at streaming var noe som studentene både ønsket og benyttet. Det ga oss også en god indikator på at vi burde fortsette med piloten ut semesteret. Her ser vi bevis på at videoene ble brukt av studentene i klassen, da en student benytter videoen til repetisjon i forkant av en forelesning. Studentundersøkelse og sluttevaluering Etter gjennomført høstsemester laget vi en studentundersøkelse i questback som ble sendt ut per mail. Oppsummering av
undersøkelsen ble gjennomført i desember 2013. Denne ble besvart av 37 respondenter av totalt 90 påmeldte kurset (41,1 % respons). Vi valgte å utelate «ungstudenter» fra bachelorstudiet dagtid i utplukket, siden de kun deltok i kurset som kontinuanter. Det er ikke disse denne piloten primært ønsker å kartlegge. Nedenfor følger en oppsummering av undersøkelsen. Kjønn Vi valgte å ta med et spørsmål om kjønn, for å ha muligheten til å finne ut se om det er forskjell i bruken av de ulike pedagogiske elementene. Av respondentene er 32,4 % menn og 67,5 % kvinner. Hvor mange forelesninger er fulgt i hhv. auditorium, forelesning og video i etterkant? Studentene skulle krysse av for hvor mange forelesninger de møtte opp på i Nydalen, hvor mange de fulgte hjemmefra via live streaming og hvor mange de KUN så som opptak av live streaming. Svarene til studentene fordeler seg så jevnt utover alternativene at det ikke er mulig å lese noen tendens ut fra dette. Det er tydelig at de har prøvd ulike varianter, og ikke foretrukket kun én. Ut fra kommentarene de har skrevet inn til slutt, er det tydelig at mange setter pris på fleksibiliteten tilbudet om live streaming (med opptak lagret i etterkant) har gitt dem. Siden det her er tre ulike alternativer til å få med seg forelesningen så kan man anta at antall fremmøtte til de fleste auditorieforelesningene ville vært en god del høyere hvis dette var det eneste tilbudet. Hvilket alternativ ville du foretrekke om du måtte velge én av disse undervisningsformene? Når studentene blir bedt om å velge ett alternativ for fremtiden, med enten Live streaming eller forelesning, er svarene nesten likt fordelt. Her svares det henholdsvis 51,4 % i favør av forelesning, og 48,6 % live streaming med opptak som legges ut i etterkant. Dette gir oss et bra svar på noe av det viktigste vi ville kartlegge. Kan vi distribuere undervisning til hele «verden» via Live Streaming? Man kan anta at flere av de 51,4 % som valgte auditoriumundervisning likevel er tilbøyelig til å velge å delta på streamingvarianten hvis auditoriumundervisning ikke ville blitt tilbudt. Hvilket av disse to alternativene tror du gir deg best læringsutbytte? Når studentene blir bedt om å velge mellom Live streaming, med opptak som legges ut i etterkant, og temabaserte videoer som viser oppgaveløsning og sentrale temaer, velger et knapt flertall temabaserte videoer (55,3 %). Dette kan muligens ses i sammenheng med dødtiden som oppstår i live streamingen. Temavideoer kan fremstå som raskere og mer effektive. Enkelte respondenter påpeker dette i sine kommentarer. Hva går igjen i kommentarfeltet? Studentene er veldig positive og har satt stor pris på tilbudet og fleksibiliteten dette gir. De
gir uttrykk for at det er positivt å kunne stoppe og spole tilbake når det var noe de ikke fikk med seg, og at videoene var fine for repetisjon. De eneste negative kommentarene dreier seg om tekniske forhold som dårlig lyd og ufullstendige opptak. Noen sier også at de ikke våget å satse på at live streamingen fungerte, siden BI tok forbehold om at de ikke kunne garantere dette. Generelt er studentene veldig positive, synes tilbudet har vært fantastisk og ønsker seg streaming i flere fag. Dette må ses i sammenheng med at de har fått et mye bredere og bedre tilbud enn de hadde forventet seg ved oppstart. Studentene vil gjerne ha så mye de kan. Konklusjon Vi fikk testet ut selve teknologien. Den har fungert tilfredsstillende, men er også litt sensitiv. Det kreves svært god kvalitetssikring og regi fra BI sin side hvis Live streaming er den eneste undervisningskanalen (personalmessige og tekniske). Det er bl.a. sårbart ift. mennesklige ressurser, at èn må være driftsansvarlig og følge med på evt. endringer, huske koordinering av studenter og filmassistenter mm. Undervisningselementet er imidlertid godt testet, siden halvparten av studentene svarer at de har benyttet streaming. Studentene er først og fremst opptatt av å kunne få de tradisjonelle forelesningene, men ser at det er en flott mulighet å benytte Live streaming i de tilfellene de trenger fleksibilitet ved fravær. De har også fått en svært nyttig kilde til repetisjon og til eksamensforberedelse. Det er stor variasjon i bruken, så det er mange ulike individuelle behov for fleksibilitet blant studentene. Det pedagogiske tilbudet har vært bedre enn det tradisjonelle tilbudet, siden man har kunnet velge både og. Studentevalueringer viser at de gjerne vil ha mest mulig hvis de kan.
Våren 2014 - Matematikk for økonomer del 2, 6 sp Matematikk for økonomer, del 2 (6 sp) har hatt 12 ukentlige forelesningsøkter på 4 timer hver gang. Dette kurset er selve hovedkurset og mer faglig krevende enn del 1, som for mange bærer mer preg av å være forkurs. Alle øktene har kun blitt filmet og publisert i etterkant i kursrommet på it s learning. Det har ikke vært Live streaming. Bakgrunnen er at BI ikke har kunnet tilby denne tekniske løsningen på våren. Fra prosjektets side har vi imidlertid sett en fin mulighet til å sjekke ut hvordan rene videoforelesninger (opptak) kan benyttes i studiehverdagen. I denne gjennomføringen har det derfor ikke vært muligheter for å benytte chat-funksjon. Midterminvurdering og statusmøter og spørreskjema Det er blitt avholdt statusmøte i prosjektgruppa, inkludert foreleser. Innholdet i dette statusmøtet er beskrevet nedenfor. Denne gang ble det altså ikke streamet live, men kun publisert videoer i etterkant. Chat funksjonen var derfor ikke tilgjengelig, noe foreleser hevder heller ikke fungerer spesielt bra i matematikk. Det er vanskelig å stille matematiske spørsmål kun med tekstfunksjon. En observasjon (ref. foreleser) er at det har vært like mange studenter på kveldstid hele veien selv om filmingen har pågått. Antallet har ikke gått ned. Her må det legges til at det gjerne er en økende mengde studenter fra dagstudiene utover i semesteret som konter, og møter opp når det blir mer krevende innhold. Design av spørreskjema Da vi laget spørsmål til evalueringen ville vi finne ut om de var villige til å bytte bort undervisning mot streaming og video, og ikke gi dem flere valgmuligheter for få flere undervisningselementer. På den måten vil vi kunne se hva de ønsket mest. Hypotesen er at det virker som studentene benytter videoene mest til repetisjon, og følger ikke nødvendigvis med på streaming. Videoene benyttes dersom man ikke har fått gått på forelesninger eller trenger repetisjon av økten. Dette bestemte vi oss for å gå nærmere inn på i den avsluttende studentevalueringen. Teknisk gjennomføring og erfaring Teknisk gjennomføringen vurderes å ha vært litt for dårlig, siden 2 forelesninger startet uten at filmteam var til stede. Dette skaper usikkerhetsmoment hos studentene om det blir lagt ut video eller ikke. Når det baseres på video så er det imidlertid full mulighet for å spille inn på nytt for kun denne klassen, eller ta opptak av f.eks. dagstudenter som skal ha tilsvarende økt. Sistnevnte ble gjort i mars, men det skaper ekstra arbeid og gir forsinkelse ift. gjennomføringsplanen. Det er også greit å få denne type driftserfaring, så man lærer seg både de kritiske gjennomføringselementene, samt hvordan man kan tilpasse seg i ettertid hvis problemer oppstår.
Studentundersøkelse sluttevaluering matematikk del 2 Oppsummering av svarene i studentevalueringen i Matematikk del 2, våren 2014 Oppmøte på forelesning Et tydelig flertall (64,1 %) av respondentene oppgir at de har droppet å møte på forelesning for i stedet å se videoen i etterkant. 20,5 % droppet forelesningen én gang av samme grunn, mens 15,4 % aldri gjorde det. Hva er videoopptakenes viktigste funksjon? 59 % mener repetisjon er den aller viktigste funksjonen, mens 35,9 % mener erstatning for å møte på forelesning er viktigst. Vi må understreke at studentene her kun kunne velge ett alternativ, det aller viktigste. Ingen mente at videoen ikke hadde noen viktig funksjon. Videoer og læringsutbytte Studentene mener selv at videoene I svært stor grad bidro til å øke deres læringsutbytte i kurset (51,3 %). Videre svarte totalt 38,4 % I stor grad og I noe grad. Spørsmål underveis I høstens gjennomføring ble forelesningene i tillegg streamet med mulighet for chat underveis. Dette ble lite benyttet (eller ikke i det hele tatt?), og vårens forelesninger ble kun filmet og publisert i etterkant. 66,7 % svarer at de ikke hadde behov for å stille spørsmål underveis, mens 20,1 % nå sier at de gjerne skulle stilt spørsmål. Kvalitet på lyd/bilde/tempo Studentene er i all hovedsak godt fornøyd med både lyd, bilde og lærerens tempo i forelesningen. Savnet de streamingen fra høstens gjennomføring i matematikk del 1? Her fordeler respondentene seg forholdsvis jevnt mellom ja, nei og vet ikke. Ville de meldt seg på kurset uten fysiske samlinger, kun video og nettbaserte læringseelementer? Vi stilte dette spørsmålet for å sette konseptet på spissen, og det var forventet at disse studentene ville være negative til et rent nettbasert opplegg kurset tilbys også som nettstudier, og disse har valgt kveldsundervisning. Det er derfor overraskende at ca 60 % svarer ja og 40 % nei på dette spørsmålet. For å få studentenes synspunkter på en Flipped classroom-variant, spurte vi om de ville foretrekke video med teori og forelesningstiden på BI brukt til oppgaveløsning under veiledning av lærer heller enn tradisjonell forelesning. 51,3 % svarte at de ville foretrekke dette, mens 33,3 svarte nei, 15,4 % svarte vet ikke. Det er viktig å ha med seg at dette er et tenkt scenario for studentene og at tankegangen er hypotetisk og uvant. Likevel mener over halvparten at dette ville være å foretrekke.
Den perfekte, fleksible kursgjennomføring for deg Studentene ble bedt om å fortelle fritt hva en perfekt, fleksibel gjennomføring av et kurs skulle inneholde. Svarene er varierende, men samtlige nevner video og/eller muligheten til å følge forelesning uavhengig av tid og sted som en del av sitt drømmeopplegg. Ellers nevnes i tillegg forelesning på BI og oppgaveløsning under veiledning av lærer (ref spm. dette) eller av de beste elevene fra forrige kull av flere. Mange understreker hvorfor video er så viktig, muligheten til å ikke gå glipp av forelesninger, se vanskelige ting på nytt, repetere osv. Negative kommentarer Studentene ble oppfordret til å dele negative opplevelser, om de hadde noen. Det var det ingen som hadde, med unntak av en som syntes lærer gikk for fort fram. Positive kommentarer Studentene hadde mange positive kommentarer og er i det store og det hele svært fornøyd med opplegget dette semesteret og setter svært stor pris på videoene. Læreren får også veldig god tilbakemelding på sin formidlingsevne. Vi må understreke at forelesningene i dette kurset i all hovedsak går ut på å vise utregninger, som er det mest sentrale i kurset. Oppgavegjennomgang i kvalitative kurs er spesielt godt egnet for å nå læringsmålene og forberede seg til eksamen, noe man vet har vært populært verden over for studenter i lignende kurs (Khan Academy mfl). Man kan stoppe, spole og regne parallelt. Dermed er nok dette kurset enda bedre egnet for enveiskommunikasjon og videoene gir studentene et bedre læringsutbytte enn hva videoer muligens kunne gjort i et annet kurs. Konklusjon Det er tydelig at studentene setter pris på fleksibiliteten de kan få ved å unnlate å måtte møte på samtlige forelesninger, da hele 64.1 % flere ganger droppet å møte til forelesning. Kun 15,4 % benyttet seg ikke av dette. Ingen svarer at videoene ikke hadde noen funksjon. Godt over 90% sier at videoene har gitt økt læringsutbytte. Det har vært lite behov for å stille spørsmål. Kun 20,5% hadde hatt behov for dette. Det er ingen tvil om at video er et meget godt pedagogisk hjelpemiddel for deltidsstudenter ved BI Oslo. Det er tydelig at denne læreren har et godt pedagogisk opplegg som i stor grad gir studentene den kunnskapen de trenger, og gjennomfører videoforelesninger under god regi og tempo. Det stiller visse krav til teknisk drift og teknologien i seg selv. Det gir en del merarbeid og frustrasjon hvis dette ikke håndteres planmessig og optimalt. Vi må ikke glemme at dette har vært et tilleggselement studenten ikke var forespeilet ved oppstart, og at de da gjerne vil tendere til å svare positivt for at de ønsker tilsvarende i flere andre kurs. Vi kan ikke tilby dobbelt opp i fremtiden, men finne det som gir mest rasjonell drift i kombinasjon med fleksibel gjennomføring og god læringseffektivitet. Vi må kunne konkludere med at streaming og video driftet på en god og planlagt måte vil gi de aller fleste studentene det kurstilbudet de trenger. Spørsmålet er om dette kan sammensmeltes med de pedagogiske tilbudet Nettstudier har i dag. Vi ønsker å gå videre med testing av undervisningsaktiviteter for kveldsstudenter koblet opp mot Nettstudier, og har i skrivende stund fått godkjent pilot for dette i studieåret 2014/-15.