NVU-konferansen 2002: Evaluering og kvalitetssikring i e-læring Geir Maribu Avdeling for informatikk og e-læring Høgskolen i Sør-Trøndelag 26. februar 2002 1/34 Innhold Referanser Kvalitet, hva er det? Organisering av e-læring ved Avdeling for informatikk og e-læring (AITeL) Si litt om hva som må kvalitetsikres Litt om kvalitetssikring av e-læring Norsk Fjernundervisning har laget rapport om kvalitet Evaluering Resultat av spørreundersøkelse (evaluering) 2/34 1
Referanser Egne erfaringer med fjernundervisning ved AITeL Praktisk erfaringer Norsk forbund for fjernundervisning: Kvalitetsnormer for fjernundervisning, revidert utgave våren 2001 Torstein Rekkedal NFFs kvalitetsnormer med spesiell fokus på utviklingskompetanse og driftskompetanse Foredrag på NFFs konferanse Arbeidsplassen som læringsmiljø 2000, Bergen 5-6. juni 2000 Norsk Forbund for Fjernundervisning http://www.nade-nff.no/ 3/34 Kvalitet Kvalitetsvurdering Kvalitetsvurdering er en term som anbefales brukt i utdanningssektoren (Van Vucht and Westerheijeden, se ref. i Rekkedals dokument) Kvalitetsvurdering: en systematisk evaluering for å avgjøre i hvilken grad kvalitetsaktivitetene er i overensstemmelse med planlagte tiltak og om produktet (læremateriell, læringsaktiviteter) er effektivt gjennomført og hensiktsmessig med sikte på å oppnå målsetningene. Markedets lov La markedet reagere mot institusjoner og kurstilbud som ikke holder mål. Kvalitet vil lønne seg i den lange løp, og mindreverdige tilbud vil forsvinne av seg selv. Bedre kvalitet når studenten sjøl gjør jobben? dvs. bruk av web-baserte grensesnitt til studieadministrasjon 4/34 2
Kvalitet i fjernundervisningen Mange roller i tradisjonell fjernundervisning Planleggere, utviklere av læremateriell, lærere, studieveiledere, studenter etc Forskjellige personer, seriell utvikling, Derfor behov for å kvalitetssikre arbeidet Campus-institusjonene tilbyr fjernundervisning Jobber på en annen måte En person har alle roller: planlegge, utvikle, veilede, undervise Ingen formelle rutiner for kvalitetssikring Faget blir til mens man underviser 5/34 Mer om kvalitet Vet vi hva målet er? Studenten skal bestå eksamen med en karakter vedkommende er fornøyd med? Studenten er ut etter et vitnemål? Studenten skal ha det trivelig og være fornøyd med de faglige utfordringene og læringsaktivitetene? Målet er forskjellige avhengig av student, dennes bakgrunn etc, dvs differensierte opplegg? Vil en bedrift som kjøper et fagopplegg har klarere oppfatninger av hva som er målsetningen? Er fornøyde studenter aleine en god indikasjon på at læringsopplegget har god kvalitet? 6/34 3
Erfaringene fra AITeL Campusinstitusjoner Enkelt-personen gjør alt AITeL ligger et sted mitt i mellom AITeL NKI, NKS, o.l Produksjonslinjer for fag, formelle kvalitetsprosedyrer Grad av formalisme 7/34 Organisering av e-læring ved AITeL Gjennom hele 90-tallet har FU via Internett vært: Enkelthendelser ved institusjonen Avhengig av ildsjeler Liten støtte fra ledelsen Studentene har hatt vanskelig for å orientere seg, ofte følt seg som hår i suppa E-læringsaktiviten må bli en del av institusjonens faste tilbud Først da kan man snakke om å kvalitetssikre en aktivitet Da har man erfaring og ressurser å sette inn AITeL s erfaringer så langt når det gjelder Læringsmiljøet Studieadministrasjon. kommer i de påfølgende lysarkene. 8/34 4
Læringsmiljøet Struktur og standardisering Semesterordning fast startdato, og eksamen ved semesterslutt Nytt lærestoff legges ut hver tirsdag Innleveringer hver uke Hver student har sin egen personlige veileder Standard webside for hvert fag (stduentene kjenner seg igjen) 2 første leksjoner er åpne Fleksibilitet i tillegg Fleksibel med innleveringer ved behov Fag kan strekkes over flere semestre 9/34 Studieadministrasjon - 1 Faste rutiner hvert semester Påmelding til kurs via Web Utsendelse av faktura kursavgift og semesteravgift Åpner tilgang til faget etter betalt kursavgift Tilsette og fordele veileder (cirka 100 stk) Organisere eksamenspåmeldinger Motta innmeldinger av eksamensskoler (cirka 150 stk) Kommunisere med eksamensskole (utsendelse av oppgaver, lister etc) Mottak av eksamensoppgaver, fordeling av disse, sensur etc 10/34 5
Studieadministrasjon Løpende oppgaver Studieveiledning, oppsett av personlige studieplaner Søknader om fritak for fag Søknader om realkompetanse Svare på 100-vis av e-brev pr uke om alle mulige ting som har med fjernundervisningen å gjøre 11/34 Kvalitetssikring ved AITeL Studieadministrasjon Her er det mer snakk om service-erklæring i stedet for kvalitetssikring Gode rutiner Identifisere problemområder Bygge på erfaring Lage rutiner som har innebygd kvalitetssikring Stole på medarbeidere God støtte i web-baserte systemer Læremateriell og læringsmiljø Her snakker vi om kvalitetsikring i mer tradisjonell forstand 12/34 6
Informasjon og rådgiving - 1 Påmelding til kurs hvilket produkt og hvilke tjenester som han/hun har krav på, og hvilke økonomiske forpliktelser dette innebærer, kompetansekrav, hva det betyr å ta fag uten å ha formell kompetanse Fagpåmelding må kunne annuleres innen en frist Informasjon via kurssekretariatet Svarfrister Frister ved videresending av forespørsel til faglærer Søknader Fritak fag Kompetansevurderinger Frister 13/34 Informasjon og rådgiving - 2 Studenten må ikke bindes til mer enn ett semester om gangen Studentens rettigheter må være lett tilgjengelig Eksamensreglement, trekkfrister, sensur, klagebehandling etc Kontrakt mellom institusjon og student Etter modell fra nettbanker, lages automatisk når student melder seg opp til fag eller eksamen Dokumentasjon Gjennomførte kurs/fag Eksamen Tilgang til fagbeskrivelser (også historikk) 14/34 7
Kvalitetssikre læremateriell Nye fag Behov for faget Inngår faget i et studieprogram Kursbeskrivelser Bruk av standarder Mål, innhold i faget, læringsaktiviteter etc. Del av kontrakten mellom institusjon og student Kvalitetssikre innhold Tid- og ressurskrevende Mange fag betraktes som ferskvare Annet Språkvask Layout, tilpassing til Web, mm 15/34 Kvalitetssikre læringsaktivitetene - 1 System for kontinuerlig oppfølging av læringsaktivitetene Faglærers aktivitet Veileders aktivitet Studentene skal ha tilbakemelding innen gitte tidsfrister Faglærer må ha innsyn i veileders arbeid, f.eks rettinger, diskusjonsgrupper etc. Sender kopi av rettinger til faglærer Hensiktsmessig vurdering og tilbakemelding til studentene underveis og ved kursets slutt 16/34 8
Kvalitetssikre læringsaktivitetene - 2 Planmessig gjennomføring og god kommunikasjon øker kvaliteten Nytt lærestoff hver uke De to første leksjonene er åpne (dvs uten passord) Ukentlige innsendinger besvarelser på øvingsoppgaver, delrapporter prosjekt, statusrapporter, møtereferater Personlig veileder Kommunikasjon på e-post og diskusjonsgrupper Sjekkpunkter underveis Jevnlige tilbakemeldinger/møter med veileder om status rettingsarbeid, responstid, spesielle problemer etc. Faglærer overvåker diskusjonen i diskusjonsgruppa, bl.a antall innlegg etc Gi studentene mulighet for kontinuerlig tilbakemedling på alle faser og områder av aktiviteten. Lærerne betales for å gjøre jobben!?! 17/34 Spørreundersøkelse FU-studenter November 2001 Gjelder studenter som tar fag hos AITeL Spørreskjema: Alle studentene fikk e-brev med anmodning om å svare Spørsmål via Web-skjema Resultatene lagret i database Antall svar: Antall: 453 I prosent: 45% Antall kvinner: 151 Antall menn: 303 I tillegg: 30 sider med kommentarer 18/34 9
Kjønn Kvinner: 151 Menn: 303 SUM 454 8 7 6 5 2 1 Mann Kvinne 19/34 Alder 45,0 % 35,0 % 25,0 % 2 15,0 % 1 5,0 % <20 20-29 30-39 40-49 50-59 >60 20/34 10
Utdanning fra før 6 5 2 1 Ingen høgskole/universitet < 3 år høgskole/universitet > 3 år høgskole/universitet 21/34 Hvorfor fag via Internett nå? 7 6 5 2 1 Min første utdannelse for yrkeslivet Skifter yrke frivillig Påfyll av kompetanse til min nåværende jobb 22/34 11
Studiesituasjon 7 6 5 2 1 På heltid Samtidig med jobb Ved siden av omsorg 23/34 Hvem betaler? 45,0 % 35,0 % 25,0 % 2 15,0 % 1 5,0 % Av egen lomme Arbeidsgiver Aetat Trygdeordninger Annet 24/34 12
Hva synes du om denne måten å studere på? 50,00 % 45,00 % 40,00 % 35,00 % 30,00 % 25,00 % 20,00 % 15,00 % 10,00 % 5,00 % 0,00 % Meget bra Bra passe dårlig svært dårlig 25/34 Ønsket læringsmiljø 8 7 6 5 2 1 Enkel brevmodell Brevmodell + diskusjoner, grupper, prosjekter 26/34 13
Læringsaktivitet og viktighet 400 350 300 250 200 150 100 50 0 Læringsaktiviteter og viktighet meget uviktig uviktig vet ikke viktig meget viktig Hente lærestoff jevnlig Øvingsoppgaver Aktivt på News Lese News IRC Hyppig kontakt faglærer/veileder Ukentlige prosjektmøter Videoforelesning Klassetilhørighet Økt mulighet for kontakt faglærer 27/34 Vurdering av læringseffekt 6 5 2 1 Megt dårlig Dårlig Passe God Meget god 28/34 14
Kvalitet fagene 250 200 150 100 50 Kvalitet fagene meget dårlig dårlig passe god meget god 0 Kvalitet lærestoff Kvalitet øvingsopplegg Kvalitet løsningsforslag Kvalitet rettinger Responstid øvingslærer Nytte av News Helthetsinntrykk læringsaktiviteter 29/34 Vurdering av lærestoffet 250 200 150 Hva synes du om det egenproduserte lærestoffet på Web? Hva synes du om øvingene? 100 Hva synes du om løsningsforslagene 50 0 Svært dårlig Dårlig Greit nok Bra Meget bra 30/34 15
Veileders arbeid 300 250 200 150 100 Fornøyd med kvalitet på øvingsretting Fornøyd med responstida til veileder 50 0 Meget uenig Uenig Vet ikke Enig Meget enig 31/34 Helhetsvurdering 350 300 250 200 Faget svarte til mine forventninger Kan anbefales til venner/kollegaer 150 100 50 0 Meget uenig Uenig Vet ikke Enig Meget enig 32/34 16
Studert via Internett før? 9 8 7 6 5 2 1 nei ja 33/34 Betaler mer dersom tilbudet om læringsaktiviteter utvides 9 8 7 6 5 2 1 nei ja 34/34 17