Rapport om. referansegruppesystemet. ved NTNU. Våren Studentgruppa for Alternativ Undervisning

Transkript

1 Rapport om referansegruppesystemet ved NTNU Våren 2008 Studentgruppa for Alternativ Undervisning 1

2 Til: Utdanningsutvalget ved NTNU Studenttinget KVASS Program for lærerutdanning UniPed FTRer ved DMF, HF, SVT, IME, NT, IVT, KIT Prorektor Julie Feilberg Ole K. Solbjørg Innholdsfortegelse 1. Bakgrunn 2. Resultatet av undersøkelsen 3. Om spørreundersøkelsen 4. Konklusjon og anbefalinger 5. Kilder 6. Vedlegg 2

3 1. Bakgrunn For å evaluere emnene som det foreleses i på universitetet har NTNU valgt å ta i bruk et referansegruppesystem. Prinsippene for hvordan referansegruppesystemet finnes på KVASS sine hjemmesider. AltUnd har gjennom høsten 2007 og vårsemesteret 2008 jobbet med å lage en rapport som samler noen av fakultenenes erfaringer av referansegruppesystem på NTNU. I den forbindelse har AltUnd utført en uavhengig undersøkelse av referasegruppesystemet ved NTNU. Vi har snakket med FTRer, instituttansatte, referansegruppemedlemmer og øvrige studenter. I tillegg til disse samtalene har vi gjennomført en spørreundersøkelse via Innsida. Undersøkelsen var åpen for alle studenter ved NTNU, og 553 svar kom inn. I vårt arbeid har vi tatt utgangspunkt i disse spørsmålene: Hvordan fungerer referansegruppene ved de ulike fakultetene? Dannes det referansegrupper i alle fag? Hva gjøres i de emnene hvor det ikke opprettes referansegrupper? Møtes referansegruppene regelmessig? Er det engasjement for å være med i gruppene blant studentene? Lages det erfaringsrapporter etter endt kurs/semester? Hva er kvaliteten på disse? Får referansegruppene tilgang til fjorårets evaluering? Er referansepersonskrivene tatt i bruk ved deres fakultet? Hva kunne vært gjort annerledes? Det har ikke vært noe mål for AltUnd å gi en systematisk fremstilling av referansegruppesystemet. Istedenfor har vi forsøkt å finne noen felles trekk og problemer ved referansegruppesystemet ved de forskjellige fakultetene, som kan peke på noen felles, generelle tendenser. Spørreundersøkelsen ble ikke gjennomført for å gi noe kvantitativt bakgrunnsmateriale til rapporten, men målet var først og fremst å få et innblikk i studenters syn på, og oppfatning av, referansegruppesystemet. 3

4 2. Resultatet av undersøkelsen Vi har oppsummert informasjonen vi gjennom samtaler med studenter, FTRer og instituttansatte og presenterer denne fakultet for fakultet. Videre kommer en kort presentasjon av resultatet av spørreundersøkelsen. Denne undersøkelsen finnes også som vedlegg. Til slutt har vi formulert en mer generell konklusjon, og kommet med noen anbefalinger Det Medisinske Fakultet Fakultetet har et eget system for gjennomføring av emneevaluering. I de medisinske fagene velges det en tillitsrepresentant og en vara per kull, som sitter to semestre av gangen. Representantene jobber sammen med en ansatt semesterkoordinator om evalueringen av undervisningen for det inneværende semesteret. Semesterkoordinatoren gjennomfører oppstarts, midtsemester-, eksamensog sluttsemesterevaluering i form av felles samlinger for alle kullets studenter. Erfaringer og kommentarer samles i semesterrapporter til fakultetsadministrasjonen, og det legges opp til at studentene skal kunne jobbe tett opp mot sin semesterkoordinator for å ha mulighet til å gjennomføre eventuelle endringer/forbedringer kontinuerlig. Ved fakultetets masterstudier benyttes det tradisjonelle referansegrupper for evaluering av undervisningen. Masterstudentene mener dette gjennomføres med varierende kvalitet avhengig av de ulike faglærere og størrelse på studentmassen i de enkelte fag. Studentrepresentantene synes ordningen ved fakultetet funger bra, men peker på at bruken av mange forskjellige forelesere i løpet av semesteret gir problemer når det gjelder å gi direkte tilbakemelding til hver enkelt foreleser. Studentutvalget ved DMF vil denne våren se på alternative muligheter for å gjennomføre evalueringen av de medisinske fag. Dette på bakgrunn av ønsker fra studenter om evaluering rettet mer mot enkelt fag, forelesere og fagansvarlige. En løsning med bruk av egne referansegrupper for hver enkelt fagområde i et semester er i denne sammenheng foreslått. En evalueringsform for kvaliteten og forbedringspotensialet av de enkelte uketjenester i stadium to og tre savnes av studentene Fakultet for Ingeniørvitenskap og Teknologi Ved IVT-fakultetet oppleves det ikke som noe problem å rekruttere folk til referansegruppene. Om det mot formodning skulle være et problem med rekrutteringen, faller dette ansvaret på en pedagogiske koordinator, en stilling som er nyopprettet ved fakultetet. I små fag (mindre enn 4

5 20 studenter) dannes det ikke alltid referansegrupper. Dette er fordi man heller bruker allmøteprinsipp, slik at referansesgruppa i realiteten er alle studentene som tar faget. Det er en professor på fakultetet som er ansatt som pedagogisk koordinator. Han har blant annet som oppgave å følge opp referansegruppene. Det har blitt utarbeidet en ny og mer presis instruks som ivaretar kontinuitet i referansegruppearbeidet. Pedagogisk koordinator har tilgang på referansegruppereferatene og skal sørge for kontinuitet. Han har også ansvar for koordinering av midtsemesterprøver og lignende, samt at at fagevalueringene blir fulgt opp. En annen tendens ved IVT er at instruksen til referansegruppene og faglærerne oppleves som for kompleks og omfangsrik. Informasjonen drukner og mange mener at instruksen ikke burde overgå mengden på et A4-ark. Ved IVT har man de største problemene med fag som ikke tilbys av fakultetet selv, men som er obligatoriske for studentene, for eksempel Matematikk 1. Om det er misnøye med dette faget har ikke IVT noen myndighet til å gi noen sanksjoner eller lignende, fordi dette faget er organisert under IME Fakultet for Arkitektur og Billedkunst Informasjonen vi har fått tyder på at referansegruppene fungerer bra. Faglærerne har fått beskjed om at hvert fag skal ha en referansegruppe, med en fra hver av de tre delene som klassen er delt opp i. På slutten av kurset setter de seg sammen og gjør en evaluering, som regel etter at hver representant har snakket med sin gruppe først. Det ser ut til å være opp til faglærer hvorvidt han eller hun møter referansegruppen underveis i semesteret. Det er lite kontakt mellom referansegruppene og de valgte representantene, det vil si FTR og KTR. Semesterrapporter blir skrevet i de fleste fag, men det er usikkert om disse faktisk videreformidles og fører til noe. Ved KiT benytter man seg ikke av referansegrupper. I stedet er det årlige evalueringer, der kullet på studenter møtes i et slags allmøte med prodekan og en eller to professorer. Dette skjer ikke ved faste tidspunkt, men er spredd utover året slik at evalueringene til de ulike kullene ikke foregår samtidig. Resultatet er at alle kull får en evaluering omtrent en gang i året. Tanken er at man skal kunne konsentrere seg om et kull av gangen, slik at professorer og administrasjon har god tid til å forandre på ting som ikke fungerer så godt og legge opp undervisningen til høsten. Utover dette er det ingen direkte evaluering, men det fortelles om at de har hatt et ønske om å få en bedre og direkte evaluering av workshopper, kurs o.l., som per i dag ikke evalueres. Det er 5

6 viktig at disse fungerer, for det er aktiviteter som tar opp mye tid. Instituttet har vist seg å være lydhøre for klager, men det er en tendens til at studentene gir tilbakemelding litt for sjeldent, da det er helt opp til dem. Det er bare 60 studenter ved instituttet, noe som gjør at det er et svært nære forhold mellom studenter og ansatte. Dette kan gjøre det vanskeligere å si i fra. Et annet alternativ er å komme anonymt til studentrådsleder, som tar saken videre. Dette har skjedd ved enkelte anledninger Det historisk-filosofiske fakultet Gjennomføringen av evalueringen varierer i forhold til hver enkelt foreleser og hvert enkelt emne, til tross for at HF, sammen med DMF og SVT, er de eneste som har laget fakultetsvise løsninger på referansegruppearbeidet. Mange opplever at foreleserne ikke alltid er like interessert i å følge den formelle referansegruppestrukturen. Selv om mange forelesere ikke prinsippielt er imot vurderingsgrupper, er det en tendens til at de ikke engasjerer seg så mye i gruppene. Man kan anta at dette kommer av et dårlig studentengasjement i referansegruppene, et problem som er tydelig på HF på grunn av mange fjernstudenter og åpne studieopplegg. Likevel er de fleste foreleserene åpne for å snakke om faget med studentene, og i å gi disse en mulighet til å påvirke hvordan undervisningen skal legges opp i de kommende semestre. Nettundersøkelsen er stor grad tatt i bruk, men blir sjeldent diskutert i etterkant av foreleser og studenter. Dermed blir det vanskelig for studentene å få kjennskap til hva slags faktisk innvirkning evalueringen har på undervisningen Fakultet for samfunnsvitenskap og teknologiledelse I likhet med andre fakulteter varierer funksjonaliteten av referansegruppene ved SVT relativt mye, og det er delte meninger om hvordan systemet fungerer. Erfaringen til nå er at innføringen av referansegruppesystemet har vært litt tregt å få igang. Fra sentralt hold ved SVT har det vært uklart hvem som egentlig har ansvaret for å få etablert og følge opp referansegruppene. Slik har det blitt en manglende kontinuitet i etableringsfasen og oppfølging av referansegruppene. Derfor er det litt tilfeldig hvordan referansegrupper fungerer ved hvert enkelt fag, og er avhengig av viljen til hver enkelt faglærer. Ved fag med store elevkull har det vært vanskeligere å etablere referansegrupper som fungerer. Fag som har en mindre antall studenter ser ut til å fungere bedre. Slike fag kan også ha andre kommunikasjonskanaler som fungerer bra mellom studenter og faglærer, som for eksempel klassekontakter. 6

7 Fakultetet har i samråd med KVASS sine anbefalinger utarbeidet retningslinjer for bruk av referansegrupper, og det ser ut til at referansegruppesystemet nå er vesentlig bedre enn det har vært. Fagemner som ikke har opprettet referansegrupper må nå begrunne dette med andre velfungerende evalueringssystemer som erstatter referansegruppene. Evalueringsrapportene blir gjennomgått og arkivert ved semesterslutt. Studenter får i liten grad tilgang til tidligere års rapporter Fakultet for informasjonsteknologi, matematikk og elektronikk Fakultetet er det eneste fakultet som har opprettet studentassistentstilliner knyttet til referansegruppeordningen. Stillingene dekker på mange måter den samme rollen som IVTs pedagogiske koordinator. To evalueringsstudentassistenter oppnevnes hvert semester, en for sivilingeniøremnene og en for realfagsemnene. Dette har ført til at bruken av evalueringsformer er godt kartlagt på fakultetet, og frekvensen av vellykket evalueringsarbeid på emnene ser ut til å være høyere. Evalueringsstudass på sivilingeniør emnene, Marthe Hoen, melder at blant undersøkte emneområdene har de aller fleste referansegrupper. Bare unntaksvis er det ikke opprettet grupper på første, andre og tredje årskurs (se vedlagt rapport). I løpet av semesteret sendes det også ut et motiveringsbrev til faglærerne om hvorfor det burde benyttes referansegrupper, og det bes samtidig om at faglærerne begrunner valget om å ikke å opprette det. Tidligere års evalurering av de ulike fagene skal ikke gjøres kjent for nye referansegruppemedlemmer, slik det har uttalt ønske om fra Studentrådet ved IME. Dette begrunnes av Studieutvalget ved IME med at det kan føre til en forutinntatthet hos studentene, i tillegg til at de fleste problemer løses i inneværende semester. Studentrådet ved IME har tidligere avholdt et ekstra kurs for å lære opp elevene i hvilke muligheter og rettigheter man har igjennom referansegrupper. Dette er noe det jobbes med å få til igjen Fakultet for naturvitenskap og teknologi På NT-fakultetet er det lite samordning og samarbeid rundt referansegruppesystemet. Det eksisterer ingen sentral administrasjon som samordner alle referansegrupper eller referansegruppesystemet som helhet. Det blir ikke delt ut generell informasjon til studentene om hva referansegrupper er, eller hvilke muligheter dette gir studentene. Personer som sitter i referansegrupper får lite eller ingen informasjon om sin oppgave i forhold til studenter og forelesere. KVASS har laget et 7

8 informasjonsskriv som ikke er tatt i bruk. Det er en tendens til en svært høy terskelen for å gå til referansegruppepersonene med saker man er misfornøyd med. Det er også blitt nevnt at det ikke er alle måter referansegruppene blir valgt på som er like heldige. I enkelte store fag der det er vanskelig å få studentene til å melde seg har det hendt at foreleseren plukker ut studenter til gruppa som ikke engang har meldt seg frivillig. Til tross for dårlig organisering ser det ut til at de fleste fag har opprettet referansegruppe, og at undervisningsansvarlige møter med disse i henhold til forskriftene. Det blir også sagt at flere studenter er fornøyde med responsen foreleser gir på kritikk av emnet og undervisningen. 3. Om Spørreundersøkelsen 3.1 Gjennomføring og deltagelse Spørreundersøkelsen ble gjort elektronisk og annonsert på Innsida. I løpet av de ti dagene undersøkelsen var åpen, svarte totalt 553 personer. To deltagere ble trukket ut som vinnere av gavekort. Fordelingen av svarene ut ifra de enkelte fakulteter var jevn, med flest besvarelser fra SVT, NT og IME. Det var også en jevn fordeling av svar fra studenter på de ulike årskullene. 3.2 Grad av tilfredshet med evalueringsarbeidet 265 stk (47 %) svarer at de verken har et godt eller dårlig inntrykk av evalueringsarbeidet. 26 % av de spurte har et godt inntrykk, mot 19 % med et dårlig inntrykk av dette arbeidet. Fire prosent svarer at de har et meget dårlig inntrykk. 3.3 Kjennskap til bruken av referansegrupper for evaluering av undervisningen En klar majoritet av de spurte (78%) svarer at de kjenner godt til bruken av referansegrupper. 15 % svarer at de har hørt om referansegruppene, men føler seg usikker på hva deres arbeid går utpå. 80 % av de spurte har aldri sittet i en referansegruppe selv (spm 9), men dette kan tyde på at de likevel er informert om hva referansegruppene brukes til. 3.4 Grad av bruk av referansegrupper 82 % svarer at de tar fag hvor referansegrupper er den vanligste formen for evaluering av 8

9 undervisningen. Ti prosent svarer at de opplever evalueringen som lagt opp på annet vis. Sju prosent svarer at de verken har referansegrupper eller evaluering av undervisningen på annet sett. Dette går igjen i spørsmål sju hvor seks prosent svarer at det aldri ble opprettet noen referansegruppe eller gjennomført evaluering på andre måter. Hele 48 % av de spurte har hatt enkelt fag der det ikke opprettes noen referansegruppe, mot 44 % som ikke har opplevd dette. 3.5 Opprettelsen av referansegrupper 51 % av de spurte kjenner seg igjen i et situasjonsbilde hvor studentene vet for lite om hva referansegruppe arbeidet går ut på til å kunne engasjere seg i en slik gruppe. Dette er noe motstridende fra tidligere spørsmål om kjennskapen til ref.grupper (punkt 3) Den store andelen tyder likevel på at viktigheten av god informasjon om både rutiner og intensjoner for en referansegruppes arbeid er stor i forkant av opprettelsen av gruppen. 29 % svarer at de ser på viktigheten av evalueringen og bruken av referansegrupper som viktigste grunn til å melde seg for dette arbeidet. 11 % har opplevd at faglærer selv velger vilkårlig ut medlemmer til referansegruppen. 3.6 Andre former for evalueringsarbeid (spm 8) Svarene her tyder på at det er stor variasjon i hvordan evalueringen legges opp både mellom de ulike fakulteter, og for enkelte fag ved hvert fakultet. Det trekkes frem bruk av forum på It`s learning, spørreundersøkelser, samt et mindre behov for referansegrupper i fag med få studenter. 3.7 Gjennomføringen av evalueringen Den vanligste formen å legge opp evalueringen på er etter undersøkelsen (38 %) med møte mellom faglærer og studenter (ref.gruppe) ved oppstart, midttermin og ved sluttevaluering av faget. Ni prosent av de som har sittet i en referansegruppe svarer at de aldri hadde møte med faglærer. Av andre måter å gjennomføre dette på, dominerer ett møte med faglærer ved slutten av evalueringsperioden. 9

10 3.8 Bruk av erfaringsrapporter 70 % av de spurte som har sittet i en referansegruppe svarer at det aldri ble skrevet noen erfaringsrapport fra evalueringen til neste års studenter. Dette fanger neppe opp eventuelle erfaringsrapporter faglærer skriver uavhengig av referansegruppen. Inntrykket av at bruken av erfaringsrapporter er liten går igjen ved at 94 % av de spurte som har sittet i en referansegruppe svarer at de aldri fikk tilgang til fjorårets evalueringsrapport for det respektive emne/fag. 3.9 Bruk av erfaringsskriv til referansegruppemedlemmer Tolv prosent av de spurte som har sittet i en referansegruppe har mottatt et CV skriv som bekreftelse på deres arbeid i en referansegruppe Opplevelse av referansegruppearbeidet 61 % av de spurte som har sittet i en referansegruppe svarer at de opplevde gruppens arbeidsoppgaver/ansvar som vell definert. 38% har den motsatte opplevelsen, her går det igjen at flere ikke viste hva gruppen egentlig skulle gjøre, eller selv måtte definere hva de skulle gjøre og hvordan evalueringen skulle legges opp Kjennskap til KVASS 80 % av alle spurte i undersøkelsen har aldri hørt om KVASS - NTNUs system for kvalitetssikring av undervisningen. Bare åtte av de 192 spurte som har sittet i en referansegruppe svarer at de benyttet seg av KVASS sine ressurser i referansegruppe arbeidet. 4. Konklusjon og anbefalinger Praksisen rundt referansegrupper er svært sprikende på både Dragvoll og Gløshaugen, men det er tendenser til et par hovedproblemer som gjelder alle fakultenene. Det ene er motivasjonen blant studenter til å engasjere seg i referansegrupper. Dette problemet må sees i sammenheng med det andre hovedproblemet som er dårlig informasjon og for liten kunnskap om referansegruppesystemet. 10

11 I Nokuts rapport fra 2006 som vurderer NTNUs system for kvalitetssikring, påpekes det at tilbakemeldingene som skal gis til studentene om resultatet av evalueringer ofte fungerer dårlig (NOKUT 2006). I tråd med Nokuts rapport fant også AltUnd en tendens til at det mangler gode rutiner på gjennomføring av semesterrapporter. Mange av de spurte studentene uttrykker at de er misfornøyde med å ikke få tilgang til resultatet av referansegruppearbeidet. En informasjonssvikt i refeansegruppearbeidet fører til dårlig kontinuitet fra kull til kull, og kan være en faktor som svekker studenters motivasjon for å engasjere seg i referansegrupper. Vi ser en tendens til at referansegruppene fremstår for studentene som en formalitet uten faktiske effekter. Dette er som oftest ikke tilfelle, men mangelen på informasjon fører til at studentene mister det engasjementet de burde ha for å delta i referansegruppene. Videre er det en tendens til at KVASS sine nettsider og informasjonsmateriell oppleves som uoversiktlige. I tillegg er kjennskapen til KVASS minimal blant studentene. Selv om KVASS i første omgang skal være en kilde for retningslinjer i kvalitetssikringsarbeidet som de ansatte kan benytte seg av, er det også tenkt som en nettressurs for studenter. Inntrykket vårt er at bare et fåtall studenter kjenner til KVASS, og at enda færre faktisk har sett på de nettressurser som tilbys. Informasjonsmangelen gjør også at det arbeidet som nedlegges i referansegruppene ikke blir utnyttet maksimalt fordi den nye referansegruppen ikke får tilgang til fjorårets evalueringsrapporter. Videre er det en tendens til at mangelen på kontinuitet av referansegruppearbeidet og lite kunnskap om referansegruppesystemet gir grobunn for dårlig motivasjon og lite engasjement blant studenter, og forelesere, for referansegruppearbeid. På bakgrunn av tendensene vår uavhengige undersøkelse peker på har AltUnd kommet frem til noen anbefalinger til hva som bør gjøres for å forbedre referansegruppesystemet. I innstillingen fra Utvalget for Kvalitetssikring ved NTNU fra 2003 understrekes det hvordan kvalitetssystemet skal være "enkelt, robust og ubyråkratisk." AltUnd tolker dette slik at det bør være et standar rammeverk for gjennomføring av emneevaluering for alle fakultenene. Etter å ha fått på plass et grunnleggende rammeverke bør det være mulig for instituttene å tilpasse emneevalueringen selv. På den måten vil systemet gi rom for fleksibilitet og unngå å fremstå som en byråkratisk tvangstrøye. Fokuset bør først og fremst legges på holdningsskapende arbeid, og ikke på ytterligere formelle krav. Selv om strukturen på kvalitetssikringsarbeidet er viktig, bør det ikke tvangsinnføres tiltak, fordi slike tiltak kan svekke den kvaliteten tiltakene er ment å sikre. På bakgrunn av dårlig kontinuitet i referansegruppearbeidet burde en av de viktigste oppgavene for referansegruppen og foreleseren være sluttrapporten som skal skrives etter endt 11

12 semester. Ved å skrive en rapport som oppsummerer det som har blitt gjort tidligere, og som gir informasjon om de sakene studentene mener trenger videre behandling, kan man sikre den kontinuiteten som mangler i fag som hele tiden har nye studenter. AltUnd mener at semesterrapporten bør inneholde forslag til hva neste semesters gruppe kan fokusere på. Slik blir det lettere for neste gruppe studenter å sette seg inn i referansegruppearbeidet. Problemet med kontinuitet er noe mindre ved fag hvor man har lange fastlagte studieløp, som for eksempel på IVT og medisin. Likevel mener AltUnd at det uavhengig av hvilket fakultet det er snakk om bør være mulig for den nyoppsatte referansegruppen å få tilgang til og lese gjennom rapporter fra tidligere semestre. Et annet forslag er gjennomføring av en midtsemesterevaluering f.eks på nett i tillegg til den som nå vanligvis gjennomføres på slutten av semesteret. Slik kan man få større mulighet til å ta opp problemer og gjøre endringer før semesterets slutt. På den måten vil kanskje studentene føle at den tilbakemeldingen de gir har noe å si, og de vil lettere se nytten av evalueringen. Dette kan igjen påvirke studenters motivasjon og engasjement i referansegruppearbeidet. På IME er det innført læringsassistentsstillinger som utelukkende jobber med kvalitetssikring, referansegrupper og rapporter. Det ser ut til å være et godt tiltak i en situasjon hvor det er strukturen på instruksene og rapportinformasjon som byr på vanskeligheter, og ikke selve referansegruppearbeidet. AltUnd anbefaler at det innføres bruk av studentassistenter for kontroll av referansegruppeordningen ved alle fakultene. Vi har med denne rapporten ikke forsøkt å gi noen fullstendig fremstilling eller kritikk, men prøvd å få frem noen problemer som vi ser som essensielle i forhold til referansegruppesystemet. Selv om mye av det som er blitt sagt og dokumentert i denne rapporten er gammelt nytt for mange, håper vi at det å samle informasjonen i et kort oversiktlig dokument av denne typen kan bidra til å gjøre referansegruppesystemet mer fruktbart. 12

13 5. Kilder Kvalitetssikring av undervisning og læring ved NTNU, Innstilling fra Utvalget for kvalitetssikring ved NTNU, 13. november si_22524a.pdf [tilgjengelig: ] Nokut Evaluering av system for kvalitetssikring ved Norges teknisk naturvitenskapelige universitet. Rapport fra Sakkyndig komité, avgitt 9. november [tilgjengelig: ] 6.Vedlegg 6.1."Kartlegging av referansegrupper for emnene TMA, TTK, TFE, TTT, TDT, TET og TTM (siv.ing.)", Hoen, Evalueringsstudentassistent Fakultet for informasjonsteknologi, matematikk og elektroteknikk (IME) Våren Spørreundersøkelse om referansegruppesystemet ved NTNU av AltUnd (2008) 13

14 Kartlegging av referansegrupper for emnene TMA, TTK, TFE, TTT, TDT, TET og TTM (siv.ing.) Marthe K Tautra Hoen Evalueringsstudentassistent Fakultet for informasjonsteknologi, matematikk og elektroteknikk (IME) NTNU Våren 2006 Trondheim Sivilingeniøremnene Innledning I arbeidet som evalueringsstudentassistent har jeg kartlagt bruken av referansegrupper i sivilingeniøremnene på IME-fakultetet våren Instituttene som dette gjaldt for er 1 Institutt for datateknikk og informasjonsteknologi (IDI) fagkoder TDT 2 Institutt for matematiske fag (IMF) fagkoder TMA 3 Institutt for teknisk kybernetikk (ITK) fagkoder TTK 4 Institutt for elektroteknikk og telekommunikasjon (IET) fagkoder TFE og TTT 5 Institutt for elkraftteknikk (Elkraft) fagkoder TET 6 Institutt for telematikk fagkoder TTM Jeg har konsentrert meg om fag fra første til tredje årskurs, da bruken av referansegrupper er mest utbredt blant disse. For å kartlegge hvilke fag dette gjaldt brukte jeg studiehåndboken og nettsidene til instituttene. Videre gikk jeg inn på de forskjellige fagenes sider, og sjekket om det var opplysninger om referansegrupper. I de tilfellene det ikke var det, sendte jeg e-post ut til faglærerne. I e-posten spurte jeg om de hadde opprettet referansegrupper og i tilfelle hvilke medlemmer den hadde. Dersom de ikke hadde opprettet referansegrupper spurte jeg hva grunnen var til det. 14

15 I tillegg til å kartlegge bruken av referansegrupper sendte jeg også ut et evalueringsskjema til faglærerne som hadde oppgitt at de hadde referansegrupper. Dette skjemaet skulle fylles ut enten av referansegruppen alene eller sammen med faglærer. Formålet med spørreskjemaet var å finne ut om referansegruppene fungerer slik de skal, og om det er eventuelle problemer. Dette spørreskjemaet ble sendt ut rimelig sent i semesteret, slik at en evaluering av disse ikke får plass i rapporten. Fordi jeg ble tilsatt i stillingen litt ut i semesteret, kom jeg for sent i gang til å påvirke noen av foreleserne i særlig grad hvorvidt de skulle opprette referansegrupper eller ikke. Likevel viste det seg at det er svært utbredt med bruk av referansegrupper som et ledd av kvalitetssikringen av undervisningen. Det må også bemerkes at flere og flere fag benytter seg av it s learning, og da blir faginformasjonen skjult for studenter som ikke har meldt seg opp til faget. Derfor kan det være vanskelig å finne faginformasjon. Referansegrupper på IMF (TMA) På institutt for Matematiske fag er det bare et fag der det ikke ble opprettet referansegruppe, og det var på grunn av sykdom tidlig i semesteret. Det var i faget 1 TMA4150 Algebra og tallteori: Faglærer var syk tidlig i semesteret, og fikk derfor ikke opprettet referansegruppe. Jeg har fått opplyst om at det er mange av fagene på Matematisk institutt som kjører fagevaluering i slutten av semesteret. Dette sies å fungere veldig godt. Referansegrupper på IDI (TDT) Referansegruppebruken på Institutt for datateknikk er rimelig bra, men det er noen emner som ikke har opprettet referansegrupper eller ikke har svart på e-post. Disse er 1 TDT4130 Prosedyreorientert programmering: Har ikke svart på e-post 2 TDT4100 Objektorientert programmering: Har ikke svart på e-post 3 TDT4140 Systemutvikling: Har ikke svart på e-post 4 TDT4175 Informasjonssystemer: Har ikke svart på e-post 5 TDT4220 Ytelsesvurdering: Har ikke svart på e-post 6 TDT4260 Datamaskinarkitektur: Har ikke dannet referansegruppe. Referansegrupper på ITK (TTK) Alle fagene på teknisk kybernetikk benytter seg av referansegrupper. I tillegg har fagene tilknyttet instituttet fagevaluering på slutten av semesteret. Referansegrupper på IET (TFE og TTT) Fagene tilknyttet institutt for elektroteknikk og telekommunikasjon. 1 TFE4110 Digitalteknikk med kretsteknikk: Siden faget lå på it s learning fikk jeg ikke tak i informasjon om faglærer i faget. 2 TFE4115 Avanserte elektroniske system: Fikk ikke svar på e-post sendt til e-postadressen som var opplyst på nettsiden. 15

16 3 TFE4140 Modellering og analyse av digitale systemer: Fikk ikke svar på e-post. 4 TFE4145 Elektronfysikk: Fikk ikke svar på e-post. Referansegrupper på Elkraft (TET) Her er det bare to fag det enten ikke er opprettet referansegruppe i, eller som ikke har svart på e- posten. Det er 1 TET4180 Stabilitet i elkraftsystemer: Få studenter gjør referansegrupper overflødig, men evaluerer faget I slutten av semesteret. 2 TET4110 Elektriske maskiner: Har ikke svart på e-post Referansegrupper på Telematikk (TTM) Fagene som ikke har opprettet eller svart om referansegrupper er 1 TTM 4115 Engineering Distributed real Time Systems: Har ikke hatt referansegruppe pga få studenter. Men har evaluering og åpen diaglog 2 TTM4128 Service and Resource Management: Første gang faget undervises, derfor har tilbakemelding blitt gjort i plenum 3 TTM4135 Information Security: Har ikke svart på e-post. 1 TTM4130 Nettintelligens og mobilitet: Fant ikke opplysninger om faglærer siden faget lå på it s learning. Prøvde å sende e-post til generert e-postadressen basert på fagkoden, men fikk ikke svar. Det viser seg at bruken av referansegrupper er svært utbredt på IME-fakultetets sivilingeniøremner, og i særlig grad i emner i de tre første årskursene. 16

17 7.2. Referansegruppeevaluering ved NTNU av AltUnd En kort spørreundersøkelse for å undersøke oppslutning, tanker og meninger rundt referanseguppeordningen ved de ulike fakulteter ved NTNU som benytter seg av denne ordningen. Spørsmål nr: 1 Hvilket fakultet studerer du ved? Antall svar: HF : 85 2 SVT : DMF : 43 4 IVT : 68 5 NT : AB : 8 7 IME : Annet : 5 Spørsmål nr: 2 Om du studerer på Bachlor/Master nivå hvilket år i utdannelsen er du på? Antall svar: år : år : år : år : 93 5.år : 76 6.år : 15 17

18 Spørsmål nr: 3 Hvilket inntrykk har du av evalueringsarbeidet med undervisningen ved ditt fakultet? (1 - meget dårlig inntrykk 5 - meget godt inntrykk) Antall svar: : 23 2 : : : : 10 Spørsmål nr: 4 Har du hørt om bruken av referansegrupper for evalueringen av undervisningen ved NTNU? Antall svar: Ja, kjenner godt til bruken av referansegrupper : Ja, men er usikker på hva det går utpå : 86 3 Nei, jeg har ikke hørt om referansegruppe ordningen : 35 18

19 Spørsmål nr: 5 Finnes det en referansgruppe i dine fag, som tar seg av evalueringsarbeidet av undervisningen dere får? Antall svar: Ja - vi har referansegruppe/grupper : Nei - vi har ikke referansegrupper : 42 3 Nei -evalueringen av undervisningen er ordnet på annet vis : 56 Spørsmål nr: 6 Har du /eller har du hatt fag/emner hvor det ikke opprettes noen referansegruppe? Antall svar: Ja : Nei : Vi har ikke referansegrupper : 38 19

20 Spørsmål nr: 7 Hvordan opplever du opprettelsen av nye refransegrupper i et fag. Kjenner du deg igjen i ett eller flere av nedenforstående situasjoner? Antall svar: Referansegruppe arbeidet oppleves som viktig - Folk melder seg frivillig til å være med : Folk vet for lite om hva arbeidet går utpå til å engasjere seg i en referansegruppe : Faglærer velger selv ut noen studenter til å sitte i referanse gruppen : 65 4 Det ble aldri etablert noen referansegruppe, eller gjennomført noen evaluering på andre måter : 37 Spørsmål nr: 8 Har du opplevd andre måter å organisere evalueringen av undervisningen du får? Antall svar: 243 -Spørreundersøkelse i siste forelesning. -I fag med færre enn 10 studenter er det blitt gjennomført muntlige og skriftlige evalueringer med hele klassen som referansegruppe. -Har hatt forelesere på nordisk som har delt ut evalueringsskjema på slutten av semesteret. Liker det kjempegodt, gir rom for at alle studentene kan skrive akkurat det de tenker. -Har stort sett kun hatt referansegrupper, men har følt at idsse fungerer bra. -Terminevaluering; møte mellom kull og terminleder -Ikke annet enn tilbakemeldinger under forelesningen. -Ja, i luftforsvaret måtte man etter endt kurs krysse av skjema for evaluering av instuktør. Hvis instruktør oppnådde dårlig tilbakemelding, ble han tatt vekk fra stillingen etter en advarsel. -Ja ved Medisin gjøres dette gjennom Kull tillitsvalgte -munlig evaluering ved terminslutt, men har ikke intrykk av at det følges opp -Spørreskjemaer som deles ut i en av de siste forelesningene er populært, for da møter stort sett bare de som liker foreleseren opp. -tillittsvalgt i kullet vårt tar seg av det -Ja, noen fag benytter, i tillegg til referansegruppe, spørreundersøkelser ala denne på slutten av året som evalueringsmetode.det jeg savner er arbeid sentralt med å kvalitetssikre undervisning. F.eks. webspørreundersøkelse etter hvert fag for å evaluere foreleser, og som blir lest av andre enn han. -Spesiell gruppe satt opp for å vurdere enkeltdeler av undervisningen - f.eks en tverrfaglig gruppe, også med studenter som skulle evaluere PBL ved DMF. -Nei,men noen bør kanskje høre mer etter hva som blir sagt og hva det er som kan rettes på... Har levert tilbakemeldelse i hvert fag på slutten av semestret via it's learning (spørreundersøkelse angående undervisning) -Nei, jeg har bare vært borti referansegrupper, og det har fungert fint. Studentene er slappe med å melde seg, mens mitt inntrykk er at de fleste forelesere tar dette alvorlig og tar til etterretning det som evt kommer opp. -har ikke med spm 8 å gjøre. hos oss er det veldig forskjellig fra fag til fag om det er referansegruppe eller ikke! (arkeologi) -Undervisningen i noen fag er så dårlig at man tør vel ikke å ha referansegrupper, for da finner man vel ut ting et universitet ikke kan være bekjent av. -Jeg synes at en aktiv bruk av forum for faget på it's learning ofte er mer praktisk en referansegrupper. -Allmøte ved slutten av semesteret, evaluering i plenum sammen med faglærer(e). Ikke alltid like vellykket, ender stort sett opp med mye lite konstruktiv kritikk fra elever til lærere... -Vi har så små fag (rundt 5 i forelesning) så er ikke lenger behov for referansegruppe da alle kan snakke med foreleser om det er noe. 20

21 -Vi har fag.kom, en undergruppe av HC, som jobber opp mot institutter og fakultetet. Gruppen videreformidler tilbakemeldinger fra referansegruppene i hvert fag som ligger innenfor fakultetets fagområde. Alle referansegruppene skriver en rapport etter endt semester. Jeg har intrykk av at det er seriøst arbeid. -Vel frivillig melder de seg, men hvorvidt de er representanter for klassen og/eller hvor vidt de vet hva de går til varierer litt. Spesielt ved de lavere årskurs. -Kullevaluering muntleg ein time. Tillitsvald skriv referat. -Vi har en forelesningstime eller to hvert semester der vi evaluerer terminen sammen med semesterkoordinator -I fag på master hvor det er veldig få oppmeldte oppnevnes ofte ikke referansegruppe, men evalueringen foregår direkte mellom faglærer/student -Nei kun opplevd arbeid gjort gjennom referansegruppen som aktuelt og resultatnyttig. -Felles evaluering i klassen uten lærer til stede, organisert av referansestudentene. -Skjema fra foreleser med individuell tilbakemelding fra alle som var på siste forelesning.muntlig felles evaluering. -enkelte emner benytter de veiledende sjkemaene gitt av KVASS, men dette er ikke mange. I de emnene hvor skjemaene er blitt benyttet opplever jeg at bare en brøkdel av de fagansvarlige følger opp evalueringene de mottar. Jeg har selv fått direkte henvendelse av en fagansvarlig etter en slik evaluering, hvor fagansvarlig ønsket å diskutere tilbakemeldingene de hadde fått for å få bedre forståelse av hva tilbakemeldingene gikk ut på. Det! oppfatter jeg som positivt! Men stort sett fungerer ikke dette i det hele tatt. Evalueringer vha skjemaer på nett utføres fordi det skal gjøres, og så skjer det ikke noe mer. Dersom et evalueringssystem skal fungere må institusjonen gå inn for å følge opp de tilbakemeldingene som kommer. Ikke bare samle skjemaer å putte dem i en skuff. Mye av problematikken ligger i den alt for svake personalpolitikken til NTNU. De er feige og tør ikke viderebringe evalueringer av hverandre. NTNU stiller ikke sterke nok krav til sine ansatte. Gud, dette skulle vært publisert! -I tillegg til referansegrupper fyller vi også ut et evalueringsskjema på it`s learning. -Kommentar til et par spørsmål med ikke dekkende alternativer:sprs. 5: Fleste fag har referansegrupper. Hvorvidt de brukes til evaluering, og ikke bare kontaktledd mellom student/fagstabb vil jeg tro varierer.sprs. 7: Oppleves ikke som viktig, men folk melder seg frivillig, ja. -ved DMF evaluerer vi hverandre opp og ned i mente :) Har i midlertid tatt andre fag med litt færre studenter, og har da hatt god kommunikasjon med faglærer/foreleser utenom noen referansegruppe, noe som funket veldig greit. Vi hadde referansegruppe likevel til tross for få studenter, bare for ordens skyld. -i stedet for en egen referansegruppe fylte alle studenter i faget ut et evalueringsskjema, med ferdigformulerte spm, og i tillegg plass til andre kommentarer. fungerte greit, og jeg tror de aller fleste i faget leverte inn evalueringsskjemaet. -hver enkelt student fyller ut evalueringsark som leveres til fag-ansvarlig. Dette var en fin måte på at ALLE fikk sagt sitt. Skal sies at dette bare har skjedd 1 gang over 5 år på NTNU. -Evalueringen har skjedd ved spørreundersøkelse på ITL. -Vi har semesterkoordinators time hvor studentene gir evaluering av undervisningen direkte til semesterkoordinator. -Å levere inn en anonym rapport på slutten av semesteret. MYE BEDRE. Referansegruppene bare er der fordi de "må" og blir ikke brukt av andre studenter. -I et par fag har det vært evalueringsskjema som ble lagt ut på itslearning. Vi er så få på hvert fag at dette oppleves som lite anonymt og folk har opplevd at faglærere spør om de har svart (samme dag som når skjema ble lagt ut - da kun et par stykker hadde svart allerede) og at faglærer har spurt en person om det var den som hadde skrevet sånn og sånn. -Tok selv initiativ til å danne referansegruppe i et fag vi var misfornøyde med. -Siden vi er en veldig liten klasse har det blitt gjort gjennom samtaler med fagansvarlig. Men kan sette en demper på tilbakemeldingene. -uttrekk av studenter: Bingo i studentlista tidlig slutt av forelesning, hvis det blir valgt referanse persjon. osv -internettevaluering av oppgavertilbakemelding til semesterkoordinator x2 per år.pris til årets forleser -alle elever evaluerer undervisningen midtveis i semesteret feks via kort spørreskjema på it's learning. -spørreundersøkelse på it's learning og/eller ark med spm. på som man bruker 10min av en forelesning på å dele ut og besvare i en forelesnig. Men dette går tilbake til referansegruppa igjen som fører statistikken og som lagde smp. Men det er bedre enn å forvente at elever skal ta initiativ selv og si ifra om noe til en student i referansegruppa, noe jeg aldri som medlem i referansegruppa i 2semestere har opplevd.mitt svar er spørreundersøkelse. -tilbakemeldinger i form av spørreskjema etter undervisningsslutt. fungerer bra som en sluttevaluering, og lærdom for neste år. men ikke for ting som burde fikses så snart som mulig. -det er ofte anonymt spørreskjema på slutten av semesteret. jeg oppfatter dette som et dårlig alternativ da spesielt elever på min master (Mphil in Development Studies, ved geografisk institutt) uttrykker at de er 21

22 redde for å uttrykke negative holdninger på denne måten. de sier de vile turt om de hadde en student som kunne gått videre med det. det er dessuten endel problemer som bør tas opp underveis og ikke på slutten av et kurs. -det blir tatt opp på siste forelesning, og kun fordi "vi må jo ha en gruppe..." virker ikke som dette er spesiellt vektlagt. og mere opplevd som tull og mas! -Ja, ved å sende mail direkte til foreleser. Dette var i tillegg til referansegruppene. -Nei, synes også at de som sitter i referanse gruppa må vise litt mer initativ og faktisk snakke litt med de andre studentene. -spørreskjema som ikke tas på alvor av faglærer er vanlig -NEttbasert evaluering, og møter midt i og på slutten av hvert semester der vi evaluerer undervisningen -I fag med få studenter har faglærer brukt min ca halvveis i semesteret og spurt om kommentarer. Av og til funker det, andre ganger er det ingen som tør å si noe. -Det jeg synes mangler med evaluering, er endring etter hva man får ut av evaluering. Problemer vare for lenge!! -Jeg har opplevd at det vanlige er at de fagene som har referansegruppene kun samler disse helt på slutten av semesteret og dette gjør at studenter ikke er motiverte til å bidra siden de ikke ser konsekvensene av egent arbeid. Det vanlige er at en ikke får innsyn i arbeidet til referansegruppa som arbeidet sist faget ble undervist. De må treffes tidlig og de må skjønne hve det å være i ref.gruppe innebærer! (Kan ikke stole på at faglærer formidler dette siden mange lærere ikke er sikre på det selv). Jeg har opplevd at fagansvarlige i tillegg til referansegrupper har anonyme spørreundersøkelser hvor mange sider av faget blir tatt opp. dette er veldig positivt i tillegg siden det fanger opp en svakhet ved referansegruppene nemlig at de ikke alltid representerer/ fanger opp mangfoldet av meninger i klassen. Ja takk begge deler! Det trenger ikke å være mye ekstraarbeid... -pga. jeg er utvekslingsstudent er kunnskapsnivået mitt på evalueringene ved NTNU begrenset på grunnleggenede ting.i hvertfall er elektronisk evaluering bedre og raskere enn evalueringmåten jeg kjenner fra hjemmeuniversitetet mitt i tyskland. -Ein faglærar bad meg (som var dei einaste i "referansegruppa") om å skrive ein personleg rapport til han. Han la aldri opp til diskusjon/samtale kring faget med verken meg, eller resten av klassen, det provoserte ein del av studentane, me følte at mangelen på dialog ramma kvaliteten på faget. -Tilrettelegge for tilbakemelding direkte til foreleser. Men det er få forelesere som spør etter dette. Selv ønsker jeg en nettside hvor forelesningen kan bedømmes, slik at senere studenter kan unngå forelesningen, og at foreleser får en tilbakemelding på hva som kan forbedres. -IT Grunnkurs ba om tilbakemeldinger fra studenter på alle øvinger via nettsidene deres. Den var frivillig, antar at man egentlig ikke får spesielt gode data med mindre man gjør det obligatorisk (med predefinerte spørsmål). Og det går jo selvsagt på øvingsopplegget, ikke undervisningen i sin helhet. -har aldri hørt om referansegrupper. vi har semesterevaluering med vår semesterkoordinator. -Ja, at faglærer tok 5 min av en time en gang for evaluering. Ble ikke spesielt vellykket. Folk tør oftest ikke å si at ting ikke fungerer foran en forsamling. -spørreskjema til alle studenter...vel å merke med kraftige kommentarer fra faglærer om hvor tåpelig det var og at hun bare var pålagt å gjøre det og ikke kunne se noen utviklingspotensiale ved hjelp av disse spørreksjemanene. Det skal sies at samme person hadde god kontakt med studentene og at studendtene på dette faget var meget fornøyde med undervisningen. Derimot var vi ikke fornøyde med seminarene.. -Direkte henvendelse til foreleser midt i pausen mellom forelesningene pleier å virke svært godt. -I småklasser kommer man langt med plenumsdiskusjon og direkte tilbakemeldinger.har i flere fag fått evalueringsskjema av faglærer. -Spørreundersøkelse på itslearning. Fungerte ikke så bra som ref.gruppe, men går også an. -Institutt for musikk oppretter en referansegruppe for Bachelor og en for Master. Dette er ingen god løsning for tilbakemeldinger i enkelt fag. Det tar heller ikke høyde for studenter som ikke er opptatt på musikk, men tar enkeltemner. - [NN] er den en eneste jeg har vært borti som ikke opprettet en referansegruppe. Han evaluerte det bare selv han...kjempegreier Spørsmål nr: 9 Har du selv vært medlem i en referansegruppe? Antall svar: Ja 1 gang : Ja - 2 eller flere ganger : 80 3 Nei -aldri :

23 Spørsmål nr: 10 Hvorfor valgte du å sitte i en referansegruppe? Antall svar: Oppfatter arbeidet som viktig : 82 2 Oppfatter arbeidet som lærerikt : 38 3 Ble tilfeldig valgt ut til å være medlem : 22 4 Ingen andre ville ta på seg ansvaret : 50 23

24 Spørsmål nr: 11 Hvor ofte møttes faglærer og referansegruppen for evaluering i løpet av perioden gruppen eksisterte? Antall svar: Aldri : 18 2 Ved start og slutt av faget/semesteret : 51 3 Ved start, midtterminevaluering og slutt av faget/semesteret : 73 4 Annet : 47 -én gang -Aldri i et fag. Kun på begynnelsen i et annet. Begge fag gikk greit, så det var ikke noen grunn til å klage på noe. -Det er varierende. Enkelte med vit.ass har vært faste. Der hvor det ikke har vært vit.ass har det vært litt mer variernede. Gjerne kun et som faglærer tok initsiativ til -ved midtterminevaluering, evt. også slutt -en gang, 2/3 inn i semesteret -Start og midt -ved slutt -Vi fikk henvendelser fra andre elever som vi bragte videre til lærer -Ved start -Ved start og det ble forespurt om det var nødvendig med et nytt møte. Jeg hadde et møte med faglærer uten at resten av fagstaben og den andre i referansegruppen var med. -en gang i løpet av semesteret. I ett tilfelle ikke før faget var avsluttet -typisk 1 gang hvor man sier man skal kalle inn til gjenvlige møter, men aldri gjør det... -Én gang rundt midten av semesteret. -Ved start og midtterminevaluering -1 gang. Faget hadde 3 deltakere... -Midt i semesteret -Det var en gang- og det var i begynnelsen av semestret eller i midten av februar (for noen faglærere er det begynnelsen) -svært sjelden eller aldri -ved midten og slutten av semesteret -En gang i midten av semesteret -i et av emnene hadde vi faktisk et møte, i et annet emne skjedde det overhodet ingenting til tross for etterspørsler fra studentene og lovnader fra fagansvarlig. -1 gang midt i semesteret -Vi møttes mot slutten av semesteret, men hadde ingen felles evaluering -ved start -bare ved slutten -er i referansegruppe i dette semesteret, det har ikke vært møte ennå -kun ved starten av semesteret, ble aldri noe mer -To møter, i begynnelsen og omtrent midt i semesteret -Ved start -Kun ved slutt -Ca midt i semesteret, da vi ville gi innspill til undervisningen -kun ved slutten av semesteret -kun ved slutt -ca. 2 ganger -1 gang i løpet av semesteret -kun ved midttermin -midt i semesteret -midtermin og slutt -en gang, midt i semesteret -Et stykke ut i semesteret og i slutten. 24

25 -en gang etter eksamen -En gang midt i semesteret -Så vidt jeg husker bare én gang -en gang i midten -Varierende. Fra et til tre møter -Møttes ca 4 ganger hver i de tre fagene jeg var medlem i ref.gruppe Spørsmål nr: 12 Ble det skrevet en erfaringsrapport basert på referansegruppens erfaringer til neste års studenter? Antall svar: Ja: 57 2 Nei: 138 Spørsmål nr: 13 Fikk du som medlem av referansegruppen tilgang til fjorårets evalueringsrapport for det respektive faget/emne? Antall svar: Ja : 10 2 Nei :

26 Spørsmål nr: 14 Opplevde du referansegruppens arbeidsopppgaver/ansvar som vell definerte/klare? Antall svar: Ja : Nei : 75 -Ante egentlig ikke hva det gikk ut på... -Savnet konkrete punkter for hva som var forventet av gruppa, utover info fra faglærer. -ganske klare, men ikke når det gjelder rapport -Slapp foreleser som visste han ville bli kritisert (dårlig opplegg) -litt usiker, vi fikk ikke så mange arb. oppgaver -Varierer fra fag til fag hvor aktivt ref.gr. blir brukt. -Det var ikke behov for referansegruppe -Vi måtte nærmest definere oppgavene selv -Faglærer sa at det måtte vi bare ha (referansegruppe). Visste ikke hvorfor han/hun trengte folk. -Gjorde som regel ingen ting -Egentlig ja, men faglærer la for mye ansvar på referansegruppa -Har i ettertid fått høre om evalueringsrapporter og plikt til å skrive referat og sende disse både hit og dit. -Det gis ikke ut informasjon om dette. Men jeg fatter ikke hvorfor dere ikke samarbeider med de tillitsvalgte på dette universitetet om dette arbeidet! Det er nettopp dette de tillitsvalgte bør jobbe med! Utvikle et info skriv som distribueres til alle studenter ved semeseterstart, slik at alle vet hva en referansegruppe er, samt et mer utfyllende skriv til de som havner i referansegrupper. Men her må nok problemet løses fra flere kanter samtidig. De ansatte må først se viktigheten av å få tilbakemeldinger, en glimrende mulighet til å forbedre seg. -det var vel ingen klar def på hva vi skulle gjøre, annet enn å være bindeledd mellom klassen og faglærer -det har ikke vært møte ennå -Dette var noe vi gjorde på eget initiativ, uten noen definerte oppgaver eller ansvar. -vi gjorde ingenting, og fikk ingen rettledning om hva som skulle gjøres -Verken vi eller faglærer viste hva vi skulle gjøre -Definisjonen var at vi skulle være kontaktleddet mellom fagansvarlig og studentgruppa. Savnet litt mer konkrete oppgaver. -Vi hadde aldri møter og foreleser/fagansvarlig var veldig utilgjengelig for spørsmål og tilbakemeldinger. -Lite informasjon, ikke så god organisering rundt det hele -i.o.m at man aldri får en "stillingsbeskrivelse" 26

27 Spørsmål nr: 15 Har du som medlem av referansegruppen mottat et erfaringsskriv/cv fra NTNU om bekreftelse på ditt verv, i ettertid? Antall svar: Ja : 24 2 Nei : 170 Spørsmål nr: 16 Har du hørt om KVASS - NTNUs system for Kvalitetssikring av Utdanning? Antall svar: Ja : Ja - vi brukte deres ressurser som en del av referansegruppe arbeidet : 8 3 Nei jeg har ikke hørt om KVASS tidligere :