STUDIEBAROMETERET 2015 OG TF

Notat/TF-studieseksjon/150216/HC 1 STUDIEBAROMETERET 2015 OG TF Dette notatet gir bakgrunnsinformasjon til årets publisering av og rapporter med resultater fra Studiebarometerundersøkelsen 2015 blant TF-studenter, der vi også ser nøyere på utvalget, rapportoppbygning med resultater på enkeltspørsmål og indekser, samt sammenligninger mellom studieprogram i nettportalen. I tillegg omtales bruksverdien av resultatene og til slutt presenteres resultatene på tilfredshet med læringsmiljøet, samt resultater på spørsmål om forventninger og overordnet tilfredshet. Notatet er primært tiltenkt til bruk til møte i LAMU og Utdanningsstrategisk utvalg, men også som orienteringssak for fakultetsstyret. Dermed er en del stoff satt i fotnoter da det nok er først og fremt av interesse for programledere og andre som ønsker å vurdere nærmere resultatene. Innledning Studiebarometeret er en undersøkelse om studentenes oppfatning av studiekvalitet i studieprogrammer ved norske universiteter og høyskoler. NOKUT gjennomfører undersøkelsen om høsten på oppdrag av Kunnskapsdepartementet. Resultatene publiseres pr studieprogram på portalen www.studiebarometeret.no. Det skjer i februar, da undersøkelsen også er tiltenkt som informasjon til vårens søkere til studier. Det er kun studenter i sitt andre eller femte studieår på bachelor-/master-/profesjonsstudium som får tilsendt undersøkelse (nettskjema). Den sendes alle slike studenter uavhengig av antall pr studieprogram. Imidlertid blir årets resultater kun publisert på portalen for de studieprogrammene med et visst minimumsantall svar og/eller -andel av utvalget. I enkelte tilfeller slår man sammen data fra fjoråret og året, og publiserer resultatet. Det skjedde i fjor med teologi, profesjonsstudium. I år er det for kun resultater fra undersøkelsen i 2015 blant TF-studenter som er publisert, og gjelder to program ved TF: teologi, profesjonsstudium (10 respondenter) bachelor i religion og samfunn (11 respondenter) De andre programmene ved TF hadde for få respondenter i 2015 (10 respondenter i alt). Med såpass få respondenter kan man stille spørsmål om bruksverdien av resultatene med tanke på hvor representative de er for alle studentene på studieprogrammet. 1 Dette gjelder ikke bare for program ved TF, men også ved andre program ved UiO og ellers i landet. 2 Når det er sagt, har man fra NOKUTs og KDs side likevel valgt å legge vekt på «andreårs»- og «femteårs»-studenters vurdering som nyttig for de som søker studier. 3 Det pleier også å være mediadekning rundt publisering av resultatene, og de enkelte lærestedene slår det stort opp i rekrutteringsøyemed dersom det er positive resultater. 1 Høsten 2015 var det semesterregistrert 67 studenter på profesjonsstudiet i teologi og 82 på bachelorprogram i religion og samfunn i tillegg til 80 på andre studieprogram ved fakultet. 2 Det er f. eks. bare 12 respondenter på bachelorprogram i religionshistorie og kulturhistorie ved UiO. 3 Det henvises til Studiebarometeret blant annet fra det nettstedet potensielle studenter bruker når de søker om opptak, dvs. på Samordna opptaks nettsider, der det står: «Sjå kva studentene meiner om kvaliteten på meir enn 1700 studieprogram på Studiebarometeret.»

Notat/TF-studieseksjon/150216/HC 2 Publisering, rapporter og rådata Årets resultater ble i år først offentlig med publisering tirsdag 2. februar på studiebarometeret.no. Institusjonene får imidlertid på forhånd tilgang til rapporter pr studieprogram, fakultet og institusjon. De er for TF i år: 1) Programrapport for cand.theol.-studiet (teologi) 2) Programrapport for religion og samfunn bachelor (RESA-bachelor) 3) Fakultetsrapport for Det teologiske fakultet 4) Institusjonsrapport for Universitetet i Oslo (versjon 1) Aktuelt for dette notatet er de to førstnevnte programrapportene. I tillegg har fakultetet fått en anonymisert rådatafil med individdata, dvs. med svar pr respondent for de to programmene der det ble produsert rapport. 4 Utvalg, respondenter og grenseverdier for publisering/rapporter Det var i alt 58 programstudenter på TF som fikk undersøkelsen, hvorav 31 svarte. De fordeler seg slik: Studieprogram 5 Opprinnelig Antall Svarprosent utvalg respondenter Teologi, profesjonsstudium (2./5.år) 22 10 45 % Religion og samfunn, bachelor 17 11 6 65 % Kristendom, kultur og læring, bachelor 3 1 33 % Intercontextual Theology, master 5 4 80 % Kristendomsstudier, master 2 1 50 % Religion og samfunn, master 8 4 50 % Praktisk teologi, master 1 0 0 % Totalt 58 31 53 % TF har høyest svarprosent på årets undersøkelse blant allmennfakultetene ved UiO. 7 Også svarprosenten pr program ligger høyt sett i forhold til flertallet av program ved UiO. 8 Studie- 4 I ettertid har TF fått tilsendt rådatafil for alle respondenter på TF og gjennomsnittsverdien for svar pr alle program (dvs. ikke bare for de to nevnte programmene). I tillegg er det laget en fyldig institusjonsrapport (versjon 2) der man angir svar på alle spørsmålene som i programrapportene (versjon 2), samt en oversikt med nasjonale gjennomsnitt fordelt på utdanningstype/fagområde. 5 Ingen aktuelle studenter på Religious Roots of Europe, master. 6 Det var en til på RESA-bachelor som svarte på de første spørsmålene om undervisning og veiledning (rapport side 6) og omfang av tilbakemelding og veiledning (side 7). Vedkommendes svar er innberegnet i gjennomsnittet på svaret på disse forhold, men gir ikke utslag på mer enn 0,1 % kun et sted, dvs. uten vedkommendes svar hadde gjennomsnittlig score blitt 3,9 istedenfor 3,8 for tilfredshet med «Hvordan undervisningen dekker studieprogrammets lærestoff (pensum)». Med vedkommende blir antall respondenter her 12 på akkurat disse få spørsmål. 7 Bare Det odontologiske fakultet og Institutt for medisinske basalfag hadde høyere svarprosent enn TF. 8 I studentsystemet FS ble det ryddet i studieretter blant studenter i andre året på bachelor og profesjonsstudiet, slik at utvalget i størst mulig grad skulle være i samsvar med tiltenkt målgruppe for undersøkelsen.

Notat/TF-studieseksjon/150216/HC 3 programmene teologi og RESA-bachelor innfridde også NOKUTs grenseverdier for at data ble publisert på portalen studiebarometeret.no. 9 Enkeltspørsmål og indekser - oppbygning av programrapporter og nettportalen Resultatene fra undersøkelsen vises både i form av indekser (grupper av beslektede spørsmål) og for enkeltspørsmål. I programrapportene finner man resultatene pr indeks samlet på side 5 («Hovedområder)» og pr enkeltspørsmål på sidene 6-22. 10 Her er spørsmålene ordrett gjengitt, og prosentfordelingen av svarene angitt. I tillegg er det angitt et gjennomsnittlig score både for indeksene og for enkeltspørsmålene. 11 Prosentfordelingen og gjennomsnittlig score er beregnet ut fra de som svarte, minus de som svarte «vet ikke». 12 Det er valgt ut syv hovedområder der det er angitt et gjennomsnittlig score på en gruppe spørsmål (indeks) pr respondent, som det så lages et gjennomsnitt av pr program. Disse er også publisert på portalen studiebarometeret.no innledningsvis på presentasjonen av resultatene pr program. Hovedområde/indeks Undervisning og veiledning Studie- og læringsmiljø Medvirkning Engasjement og sammenheng Relevans for arbeidslivet Eksamens- og vurderingsformer Eget læringsutbytte Gruppe spørsmål/variabler Spørsmål på side 6 i programrapporten, dvs. tilfredshet med fem forhold Spørsmål på side 9 i programrapporten, dvs. tilfredshet med åtte forhold Spørsmål på side 10 i programrapporten, dvs. tilfredshet med tre forhold Spørsmål på side 11 i programrapporten, dvs. gradsvurdering av tre forhold Spørsmål på side 12 i programrapporten, dvs. gradsvurdering fire forhold Spørsmål på side 13 i programrapporten, dvs. gradsvurdering av fem forhold Spørsmål på side 14 i programrapporten, dvs. tilfredshet med 10 forhold (4 av forholdene er ikke gjengitt i rapporten, se fotnote 10.) 9 NOKUT har satt grenseverdiene for å publisere data på portalen Studiebarometeret.no at studieprogrammet har flere enn 9 svarende og mer enn 19,5 %, eller at studieprogrammet har mellom 6 og 9 svarende og mer enn 49,5 %. De skriver videre: «Disse grenseverdiene eksisterer for at tallene som presenteres skal være robuste og for å sikre anonymisering av de studentene som har svart på undersøkelsen.» NOKUT satte også grenseverdier for å produsere programrapporter for institusjonen, som var lavere enn de for publisering av resultater på nettportalen. Programrapporter ble produsert dersom det var seks eller flere svarende pr program. For TFs vedkommende var det altså ingen andre enn de to nevnte programmene som innfridde dette kravet. 10 Spørsmål som ikke er med i rapporten er 1) spørsmål om praksis (ikke aktuelt for RESA-bachelor; og for få respondenter for teologi). 2) fire siste forhold man ba om tilfredshet vurdering under «Eget læringsutbytte» (side 14 i programrapport) de er: «Muntlig kommunikasjonevne», «Skriftlig kommunikasjonsevne», «Evne til å tenke nytt» og «Evne til å arbeide selvstendig». Svarene her teller imidlertid med i beregningen av indeksen «Eget læringsutbytte» på side 5 i programrapporten. 3) Sluttspørsmål under bolken om forventninger (side 17 i programrapport): «Mine forventninger til studieprogrammet generelt er innfridd» med svar 1 til 5, der 1 er i liten grad og 5 i stor grad. (Gjennomsnittlig score er imidlertid publisert på nettportalen.) 4) Spørsmål på nivå på foreldrenes/foresattes høyeste fullførte utdanning (oppgitt på skjemaet at informasjonen skulle kun brukes til forskning). 11 Unntak for utregning av gjennomsnittlig score er svarene på spørsmål om omfang av tilbakemelding og veiledning (side 7 i programrapportene) og spørsmålet om tidsbruk på faglige aktiviteter (side 22). 12 Det ble også stilt enkelte «åpne» spørsmål der respondentene kunne kommentere/utdype sine svar på et spørsmål over. I tillegg ble det stilt et sluttspørsmål om «ønsker eller ideer som kan forbedre studieprogrammet». Det kom tre svar fra teologistudenter, ingen fra RESA-bachelor.

Notat/TF-studieseksjon/150216/HC 4 I tillegg innledes programrapportene med en oversikt over de fem spørsmålene der man i snitt scorer lavest og høyest, som en indikasjon på styrker og utfordringer (side 3 i programrapporten). Videre er det laget en oversikt over størst avvik positivt og negativt fra det nasjonale gjennomsnitt (side 4 i programrapporten). Vel så interessant er at man på presentasjonen av resultatene pr indeks/ hovedområde og pr enkeltspørsmål har angitt snittresultatet for UiO. I nettportalen studiebarometeret.no har man valgt en enklere presentasjonsform. På hovedsiden fremkommer resultatene kun som gjennomsnittlig score pr indeks eller pr enkeltspørsmål, mens svarfordelingen er lagt til en underside. Ikke alle spørsmålene er med heller. 13 Nettportalen studiebarometeret.no også er bygd opp slik at man også skal kunne sammenligne resultatene på de ulike programmene ved samme og ved andre institusjoner. 14 Presentasjon av sammenligninger mellom studieprogram ved hjelp av nettportalen Her vises to eksempler på sammenligninger via nettportalen www.studiebarometeret.no 13 Resultater fra spørsmål som er med i programrapporten, men ikke på nettportalen, er spørsmål om omfang av tilbakemelding og veiledning (side 7 av programrapporten), tilfredshet med tilbakemelding og veiledning (side 8 av programrapporten), mål til karakterer (side 15 i programrapporten) og vurdering av studieprogrammet (side 19 i programrapporten) og antall timer brukt på betalt arbeid (det ene av tre forhold på side 22 i programrapporten). Det betyr at man f. eks. ikke får sammenlignet resultater på akkurat disse spørsmål med andre studieprogram. (Resultatene fra spørsmål om undervisnings- og arbeidsformer på side 20-21 i programrapporten er ikke synlig i sammenligningsmodus i nettportalen.) 14 I nettportalen har man også valgt å lage et gjennomsnitt på resultater pr indeks/spørsmål fra studieprogram innenfor samme utdanningstype for å kunne sammenligne. For teologi og RESA-bachelor er det «religionsutdanninger, andre».

Notat/TF-studieseksjon/150216/HC 5 Bruksverdien av resultatene Undersøkelsen stiller gode og relevante spørsmål for vurdering av studiekvalitet på studieprogram. Imidlertid er resultatene ofte svar på generell spørsmål, og dermed vanskelig å vite konkret hva studenter er tilfreds eller lite tilfreds. Med andre ord de gir ikke løsninger på utfordringer med å sikre og bedre studiekvaliteten, men den peker på forhold fakultetet bør se nærmere på. Ut fra spørsmålstillinger og innhold har altså undersøkelsen bruksverdi. I presentasjonen av resultatene er det fokus på den gjennomsnittlige score pr spørsmål/indeks. Skal man bruke resultatene bør man imidlertid også se på fordelingen på svarkategorier. Vi bruker her spørsmålet om mål for karakterer som eksempel (side 15 i programrapportene). Svar på spørsmålet: «Hvilket mål har du for dine karakterer» blant RESA-bachelor-studentene: Svar på spørsmålet: «Hvilket mål har du for dine karakterer» blant teologistudentene:

Notat/TF-studieseksjon/150216/HC 6 Forskjellen i snittverdien 3,4 og 4,5 peker på stor forskjell i ambisjonsnivå til eksamen ved disse to programmene. Resultatene blir imidlertid mer interessante når en ser at ingen av RESAbachelorstudentene tar mål av seg å oppnå en karakter godt over gjennomsnittet, mens 60 % av teologistudentene har dette som mål. Likeledes er det 18 % av RESA-bachelorstudentene som kun har som mål å stå eller oppnå en karakter noe over gjennomsnittet, mens ingen har såpass lave mål blant teologistudentene. Videre bør slike resultater vurderes i forhold til svar på andre spørsmål, helst på individnivå. For eksempel å se resultater på nevnte spørsmål i sammenheng med spørsmålet om å angi grad på hvor enig studenten er i påstanden: «Jeg går på det studieprogrammet jeg helst vil gå på», se nedenfor. Et problem med bruken av resultatene er antall respondenter sett i forhold til antall studenter på programmet. Svarprosenten er relativt høy for denne type undersøkelse. Andel respondenter er således bra sett i forhold til målgruppen, men ikke i forhold til antall aktive studenter på studieprogrammet. 15 Når det gjelder bruk av resultater, er det også viktig å vite hvem som svarer og hva svarer de på for å si det enkelt. Hva angår resultatene for teologi, vet vi ikke hvilken av respondentene er i andre eller femte året. 16 Om denne usikkerheten er et problem for tolkning av resultatene vil man først kunne finne ut ved nærmere analyse. Når det gjelder RESA-bachelor, vet vi hvem studentgruppen er, dvs. semesterregistrerte studenter på andre året på programmet. Utfordringen her er at undersøkelsen gjennomføres i et semestret der studenter tar primært emner ved et annet fakultet, om ikke alle emner. Det vil si at svarene vil nok også gjelde forhold utenfor fakultetet hva angår en del spørsmål/indeks. 17 Når det gjelder totaltallet for fakultet, inngår 10 respondenter fra andre program enn teologi og RESA-bachelor. De ti studentene er en blandet gruppe, jf. oversikten på side 2 ovenfor. 18 15 For teologi er resultatene basert på svar fra bare 10 av 67 (dvs. 15 %) semesterregistrerte studenter på programmet høsten 2015. Samme tall for RESA-bachelor er 11 av 82 (dvs. 13 %) semesterregistrerte studenter på programmet høsten 2015. Når det gjelder totaltallet for fakultet, er utvalget på 31 (dvs.10 respondenter i tillegg fra andre program). Også her kan man snakke om et lite utvalg, dvs. 31 av 229 (14 %) semesterregistrerte programstudenter høsten 2015. 16 Av anonymitetshensyn opplyser ikke NOKUT om studieår der det er færre enn fem respondenter fra ett eller begge studieår. Imidlertid er det fire teologistudenter som har svart at de hatt praksisperiode organisert av studieprogrammet sitt, noe som peker i retning av at vel halvparten er studenter i sitt andre studieår. (Første praksisperiode er på våren i andre studieåret i et normert studieløp på teologi.) 17 Dette gjelder spørsmål der studenter angir hvor tilfreds vedkommende er med undervisning og veiledning, omfang av og tilfredshet med tilbakemelding og veiledning, eksamens- og vurderingsformer og delvis forhold under eget læringsutbytte og under vurdering av studieprogrammet, samt og undervisnings- og arbeidsformer (sidene 6-8,13-14,19-21 i programrapportene). Det er imidlertid en del andre spørsmål som går på studie- og læringsmiljøet på studieprogrammet, mer helhetlige vurderinger av forhold ved studieprogrammet, samt motivasjon, forventninger og tidsbruk, der dette med å være «ut av hus» neppe vil spille noe rolle for bruksverdien av resultatene. 18 TF har fått individdata på disse ti fra NOKUT, men uten programtilknytning av anonymitetshensyn. NOKUT har imidlertid for TF regnet ut gjennomsnittlig «score» pr spørsmål og indeks pr studieprogram, dvs. det samme som står i rapportene, for de fem andre programmene der det var respondenter. Det kan derfor være interessant å se nærmere på dette for Intercontextual Theology, master der 4 av 5 aktuelle svarte, og muligens for Religion og samfunn, master der 4 av 8 aktuelle svarte uten at anonymiteten settes i fare. Bruk av totaltall for fakultetet må imidlertid vurderes i forhold til de enkelte spørsmål, om de har noe verdi.

Notat/TF-studieseksjon/150216/HC 7 Vurdering av læringsmiljøet Hovedområdet «læringsmiljøet» får en dårlig gjennomsnittlige score sett i forhold til andre hovedområder/indekser blant teologi- og RESA-bachelorstudenter. Utdrag fra nettportalen viser de enkelte forhold ved læringsmiljøet som studentene skal angi grad av tilfredshet med: Det er verdt å merke at tilfredshet med lokaler og undervisning og øvrig studiearbeid samt med utstyr og hjelpemidler i undervisning scorer lavere hos teologistudentene enn andre forhold som inngår i vurdering av læringsmiljøet. Det er altså dette forholdet som gjør at teologistudentene ved UiO er mindre tilfreds enn de ved MF med læringsmiljøet ved programmet, sett ut fra Studiebarometeret, jf. presentasjon av sammenligningen av program ovenfor. Heller ikke RESA-bachelorstudenter er videre tilfreds med lokaler og utstyr, men her er det det sosiale og faglige miljøet blant studentene som de sier seg mindre tilfreds med. Ser vi på prosentfordelingen, er litt over halvparten av RESA-bachelorstudenter lite eller ikke tilfreds med det sosiale miljøet. Ingen er svært tilfreds med det sosiale miljøet, og litt under halvparten er lite eller ikke tilfreds med det faglige miljøet blant studentene på studieprogrammet:

Notat/TF-studieseksjon/150216/HC 8 Om denne mangel på tilfredshet er gjengs for alle RESA-bachelorstudenter, har vi ikke belegg for å si. Revisjonskomiteen for RESA-bachelor har imidlertid vært på høyde med utfordringen med å lage et godt sosialt og faglige læringsmiljø for studentene, og har foreslått blant annet å ha faglige orienterte møteplasser utenom den ordinære undervisningen. Det er også interessant å merke at RESA-bachelorstudentene hadde i snitt litt høyere forventninger til det sosiale og faglige miljøet enn teologi studentene (side 17 i programrapportene). 36 % blant RESA-bachelorstudentene og 20 % blant teologistudentene hadde høye forventninger til det sosiale og faglige miljøet, se nedenfor. Forventninger og overordnet tilfredshet RESA-bachelorstudentenes synes å ha hatt generelt sett høyere forventninger til studieprogrammet, enn teologi-studentene. Samtidig er overordnet tilfredshet blant studenter i sitt andre studieår høyere i snitt hos teologistudentene (side 17 og 18 i programrapportene). Utdrag fra nettportalen: Det er vanlig at innfrielsen av forventningene til studieprogrammet generelt ikke innfris i stor grad. I denne sammenhengen skiller derfor teologi seg positivt ut hva angår gjennomsnittlig score. Desto mer negativt synes da gjennomsnittlig score på dette spørsmålet blant RESA-bachelorstudenter. Innfrielsen av forventninger er også i snitt lavt sett i forhold til fagområdet for historisk-filosofiske fag på bachelornivå nasjonalt. 19 19 55 % av RESA-bachelorstudentene oppga å ha høye forventninger (dvs. skalaverdien 5) til studieprogrammet generelt (side 17 i programrapport).

Notat/TF-studieseksjon/150216/HC 9 Om ikke forventningene er blitt innfridd, er fornøydsgraden alt i alt med studieprogrammet blant RESA-bachhelorstudenter i gjennomsnitt det samme som gjennomsnittet for studieprogrammene ved UiO. Nesten halvparten av respondentene (45 %) sier seg enig i påstanden «Jeg er, alt i alt, fornøyd med studieprogrammet jeg går på». 60 % sier dette blant teologi-respondentene. (Side 18 i programrapportene). Utdrag fra nettportalen: Svar på «Overordnet tilfredshet» blant RESA-bachelorstudentene: Svar på «Overordnet tilfredshet» blant teologistudentene: