Metodeskriv for undersøkelsen «Digital tilstand i høyere utdanning 2014», Norgesuniversitetets monitor

Transkript

1 Metodeskriv for undersøkelsen «Digital tilstand i høyere utdanning 2014», Norgesuniversitetets monitor 1. Innledning Ipsos MMI har gjennomført en nasjonal undersøkelse om omfang, utbredelse og bruk av IKT i høyere utdanning: Digital tilstand i høyere utdanning 2014, Norgesuniversitetets monitor. Undersøkelsen er gjennomført vinteren/våren 2014 på oppdrag fra Norgesuniversitetet. Ipsos MMI har bistått Norgesuniversitetet med datainnsamling ved de to foregående gjennomføringene av monitoren, i 2008 og Undersøkelsen rettet seg mot ulike utdanninger på høgskoler og universiteter i Norge. En endring i undersøkelsesdesignet denne gangen er at undersøkelsen rettet seg mot både andre- og tredjeårsstudenter. Ipsos MMI endret også instruksen til instituttledere/avdelingsledere/dekaner om hvor mange ansatte vi ønsket at de distribuerte fagansattundersøkelsen til. Vi ser at antall besvarelser er høyere i alle målgrupper enn ved gjennomføringen i Lederundersøkelsen Fagansattundersøkelsen Studentundersøkelsen Målgrupper Undersøkelsen har kartlagt bruk av, kompetanse om og holdninger til IKT i undervisningen, og rettet seg mot følgende tre målgrupper: instituttledere/avdelingsledere/dekaner fagansatte med undervisningsoppgaver studenter Ved forrige gjennomføring rettet studentdelen av undersøkelsen seg primært mot tredjeårsstudenter, mens det i år ble kommunisert tydeligere at studenter på både andre og tredje studieår i bachelorgradsprogrammer kunne delta. Det ble bedt om at utvalg av ulike studentgrupper ble gjort slik at man fikk en spredning på ulike typer fag og/eller emner. Ipsos MMI AS PB 9143 Grønland Tel Christian Krohgsgt 1 N-0133 Oslo Fax Oslo Norge

2 3. Utvalgsdesign og gjennomføring Utvalgsdesign Norgesuniversitetet utarbeidet en populasjonsliste over universiteter og høgskoler i Norge. Enkelte institusjoner blant de private høgskolene (med under 500 studenter) er utelatt fra populasjonslisten. Ellers er listen å anse som uttømmende. Populasjonslisten inneholdt opplysninger som navn på instituttleder/avdelingsleder/dekan eller tilsvarende ved de ulike instituttene, samt kontaktopplysninger som e-post og telefonnummer. Norgesuniversitetet bisto Ipsos MMI med å fordele instituttene på syv kategorier av fagområder. Nettoutvalget ble vektet statistisk i etterkant. Se side 8 for beskrivelse av vektegrunnlaget. Gjennomføring Ipsos MMI gjennomførte telefonverving av instituttledere/avdelingsledere/dekaner i uke 7, 8 og 9 (mandag 10. februar til mandag 3. mars). I forkant av vervingen sendte Norgesuniversitetet ut informasjonsskriv per post til alle instituttledere med informasjon om undersøkelsen på brevark og signatur fra Kunnskapsdepartementet (KD). Samtlige personer på populasjonslisten ble oppringt av Ipsos MMI med forespørsel om å delta i undersøkelsen på vegne av sitt institutt/avdeling. Lederne ble vervet til å delta i undersøkelsen på følgende måter: 1. Selv motta og besvare lederundersøkelsen via en personlig weblink i en e-post. 2. Videresende en e-post med informasjon og en åpen lenke med undersøkelsen til fagansatte med undervisningsoppgaver ved instituttet/fakultetet/avdelingen. Instituttlederne ble bedt om å sende til fagansatte slik at de fleste/alle fagområder ville dekkes, samt unngå å gjøre utvelgelsen på bakgrunn av hvilke fagansatte eller fagområder som har kommet lengst i arbeidet med å bruke IKT i utdanningen. For øvrig ble instituttleder bedt om å benytte følgende fordelingsnøkkel ved utsendelse: Hvis færre enn 20 fagansatte: e-posten videresendes til samtlige fagansatte Hvis mellom fagansatte: e-posten videresendes til minimum 20 fagansatte Hvis over 50 fagansatte: e-posten videresendes til minimum 30 fagansatte 3. Videresende en e-post med informasjon og en åpen lenke til studentundersøkelsen til de samme fagansatte. De fagansatte skulle så videreformidle denne informasjonen til studenter på andre og tredje studieår i henhold til en utvalgsinstruksjon for å sikre tilfeldig utvelgelse av studenter. Hver av de tre målgruppene hadde sitt unike spørreskjema å fylle ut. Lederundersøkelsen hadde et omfang på omkring minutter, mens fagansatt- og studentundersøkelsen hadde et omfang på omkring minutter. Høy deltakelse i undersøkelsen var et viktig 2

3 anliggende for på best mulig måte å gi bedre kunnskap om IKT-tilstanden i høyere utdanning. For å oppnå best mulig deltakelse ble det derfor iverksatt en del tiltak. Verving av institutter/avdelinger på forhånd skaper en bedre forankring for undersøkelsene. Ved denne gjennomføringen ble 400 av instituttledere vervet til å delta på undersøkelsen, noe som er en svært stor andel av det totale antall instituttledere. Ipsos MMI benyttet kun én person til å gjennomføre vervingen av instituttlederne, noe som sikrer at ververen blir svært fortrolig med og trygg på samtalene med instituttlederne. For samtlige målgrupper ble det sendt påminnelser pr. e-post til de som ikke hadde besvart undersøkelsen omkring halvannen uke etter første utsendelse. Det ble også lagt opp til en relativt lang feltperiode, for å få med så mange institutter/avdelinger som mulig. Undersøkelsene ble sendt ut puljevis ettersom instituttlederne ble vervet. Lenken med studentundersøkelsen ble åpnet og gjort tilgjengelig noe tidligere enn fagansatt- og lederundersøkelsen, ettersom informasjonskortene med lenkeadressen var distribuert og hadde nådd studentene. Lenken ble åpnet lørdag 22.februar. Utsendelse av fagansatt- og lederundersøkelsen startet tirsdag 25.februar (uke 9). Alle undersøkelsene ble avsluttet mandag 31.mars (uke 14). I forbindelse med undersøkelsen mot studenter ba vi om at det ble satt av tid i forbindelse med undervisning til besvaring av undersøkelsen. Ved en del utdanningsinstitusjoner var det aktuelt å legge ut informasjon og lenke til studentundersøkelsen på læringsplattform (f.eks. Fronter og ItsLearning). Halvveis ut i feltperioden sto annonse med studentundersøkelsen på trykk i et knippe studentaviser. Studentavisene var knyttet til følgende steder/institusjoner: BI, Bergen, Oslo/Akershus (studenter tilknyttet studentsamskipnaden i Oslo), UiA, UiT og NTNU. Det er ikke registrert noen stor økning i aktivitet på studentundersøkelsen etter tidspunktet annonsene ble publisert i studentavisene. Av utviklingen i besvarelser ser vi at aktiviteten i hovedsak preges av utsendelser og purringer foretatt av Ipsos MMI. I studentundersøkelsen ble det også benyttet insentiver; 5 nettbrett ble trukket ut blant de som besvarte undersøkelsen. 3

4 4. Svarprosent og fordelinger 400 av 445 instituttledere ble telefonvervet til å delta i undersøkelsen. Av dette vervede utvalget er det mottatt 233 besvarelser (samt 2 besvarelser der tilknytning til universitet eller høgskole ikke kan fastsettes). Populasjon, vervet utvalg og nettoutvalg kan alle deles inn i 14 kategorier basert på fagområde (7 grupper) og skoletype (2 grupper, universitet eller høgskole). Strukturen i inndelingen er dermed slik: Universitet Høgskole 1) Humanistiske og estetiske fag 2) Samfunnsfag og juridiske fag 3) Lærerutdanninger og utdanninger i pedagogikk 4) Økonomiske og administrative fag 5) Naturvitenskapelige fag, håndverksfag og tekniske fag 6) Helse-, sosial- og idrettsfag (inkl. medisin) 7) Annet Tabell 1 viser fordeling for lederundersøkelsen med utgangspunkt i populasjonslisten, antall ledere som ble vervet til å delta i undersøkelsen, og antall ledere som faktisk deltok (nettoutvalg). De tre fordelingene er vist som faktiske antall ledere i tabell 1, og prosentvis i tabell 2. 4

5 Tabell 1: Fordeling av institutter/avdelinger i populasjon, vervet utvalg og nettoutvalg for lederundersøkelsen Populasjon, ledere Vervet, ledere Nettoutvalg, ledere Universitet Høgskole Universitet Høgskole Universitet Høgskole 1) Humanistiske og estetiske fag ) Samfunnsfag og juridiske fag ) Lærerutdanninger og utdanninger i pedagogikk ) Økonomiske og administrative fag ) Naturvitenskapelige fag, håndverksfag og tekniske fag ) Helse-, sosial- og idrettsfag (inkl. medisin) ) Annet Sum Total Tabell 2: Prosentvis fordeling av institutter/avdelinger i populasjon, vervet utvalg og nettoutvalg for lederundersøkelsen Populasjon, ledere Vervet, ledere Nettoutvalg, ledere Universitet Høgskole Universitet Høgskole Universitet Høgskole 1) Humanistiske og estetiske fag 8 % 5 % 8 % 5 % 9 % 5 % 2) Samfunnsfag og juridiske fag 6 % 3 % 6 % 3 % 5 % 1 % 3) Lærerutdanninger og utdanninger i pedagogikk 3 % 6 % 3 % 5 % 3 % 6 % 4) Økonomiske og administrative fag 2 % 4 % 2 % 4 % 2 % 4 % 5) Naturvitenskapelige fag, håndverksfag og tekniske fag 14 % 7 % 14 % 8 % 17 % 7 % 6) Helse-, sosial- og idrettsfag (inkl. medisin) 5 % 11 % 6 % 11 % 6 % 13 % 7) Annet 6 % 19 % 7 % 19 % 7 % 15 % Sum 45 % 55 % 45 % 55 % 49 % 51 % Total 100 % 100 % 100 % Tabell 2 viser at fordelingen i nettoutvalget gjenspeiler fordelingene i populasjon og i vervet utvalg ganske godt. Men samfunnsfag og juridiske fag på høgskolene er underrepresentert. Undersøkelsen har for få besvarelser fra denne kategorien, og dette gjør det ønskelig å 5

6 vekte besvarelsene. Underskuddet på respondenter fra samfunnsfag og juridiske fag kommer enda tydeligere fram når svarprosenter basert på total populasjon og basert på vervet utvalg regnes ut. Disse svarprosentene er vist i tabell 3. Vi ser også av tabell 3 at lærerutdanninger og utdanninger i pedagogikk på universitetene er noe overrepresentert. Tabell 3: Svarprosenter fordelt på institutter og avdelinger, basert på populasjon og på vervet utvalg for lederundersøkelsen Basert på populasjon, ledere Basert på de vervede, ledere Universitet Høgskole Universitet Høgskole 1) Humanistiske og estetiske fag 100*21/36 = 58 % 48 % 100*21/31 = 68 % 58 % 2) Samfunnsfag og juridiske fag 48 % 18 % 55 % 20 % 3) Lærerutdanninger og utdanninger i pedagogikk 62 % 56 % 73 % 67 % 4) Økonomiske og administrative fag 50 % 56 % 63 % 59 % 5) Naturvitenskapelige fag, håndverksfag og tekniske fag 61 % 52 % 68 % 53 % 6) Helse-, sosial- og idrettsfag (inkl. medisin) 54 % 59 % 54 % 67 % 7) Annet 59 % 41 % 59 % 46 % Gjennomsnitt 57 % 48 % 63 % 54 % Totalt gjennomsnitt 100*233/445 = 52 % 100*233/400 = 58 % Norsk Samfunnsvitenskapelig datatjenestes database for statistikk om høgre utdanning (DBH) har utarbeidet en oversikt over alle studenter i Norge, fordelt på 12 kategorier. Disse 12 kategoriene følger samme mal som den inndelingen i 14 kategorier av ledere som er vist i tabellene 1, 2 og 3. Den eneste forskjellen er at fagområdet «Annet» ikke er med. Denne oversikten over studenter i Norge kan brukes til vurdere utvalgene av besvarelser fra de fagansatte og fra studentene. Vi har ikke tilgang til data for hele populasjonen av fagansatte ved universitetene og høgskolene i Norge. Det er imidlertid rimelig å tro at studenter og fagansatte er fordelt noenlunde likt, og at oversikten fra DBH dermed kan brukes til å vurdere fordelingen av de fagansatte. Vi har derfor antatt følgende: Antall fagansatte og antall studenter i hver av de 12 kategoriene er tilnærmet proporsjonalt, og hver fagansatt skal få en vekt alt etter hvor mange studenter som han eller hun representerer. DBHs tall for studenter i Norge og undersøkelsens nettoutvalg av fagansatte er stilt sammen i tabell 4. Tabellen viser fordelingene både i form av antall personer og prosentvis. Samfunnsfag og juridiske fag er underrepresentert, mens humanistiske og estetiske fag ved høgskolene er overrepresentert i nettoutvalget. Fordelingen i nettoutvalget av studenter kan likeframt og direkte sammenliknes med tallene fra DBH. Tallene for populasjonen og tallene for nettoutvalget er vist i tabell 5. Tabellen viser at samfunnsfag og juridiske fag ved universitetene er underrepresentert. Dette gjelder 6

7 også i litt mindre grad humanistiske og estetiske fag ved universitetene, og økonomiske og administrative fag ved høgskolene. Tabell 4: Prosentvis fordeling av institutter/avdelinger i populasjon og nettoutvalg for undersøkelsen av de fagansatte, forutsatt at de fagansatte representerer et visst antall studenter Populasjon, studenter Nettoutvalg, fagansatte Universitet Høgskole Universitet Høgskole 1) Humanistiske og estetiske fag % % 78 7 % 61 6 % 2) Samfunnsfag og juridiske fag % % 43 4 % 32 3 % 3) Lærerutdanninger og utdanninger i pedagogikk % % 42 4 % % 4) Økonomiske og administrative fag % % 33 3 % 76 7 % 5) Naturvitenskapelige fag, håndv. og tekn % % % % 6) Helse-, sosial- og idrettsfag (inkl. medisin) % % 88 8 % % Sum % % % % Total % % Tabell 5: Prosentvis fordeling av institutter/avdelinger i populasjon og nettoutvalg for studentundersøkelsen Populasjon, studenter Nettoutvalg, studenter Universitet Høgskole Universitet Høgskole 1) Humanistiske og estetiske fag % % % 95 3 % 2) Samfunnsfag og juridiske fag % % % % 3) Lærerutdanninger og utdanninger i pedagogikk % % % % 4) Økonomiske og administrative fag % % 83 2 % % 5) Naturvitenskapelige fag, håndv. og tekn % % % % 6) Helse-, sosial- og idrettsfag (inkl. medisin) % % % % Sum % % % % Total % % 7

8 5. Vekting av resultatene Tabellene 1, 4 og 5 danner grunnlaget for vektingen av de tre undersøkelsene. Vektene for alle tre undersøkelser er vist i tabellene nedenfor. Metoden er den samme for alle vekter: For hver kategori av ledere, fagansatte eller studenter deles den totale populasjonen på nettoutvalget. Slik blir de tre vektede nettoutvalgene modeller for populasjonene av ledere, fagansatte og studenter i Norge. Merk igjen at populasjonen av studenter brukes til å anslå den riktige fordelingen av fagansatte. Tabell 6: Vekting av lederundersøkelsen, basert på tabell 1 Universitet Vekter, ledere Høgskole 1) Humanistiske og estetiske fag 36/21 = ) Samfunnsfag og juridiske fag 25/12 = ) Lærerutdanninger og utdanninger i pedagogikk ) Økonomiske og administrative fag ) Naturvitenskapelige fag, håndverksfag og tekniske fag ) Helse-, sosial- og idrettsfag (inkl. medisin) ) Annet Tabell 7: Vekting av undersøkelsen av de fagansatte, basert på tabell 4 Universitet Vekter, fagansatte Høgskole 1) Humanistiske og estetiske fag 18977/78 = ) Samfunnsfag og juridiske fag ) Lærerutdanninger og utdanninger i pedagogikk ) Økonomiske og administrative fag ) Naturvitenskapelige fag, håndverksfag og tekniske fag ) Helse-, sosial- og idrettsfag (inkl. medisin)

9 Tabell 8: Vekting av studentundersøkelsen, basert på tabell 5 Universitet Vekter, studenter Høgskole 1) Humanistiske og estetiske fag 18977/182 = ) Samfunnsfag og juridiske fag ) Lærerutdanninger og utdanninger i pedagogikk ) Økonomiske og administrative fag ) Naturvitenskapelige fag, håndverksfag og tekniske fag ) Helse-, sosial- og idrettsfag (inkl. medisin) /515 = Frafallsvurdering Undersøkelser av den typen som er gjort i «Digital tilstand i høyere utdanning 2014», innebærer at resultatene rommer en viss usikkerhet. Vi kan likevel ha god tillit til resultatene dersom vi forutsetter at de som har deltatt i undersøkelsen, ikke skiller seg på avgjørende vis fra de som ikke har deltatt. Vi ser i lederundersøkelsen at samfunnsfag og juridiske fag på høgskolene er underrepresentert, og derfor har fått en høy vekt. De andre kategoriene er noenlunde jevnbyrdig representert, og har derfor ganske jevnstore vekter. Høyeste vekt i vektematrisen for ledere er ca. 3.4 ganger så stor som laveste vekt (tabell 6). Blant de fagansette er det samfunnsfag og juridiske fag på universitetene som er underrepresentert og dermed vektet opp. De andre kategoriene har en noe mer ujevn representasjon enn i lederundersøkelsen. Høyeste vekt i vektematrisen for fagansatte er ca. 7.7 ganger så stor som laveste vekt (tabell 7). Respondenter fra samfunnsfag og juridiske fag på universitetene er også underrepresentert og vektet opp i undersøkelsen av studenter. Representasjonen er litt mer ujevn enn blant lederne, men jevnere enn blant fagansatte. Høyeste vekt i vektematrisen for studenter er ca. 5.1 ganger så stor som laveste vekt (tabell 8). Forholdene mellom høyeste og laveste vekt har verdier som er ganske vanlige i undersøkelser av denne typen. Vektingen justerer for skjevheter i fordelingen mellom fagområder og skoletyper. Det kan imidlertid finnes skjevheter i nettoutvalget som går langs andre akser, som f.eks. respondentenes bruk av IKT på fritiden. Det er ikke nødvendigvis slik at det valgte skjemaet for vekting vil fjerne slike skjevheter. Faktisk kan vekting av undersøkelser øke skjevheter langs ukjente akser i ugunstige tilfeller. 9