Tema: Evalueringsmodulen Fronter 91 Dette heftet er produsert av Fronter as www.fronter.com Heftet kan kun kopieres eller distribueres elektronisk ifølge kontrakt eller avtale med Nytt i volum 91 av dette heftet: Det er ingen endringer i denne versjonen Tema: Evalueringsmodulen... 1 Innledning... 2 Klargjøring... 2 Gjennomgang av en evaluering steg for steg... 3 Opprettelse... 4 Registrere spørsmålene... 5 Føye til spørsmål på et underliggende nivå... 8 Aktivering av undersøkelsen... 9 Hvordan svare på en evaluering... 12 Påminnelse... 13 Avslutning av en evaluering... 15 Stenging av en evaluering... 17 Akkumulerte rapporter... 20 Tilgangsrettigheter... 23 Lokale Innstillinger... 24 Eksport av resultatet... 24 Nyttig eksport-tips... 28 Versjonskontroll... 30 1
Innledning Evalueringsmodulen er spesielt etterspurt fra høgskoler og universiteter og er utviklet for å kunne rulle ut kursevalueringer, studiekvalitetsundersøkelser og lignende i stor skala. Prinsippet er at det lages en evaluering på for eksempel rot-nivå i Fronterstrukturen. Deretter aktiveres den på de ulike nivåene som studieprogram, kull, kurs og lignende. Evalueringen blir da tilgjengelig for disse studentene. Modulen inneholder også den fleksibiliteten at det kan føyes til egne spørsmål for de ulike gruppene som skal svare slik at man får den tilpasningen som er ønskelig. Fronter er i kontinuerlig utvikling og forbedring. Det kan derfor forekomme avvik mellom dokumentasjon og applikasjon. Denne veiledning er skrevet til Fronter 91. Lykke til. Lillehammer, desember 2008 Steinar Hov/Ingun Vaglid Klargjøring Evalueringsmodulen er knyttet til lisensen slik at den aktiveres av Fronter på forespørsel. Den vil da være tilgjengelig for toppadministrator: Fliken Verktøy er da tilgjengelig og toppadministrator kan åpne for at evalueringer kan opprettes på et lavere nivå ved å åpne hengelåsen på vanlig måte. Dette er altså en innstilling som settes på brukernivå. 2
Gjennomgang av en evaluering steg for steg Vi skal nå se hvordan en studiekvalitetsundersøkelse kan gjennomføres med dette evalueringsverktøyet. Undersøkelsen skal foretas ved Elging høgskole: Vi åpner verktøyet på riktig nivå i strukturen og får følgende meny: 3
Opprettelse Første ledd i prosessen er å opprette selve evalueringen: Vi bestemmer så egenskapene til undersøkelsen: Her merker vi oss følgende punkter: Tittel og Beskrivelse er selvforklarende. Automatisk nummerering er praktisk dersom nye spørsmål blir føyd til mellom eksisterende. Anonym gjør at de som svarer på undersøkelsen forblir anonyme. 4
Gjør rapporter tilgjengelig for brukerne innebærer at de som de som har rettigheten Vis kontakter i en gruppe (f.eks. studenter på samme studium, i samme klasse osv.) får se rapportene med sammendragene for disse. De vil ikke få tilgang til enkeltbesvarelsene. Gjør evalueringen tilgjengelig i underordnet struktur medfører at man kan føye til spørsmål som gjelder en avdeling, et institutt osv. Som eksempel kan vi tenke oss en evaluering som har en rekke fellesspørsmål som gjelder alle, mens det i tillegg føyes til egne spørsmål som kan gå på enkelte studier, avdelinger osv. Det er meget viktig å merke seg at når evalueringen aktiveres vil disse valgene du her har foretatt bli låst slik at det ikke er mulig å foreta endringer i etterkant. Registrere spørsmålene Da er det bare å sette i gang med å registrere spørsmålene du kjenner sikkert igjen grensesnittet fra Prøveverktøyet: Legg merke til det markerte feltet, dette er hurtignavigering en funksjon som gjør det enklere for deg å navigere bakover i strukturen du er inne i. Vi legger til noen spørsmål på nøyaktig samme måte som i Prøver, men med to unntak: Skjul resultat for dette spørsmålet for brukerne er beregnet på å kunne utelate enkelte spørsmål fra rapportene. Et eksempel på dette kan være at studentene har et felt for kommentarer og der kan det jo forekomme fri språkbruk som kanskje ikke er passende å publisere for alle. Det er ingen rubrikk for å markere korrekt svar: 5
Et utsnitt av en ferdig undersøkelse kan se slik ut: 6
De enkelte svaralternativene tildeles poeng for at det skal være mulig å behandle resultatet i etterkant, for eksempel i SPSS: 7
Og her har vi et spørsmål som det er frivillig å svare på og hvor svaret skjules for de andre: Føye til spørsmål på et underliggende nivå Vi antar at undersøkelsen som er beskrevet ovenfor inneholder spørsmål til alle studentene. Videre ønsker vi å føye til noen spørsmål som gjelder et bestemt studium. Siden det er haket av for Gjør evalueringen tilgjengelig i underordnet struktur kan vi nå føye til disse spørsmålene ved først å velge gjeldende org. enhet: 8
I dette tilfellet har vi markert en org.enhet Kull: 20043-BØADM som skal ha noen ekstra spørsmål knyttet til et eget undervisningsopplegg. Ved å klikke på selve evalueringen ser du at det kan føyes til lokale spørsmål. Vi legger inn en overskrift samt føyer til et spørsmål på denne org.enheten. Legg merke til tallene til venstre for hvert spørsmål det viser hvilket nivå i hierarkiet spørsmålet er knyttet til: I dette tilfellet er hovedspørsmålene knyttet til nivå 2 (som tilsvarer rot-nivå for akkurat denne eksempel-installasjonen), mens våre to lokale tilføyelser er satt på nivå 7. Ved å peke på tallet vil det komme opp et lite informasjonsvindu med navnet på aktuell org.enhet. Aktivering av undersøkelsen Evalueringen må aktiveres på det relevante nivået som omfatter de som skal kunne svare på den: I dette tilfellet aktiveres undersøkelsen på rotnivå slik at den blir tilgjengelig for alle. Vi får først opp en (her: tom) oversikt over aktive evalueringer: 9
Vi velger så vår undersøkelse: og detaljene i aktiveringen registreres: Legg spesielt merke til at vi her har haket av for Studenter. Dette fører til at ingen ansatte får opp denne undersøkelsen selv om de har tilgang til verktøyet Evaluering. På denne måten fin-innstiller vi direkte på relevante målgrupper for slike evalueringer. 10
Viktig! vkimport Legg merke til valget i øvre høyre hjørne på bildet: Vis bare importerte grupper. Dette valget fører til at kun de brukerne (studentene) som er overført fra det studieadministrative systemet blir med på undersøkelsen. Dette er direkte knyttet til en (skjult) ID som følger hver bruker ved en slik import. Da unngår vi at evalueringen går til andre brukere som eventuelt finnes i de markerte gruppene. Dato og klokkeslett for når evalueringen skal være tilgjengelig registreres også før du avslutter med Aktiver. Også dette er viktig! vkaktivering I det en evaluering blir aktivert klippes navlesnora til den opprinnelige evalueringen og du sitter igjen med en kopi. Denne kopien/aktiverte evalueringen er dermed frosset for endringer med to unntak: - du kan endre tittelen - du kan endre åpningstiden Det er mao all grunn til å være skjerpet i det en evaluering blir aktivert! Etter aktiveringen får du se (her markert med gult) hvilket nivå aktiveringen er foretatt på: For at studentene skal få tilgang til en evaluering av dette slaget må de ha det relevante verktøyet Evalueringer i sin personlige verktøyliste: 11
Viktig: Dersom en undersøkelse er aktivert for flere org.enheter og en student er medlem i flere enn 1 av disse, vil studenten få opp flere evalueringer. Dette verktøyet er laget slik at hovedprinsippet er at en evaluering aktiveres på hvert kurs/studium/kull som den skal gjennomføres på. En struktur med mange nivåer kan føre til at evalueringene gjentas (uønsket) flere ganger for noen av brukerne. I eksempelet ovenfor er evalueringen først aktivert på nivået Studenter. Deretter er den aktivert på et lavere nivå, Kull: 20043-BØADM, noe som fører til at en student der vil få følgende evalueringer: Hvordan svare på en evaluering For at studentene skal kunne svare på en evaluering må verktøyet Evaluering legges til personlig verktøyliste for dem: For en student vil det dermed se slik ut: 12
Et klikk på Evaluering vil vise den enkelte student de aktive evalueringene som vedkommende kan svare på: Påminnelse Det er også mulig å foreta en påminnelse enten til alle eller kun til de som ikke har svart på en slik evaluering: Ved å bruke Påminnelse der den er markert med gult ovenfor får du følgende dialogvindu: 13
Her står det en standardtekst, som kan redigeres ved behov. Videre kan du få opp en liste (for rask visuell kontroll) over de som blir mottakere av denne e-posten ved å klikke på Liste over deltakere: Ved å bruke hurtigmenyen til venstre for tittelen får vi opp en mer spesifikk påminnelse: Denne påminnelsen tar hensyn til de som allerede har svart: 14
Avslutning av en evaluering Evalueringene er tidsstyrte og når fristen for å svare har gått ut endrer de farge: Rødfargen vises og antall svar som har kommet inn vises ute til høyre. Først nå kan vi lage rapporter som viser utfallet: Ved å merke alle besvarelsene kan vi lage et sammendrag: 15
Sammendraget kjenner du sikkert igjen fra prøveverktøyet: På dette stadiet ser ikke studentene rapportene (selv om det er haket av for at de skal kunne det). Grunnen er at det er lagt inn en mulighet for å redigere tekstsvarene som er skrevet. Det kan jo forekomme at noen svarer på en måte som er upassende slik som i dette simulerte tilfellet: 16
Her ser vi at to har skrevet sine kommentarer og her er det altså mulig å redigere hvert enkelt av dem ([Endre]). Stenging av en evaluering Når svarfristen er ute (eventuelt etter en forlengelse) skal evalueringen stenges. Det gjør du under valget Aktivering av evalueringer: En evaluering som er stengt kan ikke gjenåpnes, endres osv det er finito! Du vil nå se at evalueringen flyttes fra Aktivering av evalueringer til Stengte evalueringer: 17
Her kan du kommentere evalueringen: Kommentarene skrives i feltet nedenfor: Videre kan du lage sluttrapporter fra hurtigmenyen, og det er først nå de blir tilgjengelige for studentene: 18
Disse rapportene er ikke tilgjengelige for studentene dersom det ikke ble haket av for det før evalueringen ble aktivert: 19
Akkumulerte rapporter Den opprinnelige evalueringen ble her laget på ett nivå og deretter aktivert på to underliggende nivåer for å fange opp ønskede studentgrupper. Etter at de aktuelle evalueringene er stengt kan du få tilgang til akkumulerte resultater. Du må da navigere deg til den opprinnelige evalueringen som ligger under Opprette evalueringer: Ved å velge Rapport der kommer du til rapportmappen for de stengte evalueringene: Ved å merke evalueringene og deretter Sammendrag kan du få: 20
Her vil du få en rapport som viser de markerte evalueringene under hverandre som en fortløpende liste. Legg merke til at du også kan lage en akkumulert rapport (knappen neden til høyre): Her får vi summen av fellesspørsmålene: 21
Mens de tilpassede spørsmålene vises med det antallet som har svart på dem: Helt nederst kan du splitte opp til separate rapporter igjen: 22
Tilgangsrettigheter Det er laget to nye tilgangsrettigheter i forbindelse med denne evalueringsmodulen. Begge disse er selvsagt knyttet til brukere. En lokal administrator (eller en annen person, selvsagt) kan tildeles rettigheten til å opprette samt rulle ut en evaluering: Her kan de også se evalueringer fra et høyere nivå. Disse evalueringene kan ikke endres, med unntak av tilføyelse av nye spørsmål. Videre kan personer også få tilgang til alle rapportdetaljer ved å tildeles denne rettigheten: De som får tildelt denne rettigheten vil også kunne se svarene som er markert som skjult. 23
Lokale Innstillinger Det er to innstillinger for evalueringer som kan settes på brukernivå: Gjør alle evalueringsrapporter tilgjengelige for alle brukere. Dersom denne innstillingen settes På for en org.enhet vil medlemmene i denne og underliggende nivåer se alle rapportene. Disse rapportene vil være filtrert, slik at skjulte spørsmål ikke vises. Ikke tillat brukere med høyere tilgang enn Vis kontakter å gjennomføre evalueringer. Denne innstillingen henspiller på at lærere (som kanskje har rettigheten Kontaktoppretter) ikke skal kunne evaluere seg selv. Eksport av resultatet For å kunne foreta en eksport av resultatet må evalueringen være stengt først da kommer rapportvalget opp i menyen. Dette gjøres der evalueringen ble opprettet: Deretter må du merke den evalueringen du ønsker rapporten for: 24
Det er så en rekke valg for hvordan eksportfilen skal se ut: Ovenfor vil Navn være Anonym for alle som har besvart evalueringen. Du kan velge alle eller et utvalg av spørsmålene for denne eksporten: Velg om du vil ha med anførselstegn for hvert svar og hvilket skilletegn du vil bruke: 25
Sammen sammenklemt kan den eksporterte filen se ut noe som likner denne: Import av denne tekstfilen i for eksempel Excel medfører noen valg som må foretas: 26
Etter å ha angitt at det er benyttet skilletegn må du angi hvilke(t): Deretter er dataene klare for videre bearbeiding. 27
Nyttig eksport-tips Dersom en evaluering består av spørsmål som har radioknapper (kun ett valg mulig) og avkrysningsbokser (flere valg mulig) må du være ekstra nøye med skilletegnene for å kunne bearbeide dataene etterpå. La evalueringen i dette mikroeksempelet kun inneholde 2 spørsmål: Det første er, som du ser radioknapper hvor Mann er kodet til 0, mens Kvinne er kodet til 1. Det neste spørsmålet (avkrysningsbokser) er kodet til Matematikk: 10, Fysikk: 20, Kjemi: 30 Vi lar 3 svare her er resultatet vist i Fronter: 28
Det er en rekke innstillinger som kan gjøres når det gjelder eksportfilen som skal skapes: I slike tilfeller kan det lønne seg å eksportere dataene i flere omganger hvor du velger ut enten bare de spørsmålene som har radioknapper eller de som består av avkrysningsbokser bruk den metoden du er mest fortrolig med. 29
Versjonskontroll Versjon Dato Beskrivelse Ansvarlig 51.1 10.03.05 Tema: Steinar Hov Evalueringsmodulen 52.1 Ingen endringer Steinar Hov 62.1 08.09.06 Ingen endringer Steinar Hov 71.1 21.02.07 Ingen endringer Steinar Hov 81.1 29.01.08 Ingen endringer Steinar Hov 82.1 18.08.08 Ingen endringer Steinar Hov 91.1 09.12.08 Ingen endringer Steinar Hov QA Revisjon Dato Godkjent av Kommentarer 19.04.05 Ingun Vaglid gjennomgått og korrigert 08.09.06 Ingun Vaglid Godkjent 21.02.07 Ingun Vaglid Godkjent 29.01.08 Georg Ranhoff Godkjent 18.08.08 Ingun Vaglid Godkjent 09.12.08 Ingun Vaglid Godkjent 30