Kristian Helland-Hansen Oslo, 3. juli 2015 Refleksjonsnotat. Bakgrunn for refleksjonsnotatet. Som et ledd i den semestervise evalueringen av undervisningen ved ISV, er seminarlederne blitt bedt om å utarbeide egne refleksjonsnotater. Hensikten med refleksjonsnotatet er dels å bygge opp en idé- og kunnskapsbank for kommende seminarledere, dels å rapportere til overordnede. Bacheloremnet STV1020 - Metode og statistikk, våren 2015. Professorene Jon Hovi og Carl Henrik Knutsen var fagansvarlige for STV1020, våren 2015. Førstekonsulent Eirin Kristiansen var administrativt ansvarlig for emnet. Undervisningen besto av en forelesningsrekke på 12 forelesninger. I tillegg ble det gitt to typer seminarer: Teoriseminarer (à 8 sesjoner) og seminarer i statistikkprogrammene SPSS eller R (à 6 sesjoner). Følgende personer fungerte som undervisningspersonale: Tabell 1. Undervisningspersonale i STV1020, våren 2015. Forelesere/Professorer Bernt Aardal Jon Hovi Carl Henrik Knutsen Seminarledere Teoriseminar Torjus H. Bjørnstad (Masterstudent, ISV) Knut-Andreas Christophersen (Universitetslektor) Kristian Helland-Hansen (Ekstern) Simen S. Solbakken (Masterstudent, ISV) SPSS-seminar Knut-Andreas Christophersen Karin Jakobsen Vaagland (Masterstudent, ISV) Sigurd Skogvoll (Masterstudent, ISV) R-seminar Knut-Andreas Christophersen Oversikt over min undervisning. Jeg ledet 5 teoriseminarer (seminargruppe 1 5 ). Hvert seminar hadde 8 ordinære sesjoner, totalt 40 sesjoner. Seminarene fant sted i ukene 8 18, våren 2015, og de var plassert slik i tid og rom:
Tabell 2. Tid og sted for mine seminarer. 1 Ma. Ti. On. To. Fre. 0815-1000 Sem. 4 HH, SR 120 Sem. 5 GS, UR 3 Sem. 3 GS, UR 2 1015-1200 Sem. 2 GS, UR 3 Sem. 1 HH, SR 132 Jeg var syk torsdag 23.4. Torjus H. Bjørnstad ledet sesjonen den dagen. I tillegg til seminarundervisningen, omfattet oppdraget å vurdere skriftlige besvarelser av en kvalifiseringsoppgave. Utover den ordinære seminarundervisningen, satte jeg opp to kontaktmøter, der studentene kunne stille spørsmål omkring kvalifiseringsoppgaven. Det ble også arrangert to ekstra seminarsesjoner, der jeg gikk igjennom siste seminaroppgave fra hver ordinære sesjon. (Grunnen til det, var at tiden ble knapp i en del sesjoner, slik at enkelte studenter gikk glipp av gjennomgangen av de siste oppgavene). Oppmøte Morgenseminarene (0815-1000) hadde i praksis færre deltakere enn formiddagsseminarene (1015-1200). (Ca. 17 kontra ca. 7, semesteret sett under ett). Det var et generelt frafall fra første sesjon til ca. 3. sesjon. Deretter holdt oppmøtet seg nokså stabilt, med unntak av dager med spesielt dårlig vær. I siste sesjon var oppmøtet godt igjen, med unntak av seminar 4, som var lagt til tirsdag morgen. Undervisningsform Undervisningen ble støttet av PC og prosjektor. Jeg benyttet PowerPoint-presentasjoner. I enkelte tilfeller brukte jeg tavle og/eller whiteboard som supplement. (I de to ekstraseminarene tok jeg opp lydfiler ved hjelp av diktafon). PowerPoint-presentasjonene ble lastet opp i Fronter etter hver sesjon. Hensikten var at studentene skulle slippe å fokusere på å notere, og heller kunne konsentrere seg om temaet. Studenter som hadde gått glipp av sesjonen, fikk dermed også mulighet til å se hvordan oppgavene var blitt løst. Oppgavene ble stort sett gjennomgått i den rekkefølgen de var satt opp. Ved et par anledninger gjorde jeg om på rekkefølgen for å sikre at nok tid ble gitt til siste oppgave. I stedet for å la seminaret være en enkel gjennomgang av oppgaveløsninger, ønsket jeg å skape dialog med studentene. Hensikten var pedagogisk. Jeg mener studentene vil forstå og huske bedre det de selv har formulert, sammenliknet med det de bare har hørt/sett. Både riktige og gale svar har sin verdi i en slik setting, fordi de på ulikt vis klargjør hvordan studentene tenker omkring temaet. Det er likevel flere utfordringer knyttet til en slik undervisningsform. For det første er en avhengig av å skape og bevare en trygghet i gruppen, som gjør at studentene ønsker å ta ordet. For det andre kan det være vanskelig å unngå digresjoner og holde tidsskjemaet. 1 GS: Georg Sverdrups hus. HH: Harriet Holters hus. SR: Seminarrom. UR: Undervisningsrom.
For å skape trygghet, begynte jeg seminarrekken med en «bli kjent-runde». Jeg forklarte min holdning til deltakelse og verdien av studentenes svar også gale svar. Jeg var også åpen med egne faglige utfordringer. Da vi begynte med oppgaveløsning, lot jeg iblant studentene få diskutere i små grupper, før vi tok opp spørsmålet i plenum. Hver oppgave ble avrundet med at jeg presenterte svaret på skjermen, slik jeg ville ha formulert det. Mønsteret for samhandling i seminarene var nokså likt: Én eller noen få dyktige og engasjerte studenter tok initiativ og bidro hyppig med svar, spørsmål og kommentarer. De fungerte som døråpnere for andre studenter, som i varierende grad tok del i samtalen. Også studenter som ikke var faglig sterke, våget å ta ordet. Men det var også enkelte studenter som ikke deltok aktivt; kanskje 25 %. Så vidt jeg kunne bedømme, møtte relativt få av studentene godt forberedt til seminarene. Nokså få oppga å ha dannet kollokvier. Svært få hadde notater eller oppgavesettet skrevet ut foran seg (men en del kan ha hatt dette på laptop). Prosjektorskjermen ble derfor et viktig medium. Enkelte av tabellene tidlig i oppgavesettet var såpass store at de egnet seg dårlig overføring til PowerPoint. Jeg måtte derfor skifte fram og tilbake mellom PP-presentasjonen og oppgavesettet på en måte som virket forstyrrende. Problemet ble forsterket av at skriften i de opprinnelige tabellene var liten. Oppgavene lenger ut i oppgavesettet hadde mindre tabeller, og disse lot seg greit overføre til PowerPoint. Min største utfordring gjennom seminarrekken var å holde tiden. Jeg gikk over tiden i samtlige sesjoner, med unntak av to. Dette skapte problemer for enkelte studenter, som skulle rekke et annet seminar senere på dagen. En student tok kontakt med administrasjonen og klaget over dette. Studenten hadde inntrykk av at de vanskeligste oppgavene var lagt til slutten av hver sesjon, og det var derfor ekstra frustrerende å måtte forlate salen under gjennomgangen av disse oppgavene. Jeg forsøkte å bøte på skaden gjennom å endre på rekkefølgen av oppgavene, og gjennom å tilby ekstraseminarer der de siste oppgavene fra hver sesjon ble gjennomgått. Siden ikke alle kunne forventes å delta i ekstraseminarene, ble det laget lydfiler for disse. Å dømme etter responsen fra studentene, satte flertallet pris på undervisningen både i form og innhold. Dette inntrykket baserer seg hovedsakelig på en anonym spørreundersøkelse gjennomført av administrasjonen ved ISV, men også på skriftlige og muntlige tilbakemeldinger fra enkeltstudenter. Likevel er det ikke holdbart å rutinemessig gå på overtid. Dersom det blir aktuelt for meg å holde seminarer igjen i dette emnet, vil jeg lage en mer detaljert kjøreplan for hver sesjon, der jeg prioriterer tiden til hver oppgave mer eksplisitt. Seminaroppgavene Seminarundervisningen tok utgangspunkt i et oppgavesett, som var utarbeidet og godkjent av emneansvarlige. Oppgavene var koordinert med forelesningsrekken, slik at studentene til enhver tid skulle ha de nødvendige forutsetningene for å løse dem. Så vidt jeg kan bedømme, dekket seminaroppgavene pensum godt. En del oppgaver inneholdt repeterende elementer. Temaer som ble tatt opp flere ganger, var bla.: Vurdering av målenivå, sannsynlighetsutvelging, (definisjonsmessig) validitet, (ikke-)rekursivitet og tolking av
regresjonslikninger. Til å begynne med, tenkte jeg at oppgavesettet kunne røktes litt. Etter hvert endret jeg oppfatning, dels fordi jeg innså at studentene trengte repetisjonen, dels fordi slik repetisjonen ga en pekepinn om den tematiske vektleggingen til eksamen. Jeg ble litt overrasket over hvilke oppgaver som ga meg utfordringer som lærer. På forhånd hadde jeg trodd at det ville være oppgaver som innebar regning og statistisk baserte slutninger. I praksis viste det seg at de (for meg) vanskeligste oppgavene dreide seg om vurderinger av målenivå og gyldighetsområde. Jeg var flere ganger i tvil om hva riktig svar på disse oppgavene var, og jeg var glad for å kunne drøfte disse med mine medseminarledere og med foreleserne. For to sammenhengende deloppgaver fant vi seminarledere flere plausible tolkninger (Høsten 2014: 3, deloppgave k og l). Vi samkjørte vår tolkning etter konsultasjon med Carl Henrik Knutsen og Knut- Andreas Christophersen. Sesjon 4 inneholdt deloppgaver fra eksamensoppgaven «Våren 2004: 3». Jeg liker godt denne oppgaven, men den har ett uheldig aspekt: Avhengig variabel beskrives som «prosentandelen som får ubetinget fengsel», mens uavhengig variabel er «antall år vedkommende er over 20». Her kan det se ut som om aggregerte data blandes med individdata, og det blir litt utydelig hva observasjonsenheten er. (Jeg går ut ifra at dette dreier seg om en lineær sannsynlighetsmodell på individnivå, der formuleringen skyldes at eksaminator har ønsket å unngå kritikk i retning av at man burde brukt en logit-modell. Hvis det er riktig, er det egentlig brukt en binær avhengig variabel her). Saken kompliseres av at det lenger ned spørres etter den avhengige variabelens målenivå. Til eksamen fikk studentene blant annet flervalgsoppgaver (multiple choice). En student klaget til meg på at vi ikke hadde gjennomgått denne typen oppgaver i seminaret. Det bør derfor vurderes å inkludere slike oppgaver i senere oppgavesett. Omleggingen av STV1020 har medført en omprioritering, der tabellanalyse vektlegges mindre enn tidligere, mens regresjonsanalyse vektlegges mer. Jeg tror det er viktig å vurdere om dette kan ha uintenderte følger for studentenes forståelse av distinksjonen mellom prediksjonsanalyse og kausalanalyse. (Skillet kommer klart fram i tabellanalyse fordi studentene blir nødt til å veie effektene i forbindelse med kausalanalyse, men ikke i forbindelse med prediksjonsanalyse). 2 Kvalifiseringsoppgaven Kvalifiseringsoppgaven var godkjent av fagansvarlige. Oppgaven var revidert i forhold til tidligere semestre. Oppgavens hensikt er å sikre at studentene har nødvendig begrepsforståelse i forkant av eksamen. Kvalifiseringsoppgaven forbereder også studentene til de siste sesjonene i seminarrekken, der kausalmodeller med dekomponering av bivariate (statistiske) sammenhenger gjennomgås. 2 En meget dyktig student spurte meg om 5 gangs Regresjonsoppgave, deloppgave p. Spørsmålet var hvorfor jeg viste til analyse 2 og ikke analyse 3 da jeg regnet ut den indirekte effekten av kjønn (via politisk orientering) på terrorfrykt. (Analyse 3 inneholder en samspillseffekt, noe analyse 2 ikke gjør). Spørsmålet kunne tyde på at studenten hadde en mangelfull forståelse for skillet mellom kausalanalyse og prediksjonsanalyse.
93 av totalt 109 studenter leverte besvarelse (én eller flere ganger). De fleste av disse ble lastet opp i Fronter, men et lite mindretall ble innsendt pr. e-post. Besvarelsene fordelte seg slik: Tabell 3. Oversikt over leverte og godkjente besvarelser av kvalifiseringsoppgaven. Levert Bestått 1. innlevering 93 48 2. innlevering 43 38 3. innlevering 4 4 Slik oversikten viser, sank andelen av underkjente besvarelser suksessivt fra ca. 50 % i første evaluering til 0 % i tredje evaluering. Gitt at kravet til godkjent besvarelse har ligget stabilt, mener jeg dette indikerer at mange studenter har hatt læringsutbytte av kvalifiseringsoppgaven. Alle studentene mottok skriftlige evalueringer av sine besvarelser. Evalueringene ble lastet opp i Fronter og studentene fikk beskjed via e-postvarsler. Evalueringene var tilpasset den enkelte besvarelse. Både sterke og svake sider ble kommentert. Kommentarene var gjennomsnittlig ca. 1,5 sider lange. Enkelte 2. gangs besvarelser ga inntrykk av at studentene ikke hadde lest evalueringen av førsteutkastet. Dels derfor, dels fordi jeg fikk direkte spørsmål, har jeg fått inntrykk av at det kan være litt kronglete å finne fram til slike kommentarer i Fronter. Et nokså vanlig problem i besvarelsene var at studentene ikke hadde definert observasjonsenheten for seg selv, og at de dermed benyttet variabler som svarte til enheter på ulike analysenivåer. Mange slet også med distinksjonen mellom teoretisk og operasjonelt definert variabel. En del hadde problemer med fastsetting av målenivå også for dikotome variabler. Enkelte greide ikke å bestemme fortegnet til direkte effekter i modellen. Det vanligste feilen knyttet seg likevel til fastsetting av fortegnet til spuriøs effekt. Samarbeid og kvalitetssikring Det ble avholdt ett forberedende møte i januar 2015 og ett evalueringsmøte i juni 2015. (I tillegg ble det holdt et evalueringsmøte for samtlige seminarledere ved ISV). Vi som ledet teoriseminarene, opplevde å få tillit og ansvar fra de fagansvarlige. Det ble ikke laget noen fasit i forkant av seminarrekken, og undervisningen hvilte derfor på at vi selv klarte å løse oppgavene riktig. De nye seminarlederne (Simen S. Sørbø, Torjus H. Bjørnstad og jeg) møttes flere ganger gjennom semesteret for å diskutere oppgavene til de påfølgende sesjonene. Ved tvil eller uenighet kontaktet vi Knut-Andreas Christophersen, Jon Hovi eller Carl Henrik Knutsen. I minst ett tilfelle ble et spørsmål videresendt til Ottar Hellevik. Administrative spørsmål ble stilt eller videresendt til førstekonsulent Eirin Kristiansen. Samarbeidet fungerte etter mitt syn godt. De fast ansatte svarte alltid velvillig og raskt på spørsmål. Torjus vikarierte for meg da jeg ble syk, og Knut-Andreas ledet på kort varsel første del av en sesjon
da jeg var blitt forsinket. Selv om dette gikk greit, kan rutinene for seminaravvikling ved seminarleders sykdom med fordel klargjøres.