Utvikling av læringsprosessen hos førsteårs ingeniørstudenter; digitale formative tester og refleksjoner som verktøy.

Utvikling av læringsprosessen hos førsteårs ingeniørstudenter; digitale formative tester og refleksjoner som verktøy. Trond Morten Thorseth, Magnus Strøm Mellingsæter, Knut Bjørkli, HiST Høgskolen i Sør-Trøndelag, AFT, Program for Allmennfag E.C. Dahls gate 2 7030 Trondheim ABSTRACT: Kvalitetsreformen ble iverksatt ved samtlige høyere utdanningsinstitusjoner i Norge ved studiestart høsten 2003. En av intensjonene ved reformen var å gi studentene en vesentlig tettere oppfølging. I praksis har dette vist seg å være utfordrende, da det er tidsmessig og økonomisk krevende å praktisere en god oppfølgingspraksis av store grupper studenter. HiST har utviklet et vurderingssystem, Peer Learning Assessment System (PELE), som ble brukt for å gjennomføre formative klasseromsøvinger i emnet Matematikk 1 for første års ingeniørstudenter. Vurderingssystemet PELE ble brukt for å gi studentene faglig tilbakemelding jevnlig gjennom semesteret. I tillegg ble studentene gitt et refleksjonsskjema og tid til refleksjon etter hver klasseromsøving. Hensikten med de formative testene var å gi løpende faglig tilbakemelding. Refleksjonsskjemaene ble anvendt for å rette fokus mot studentenes egne læringsprosesser. Underveis i semesteret ble jevnlig gitt korte presentasjoner om selvregulert læring og tema som er relevante for læringsprosessen. Studentenes behov for kunnskap om læring er stort. Våre undersøkelser viser at omtrent 50 % av våre studenter hevder å benytte det de oppfatter å være en tilfredsstillende læringsmetode. Samtidig rapporterer bare 15-20 % at de har fått skolering i det å lære. Vår erfaring er at dersom studentene skal gis en troverdig faglig selvoppfatning, må studentene læres opp i hvordan de kan bruke tilbakemeldingene fra de formative testene. I tillegg må de lære å bruke refleksjon som et verktøy for og effektivt bygge erfaringer om egne læringsmetoder og -strategier. I denne artikkelen ønsker vi å dele våre foreløpige erfaringer fra dette pågående prosjektet ved HiST. 1 INTRODUKSJON For å gjennomføre en høyere utdanning må en student beherske et variert spekter av strategier for læring. Overgangen fra videregående skole er krevende for mange, og for å mestre studiehverdagen kreves det at studentene må styre sin egen læringsprosess. Kvalitetsreformen var ment å skulle gi tettere oppfølging av hver enkelt student gjennom en forbedret praksis for tilbakemeldinger. Med dagens praksis hvor det er store studentgrupper som deltar på de innledende grunnlagsemnene, har dette vist seg å være en stor utfordring. En god praksis for tilbakemeldinger er essensielt for at studentene skal kunne regulere sin egen læringsprosess. Tilbakemeldingene bør være retningsgivende for hvordan studenten bør jobbe videre for å utvikle seg. Studentene er imidlertid ikke nødvendigvis bevisste på hvordan de kan anvende tilbakemeldinger hensiktsmessig. Det å ha en høy grad av bevissthet om egen læring er en stor fordel for fremtidens ingeniører. De møter et næringsliv som er i rask endring, og livslang læring er påkrevd dersom de skal opprettholde og utvikle sin kompetanse. Det er et behov for å øke studentenes bevissthet omkring deres egen læringsprosess. I en studie av Yan, Thai og Bjork (2014) ble studenter spurt om de hadde fått formell opplæring i det å lære, hvorpå 60 % svarer nei. I en tilsvarende studie fra Hartwig og Dunlosky (2012) sier 64 % nei, og for Kornell og Bjork (2007) svarte 80 % nei på dette spørsmålet. Data fra prosjektet beskrevet i denne artikkelen antyder at 15-20 % av studentene har fått en slik opplæring. Strategier for læring er viktig å videreutvikle ikke bare underveis i studiet, men også inn i yrkeslivet etter endt utdanning. I lys av dette er det bekymringsfullt at studenters læringsprosess er et resultat av tilfeldigheter. I en læringsprosess bør en student bevisst anvende varierte strategier i møte med nye utfordringer. Selvregulering er brukt om prosesser der mennesker regulerer følelser, tanker og handlinger over tid, rettet mot et mål (Karoly, 1993). I teori om selvregulering forsøker man å forstå hvordan mennesker prøver å utøve en kontroll over en rekke typer adferd som trening, diett, religions-utøvelse osv. Evnen til å regulere seg selv er en av de mest fundamentale voksne mennesker har (Porath & Bateman, 2006). Begrepet selvregulert læring stammer fra sosialkognitiv teori, som omfatter bevisst regulering

av tanker, følelser og handlinger rettet mot akademiske mål (Pintrich, 2000; Winne, 1995; Zimmerman & Pons, 1986). Et viktig aspekt ved selvregulert læring er at læring er en aktiv prosess fra studentens side. Et bevisst og aktivt forhold til læring gir en fleksibilitet og økt mulighet for å utvikle egen læring i varierte situasjoner (Pintrich, 2004). Under presenteres noen verktøy som kan brukes for å underbygge studenters selvregulerte læring, og som har vært sentrale for prosjektet som er beskrevet i denne artikkelen. Formative tester er definert som testaktiviteter gjennomført for å generere tilbakemeldinger til studentene, hvordan de henger med i faget og for å regulere studentenes egen læring og læringsstrategi (Sadler, 1998). Formative tester kan, dersom de gjennomføres med omtanke, være med på å utvikle selvregulert læring hos studenter (Nicol & Macfarlane Dick, 2006). I dette prosjektet utnyttes formative tester i tillegg som en anledning til å stimulere studentenes bevissthet omkring sin egen læringsprosess ved å få studentene til å reflektere over egen læring og prestasjon. Bruk av refleksjonsskjema eller oppgaver der studentene skal skrive ned egne erfaringer, har vært brukt for å skape refleksjon innen en del profesjonsyrker (Wade & Yarbrough, 1996; Wallman, Lindblad, Hall, Lundmark, & Ring, 2008). Det å reflektere over en handling handler om å bygge en bevissthet omkring hvordan den lærende selv oppfatter tilbakemeldinger på egen læring. Det er en essensiell del av selvregulert læring og bygging av metakognitive ferdigheter samt læring og erfaringsbygging. Wallman et al. (2008) har utviklet en taksonomi som kan brukes for å vurdere refleksjon. De har definert seks nivåer av refleksjon, hvor de tre første nivåene beskriver observasjon i økende grad, mens de tre siste nivåene beskriver økende grad av refleksjon: Nivå 1 Handling ut fra vane: Dette er beskrivelser av en hendelse eller en situasjon som skjer uten at det vitner om en bevisst handling. Det bare skjer uten at det er gjort bevisste valg. Nivå 2 Oppmerksom handling: Valg og handling skjer ut fra tidligere erfaringer, men det er ikke skrevet ned noen tanker om konsekvenser av valg og resultater. Nivå 3 Introspeksjon: På dette nivået er studenten i stand til å observere seg selv, hvordan de tenker og føler omkring situasjonen. Men det er ingen refleksjoner omkring hvorfor de følelsesmessige opplevelsene skjer og konsekvenser av dem. Nivå 4 Refleksjon over innhold: På dette nivået er studenten i stand til å observere seg selv og stille spørsmål til egen reaksjon, resultat eller handling. Dette kan settes i lys av tidligere erfaringer. Nivå 5 Refleksjon over prosessen: På dette nivået er studenten i stand til å tenke over hvordan de observerer seg selv, hvordan de tenker, føler eller handler, og gjøre en vurdering av effektiviteten i dette. Nivå 6 Refleksjon over premissene: På dette nivået skjer det en refleksjon over premissene og hvorfor man tenker, føler og handler på den måten det blir gjort. Dette inkluderer en analyse av hele situasjonen. 2 METODE I gjennomføringen av dette pilotprosjektet ble to klasser fra tre studieretninger ved Avdeling for Teknologi ved Høgskolen i Sør-Trøndelag (HiST) valgt ut som deltakere. Begge klassene deltok i et matematikkemne som var obligatorisk for førsteårs ingeniørstudenter. Klasse A bestod av 48 studenter, hvor 26 var jenter og 22 gutter. Klasse B bestod av 71 studenter, hvorav 31 var jenter og 40 gutter. Klasse B var sammensatt av studenter fra to studieretninger. Inntakskravet i klasse B var litt høyere enn i klasse A. Datamaterialet som ligger til grunn for denne studien er skriftlige refleksjoner fra studenter i begge klassene som er hentet inn i forbindelse med formative tester. Hver 14. dag ble det gjennomført formative tester i form av klasseromsøvinger i forelesningssalen. I første time fikk studentene utlevert et ark med seks oppgaver som de skulle løse. I den sisten delen av første time, etter ca. 40 minutter, fikk studentene utlevert et nytt ark med svaralternativer. Studentene besvarte testen med sine egne telefoner via et elektronisk testsystem ved navn Peer Learning Assessment System (PELE), som er utviklet ved HiST. Etter en kort pause på omtrent ti minutter, ble klassen samlet for en gjennomgang. Ved hjelp av PELE-systemet fikk faglærer en oversikt over hvor mange og hvem som har besvart

oppgavene riktig, og kunne derfor tilpasse gjennomgangen av testen deretter. På denne måten fikk studentene gjennomgått alle oppgavene, og de fikk en umiddelbar faglig tilbakemelding på hvordan de selv hadde gjort det sammenlignet med de andre i klassen. Etter gjennomgangen av hver enkelt oppgave ble det gitt noe tid for hver enkelt student til å reflektere over hvordan de selv hadde løst sin oppgave, sammenlignet med løsningsforslaget presentert av faglæreren. Disse refleksjonene ble skrevet ned på papiret sammen med oppgavene og egne løsninger. Testene ble arrangert kun med den hensikt at studentene kunne få teste seg selv i faget, og resultatene var ikke tellende for sluttkarakter. Studentene måtte imidlertid ha deltatt på minst 4 av 6 klasseromsøvinger for å få gå opp til eksamen. For å få en utvidet effekt av klasseromsøvingene ble studentene bedt om å besvare to spørsmål før de startet testen. Her ble de bedt om å gi en egenvurdering av sitt eget faglige nivå på tema de ville bli testet på. Et eksempel på slike spørsmål er: «Ett av temaene på denne øvinga er komplekse tall. Hvor sikker er du på at du behersker dette emnet?». Studentene kunne da vurdere seg selv på fire nivå, fra veldig usikker til veldig sikker. Etter klasseromsøvingen og gjennomgangen av oppgavene ble studentene bedt om å besvare et refleksjonsskjema. Det første studentene ble bedt om å gjøre var å vurdere sin egen prestasjon, fra misfornøyd, ikke så fornøyd, ok, litt fornøyd til veldig fornøyd. Etter denne innledende vurderingen kom seks spørsmål som var ment å stimulere til refleksjon rundt studentenes egen læringsprosess. 1. Følelser: Hvilke emosjonelle reaksjoner merket du hos deg selv før og mens du jobbet med oppgavene? (Ro, stress, nervøsitet, trygghet, sinne, glede, aha, huff, mestring, sperre o.l.) 2. Valg: Gjorde du noen valg, enten bevisst eller ubevisst underveis i dag som var gunstige eller ugunstige? 3. Hvorfor: Ditt resultat og dine reaksjoner i dag kan bare du forklare for deg selv. Hvorfor gikk det som det gikk i dag? 4. Fungerer strategi: Du har nå jobbet med dette stoffet på din måte siden det ble forelest og frem til i dag. Fungerer din måte å jobbe på for å få lært stoffet? 5. Erfaringer: Har du gjort deg noen erfaringer i dag som er verd å ta med videre? 6. Generelt: Har du noen generelle tanker eller observasjoner du har gjort deg? Hensikten med spørsmål 1 var å skape en metakognitiv bevissthet omkring studentens egne reaksjoner og hvordan de tenker i selve testsituasjonen. Dette spørsmålet var ment å stimulere til en egenobservasjon på nivå 3 i graden av refleksjon (Wallman et al., 2008). Spørsmål 2 var ment å stimulere en refleksjon på nivå 4 og spørsmål 3 og 4 var ment å få rettet fokus mot selve læringsprosessen og stimulere refleksjon på nivå 5. Spørsmål 5 og 6 var ment å åpne for mer generelle betraktninger og ikke minst rette fokus fremover mot neste innlæringsperiode. I tillegg ble klassene informert om selvregulert læring og om hvordan tilbakemelding er viktig for å regulere egen læring. Det ble også gitt en kort presentasjon om hvordan følelser kan brukes når man lærer matematikk. I den forbindelse ble usikkerhet pekt på som et signal for å sjekke om noe er riktig eller lov. Fortvilelse eller frustrasjon ble pekt på som mulige signaler på at man bør spørre om hjelp. Studentene ble også gjort oppmerksomme på at følelser i stor grad brukes når beslutninger skal tas, slik at det er viktig å følge med på hvordan man reagerer. Stress og frykt ble brukt som eksempler på følelser som er med på å redusere yteevnen nå man skal hente frem ting fra hukommelsen. Det ble pekt på viktigheten av å være i stand til å observere slike følelser, for å være i stand til å regulere dem. I dette prosjektet har det vært viktig for oss å få studentene til å legge merke til sine egne emosjonelle reaksjoner under testene og reflektere over sammenhengen mellom reaksjonene og sine egne prestasjoner. Dersom følelsene er av en slik karakter at de oppleves som forstyrrende i testkonteksten er det viktig for studenten å være klar over dette for så å forsøke å redusere effekten. Ved å rette spørsmål som fokuserer på hvordan studentenes emosjoner varierte under testene, fikk studentene et verktøy for å observere seg selv. Vi observerte at studentene gjennom sine refleksjoner viste forsøk på å observere og regulere egne følelser.

3 RESULTATER MNT-konferansen 2015, 18.-19. mars, Bergen I det følgende presenteres et utvalg av studentenes refleksjonsskjemaer. Utvalget er primært basert på variasjonen i refleksjonene med hensyn til de taksonomiske nivåene presentert tidligere (jfr. Wallman et al., 2008). Innledningsvis er det verdt å merke seg hvilke reaksjoner studentene identifiserer før, underveis i og etter testsituasjonen. En reaksjon som synes å gå igjen hos flere er stress. Noen antyder at tidsbegrensning i seg selv forårsaker en stressreaksjon: «Jeg blir fort stresset når jeg har tidspress på meg.» I tillegg er det kjent at noen har grader av matematikkangst (Ashcraft & Kirk, 2001) som kan dukke opp i den faglige konteksten som en stressreaksjon. Dersom en student klarer å koble sammen en ubehagelig opplevelse med årsaken til denne opplevelsen og at ubehaget skaper et behov for endring, vil observasjonen av reaksjonene kunne fungere hensiktsmessig. Forutsetningen for dette er at studenten klarer å identifisere og sette ord på sine egne opplevelser. Dersom vi ser på refleksjonene til en student som selv var fornøyd med sin prestasjon, ser vi først at studenten opplever en ro i situasjonen. Denne roen blir årsaksforklart med en strategi som for studenten synes å fungere hensiktsmessig: Følelser: Er rolig siden jeg er sikker på ferdighetene. Valg: Ikke her. Ingen av oppgavene tok lang tid. Hvorfor: Har jobbet bra i hele høst og føler jeg har god kontroll. Fungerer strategi: Jeg synes det. Forbereder meg ikke til øvingene, siden jeg vil at de skal detektere hva jeg ikke kan. Erfaringer: Ta det med ro og evaluer svaret du får. Henger svaret på greip, har du sett noe lignende før? Generelt: Trodde jeg skulle feile på polar koord. Men formelarket herjer. Det ligger en høy grad av refleksjon i hvordan en opplevelse er med på å skape en god følelse. Studenten presenter også en strategi for hvordan han/hun har jobbet. Uttalelsen: «Forbereder meg ikke til øvingene, siden jeg vil at de skal detektere hva jeg ikke kan» vitner om et arbeidsmønster som er gunstig og en bevissthet om hvordan han/hun bruker formative testene. Studenten er i stand til å observere egen reaksjon og koble dette til et bevisst arbeidsmønster som han/hun får bekreftet fungerer. Dette er hva vi mener er refleksjon på nivå 4. Dersom vi går til refleksjonene til en som ikke er like fornøyd med sin egen prestasjon, beskrives en annerledes opplevelse: Følelser: Hjelpeløs, huff, anger på at jeg ikke har jobbet med stoffet. Valg: Gjorde et par kalkulerte gjettinger som viste seg å bli riktig. Hvorfor: Har ikke jobbet nok med faget. Fungerer strategi: Nei her må det endring til. Erfaringer: Absolutt. Generelt: At jeg ikke må ta dette for gitt. At det ikke er så lett. Denne studenten har koblet sammen emosjonen anger med årsaken: «Angrer på at jeg ikke har jobbet med stoffet.» På spørsmål om hvorfor det ble som det ble er formuleringen nøytral: «Nei her må det endring til.» Det er ikke noen forsøk på å reflektere videre over hva som må til for at denne opplevelsen ikke skal gjenta seg. Studenten har ikke gjort endringer i måten han/hun har jobbet på og foretar kun en observasjon (nivå 3) av konsekvensen. Andre legger merke til at små endringer i innsats ga utslag på hvordan klasseromsøvingen ble opplevd. I følgende refleksjon beskriver studenten hvordan han/hun opplever emosjonelle endringer fra oppgave til oppgave opp på nivå 3. Vedkommende legger også merke til et valg om bruke en strategi som ble opplevd som gunstig, noe som vitner om en viss grad av refleksjon. Denne studenten opplever at en liten ekstra innsats før klasseromsøvingen ga en liten, men positiv effekt: Følelser: Først glede siden jeg fikk til de første oppgavene. Så kom det en sperre på oppgave 4, men da det løste seg fikk jeg en følelse av mestring. Valg: Hoppet over oppgave 4 først for så å gå tilbake. Skrev opp alle fakta jeg hadde for å greie å løse oppgave. Hvorfor: Leste litt i går kveld.

Fungerer strategi: Ja tydeligvis. Erfaringer: Les oppgaven nøye. Generelt: Selv om jeg fikk det til nå så burde jeg jobbe mer. Noen studenter eksperimenterer med alternative måter å tenke på. Her er det observasjon av reaksjoner på et tidspress, en mental strategi for å regulere denne reaksjonen og en observasjon av konsekvensen av reaksjonen, samt en opplevelse av trygghet. I denne refleksjonen beskrives en refortolkning av situasjonen, hvor studenten beskriver konsekvensen av denne reguleringen som en opplevelse av trygghet. Dette er hva vi har kategorisert som en refleksjon på nivå 5: Følelser: Ganske rolig, kjente litt på tidspresset men klarte å beholde roen -> trygghet. Aha opplevelser når alternativer kom " var det så lett". Valg: Stresset mindre denne gangen. Prøvde å fokusere på en oppgave av gangen og ikke tenke for mye på klokka. Hvorfor: Hadde forberedt meg og var god på å tenke "dette er bare for min egen del" før testen. Slik at jeg ikke ble nervøs og kjente på prestasjonspresset. Fungerer strategi: Regner oppgaver for hvert tema etter gjennomgått timer fungerer veldig bra. Kommer gjennom stoffet. Erfaringer: Jeg får til mer enn jeg tror selv man for igjen for hardt og godt arbeid. Generelt: Fornøyd med dagens innsats og alt arbeidet gjort forhånd. Man får igjen for hardt arbeid - til slutt. «Man får igjen for hardt arbeid - til slutt» er en erfaring som en del studenter ikke får oppleve da de ikke tror det er verdt innsatsen. Dessverre er det en del studenter som opplever en liten grad av mestring. Her er en student som ikke var fornøyd og forklarer årsaken denne opplevelsen med at det er lagt ned for lite arbeid: Følelser: Klar Valg: - Hvorfor: Har jobbet alt for lite med matte Fungerer strategi: Om jeg jobber så fungerer min måte å jobbe på :-) Erfaringer: Må jobbe mer Generelt: - Hva studenten mener med «klar» er ukjent. Hvorfor studenten bruker relativt korte formuleringer og unnlater å gå inn i emosjonelle observasjoner vet vi ikke. Vi observerer at inngående beskrivelser og observasjoner ofte er fraværende. 4 DISKUSJON Da vi startet med refleksjoner var det tungt å komme i gang. Dette var ikke uventet. Det er også en del samfunnsnormer som jobber mot det å fokusere på emosjoner og reaksjoner. Det er en generell trend at det å være emosjonell er assosiert med svakhet, impulsivitet, det å ikke ha kontroll og hjelpesløshet (Fischer, 2015). Det er også en vesentlig kjønnsforskjell med hensyn til hvor villig man er til å gå inn i følelser og å formidle disse til omgivelsene. Før vi startet med dette arbeidet spurte vi studentene om å ta stilling til følgende påstand: «Følelser har ikke noe med læring å gjøre og bør derfor ikke blandes inn med læring.» Her svarer 2 % at de er enig, 18 % sier at de er litt enig og 17 % sier «vet ikke». En femtedel av studentene ser i utgangspunktet ikke sammenhengen mellom emosjoner og læring. Våre resultater viser at det er mulig å få studenter til og bevisst observere, beskrive og anvende egne observasjoner av emosjoner i en læringskontekst som et matematikkemne. For å oppnå dette kreves det kontinuerlig oppfølging. Dette oppleves av studentene som uvant og tar følgelig lang tid. Når en lærer starter en slik prosess så må man være klar over motkreftene og signalene studenten gir og vite hvor man vil og hvorfor. I arbeidet så langt har vi bedt studentene om å foreta selvobservasjon i en testkontekst. De blir også bedt om å sette denne observasjonen i lys av læringsprosessen forut for testkonteksten. De blir dermed ledet til å koble sammen emosjonelle reaksjoner i en kontekst med arbeids- og læringsstrategier som ligger forut for hendelsen. Vi har ikke gjort noen forsøk på å be studentene om å legge merke til emosjonelle opplevelser under innlæringsperioden forut for testene. Dette er to forskjellige ting der emosjonelle mønstre sannsynligvis er forskjellige men likevel relaterte. Hvordan studentene jobber og

hvilke arbeidsvaner de har, er påvirket av emosjonelle opplevelser de har med faget og studentlivet. Det vi ser er at mange studenter opplever en automatisert reaksjon på det de opplever som en testkontekst. For mange er det mye å hente på å bli bevisst dette. Vi har ikke på det nåværende tidspunkt i studiet, informasjon som kobler graden av refleksjon med resultater i faget. 5 KONKLUSJON Ved å legge til rette for refleksjon ved bruk innledende spørsmål har vi klart å skape refleksjoner, men i varierende grad. Resultatene viser at studentene er uvante med å jobbe systematisk med refleksjon som verktøy. Dette kommer blant annet til syne ved at refleksjoner på et nivå som kan kalles kritisk refleksjon sjelden forekommer hos studenter og de fleste studenter reflekterer ikke over sin egen læringsprosess. Studentene må forklares at refleksjonene er til for dem. Refleksjon er i seg selv en måte å tenke på som ikke faller naturlig for en student, men etter hvert som de blir oppmerksomme på effekten av refleksjoner er det mulig å få dem i gang. Det er interessant for en lærer å tolke spekteret av erfaringer som studenter gjør seg i møte med et fag som matematikk. Ved å forklare, vise eksempler på gode refleksjoner og ikke minst få studentene til å oppleve læringen, har vi vist at fokus på observasjoner av egne reaksjoner gir utslag i eksperimentering med strategier for regulering av emosjoner. Det å gi studentene muligheten for å jevnlig teste seg selv for å få tilbakemelding er bra, men det må poengteres at «dette er en tilbakemelding» og den kan brukes for å regulere læring. Ved å rette fokus på tilbakemeldingene og hva vi spør dem om og hvorfor, er det mulig å få studentene til å reflektere over egen læring og opplevelse av mestring. Gjennom refleksjonene beskriver studentene arbeidsvaner, strategier og konsekvenser som igjen kan deles med andre studenter for å stimulere videre utvikling av læringsprosessen. REFERANSER Ashcraft, M. H., & Kirk, E. P. (2001). The relationships among working memory, math anxiety, and performance. Journal of Experimental Psychology: General, 130(2), 224-237. doi: 10.1037/0096-3445.130.2.224 Fischer, A. L., Marianne (2015). What Drives the Smile and the Tear: Why Women Are More Emotionally Expressive Than Men. Emotion Review, 7(1), 22-29. doi: 10.1177/1754073914544406 Hartwig, M., & Dunlosky, J. (2012). Study strategies of college students: Are self-testing and scheduling related to achievement? Psychonomic Bulletin & Review, 19(1), 126-134. doi: 10.3758/s13423-011-0181-y Karoly, P. (1993). Mechanisms of Self-Regulation: A Systems View. Annual Review of Psychology, 44(1), 23-52. doi: doi:10.1146/annurev.ps.44.020193.000323 Kornell, N., & Bjork, R. A. (2007). The promise and perils of self-regulated study. Psychonomic Bulletin & Review, 14(2), 219-224. doi: 10.3758/BF03194055 Moon, J. A. (1999). Reflection in learning and professional development: Theory and practice. London: Routlegde Falmer. Nicol, D. J., & Macfarlane Dick, D. (2006). Formative assessment and self regulated learning: a model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199-218. doi: 10.1080/03075070600572090 Pintrich, P. R. (2000). The role of goal orientation in self-regulated learning. In M. Boekaerts, P. R. Pintrich & M. Zeidner (Eds.), Handbook of self-regulation (pp. 451-502). San Diego, CA, US: Academic Press. Pintrich, P. R. (2004). A Conceptual Framework for Assessing Motivation and Self-Regulated Learning in College Students. Educational Psychology Review, 16(4), 385-407. doi: 10.1007/s10648-004-0006-x Porath, C. L., & Bateman, T. S. (2006). Self-Regulation: From Goal Orientation to Job Performance. Journal of Applied Psychology, 91(1), 185-192. doi: 10.1037/0021-9010.91.1.185 Sadler, D. R. (1998). Formative Assessment: revisiting the territory. Assessment in Education: Principles, Policy & Practice, 5(1), 77-84. doi: 10.1080/0969595980050104 Wade, R. C., & Yarbrough, D. B. (1996). Portfolios: A tool for reflective thinking in teacher education? Teaching and Teacher Education, 12(1), 63-79. doi: http://dx.doi.org/10.1016/0742-051x(95)00022-c

Wallman, A., Lindblad, A. K., Hall, S., Lundmark, A., & Ring, L. (2008). A Categorization Scheme for Assessing Pharmacy Students' Levels of Reflection During Internships. American Journal of Pharmaceutical Education, 72(1), 5. Winne, P. H. (1995). Inherent details in self-regulated learning. Educational Psychologist, 30(4), 173-187. doi: 10.1207/s15326985ep3004_2 Yan, V. X., Thai, K.-P., & Bjork, R. A. (2014). Habits and beliefs that guide self-regulated learning: Do they vary with mindset? Journal of Applied Research in Memory and Cognition, 3(3), 140-152. doi: http://dx.doi.org/10.1016/j.jarmac.2014.04.003 Zimmerman, B. J., & Pons, M. M. (1986). Development of a Structured Interview for Assessing Student Use of Self-Regulated Learning Strategies. American Educational Research Journal, 23(4), 614-628. doi: 10.3102/00028312023004614