EssayCritic: Internettprogram som gir tilbakemelding på innholdet i engelske stiler

Like dokumenter
Informasjonsteknologi og pedagogikk

Begreper fra pedagogisk forskning som er nyttig i informatikk og systemutvikling

Sosiale medier og pedagogikk

Adaptiv læring: Muligheter og begrensninger med digital læringsanalyse og maskinlæring

Mal for vurderingsbidrag

M A M M estre A mbisiøs M atematikkundervisning. Novemberkonferansen 2015

Lisbeth M Brevik Hva kjennetegner kvalitet i engelskundervisningen? Koding av video-observerte engelsktimer ved norske ungdomsskoler (9.

Hvordan kan man holde kontakten med venner eller familie? Kan du legge til noen ideer på listen? Sende tekstmeldinger. Sende (bursdags-)kort

Informasjonsbrosjyre til foresatte ved skoler som deltar i Two Teachers

Vurdering FOR læring - tilbakemeldinger og bevis på læring

Ny GIV Akershus fylkeskommune v/ Line Tyrdal

Fra tilvalgsfag til fremmedspråk. Resultater Erfaringer Forventninger

Navn på studieprogram: Læringsledelse og vurdering. Antall studiepoeng på studieprogrammet: 30. Heltid eller deltid, mulighet for begge deler: Deltid

Anna Krulatz (HiST) Eivind Nessa Torgersen (HiST) Anne Dahl (NTNU)

Forskning om digitalisering - en innledning

eutdanningsdirektoratet Eksamen ENG1002/ENG1003 Engelsk fellesfag For elevar og privatistar/for elever og privatister Nynorsk/Bokmal

Marte Blikstad-Balas. Skolens nye literacy: tekstpraksiser i dagens videregående skole

Rapport. Tilfredshetsundersøkelse desember 2009

Forskningsmetoder i informatikk

Resultat fra spørreundersøkelse ang. benyttelse av digitale verktøy;

Læringsfremmende respons Vurdering for læring

Intertekstualitet i akademisk skriving En undersøkelse av kildebruk og faglig stemme i akademiske tekster

Forskningsmetoder i informatikk

Velkommen til orienteringsmøte om forsert løp

SENSORVEILEDNING: Enten: Eller:

Elevundersøkelsen 2016 Nyheter fra høsten 2016

Masterclass partikkelfysikk i klasserommet

Mal for vurderingsbidrag

Læringsfremmende respons. Ny GIV høsten 2013 Iris Hansson Myran og Trygve Kvithyld

Bibliotekundervisningens fremtid nytt fokus på metodikk og digitalisering

F.I.F.F.I.G. Fleksibelt og Innovativt system For FakultetsInformasjon og andre Greier

Stjørdal Elever med stort realfaglig potensial Hva kan skolen gjøre for dem?

Prosjekter i medvind eller motvind?

STUDIEPLAN 8. TRINN UKE 5-6

Forskerspiren i ungdomsskolen

Eksamen ENG1002/1003 Engelsk fellesfag Elevar og privatistar/elever og privatister. Nynorsk/Bokmål

Veiledet lesing Åset skole. Hilde Kristin Lorentsen, Språk- og leseveileder v/åset skole

UNDERVISNING FOR NATURFAGLIG KAPITAL. Motiverer flere og flere ulike elever i naturfag

EN Skriving for kommunikasjon og tenkning

Forskningsmetoder i informatikk

Oppdatert august Helhetlig regneplan Olsvik skole

Information search for the research protocol in IIC/IID

Elektronisk innlevering/electronic solution for submission:

Bruk av elevresultater i skolen - institusjonelt arbeid mellom resultatstyring og faglig-profesjonelt ansvar

Kristina Halkidis s Refleksjonsnotat 3. Refleksjonsnotat 3. vitenskapsteori

Vurdering. Anne-Gunn Svorkmo og Svein H. Torkildsen

Vibeke Molandsveen 21. november Erfaringer med bruk av KIKORA

Elevundersøkelsen nyheter, anbefalinger og oversikt over spørsmål

Oslo kommune Utdanningsetaten. Strategisk Plan Skøyenåsen skole

Det digitale samfunn. Bruk av digitale hjelpemidler i matematikkundervisningen

SOS109. The Scandinavian Welfare Model and Gender Relations. Oppsummering av studentevaluering. av Hanne Widnes Gravermoen

Fravær pa Horten viderega ende skole

8B ARBEIDSPLAN MANDAG FREDAG UKE 24-25

Vurdering på ungdomstrinnet og i videregående opplæring. Nå gjelder det

Elevundersøkelsen nyheter, anbefalinger og oversikt over spørsmål

A Faktaopplysninger om skolen. Ståstedsanalyse videregående skoler. Kunnskapsløftet fra ord til handling 1

Workshop: praktiske metoder for vurdering for læring

Kartleggingsprøvene på 1. og 2. trinn som pedagogisk verktøy

Virtuelle verdener som læringsarena for internopplæring. Anders Mørch InterMedia, Universitetet i Oslo Epost:

Veiledningsteknologi -

Om kvalitetsrapporten...2 Fakta om Varden skole...2 Læringsmiljø elevundersøkelsen...3

Kartleggingsprøvene på 1. og 2. trinn som pedagogisk verktøy

FASMED. Tirsdag 21.april 2015

OM KVALITETSRAPPORTEN...2 FAKTA OM KJØKKELVIK SKOLE...2 LÆRINGSMILJØ ELEVUNDERSØKELSEN...3 RESULTATER KARAKTERER 10. TRINN...29 GRUNNSKOLEPOENG...

Eksamensoppgave i PSY2018/PSYPRO Kvalitative forskningsmetoder

Periodeplan 10A Uke 9 og 10 Østersund ungdomsskole skoleåret 2012/2013

Om kvalitetsrapporten...2 Fakta om Sandgotna skole...2 Læringsmiljø elevundersøkelsen...3

Vurdering FOR læring - tilbakemeldinger og bevis på læring

Elevundersøkelsen spørsmålene (SVS 2016)

forventes av dem (tydelige mål og kriterier) 2. Elevene skal ha tilbakemeldinger som forteller dem

Effektevaluering av Ny GIV - foreløpige resultater

5E-modellen og utforskende undervisning

Ungdomsblad. Se informasjon om kompetansemål og vurderingskriterier til den skriftlige oppgaven på de to neste sidene.

Nasjonal satsing på Vurdering for læring

Vurderingskonklusjon: Gimle Dato:

På oppdagelsesreise etter den tapte informasjonen. Søk og søkemotorer Teoretisk gjennomgang

Senter for IKT i utdanningen. Interaktive tavler - endringer i klasserommet?

Brukertesting i et nøtteskall

Basert på informasjon fra Creativity Culture and Education (CCE) og Paul Collard (leder for CCE) 2010

Virtuelle verdener som læringsarena

Studiespesialiserende Service og Samferdsel Musikk, Dans og Drama 1100 elever 42 klasser 170 ansatte 200 år lang historie

GEOV219. Hvilket semester er du på? Hva er ditt kjønn? Er du...? Er du...? - Annet postbachelor phd

American Week/Day trinn. Tid: 5 10 timer

Oslo kommune Utdanningsetaten. Strategisk plan Lysejordet skole

Å lykkes med et skoleprosjekt

Elevundersøkelsen nyheter, anbefalinger og oversikt over spørsmål

Karin Dahlberg Pettersen Berit Hope Blå

Påvirker ulike styringssystem elevenes skoleprestasjoner? Oslo mars Liv Bente Hannevik Friestad Førsteamanuensis. dr.

læremidler og arbeidsforsmer i den digitale skolen

DRI 3001 Litteratur og metode Arild Jansen AFIN

Forord til 1. utgave Forfatternes takk til 1. utgave Innledning Målsetting... 15

Lærerseminar. 13 august Dr. Espen Andersen Associate Professor Norwegian School of Management. Norwegian School of Management

klassetrinn Design og redesign 9. klasse 2016

Dagens. Faglærers bakgrunn IMT 1321 IT-LEDELSE. Faglærer : Tom Røise 11.Jan IMT1321 IT-Ledelse 1

Kan virkelig en intervensjon på 45 minutter ha noen virkning? Frode Svartdal UiT Norges Arktiske Universitet April 2017

S-TEAM/SUN Hvordan kan forskningsresultater herfra være til nytte for lærerutdanningene?

Læringsfremmende respons. Ny GIV høsten 2013 Trygve Kvithyld

Modul nr Det digitale øyet - lys, syn og foto trinn

Vurdering FOR læring - tilbakemeldinger og bevis på læring

Emneevaluering GEOV272 V17

Transkript:

1/22 EssayCritic: Internettprogram som gir tilbakemelding på innholdet i engelske stiler Anders I. Mørch InterMedia, University of Oslo anders.morch@intermedia.uio.no

2/22 Innhold Litt om prosjektet Stilskriving som designaktivitet Automatisk tilbakemelding på engelske stiler Demo av programmet Forskningsmetode Presentasjonsvideo av utprøving i klasserom Foreløpige resultater Oppsummering og videre arbeid

3/22 Deltagere Shazia Mushtaq (forskningsassistent) Eduard Möllenkamp (masterstudent, IFI) Jan Are Otnes (masterstudent, IFI) Forskere fra Hong Kong Baptist University (HKBU) har deltatt i utviklingen av programmet og LSA algoritmen

4/22 Litt om prosjektet EssayCritic er et samarbeidsprosjekt mellom InterMedia/UiO og HKBU Prosjektet startet høsten 2004 da Mørch hadde et sabbatsopphold ved HKBU Finansiert med småforskmidler fra UiO til og med 2009 Pilottestet i Hongkong (2006), Skien vgs (2007), eksperiment i HK (2008), Sandvika vgs (2009) Systemet bygger på en teori som gjør det mulig å lære systemet å forstå ulike oppgavetema

5/22 Motivasjonen for å forske på engelsk stilskriving Mange elever har engelsk som andrespråk og synes det er vanskelig å skrive engelske tekster De går tom for ideer i løpet av skriveprosessen Elever i dag er mer eksponert for muntlig engelsk (TV, film) enn for skriftlig engelsk (bøker) Det er krevende for en lærer å hjelpe alle som ber om hjelp i en skrivetime Det er vanskelig for foreldre å følge opp hjemme når de ikke kjenner konteksten til oppgavetema

6/22 Stilskriving som designaktivitet Design Velge komponenter (ting/ideer å skrive om) Organisere dem (sette komponentene sammen) Skape et artefakt Kritisere uferdig artefakter Stil/essay er et tekstuelt artefakt Artefakter utvikles gradvis over tid: Fra lite til stort Fra sprikende til kompakt Essay som kommunisere med leser Tilbakemelding fra leser (lærer, medelev, foreldre, program)

7/22 Skriveoppgaven til elevene (Helse & sosial, trinn 1, Sandvika vgs, våren 2009) UNHEALTHY FOOD AND OVERWEIGHT The popularity of McDonald s amongst children is responsible for the growth of overweight amongst high school children. There should be rules against fast food in schools. Do you agree or disagree with the statement? Use specific reasons and examples to support your opinion.write 250-300 words about the topic. Experiment group were asked to submit and revise their essays via EssayCritic up to three times before submitting to teacher. Control group were submitting their essays directly to teacher.

8/22 Gradvis utvikling av en tekst Versjon 1 Versjon 2 Dette viser de to første versjoner av essayet skrevet av student22. Etter versjon 1 ble det gitt tilbakemelding fra programmet

9/22 Digitalt hjelpemiddel for tilbakemelding Vi har studert hvordan EssayCritic kan supplementere lærer med automatisk genererte tilbakemeldinger før stilene sendes lærer til retting Dette har blitt utprøvd på videregående skoler i Hongkong og Norge (Sandvika og Skien) Programmet operere innefor gitte tema som systemet er opplært til å forstå ved sammenligning med gode forhåndslagrete eksempler EssayCritic bruker en avansert matematisk teknikk (LSA) for sammenligning av elevens tekst med eksemplene på basis av ordenes mening

10/22 Systemarkitektur Student A Essays Student Essays Text Segmentation & Pre-processing Essays Corpus from external sources Latent Semantic Analysis Engine D = P Q Feedbacks Teacher Essays Sub themes Student Z Feedbacks System Feedbacks Segment Semantic Matching

11/22 Skjermbilde, loginvindu, setting

12/22 Brukergrensesnitt -- ris Text written by student22 on unhealthy food topic Critique generated by computer

13/22 Brukergrensesnitt -- ros Praise generated by computer http://tinyurl.com/essaycritic Login: test-student1 / passwd: student1 (her brukt: student22/student22) Demo: http://www.comp.hkbu.edu.hk/~wichk/ecsdemo/submission1_demo/submission1_demo.htm

14/22 LSA: fra å sammenligne ord i to tekster til å tolke ulike meninger

15/22 Forskningsmetode Kvalitativ studie (supplementert med data fra spørreskjema og elevers standpunktkarakter) Datainnsamlingsteknikker Elevers essay i ulike versjoner Videoopptak m/lyd i tre klasserom Intervju med utvalgte elever og lærere Lærernes retting av stilene Spørreskjema Observasjonsnotater Multimetodeanalyse (sammenstilling av uilke datakilder til samme fenomen)

16/22 Studien ved Sandvika vgs Vi fulgte 3 klasser på vg1, helse- og sosialfag, våren 2009 Elevene ble inndelt i grupper på 3-4, der alle skulle levere egne stiler Vi hadde tre 1/2 dagers møter med klassene 1. Introduksjon og prøveskriving 2. Utføring av eksperimentet 3. Tilbakemelding og evaluering Vi laget en presentasjonsvideo i etterkant (8 min)

17/22 Overordnete resultater Positivt Middels til svake (men seriøse) elever synes systemet virket motiverende og idéskapende De skrev lengre stiler enn de vanligvis gjør og gikk i snitt opp en karakter fra standpunkt Negativt Noen av de flinkeste elevene synes systemet hindret mer enn hjalp (funn fra tidligere studier) I stilene til flere av de som brukte EC kunne lærerne spore tema/avsnitt som lignet hverandre

18/22 Foreløpige kvantitative resultater Lengden på essay Karakter på essay gitt av lærer

19/22 Videodata: Samarbeid og roller Sterke elever hjelper svakere ved å være med på brainstorming etter ting man kan skrive om, f.eks. ofte blir de også spurt om stavemåten på ulike ord. Elever som var godt kjent med hverandre før var mer innstilt på å samarbeide. Enkelte sterke elever spurte de svakere elevene om de trengte hjelp, og hjalp til der det var behov for. Sterke elever bruker mye tid på å skrive, mens svakere elever benytter en større del av tiden på aktiviteter som ikke har direkte kobling med oppgaven, som sladder, musikklytting (via pc en), sosiale nettsteder (Facebook, MSN). Det var en del elever som hadde bruk for hjelp under bruk av Essay Critic, men det tok hos de fleste kort tid å skjønne systemet og se hva man kunne få ut av det.

20/22 Videodata: Skriveprosessen Lærerne gikk rundt og tilbød sin hjelp. De snakket i utgangspunkt på engelsk, noe som var litt vanskelig for enkelte elever, som foretrakk å bytte til norsk. Lærerne ga målrettet hjelp for å sette tenkeprosessen i gang. Etter prosesser med brainstorming ble elevene ofte stille for å skrive ned sine tanker. Mens noen elever er opptatt av å levere en god stil så er andre mer tent på å bli ferdig. Enkelte opplevde temaet (fast food & obesity) som litt snevert, og hadde ikke mye å skrive om. Elevene synes de foreslåtte subtemaer var behjelpelige, selv om noen syntes det var for krevende å bruke alle. Dette var dog heller ikke meningen. Elevene hadde en slags konkurranse seg imellom, som de uttrykker ved å nevne hvor mange ord de har skrevet allerede (under prosessen, ikke ved slutten). Det virker som om EC2s tilbakemeldinger anmoder dem til å skrive mer enn de ellers ville gjort.

21/22 Videodata: Hjelpemidler Mange elever benytter seg av hjelpemidler som nettsider med online ordbøker (f eks ordnett.no). Noen elever kjenner ikke til slike sider og blir gjort oppmerksom på dem av andre elever. Google brukes også, enkelte foretrekker å gjøre bildesøk (kanskje de er mer visuelt innstilt?). Sterke elever ser ut til å bruke nettsøk i mindre grad enn svakere elever, som muligens føler de trenger hjelp til brainstorming. En del svakere elever kjeder seg fortere og oftere. De bruker sin energi på andre ting og sliter med å beholde konsentrasjonen. Når de får tilbakemelding fra EC2 så ser det ut til å fungere som insentiv til å fortsette, da de får ny innputt. Elevene gjør uttrykk for at et hjelpemiddel som EC2 hjelper med å utjevne resultatene mellom elevene. En liten beregning gjør tydelig at gjennomsnittskarakteren på essayene til eksperimentgruppen ligger høyere enn gjennomsnittet på standpunktkarakteren til de samme elevene. Hos kontrollgruppen er det omvendt.

22/22 Oppsummering og videre arbeid EssayCritic er et internettprogram for automatisk tilbakemelding på engelske stiler Er eksempel på en ny type applikasjoner for den semantisk web fokus er på semantikk, hjelpe å generere meninger Alle eleven synes programmet var nyttig og/eller motiverende å bruke for å skrive engelske stiler Utforming av tilbakemeldingene fra systemet blir viktig i videre arbeid slik at det fører til å øke elevenes evne til kritisk refleksjon og ikke oppmuntre til kopiering