EssayCritic: Internettprogram som gir tilbakemelding på innholdet i engelske stiler

Transkript

1 1/22 EssayCritic: Internettprogram som gir tilbakemelding på innholdet i engelske stiler Anders I. Mørch InterMedia, University of Oslo anders.morch@intermedia.uio.no

2 2/22 Innhold Litt om prosjektet Stilskriving som designaktivitet Automatisk tilbakemelding på engelske stiler Demo av programmet Forskningsmetode Presentasjonsvideo av utprøving i klasserom Foreløpige resultater Oppsummering og videre arbeid

3 3/22 Deltagere Shazia Mushtaq (forskningsassistent) Eduard Möllenkamp (masterstudent, IFI) Jan Are Otnes (masterstudent, IFI) Forskere fra Hong Kong Baptist University (HKBU) har deltatt i utviklingen av programmet og LSA algoritmen

4 4/22 Litt om prosjektet EssayCritic er et samarbeidsprosjekt mellom InterMedia/UiO og HKBU Prosjektet startet høsten 2004 da Mørch hadde et sabbatsopphold ved HKBU Finansiert med småforskmidler fra UiO til og med 2009 Pilottestet i Hongkong (2006), Skien vgs (2007), eksperiment i HK (2008), Sandvika vgs (2009) Systemet bygger på en teori som gjør det mulig å lære systemet å forstå ulike oppgavetema

5 5/22 Motivasjonen for å forske på engelsk stilskriving Mange elever har engelsk som andrespråk og synes det er vanskelig å skrive engelske tekster De går tom for ideer i løpet av skriveprosessen Elever i dag er mer eksponert for muntlig engelsk (TV, film) enn for skriftlig engelsk (bøker) Det er krevende for en lærer å hjelpe alle som ber om hjelp i en skrivetime Det er vanskelig for foreldre å følge opp hjemme når de ikke kjenner konteksten til oppgavetema

6 6/22 Stilskriving som designaktivitet Design Velge komponenter (ting/ideer å skrive om) Organisere dem (sette komponentene sammen) Skape et artefakt Kritisere uferdig artefakter Stil/essay er et tekstuelt artefakt Artefakter utvikles gradvis over tid: Fra lite til stort Fra sprikende til kompakt Essay som kommunisere med leser Tilbakemelding fra leser (lærer, medelev, foreldre, program)

7 7/22 Skriveoppgaven til elevene (Helse & sosial, trinn 1, Sandvika vgs, våren 2009) UNHEALTHY FOOD AND OVERWEIGHT The popularity of McDonald s amongst children is responsible for the growth of overweight amongst high school children. There should be rules against fast food in schools. Do you agree or disagree with the statement? Use specific reasons and examples to support your opinion.write words about the topic. Experiment group were asked to submit and revise their essays via EssayCritic up to three times before submitting to teacher. Control group were submitting their essays directly to teacher.

8 8/22 Gradvis utvikling av en tekst Versjon 1 Versjon 2 Dette viser de to første versjoner av essayet skrevet av student22. Etter versjon 1 ble det gitt tilbakemelding fra programmet

9 9/22 Digitalt hjelpemiddel for tilbakemelding Vi har studert hvordan EssayCritic kan supplementere lærer med automatisk genererte tilbakemeldinger før stilene sendes lærer til retting Dette har blitt utprøvd på videregående skoler i Hongkong og Norge (Sandvika og Skien) Programmet operere innefor gitte tema som systemet er opplært til å forstå ved sammenligning med gode forhåndslagrete eksempler EssayCritic bruker en avansert matematisk teknikk (LSA) for sammenligning av elevens tekst med eksemplene på basis av ordenes mening

10 10/22 Systemarkitektur Student A Essays Student Essays Text Segmentation & Pre-processing Essays Corpus from external sources Latent Semantic Analysis Engine D = P Q Feedbacks Teacher Essays Sub themes Student Z Feedbacks System Feedbacks Segment Semantic Matching

11 11/22 Skjermbilde, loginvindu, setting

12 12/22 Brukergrensesnitt -- ris Text written by student22 on unhealthy food topic Critique generated by computer

13 13/22 Brukergrensesnitt -- ros Praise generated by computer Login: test-student1 / passwd: student1 (her brukt: student22/student22) Demo:

14 14/22 LSA: fra å sammenligne ord i to tekster til å tolke ulike meninger

15 15/22 Forskningsmetode Kvalitativ studie (supplementert med data fra spørreskjema og elevers standpunktkarakter) Datainnsamlingsteknikker Elevers essay i ulike versjoner Videoopptak m/lyd i tre klasserom Intervju med utvalgte elever og lærere Lærernes retting av stilene Spørreskjema Observasjonsnotater Multimetodeanalyse (sammenstilling av uilke datakilder til samme fenomen)

16 16/22 Studien ved Sandvika vgs Vi fulgte 3 klasser på vg1, helse- og sosialfag, våren 2009 Elevene ble inndelt i grupper på 3-4, der alle skulle levere egne stiler Vi hadde tre 1/2 dagers møter med klassene 1. Introduksjon og prøveskriving 2. Utføring av eksperimentet 3. Tilbakemelding og evaluering Vi laget en presentasjonsvideo i etterkant (8 min)

17 17/22 Overordnete resultater Positivt Middels til svake (men seriøse) elever synes systemet virket motiverende og idéskapende De skrev lengre stiler enn de vanligvis gjør og gikk i snitt opp en karakter fra standpunkt Negativt Noen av de flinkeste elevene synes systemet hindret mer enn hjalp (funn fra tidligere studier) I stilene til flere av de som brukte EC kunne lærerne spore tema/avsnitt som lignet hverandre

18 18/22 Foreløpige kvantitative resultater Lengden på essay Karakter på essay gitt av lærer

19 19/22 Videodata: Samarbeid og roller Sterke elever hjelper svakere ved å være med på brainstorming etter ting man kan skrive om, f.eks. ofte blir de også spurt om stavemåten på ulike ord. Elever som var godt kjent med hverandre før var mer innstilt på å samarbeide. Enkelte sterke elever spurte de svakere elevene om de trengte hjelp, og hjalp til der det var behov for. Sterke elever bruker mye tid på å skrive, mens svakere elever benytter en større del av tiden på aktiviteter som ikke har direkte kobling med oppgaven, som sladder, musikklytting (via pc en), sosiale nettsteder (Facebook, MSN). Det var en del elever som hadde bruk for hjelp under bruk av Essay Critic, men det tok hos de fleste kort tid å skjønne systemet og se hva man kunne få ut av det.

20 20/22 Videodata: Skriveprosessen Lærerne gikk rundt og tilbød sin hjelp. De snakket i utgangspunkt på engelsk, noe som var litt vanskelig for enkelte elever, som foretrakk å bytte til norsk. Lærerne ga målrettet hjelp for å sette tenkeprosessen i gang. Etter prosesser med brainstorming ble elevene ofte stille for å skrive ned sine tanker. Mens noen elever er opptatt av å levere en god stil så er andre mer tent på å bli ferdig. Enkelte opplevde temaet (fast food & obesity) som litt snevert, og hadde ikke mye å skrive om. Elevene synes de foreslåtte subtemaer var behjelpelige, selv om noen syntes det var for krevende å bruke alle. Dette var dog heller ikke meningen. Elevene hadde en slags konkurranse seg imellom, som de uttrykker ved å nevne hvor mange ord de har skrevet allerede (under prosessen, ikke ved slutten). Det virker som om EC2s tilbakemeldinger anmoder dem til å skrive mer enn de ellers ville gjort.

21 21/22 Videodata: Hjelpemidler Mange elever benytter seg av hjelpemidler som nettsider med online ordbøker (f eks ordnett.no). Noen elever kjenner ikke til slike sider og blir gjort oppmerksom på dem av andre elever. Google brukes også, enkelte foretrekker å gjøre bildesøk (kanskje de er mer visuelt innstilt?). Sterke elever ser ut til å bruke nettsøk i mindre grad enn svakere elever, som muligens føler de trenger hjelp til brainstorming. En del svakere elever kjeder seg fortere og oftere. De bruker sin energi på andre ting og sliter med å beholde konsentrasjonen. Når de får tilbakemelding fra EC2 så ser det ut til å fungere som insentiv til å fortsette, da de får ny innputt. Elevene gjør uttrykk for at et hjelpemiddel som EC2 hjelper med å utjevne resultatene mellom elevene. En liten beregning gjør tydelig at gjennomsnittskarakteren på essayene til eksperimentgruppen ligger høyere enn gjennomsnittet på standpunktkarakteren til de samme elevene. Hos kontrollgruppen er det omvendt.

22 22/22 Oppsummering og videre arbeid EssayCritic er et internettprogram for automatisk tilbakemelding på engelske stiler Er eksempel på en ny type applikasjoner for den semantisk web fokus er på semantikk, hjelpe å generere meninger Alle eleven synes programmet var nyttig og/eller motiverende å bruke for å skrive engelske stiler Utforming av tilbakemeldingene fra systemet blir viktig i videre arbeid slik at det fører til å øke elevenes evne til kritisk refleksjon og ikke oppmuntre til kopiering