INF 2820 V2018: Innleveringsoppgave 2

Transkript

1 INF 2820 V2018: Innleveringsoppgave 2 Besvarelsene skal leveres i devilry innen fredag 2.3 kl Det blir 5 sett med innleveringsoppgaver. Hvert sett gir inntil 100 poeng. Til sammen kan en få inntil 500 poeng. For å kunne gå opp til eksamen må du ha oppnådd minst 300 poeng til sammen på de 5 settene. For å oppnå poeng er det viktigere at du prøver å løse en oppgave enn at løsningen er helt riktig. Vektleggingen er slik sett annerledes enn på eksamen. Innleveringsfrister utsettes kun i forbindelse med sykdom (ved egenmelding eller legeerklæring), og omlevering vil ikke være mulig Vi går ut i fra at du har lest og er kjent med IFIs reglementet for obligatoriske oppgaver: og også kjenner rutinene for behandling av fuskesaker Dette er en individuell oppgave. Det skal ikke leveres felles besvarelser. Du kan levere om igjen i Devilry inntil fristen, men inkluder i så fall for alt du vil ha bedømt i den siste innleveringen. De tidligere innleveringene blir ikke lest. Hvis du leverer mer enn en fil, pakk filene i et zip-arkiv, hvis det bare er en fil, lever filen. Kall filen for <brukernavn>_inf2820_innlev_2 Filene det vises til i oppgaveteksten, blir ikke lagt ut i vortex. Du finner dem på IFIs cluster under /projects/nlp/inf2820/ i mappene scarrie og cfg. Del 1: Leksikon og morfologisk analyse (inntil 50 poeng for hele delen) Vi skal arbeide med morfologi og leksikon for norsk. Først finner vi et tilgjengelig leksikon for norsk, og så bearbeider vi det for våre formål. Det kan være greit å vite at Språkbanken, som ligger ved Nasjonalbiblioteket, har en del tilgjengelige ressurser for norsk språk, bl.a. leksika, se og gå videre til Språkbankens ressurskatalog. Vi har lastet ned SCARRIE-leksikonet, som ble utviklet av Victoria Rosén og Koenraad De Smedt ved Universitetet i Bergen, og Torbjørn Nordgård ved Norges Teknisk-Naturvitenskapelige Universitet. Leksikonet distribueres i XML (se utsnitt i appendiks). For å gjøre det lettere å redistribuere, har vi fjernet en del trekk knyttet til stil, som ikke er relevant for oss, slått sammen former som blir like etter at denne informasjonen er fjernet og lagret det i et kompakt format (se appendiks). For så å lese det inn i Python, har vi laget noen enkle objekter og metoder. Du bør laste ned hele mappen scarrie til ditt eget område/maskin. Du kan arbeide interaktivt med leksikonet i Python 3 (eller ipython 3). Kjør programmet read_lexicon_py3.py fra mappen scarrie. Innlesningen foregår ved at du lager et objekt i klassen ScaryLexicon, som i det følgende eksempelet. Denne har en attributt words. Dette er en Python dictionary som inneholder alle ordene som fullformer. Leksikonet består av mer enn forskjellige ord. Hvert ord består av selve formen og to typer trekk, et morfologisk trekk og et morfosyntaktisk trekk. (Informasjonen i de to trekkene er til dels overlappende.) Vi har laget en klasse for slike ord i Python. Vi kan plukke ut et tilfeldig ord og inspisere nærmere. 1

2 >>> sclex = ScaryLexicon() >>> wf2 = sclex.words[ w99263 ] >>> wf2.form 'glupskest' >>> wf2.morf_feat 'Adj,indef,sg' >>> wf2.syn_feat 'Adj_mfn_sup_indef_sg' >>> wf2.ident w99263 Hvert ord (ordform) har altså en unik identifikator, her w Grunnen til at vi må ha identifikatorer for ord, og ikke kan bruke selve formen som identifikator, er at flere ulike ord skrives likt. Se på 'w140165', 'w140116', 'w140106'. Disse har samme form, men avviker fra hverandre på andre egenskaper. Identifikatorene tjener som "keys" for dictionary words. Vi har også lagt inn identifikatoren i objektet for ordet for lett å kunne gå den andre veien. For å få mindre å skrive i det følgende, kan du for eksempel sette >>> words = sclex.words Når vi skal analysere tekst, er vi interessert i å gjenkjenne ordene vi ser og trekke ut deres morfologiske og syntaktiske egenskaper. Vi kunne skrevet en prosedyre, som til en ordform som kaster, går gjennom hele dictionary sclex.words for å plukke de ordene som har denne formen. Men det ville bli ineffektivt i praksis. Vi vil derfor gjøre dette en gang for alle for alle ordformer, lagre resultatene i en ny dictionary, som vi så kan bruke etter behov. a) (10 poeng) Lag en Python-dictionary form_to_ids som til en overflateform, som 'kaster', returnerer en liste av identifikatorer: alle identifikatorer av ordformer med denne formen. Altså, for 'kaster' skal den gi ['w140165', 'w140116', 'w140106']. Lag deretter en funksjon som til en form skriver ut alle mulige analyser, f.eks. til 'kaster' noe slikt som V,pres V_pres_indic_active_main_ditrans!intrans!trans N,pl,indef N_m_pl_indef N,sg,indef N_m_sg_indef Innlevering: Kode+resultatet av å analysere 'kastet' og 'øyer'. b) (10 poeng) Verdien av de to trekkene wf.morf_feat og wf.syn_feat er ganske kompakte og mer beregnet for lesing av maskiner enn av mennesker. Du finner forklaring på hva trekkene betyr her: For hver av de tre analysene av kaster, forklar bit for bit hva trekkene betyr. Innlevering: Svar på spørsmålene. 2

3 c) (10 poeng) Vi vil nå endre analyserutinen til å skrive ut mer forståelig informasjon. For words['w140116'] kan det se ut som noe slikt kaster cat: N gen: neut num: pl def: def Alle ordene i leksikonet er tilordnet en ordklasse eller kategori (eng: "part of speech", "category") så dette trekket skal med for alle ord. For noen ordklasser er dette alt som finnes. For andre ordklasser, er det en god del mere. Prøv å tolke og skrive ut all informasjon for ordene som tilhører klassene N, V, og Det. Innlevering: Kode+resultatet av å analysere 'kaster', 'kastet', 'noen' og 'et'. d) (15 poeng) Vi vil også at analysen vår skal gi grunnformen, som også kalles lemmaet, til de ulike ordformene. For eksempel ønsker vi til 'foreslo' å finne 'foreslå'. Scarrie-leksikonet gir ikke direkte svar på dette. Det inneholder ikke lemmaer. Men det Scarrie-leksikonet gjør, er å samle sammen ordformer til et leksem (som det kaller "Lexical Entry"). Leksemet inneholder ikke annen informasjon utover at det grupperer sammen ordformer. Under innlesningen av ScaryLexicon har vi laget en klasse Lexeme. Et objekt i denne klassen inneholder en unik identifikator og en liste ordidentifikatorer som sier hvilke ordformer som er i dette leksemet. Vi har laget en dictionary som til leksemidentifikatorer gir leksemet med denne identifikatoren. >>> lexemes['x29482'].word_ids ['w140165', 'w140166', 'w140167', 'w140168', 'w140169'] Og ser vi nærmere etter står dette for: w kaster N,sg,indef N_m_sg_indef w kastere N,pl,indef N_m_pl_indef w kasteren N,sg N_m_sg_def w kasterer N,pl,indef N_m_pl_indef w kasterne N,pl N_m_pl_def I dette tilfellet er den naturlige siteringsformen, den du vil finne i en ordbok, 'kaster'. Den kommer først, men det gjør den ikke for andre leksem (se f.eks. lexemes['x34351']). Du skal nå skrive en kodebit som til en leksemidentifikator returnerer den ordformen som er den mest naturlige siteringsformen, for eksempel til x29482 gir den 'kaster', og til x29471 gir den kaste. Du må her tenke igjennom flere ting: Hvilken form er den mest naturlige å finne i en ordbok for ulike ordklasser, som verb (V), substantiv (N) og adjektiv (A)? Hvordan finner du frem til denne ved hjelp av trekkene morf_feat og syn_feat? Hvordan skriver du koden for å finne frem til denne? Innlevering: Kode + resultatet av å bruke koden på leksemene med identifikatorer x30027, x30049, x

4 e) (5 poeng) Nå får vi beregnet et lemma fra et helt leksem. Men det vi ønsker er en "lemmatizer", en rutine som tar en ordform og gir lemmaet, for eksempel til 'foreslo' gir 'foreslå'. Utvid nå rutinen fra pkt (c) slik at den i tillegg returnerer et lemma. For words['w140116'] kan det se ut som noe slikt kaster cat: N lemma: kaste gen: neut num: pl def: de Innlevering: Kode+resultat av analyse av 'kaster', 'kastet', 'fisker', 'øyer', 'foreslo' og 'gås'. Del 2 Kontekstfrie grammatikker (inntil 50 poeng for hele delen) Vi skal lage en kontekstfri frasestrukturgrammatikk (CFP-SG eller CFG) for et utsnitt av norsk språk. Det er et mål at grammatikken bare beskriver grammatiske norske setninger. Den skal ikke akseptere ugrammatiske ordsekvenser. For å oppnå det vil grammatikken "undergenerere". Det vil være mange norske setninger den ikke fanger inn. Ved å utvide grammatikken med flere regler og et større leksikon vil vi gradvis kunne fange inn mer. Vi skal arbeide med utvidelser av grammatikken etter hvert. Vi vil bruke NLTK sitt format for å skrive kontekstfrie grammatikker. Du kan skrive grammatikken til fil og bruke nltk.data.load() for å lese den inn i Python (jfr. seksj 8.3 i NLTK-boka). Innlest slik blir grammatikken et Python-objekt av klassen grammar. For å teste grammatikken kan du bruke NLTKs chart parser. Du kan da teste den som i >>> parser_basic = nltk.chartparser(grammar) >>> for t in parser_basic.parse( Mary ran.split()): print(t) (Eller skift print(t) med t.pretty_print() ).Vi bruker nltk.chartparser() og ikke f.eks. nltk.recursivedescentparser() fordi den første kan behandle alle typer CFG-er, og vi er ikke interessert i parsingprosedyren i denne oppgaven. Merk også at du må bruke dokumentasjon for 2.utgave av NLTK-boka her. Kommandoene (og metodene) er noe endret og har fått nye navn siden 1.utgaven. Byggestenene En setning er en sekvens av norske ord, som ga, barnet, huset. Ut i fra formell språkteori vil disse utgjøre "alfabetet" for det formelle språket, mens setningene blir de velformete uttrykkene. I tillegg til ord og setninger, opererer vi med fraser. En setning er bygget opp av fraser som igjen er bygget opp av fraser eller ord. Sett i fra teorien for CFG, blir ordene terminaler, mens hver frase vil være merket med en ikke-terminal. Setninger vil være merket med ikke-terminalen som er startsymbolet. 4

5 Ord Ord kan deles inn i ordklasser. De største og viktigste er N (substantiv eller nomen): Kari, barn, barnet, V (verb): ga, solgte, spiste, A (adjektiv): stort, pent, underlig, P (preposisjoner): fra, til, på, Innenfor ordklassene kan det være underklasser. For substantiv skiller vi mellom egennavn, Kari, og fellesnavn, barn. For verb skiller vi bl.a. mellom intransitive, sov, transitive, anerkjenne, og ditransitive, ga. Ord bøyes og kommer i forskjellige former, som bestemt, barnet og ubestemt, barn. Klasse, underklasse og form er bestemmende for hvor et ord kan forekomme. To ord som tilhører samme klasse, underklasse og form, f.eks. barnet og huset, kan forekomme i de samme posisjonene. I en grammatisk setning kan vi skifte ut det ene med det andre og stadig få en grammatisk setning. To forskjellige former av et ord kan ikke alltid skiftes. Vi kan si et barn, men ikke et barnet. Det er også grunnen til å operere med underklasser. Både barn og jente er substantiv, men vi kan ikke si et jente sov selv om vi kan si et barn sov. I denne oppgaven kan vi dele ord inn i grupper ut i fra ordklasse og evt. underklasse og form. Oppgave 1. Fraser og setninger (20 poeng) I første omgang vil vi se på setninger som består av en NP (nomenfrase) etterfulgt av en VP (verbfrase) og se mer på oppbygningen av NP og VP NP Vi vil ha med flere NP-ledd, altså uttrykk som kan ta samme plassen som Kari eller barnet i eksemplene. For NP vil vi begrense oss til (i) egennavn, (ii) substantiv i bestemt form entall, (iii) nøytrumsubstantiv i ubestemt form entall med en foranstilt bestemmer (et, ethvert, noe, ). For disse ubestemte vil vi kunne ta med et ubegrenset antall modifiserende adjektiv (pent, stort, lite, ). Skal være med i språket Kari sov. Barnet sov. Et barn sov. Et lite pent barn sov. Kari sa at et lite barn sov. Skal ikke være med i språket Pent barnet sov. Et pene barn sov. 5

6 VP Vi vil ha med intransitive (sov), transitive (solgte) og ditransitive (overrakte) verb. Noen verb kan være både f.eks. transitive og intransitive, andre kan bare være i en underklasse. Skal være med i språket Kari ga barnet huset Kari overrakte dyret eplet Kari solgte huset Kari spiste eplet Kari spiste Kari smilte Skal ikke være med i språket Kari ga Kari ga dyret Kari solgte Kari spiste barnet eplet Kari smilte eplet Vi skal også ta med verb som tar setningskomplement. Noen av disse tar både et nominalkomplement (barnet) og et setningskomplement (at Ola sa at dyret smilte i det siste eksemplet). Skal være med i språket Kari fortalte barnet at dyret smilte Kari fortalte at dyret smilte Kari sa at dyret smilte Kari fortalte barnet at Ola sa at dyret smilte. Skal ikke være med i språket Kari sa barnet at dyret smilte Kari solgte at dyret smilte. Merk at denne konstruksjonen kan gjentas som i det siste eksempelet. Den kan gjentas et ubegrenset antall ganger. Lag en grammatikk som oppfyller dette og kall den basic.cfg. I grammatikken skal du bruke naturlige kategorinavn (ikke-terminaler) som NP og VP slik det er vist i eksempler i NLTK-boka, seksjon Du står fritt i hvor mye av X-bar-teori du vil bruke. Leksikonet skal inneholde minst 6 ord av hver av: - Substantiv, egennavn - Substantiv fellesnavn neutrum entall. Disse skal også forekomme både i bestemt og ubestemt form. - Adjektiv - Intransitive verb - Transitive verb - Minst 3 hver i de øvrige verb-klassene. Innlevering: basic.cfg Oppgave 2: PP-ledd (20 poeng) På grunn av mulige problemer for noen typer parsere, har vi skilt ut PP-ledd til en egen del slik at vi har en grammatikk med PP-ledd og en uten. Utvid basic.cfg til en grammatikk med PP-ledd, kall den pp.cfg, og lag chart-parser parser_pp. Du skal ha med minst 6 forskjellige preposisjoner. 6

7 PP Vi tar med preposisjonalledd, disse kan modifisere et nominalledd eller VP. Skal være med Dyret med barnet sov. Dyret sov i huset. Dyret med barnet sov i huset. Type NP-modifikasjon VP-modifikasjon Begge typer i denne setningen. Vi har laget et lite testsett med setninger som skal være med i språket, kalt norsk_testset.txt. Setningene merket med + skal være med i språket. For å teste at vi ikke får med for mye, har vi også tatt med negative eksempler som ikke er grammatiske setninger og merket dem med -. Du kan teste grammatikken din med funksjonen test fra test_cfg_py3.py. (Begge ligger i mappen cfg på fellesområdet). Denne sjekker bare om det finnes minst en analyse for hver av de grammatiske setningene. Det er et poeng med kontekstfrie grammatikker at vi kan få frem flertydigheter og at de reflekteres i trær. Se på setningene: a) Dyret i huset ved vannet sov. b) Kari sov i huset ved vannet. c) Kari likte huset ved vannet. d) Kari likte dyret i huset ved vannet. Hver av setningene (a-c) har to analyser. Sjekk at du får dette. For hver av de tre eksemplene forklar med en til to setninger intuitivt forskjellen mellom de to analysene. Hvor mange analyser får (d)? Innlevering: Fila som inneholder pp.cfg. Resultatet av utskrift med kjøring med test_cfg_py3.py sammen med norsk_testset.txt. Kjøringseksempler som viser trærne du får for setningene (a-d). (Du kan bruke Tree-metoden pretty_print() til å skrive ut trærne.) Forklaringene det spørres etter. Oppgave 3: Utviding av grammatikken (10 poeng) Vi skal nå utvide grammatikk pp.cfg med en del flere konstruksjoner. For det første skal vi utvide med koordinasjon av setninger som i (a), NP-er som i (b) og VP-er som i (c). For koordinasjon bør du tilstrebe mest mulig generelle (og korrekte) regler, som dekker flest mulig tilfeller. a) Kari smilte og barnet sov. b) Ola og Kari smilte. c) Kari smilte og ga barnet dyret. Dernest skal vi inkludere noen relativsetninger. Vi vil her nøye oss med bare noen former for relativsetninger og med forholdsvis lite prinsipielle løsninger. De to formene av relativsetninger vi vil se på, er på formen (d) som vi finner i (e) og (f), og på formen (g) som vi finner i (h) og (k). 7

8 d) som VP e) Kari som smilte likte dyret f) Kari likte barnet som likte dyret som sov g) som NP TV h) Dyret som Kari likte sov i) Kari likte dyret som barnet som sov likte Kall den utvidete grammatikken for my.cfg. Hvor mange trær tilordner grammatikken til setningen Ola som fortalte at Kari sov og smilte likte barnet og huset ved vannet. Innlevering: Grammatikken my.cfg. Svar på spørsmål om hvor mange analyser setningen får og lever trærne som grammatikken tilskriver setningen. - SLUTT 8

9 Appendiks Utdrag fra main i formatet som leses av read_python_py3.py Lexeme glupende;adj,pos;adj_mfn_pos_e glupende;adj,pos,indef,sg;adj_mfn_pos_indef_sg Lexeme glupsk;adj,pos,indef,sg;adj_mfn_pos_indef_sg glupske;adj,pos;adj_mfn_pos_e glupskere;adj,sgpl;adj_mfn_comp_defindef_sgpl glupskest;adj,indef,sg;adj_mfn_sup_indef_sg glupskeste;adj,sgpl;adj_mfn_sup_def_sgpl Lexeme gluten;n,sg,indef;n_n_sg_indef glutenet;n,sg;n_n_sg_def Utdrag fra originalt Scarrie-leksikon <LexicalEntry><Lemma /> <feat att="writtenform" val="glupende" /> <feat att="morsynfeat" val="adj,pos" /> <feat att="synfeat" val="adj_mfn_pos_e" /> <feat att="writtenform" val="glupende" /> <feat att="morsynfeat" val="adj,pos,indef,sg" /> <feat att="synfeat" val="adj_mfn_pos_indef_sg" /> </LexicalEntry> <LexicalEntry><Lemma /> <feat att="writtenform" val="glupsk" /> <feat att="morsynfeat" val="adj,pos,indef,sg" /> <feat att="synfeat" val="adj_mfn_pos_indef_sg" /> <feat att="writtenform" val="glupske" /> <feat att="morsynfeat" val="adj,pos" /> 9

10 <feat att="synfeat" val="adj_mfn_pos_e" /> <feat att="writtenform" val="glupskere" /> <feat att="morsynfeat" val="adj,sgpl" /> <feat att="synfeat" val="adj_mfn_comp_defindef_sgpl" /> <feat att="writtenform" val="glupskest" /> <feat att="morsynfeat" val="adj,indef,sg" /> <feat att="synfeat" val="adj_mfn_sup_indef_sg" /> <feat att="writtenform" val="glupskeste" /> <feat att="morsynfeat" val="adj,sgpl" /> <feat att="synfeat" val="adj_mfn_sup_def_sgpl" /> </LexicalEntry> <LexicalEntry><Lemma /> <feat att="writtenform" val="gluten" /> <feat att="morsynfeat" val="n,sg,indef" /> <feat att="synfeat" val="n_n_sg_indef" /> <feat att="writtenform" val="glutenet" /> <feat att="morsynfeat" val="n,sg" /> <feat att="synfeat" val="n_n_sg_def" /> </LexicalEntry> 10