INF2820 Datalingvistikk V2016. Forelesning 4, 10.2 Jan Tore Lønning
|
|
- Anna Holte
- 7 år siden
- Visninger:
Transkript
1 INF2820 Datalingvistikk V2016 Forelesning 4, 10.2 Jan Tore Lønning
2 I dag Ord Begrensninger med regulære språk Regulære uttrykk i praksis Utvidete regulære uttrykk Frasestruktur og kontekstfrie grammatikker Forholdet mellom kontekstfrie og regulære språk 2
3 Ord (i naturlige språk) En mann kjøpte en bil av en mann som hadde eid bilen i tjue år. Hvor mange ord? 16. februar
4 Ord (i naturlige språk) En mann kjøpte en bil av en mann som hadde eid bilen i tjue år. Hvor mange ord? 15 ordforekomster ( tokens ) 12 ordformer ( types ) Liknende forskjell: Hvor mange bøker har Jo Nesbø skrevet? Hvor mange bøker har Jo Nesbø solgt? 16. februar
5 Ord (i naturlige språk) En mann kjøpte en bil av en mann som hadde eid bilen i tjue år. Hvor mange forskjellige ord (types)? 16. februar
6 Ord (i naturlige språk) En mann kjøpte en bil av en mann som hadde eid bilen i tjue år. Hvor mange forskjellige ord (types)? 12 ord(former) 11 leksem Ett leksem 4 ulike former av samme leksem Ett lemma (siteringsform) mann mannen menn mennene N, sg, indef N, sg, def N, pl, indef N, pl, def 16. februar
7 Ordklasser/ Part of speech N V N Jenta spiste eplet N V jenta, gutten, potetene, sola,.. spiste, så, likte, kastet, (Forenklet:) Ord av samme klasse kan erstatte hverandre: Gutten spiste eplet. Jenta så potetene. Ord av forskjellige klasser kan ikke alltid erstatte hverandre: *Gutten jenta potetene. *Spiste så potetene. 16. februar
8 Noen ordklasser Klasse ( Category ) Underklasser Eksempler V verb kastet, spiser, løper, er, N nomen, substantiv, noun Fellesnavn, common noun, CN Egennavn, proper name jenta, gutter, barna, potetene, Per, Kari, Michelle, Bill, A adjektiv pen, snill, godt P preposisjon på, under, ved, Det Determinativ en, enhver, noen, ingen, Pronomen jeg, du, oss, min, 16. februar
9 Ordform - trekk En fullform av et ord vil ha en del trekk ( features ) Noen av disse er inherente og felles for alle former av et leksem: Svarer til undeklasser av ordklassene Kjønn/ gender for substantiv Jente/jenta/jenter/jentene er femininum Transitivitet(stype) for verb Kaste/kaster/kastet/kast tar nomen-komplementet Vite/vet/visste/visst tar komplementsetning (at ) Andre er spesifikke for formen av ordet, Jfr. forrige foil Kjønn for adjektiv 16. februar
10 Morfologi Ords oppbygning Danning av ord 1. Bøyning, infleksjon Ulike former av samme leksem 2. Avledning, derivasjon quick quickly 3. Ordsammensetning hjernehinnebetennelse 10
11 1.Bøyning/infleksjon N, substantiv Entall Flertall Ubestemt Bestemt Ubestemt Bestemt gutt gutten gutter guttene jente jenta jenter jentene barn barnet barn barna Abstrakt trekk Ubest+flertall preteritum Skille En linje er et leksem Realisering -er, -, -et, -de, -et, V, verb infinitiv presens preteritum perfektum imperativ kaste kaster kastet kasta bygge bygger bygde bygget kastet kasta bygd bygget 16. februar kast bygg gå går gikk gått gå Lemma = infinitivsformen
12 2. Avledning-derivasjon Kombinere en ordstamme med et grammatisk morfem Ofte gir det ny ordklasse V, verb infinitiv Adjektiv, avledning Substantiv, avledning Substantiv, avledning Substantiv, avledning -ende -ing -er - kaste kastende kasting (en) kaster (et) kast bygge byggende bygging (et) bygg gå gående gåing 16. februar
13 3. Sammensetning Et sammensatt ord får egenskaper fra siste leddet god: Adj + snakke:v godsnakke: V fiske: V + konkurranse: N fiskekonkurranse: N 16. februar
14 Lyd- og skriftendringer Ved bøyning og avledning er det ikke bare å henge på endelser kiste: N + -en: sg,def kisten (ikke kisteen) vill: Adj + -t: Neut vilt (ikke villt) Osv. Også lyd-/skriftendringer ved sammensetning vin + glass vinglass rødvin + glass rødvinsglass 14
15 Implementasjon Analyse: gitt en ordforekomst, finn leksem og trekk Syntese: gitt leksem og trekk, finn ordform Engelsk og norsk Mulig å lage alle former av et leksem Mulig å lage alle avledninger, men kan være hensiktsmessig å bare ha grunnordene + regler Norsk ordsammensetning: Vi kan lage nye sammensetninger og bli forstått Trengs en genererende modul, f.eks. FSA Andre språk Ord kan ha så mange former at en må ha program også for å behandle avledninger og bøyninger 15
16 I dag Ord Begrensninger med regulære språk Regulære uttrykk i praksis Utvidete regulære uttrykk Frasestruktur og kontekstfrie grammatikker Forholdet mellom kontekstfrie og regulære språk 16
17 Fins det språk som ikke er regulære? Eksempler, A = {a,b,c} Regulære L = {w w > } L = {w w inneholder sekvensen abc} L = {w w inneholder 118 a-er} Ikke-regulære L={w w w A*} L={w w R w A*} L={a n b n } 16. februar
18 Formelle språk som ikke er regulære Anta at L er et uendelig regulært språk over A. Da fins et tall n>0 s.a. enhver streng w A* lengre enn n, kan deles i tre: w=xyz, hvor y >0 og w er i L hvis og bare hvis xy k z er i L for alle k>0. Pumpelemma for regulære språk Anta at M er en DFA over alfabetet A, som anerkjenner L, dvs L=L(M) M har et visst antall tilstander n. La w L(M) og w >n. Når M leser w, må det finnes en tilstand s som w er innom to forskjellige steder i w. ( pigeon hole principle ), mao: w kan skrives på formen xyz der y >0 og M er i samme tilstand etter xy som etter x (og etter xyy ) Da må xy n z L(M) for alle n. 18
19 Er naturlige språk regulære som Et Kari kjente en mann så løp barn by fra Kan vi beskrive syntaksen til setninger i naturlige språk med regulære uttrykk/fsa? Antatt ikke pga center embedding (Chomsky, Syntactic structures, 1957)
20 Center embedding Regulært Barnet smilte. Barnet, som eide hunden, smilte. Barnet, som eide hunden, som elsket katta, smilte. Barnet, som eide hunden, som elsket katta, som jagde musa, smilte. NP, (som TV NP,)* VP Ikke regulært Musa rømte. Musa, som katta jagde, rømte. Musa, som katta, som hunden elsket, jagde, rømte. Musa, som katta, som hunden, som barnet eide, elsket, jagde, rømte. NP (, som NP,) n (TV,) n VP Kan dette gjentas for alle n? 20
21 Chomsky&Miller (1963): 21
22 Begrensninger ved regulære språk Regulære språk er ikke ideelle modeller for naturlige språk fordi: 1. Det er ikke sikkert naturlige språk er regulære 2. Mindre mønstre forekommer flere steder og må skrives ut fullt hvert sted, e.g. DET (ADJ)* N V DET (ADJ)* N DET (ADJ)* N 3. Naturlige språk har en hierarkisk struktur som ikke fanges opp 22
23 I dag Ord Begrensninger med regulære språk Regulære uttrykk i praksis Utvidete regulære uttrykk Frasestruktur og kontekstfrie grammatikker Forholdet mellom kontekstfrie og regulære språk 23
24 Regulære uttrykk to tilnærminger Teoretisk Sett på så langt Oprinnelig (1950-tallet, Kleene) J&M seksj 2.3 Tilstreber: Formelt veldefinert Enklest mulig definisjon av klassen (syntaks) Gjør det enklere å vise ting om klassen Praktisk Unix (grep/egrep), Perl, Emacs, Python, Utvidet syntaks: Effektiv bruk Andre funksjoner, eks søk Extended regular expressions : går ut over de regulære språkene! (formelt litt uklart) 24
25 Praktiske RegEx =/= teoretiske RE Uttrykk Tolkning Sammensetninger (R S) R eller S R* 0 eller flere R R + 1 eller flere R R? 0 eller 1 R R{n} N mange R [xyzu] En av x, y, z, u Symboler i filer \n Ny linje \t Tab Uttrykk Tolkning Ankere ^ Linjestart $ Linjeslutt \b Ordgrense Forkortelser. Hvilket som helst tegn [^xyzu] Et tegn som ikke er x,,u [a-r] En bokstav i spennet \d Et hvilket som helst tall \w tilsv. [a-z,a-z,0-9] 25
26 Anvendelse av regulære uttrykk Utgangspunkt: Regulært uttrykk: R Tekst: T Vanligvis: ikke interessert i om R matcher hele T Men finne substrenger av T som matcher R R = [a-z] + [0-9] + T = 23ring57.no Søk etter R i T vil returnere ring57 greedy Men formelt matcher uttrykket ing57 g5 Osv De blir ikke returnert 16. februar
27 I dag Ord Begrensninger med regulære språk Regulære uttrykk i praksis Utvidete regulære uttrykk Frasestruktur og kontekstfrie grammatikker Forholdet mellom kontekstfrie og regulære språk 27
28 Extended RegEx =/= teoretiske RE Muligheten til å referere tilbake til hele grupper: Går utover regulære språk Kan ikke uten videre bruke DFA som algoritme 28
29 Eksempel ikke regulært Python re a n ba n Språket er ikke regulært >>> import re >>> def desk(reg, exp): if re.search(reg, exp): return True else: return False >>> p3 = '^(?P<word>a*)b(?P=word)$' >>> desk(p3, 'aaabaaa') True >>> desk(p3, 'aaaaabaaaaa') True >>> desk(p3, 'aaaaabaaa') False >>> desk(p3, 'aaabaaaa') False >>> 29
30 Eksempel: Ikke kontekstfritt >>> p4 = '^(?P<word>(a c)*)b(?p=word)$' >>> desc(p4, 'acabaca') True >>> desc(p4, 'acabaac') False >>> desc(p4, 'acaaccaaabacaaccaaa') True >>> desc(p4, 'acaaccaaabacaaccaaac') False >>> desc(p4, 'acaaccacabacaaccaac') False 30
31 I dag Ord Begrensninger med regulære språk Regulære uttrykk i praksis Utvidete regulære uttrykk Frasestruktur og kontekstfrie grammatikker Forholdet mellom kontekstfrie og regulære språk 33
32 Fraser NP Jenta Den lille hunden Hunden fra Moss Du V spiste likte så VP NP eplet et stort, grønt eple eplet som Per hadde kjøpt det Frase: sekvens av ord som hører sammen, her: NP, VP Forskjellige fraser av samme kategori oppfører seg ganske likt Fraser kan delvis identifiseres ved at de kan Koordineres: Du og barna dine, stjal en bil og stakk misplasseres Hvis noe opptrer på en unormal plass er det gjerne en frase 16. februar
33 Frasestruktur En setning er hierarkisk ordnet i fraser 16. februar
34 Eksempel: grammar1 16. februar
35 Context-Free Grammars Terminals We ll take these to be words (for now) Non-Terminals The constituents in a language Like noun phrase, verb phrase and sentence Rules Rules are equations that consist of a single nonterminal on the left and any number of terminals and non-terminals on the right. 2/16/2016 Speech and Language Processing - Jurafsky and Martin 37
36 Context-Free Grammars Det mest sentrale verktøyet i datalingvistikk 2/16/2016 Speech and Language Processing - Jurafsky and Martin 38
37 Hva betyr kontekstfri? Generell frasestrukturgrammatikk: venstresiden kan være en vilkårlig symbolstreng: α β Kontekstfri grammatikk = kontekstfri frasestrukturgrammatikk: Venstresiden består av én ikke-terminal A β 2/16/2016 Speech and Language Processing - Jurafsky and Martin 39
38 Konvensjoner Forenkling, kan skrive A β γ δ for A β A γ A δ 16. februar
INF2820 Datalingvistikk V2016. Forelesning 4, 10.2 Jan Tore Lønning
INF2820 Datalingvistikk V2016 Forelesning 4, 10.2 Jan Tore Lønning I dag Ord Begrensninger med regulære språk Regulære uttrykk i praksis Utvidete regulære uttrykk Frasestruktur og kontekstfrie grammatikker
DetaljerINF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen FORMELLE OG NATURLIGE SPRÅK KONTEKSTFRIE GRAMMATIKKER 7. februar 2011 2 Naturlige språk som formelle språk Et formelt språk består av: En
DetaljerINF2820 Datalingvistikk V2015. Forelesning 4, 9.2 Jan Tore Lønning
INF2820 Datalingvistikk V2015 Forelesning 4, 9.2 Jan Tore Lønning I dag Oppsummering av endelige tilstandsteknikker Begrensninger ved regulære språk Regulære uttrykk: teoretiske og praktiske Noen egenskaper
DetaljerINF2820 Datalingvistikk V2012. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning BEGRENSNINGER VED REGULÆRE SPRÅK OG KONTEKSTFRIE GRAMMATIKKER 2 I dag 1. Begrensninger ved regulære språk 2. Noen egenskaper ved naturlige språk 3. Kontekstfrie
Detaljer2/6/2012. Begrensninger ved regulære språk. INF2820 Datalingvistikk V2012. Formelle språk som ikke er regulære KONTEKSTFRIE GRAMMATIKKER.
INF2820 Datalingvistikk V2012 Jan Tore Lønning Begrensninger ved regulære Regulære er ikke ideelle modeller for naturlige, dvs Verken regulære uttrykk eller NFA er ideelle for å beskrive naturlige fordi:
DetaljerINF2820 Datalingvistikk V2014. Forelesning 4, 6.2 Jan Tore Lønning
INF2820 Datalingvistikk V2014 Forelesning 4, 6.2 Jan Tore Lønning I dag Oppsummering av endelige tilstandsteknikker Regulære uttrykk: teoretiske og praktiske Begrensninger ved regulære språk Noen egenskaper
DetaljerINF2820 Datalingvistikk V2012. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning ENDELIGE TILSTANDSTEKNIKKER OG REGULÆRE UTTRYKK I DATALINGVISTIKK DEL 2 20. januar 2012 2 Non-Determinism Speech and Language Processing - Jurafsky and Martin
DetaljerINF2820 Datalingvistikk V2018 Forelesning 4, 5.2 Jan Tore Lønning
INF2820 Datalingvistikk V2018 Forelesning 4, 5.2 Jan Tore Lønning I dag Naturlige språk Ord Litt morfologi Språkteknologi: leksikon og morfologi Tekstprosessering de første trinn 2 Naturlige språk som
DetaljerINF2820 Datalingvistikk V2017 Forelesning 4, 6.2 Jan Tore Lønning
INF2820 Datalingvistikk V2017 Forelesning 4, 6.2 Jan Tore Lønning I dag Naturlige språk Ord Litt morfologi Språkteknologi: leksikon og morfologi Tekstprosessering de første trinn 2 Naturlige språk som
DetaljerINF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen ENDELIGE TILSTANDSTEKNIKKER OG REGULÆRE UTTRYKK I DATALINGVISTIKK DEL 2 31. januar 2011 2 SAMMENHENGER FSA OG REGULÆRE UTTRYKK 31. januar
Detaljer1/31/2011 SAMMENHENGER FSA OG REGULÆRE UTTRYKK. Regulære språk. Fra FSA til RE. Fra regulært uttrykk til NFA REGULÆRE UTTRYKK I DATALINGVISTIKK DEL 2
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen ENDELIGE TILSTANDSTEKNIKKER OG REGULÆRE UTTRYKK I DATALINGVISTIKK DEL 2 31. januar 2011 2 Regulære språk Følgende er ekvivalente: a) L kan
DetaljerINF2820 Datalingvistikk V2014. Jan Tore Lønning
INF2820 Datalingvistikk V2014 Jan Tore Lønning ENDELIGE TILSTANDSTEKNIKKER OG REGULÆRE UTTRYKK I DATALINGVISTIKK DEL 2 22. januar 2014 2 DFA deterministisk endelig maskin Q = {q0, q1, q2,, qn-1} Strengt
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2014 15. gang, 8.5.2014 Jan Tore Lønning Språk og grammatikk Språk (formelt): En endelig mengde A Ø En undermengde L A* Grammatikk: En endelig innretning som definerer L Klasser
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2017 5. Gang - 13.2 Jan Tore Lønning I dag Tekstnormalisering: lemmatisering og «stemming» Tagget tekst og tagging Begrensninger ved regulære språk Frasestruktur og kontekstfrie
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2016 5. Gang - 17.2 Jan Tore Lønning I dag Kontekstfrie grammatikker, avledninger og trær Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker for naturlige språk
DetaljerINF2820 Datalingvistikk V2017 Forelesning 3, 30.1 Jan Tore Lønning
INF2820 Datalingvistikk V2017 Forelesning 3, 30.1 Jan Tore Lønning I dag Regulære språk og endelige tilstandsmaskiner oppsummering Reg.ex. i praksis, særlig i Python Litt Python Algoritme for DFA med Python-implementasjon
DetaljerINF2820 Datalingvistikk V2018 Forelesning 3, 29. jan. Jan Tore Lønning
INF2820 Datalingvistikk V2018 Forelesning 3, 29. jan. Jan Tore Lønning Hva her vi lært? A. Deterministiske endelige tilstandsmaskiner (DFA) og hvordan de kan definer et (formelt) språk. B. Ikke-deterministiske
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2015 5. Gang - 16.2 Jan Tore Lønning I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker
DetaljerINF 2820 V2016: Innleveringsoppgave 3 del 1
INF 2820 V2016: Innleveringsoppgave 3 del 1 Pga tekniske problemer er oppgaveteksten delt i to. Dette er første del. Andre del legges ut mandag 13.3! Besvarelsene skal leveres i devilry innen fredag 24.3
DetaljerINF2820 Datalingvistikk V2014. Jan Tore Lønning
INF2820 Datalingvistikk V2014 Jan Tore Lønning ENDELIGE TILSTANDSTEKNIKKER OG REGULÆRE UTTRYKK I DATALINGVISTIKK 19. januar 2014 2 Naturlige språk En mann kjøpte en bil av en mann som hadde eid bilen i
DetaljerINF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen CHARTPARSING (SEKSJ 13.4) FORMELLE EGENSKAPER VED SPRÅK (KAP. 16) 8. mars 2011 2 I dag Oppsummering fra sist: Dynamisk programmering CKY-algoritmen
DetaljerINF2820 Datalingvistikk V2012. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2012 Jan Tore Lønning & Stephan Oepen ENDELIGE TILSTANDSTEKNIKKER OG REGULÆRE UTTRYKK I DATALINGVISTIKK 17. januar 2012 2 Naturlige språk En mann kjøpte en bil av en mann som hadde
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2018 5. Gang - 12.2 Jan Tore Lønning I dag Tokenisering, lemmatisering og «stemming» Tagget tekst og tagging Begrensninger ved regulære språk Frasestruktur og kontekstfrie grammatikker
DetaljerINF2820 Datalingvistikk V2012. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning KONTEKSTFRIE GRAMMATIKKER OG PARSING 23. februar 2012 2 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Parsing: ovenifra og ned
DetaljerINF 2820 V2016: Obligatorisk innleverinsoppgave 1
INF 2820 V2016: Obligatorisk innleverinsoppgave 1 OBS Korrigert eksemplene oppgave 2, 8.2 Besvarelsene skal leveres i devilry innen torsdag 18.2 kl 18.00 Filene det vises til finner du på /projects/nlp/inf2820/fsa
DetaljerINF2820 Datalingvistikk V2012. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning CHART-PARSING FORMELL SPRÅKTEORI 5. mars 2012 2 Chart alternativ datastruktur NP Det Nom Nom Nom PP NP PP P NP Det Nom, N P NP, PN 0 book 1 the 2 flight 3
DetaljerINF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen KONTEKSTFRIE GRAMMATIKKER OG PARSING 22. februar 2011 2 I dag Avledninger og normalformer Parsing: ovenifra og ned (top-down) Parsing: nedenifra
DetaljerINF 2820 V2018: Innleveringsoppgave 2
INF 2820 V2018: Innleveringsoppgave 2 Besvarelsene skal leveres i devilry innen fredag 2.3 kl 18.00 Det blir 5 sett med innleveringsoppgaver. Hvert sett gir inntil 100 poeng. Til sammen kan en få inntil
DetaljerINF 2820 V2016: Innleveringsoppgave 3 hele
INF 2820 V2016: Innleveringsoppgave 3 hele Dette er det komplette settet! Besvarelsene skal leveres i devilry innen fredag 24.3 kl 18.00 Det blir 5 sett med innleveringsoppgaver. Hvert sett gir inntil
DetaljerINF2820 V2017 Oppgavesett 6 Gruppe 7.3
INF2820 V2017 Oppgavesett 6 Gruppe 7.3 Oppgave 1: Lag en kontekstfri grammatikk som beskriver samme språk som nettverket under. S a S S c S S b A1 A1 a S A1 c S A1 b A2 A2 c S A2 a S A2 b A3 A3 a A3 A3
DetaljerINF2820 Datalingvistikk V2012. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning LITT PYTHON 2 Hvorfor Pyhton NLTK Natural Language Tool Kit: Omgivelser for å eksperimentere med datalingvistikk Diverse datalingvistiske algoritmer Inkluderte
Detaljer1/26/2012 LITT PYTHON. INF2820 Datalingvistikk V2012. Hvorfor Pyhton. Python syntaks. Python er objektorientert. Python datatyper.
INF2820 Datalingvistikk V2012 Jan Tore Lønning LITT PYTHON 2 Hvorfor Pyhton Python syntaks NLTK Natural Language Tool Kit: Omgivelser for å eksperimentere med datalingvistikk Diverse datalingvistiske algoritmer
DetaljerINF2820 Datalingvistikk V2017 Forelesning 1.2 Jan Tore Lønning
INF2820 Datalingvistikk V2017 Forelesning 1.2 Jan Tore Lønning ENDELIGE TILSTANDSMASKINER OG REGULÆRE SPRÅK 19. januar 2017 2 Fysisk modell En tape delt opp i ruter. I hver rute står det et symbol. En
Detaljer3/5/2012. Chart alternativ datastruktur. Fundamentalregelen. Chart-parsing. Bottom-up FORMELL SPRÅKTEORI. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning CHART-PARSING FORMELL SPRÅKTEORI 5. mars 2012 2 Chart alternativ datastruktur NP Det Nom Fundamentalregelen NP Det Nom Nom Nom PP Nom Nom PP NP PP P NP Det
DetaljerINF INF1820. Arne Skjærholt. Negende les INF1820. Arne Skjærholt. Negende les
Arne Skjærholt egende les Arne Skjærholt egende les σύνταξις Syntaks, fra gresk for oppstilling, er studiet av hvordan vi bygger opp setninger fra ord. Pāṇini (ca. 400 år f.kr.) er den første som formulerer
DetaljerNorsk minigrammatikk bokmål
Norsk minigrammatikk bokmål Ordklassene Substantiv Adjektiv Artikler Pronomen Tallord Verb Adverb Konjunksjoner Preposisjoner Interjeksjoner ORDKLASSENE Den norske grammatikken inneholder ti ordklasser:
DetaljerINF2820 Datalingvistikk V Gang 9.3 Jan Tore Lønning
INF2820 Datalingvistikk V2016 8. Gang 9.3 Jan Tore Lønning CHART-PARSING 2 I dag Bakgrunn Svakheter med andre parsere CKY og Chart Chart-parsing: hovedideer BU chart-parsingalgoritmen Algoritmen uttrykt
DetaljerINF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen ENDELIGE TILSTANDSTEKNIKKER OG REGULÆRE UTTRYKK I DATALINGVISTIKK 26. januar 2011 2 Naturlige språk En mann kjøpte en bil av en mann som hadde
DetaljerINF2820 Datalingvistikk V2012
INF2820 Datalingvistikk V2012 Jan Tore Lønning KONTEKSTFRIE GRAMMATIKKER OG PARSING 24. februar 2012 2 1 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Parsing: ovenifra og ned
DetaljerINF2820 Datalingvistikk V Gang 9.3 Jan Tore Lønning
INF2820 Datalingvistikk V2016 8. Gang 9.3 Jan Tore Lønning CHART-PARSING 2 I dag Bakgrunn Svakheter med andre parsere CKY og Chart Chart-parsing: hovedideer BU chart-parsing algoritmen Algoritmen uttrykt
DetaljerINF1820 2013-04-12 INF1820. Arne Skjærholt INF1820. Dagens språk: Russisk. dyes yataya l yektsiya. Arne Skjærholt. десятая лекция
Arne Skjærholt десятая лекция Dagens språk: Russisk. dyes yataya l yektsiya Arne Skjærholt десятая лекция N,Σ,R,S Nå er vi tilbake i de formelle, regelbaserte modellene igjen, og en kontekstfri grammatikk
DetaljerINF2820 V2017 Oppgavesett 5 Gruppe 21.2
INF2820 V2017 Oppgavesett 5 Gruppe 21.2 Denne uka er det først noen teoretiske oppgaver. Deretter er det en del praktiske arbeidsoppgaver som vil forberede deg til arbeidet med innleveringsoppgavesett
DetaljerSlides til 12.1 Formelt språk og formell grammatikk
Slides til 12.1 Formelt språk og formell grammatikk Andreas Leopold Knutsen April 6, 2010 Introduksjon Grammatikk er studiet av reglene som gjelder i et språk. Syntaks er læren om hvordan ord settes sammen
Detaljer2/24/2012. Context-Free Grammars. I dag. Avledning. Eksempel: grammar1 PARSING. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning KONTEKSTFRIE GRAMMATIKKER OG PARSING 24. februar 2012 2 Context-Free Grammars Det mest sentrale verktøyet i datalingvistikk 24. februar 2012 3 2/24/2012 Speech
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2014 8. gang, 6.3.2014 Jan Tore Lønning I dag Chart parsing Implementasjon CKY og Chart: Parsing vs anerkjenning 2 Chart alternativ datastruktur (S, [0, 1]) (VP, [0,1]) (Det, [1,2])
DetaljerINF2820 Datalingvistikk V Gang 6.3 Jan Tore Lønning
INF2820 Datalingvistikk V2017 8. Gang 6.3 Jan Tore Lønning I dag CKY-algoritmen fortsatt fra sist Python-implementasjon av CKY Chomsky Normal Form (CNF) Chart-parsing BU-algoritme for chart-parsing 3.
DetaljerINF2820 Datalingvistikk V Gang 4.5 Jan Tore Lønning
INF2820 Datalingvistikk V2015 14. Gang 4.5 Jan Tore Lønning CHART PARSING 2 I dag Svakheter ved tidligere parsere RD og SR: ineffektivitet CKY: CNF Chart parsing,,dotted items og fundamentalregelen Algoritmer:
DetaljerINF2820 Datalingvistikk V Gang 13.4 Jan Tore Lønning
INF2820 Datalingvistikk V2015 11. Gang 13.4 Jan Tore Lønning I dag Unifikasjonsgrammatikker Repetisjon og overblikk: Formalisme Lingvistisk anvendelse Utvidelse av lingvistisk anvendelse NLTKs implementering
DetaljerINF2820 Datalingvistikk V forelesning, 30.1 Jan Tore Lønning
INF2820 Datalingvistikk V2014 3. forelesning, 30.1 Jan Tore Lønning Idag Noen ord om Python Implementasjon av DFA J&Ms algoritme Oversatt til Python Rekursiv vs. Iterativ implementasjon Naiv NFA-algoritme
DetaljerINF2820 Datalingvistikk V Gang 19.3 del 1 Jan Tore Lønning
INF2820 Datalingvistikk V2018 10. Gang 19.3 del 1 Jan Tore Lønning I dag: to deler A. Active chart-parsing Fortsatt fra sist B. Tekstklassifisering 2 CHART-PARSING 3 I dag chart-parsing Chart-parsing:
DetaljerINF2820 Datalingvistikk V2017 Forelesning 2, 23.1 Jan Tore Lønning
INF2820 Datalingvistikk V2017 Forelesning 2, 23.1 Jan Tore Lønning ENDELIGE TILSTANDSMASKINER OG REGULÆRE SPRÅK, DEL 2 19. januar 2017 2 Sist uke: FSA Brukes om hverandre: Finite state automaton - FSA
DetaljerINF2820 Datalingvistikk V Gang 13.3 Jan Tore Lønning
INF2820 Datalingvistikk V2017 9. Gang 13.3 Jan Tore Lønning I dag chart-parsing Fortsatt fra sist: Chart-parsing: hovedideer BU chart-parsing: algoritmen NLTKs ChartParser Enkel Python-implementasjon av
DetaljerINF2820 Datalingvistikk V2012. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning TABELLPARSING OG CHART- PARSING 24. februar 2012 2 I dag Mellomspill: Chomsky Normal Form Tabellparsing: CKY-algoritmen Innlede Chart-Parsing 24. februar
DetaljerINF2820 Datalingvistikk V2016. Jan Tore Lønning
INF2820 Datalingvistikk V2016 Jan Tore Lønning ENDELIGE AUTOMATER «FINITE STATE AUTOMATA» (FSA) 25. januar 2016 2 Fysisk modell En tape delt opp i ruter. I hver rute står det et symbol. En innretning som
DetaljerINF2820 Datalingvistikk V2016. Jan Tore Lønning
INF2820 Datalingvistikk V2016 Jan Tore Lønning ENDELIGE AUTOMATER «FINITE STATE AUTOMATA» (FSA) 3. februar 2016 2 Fysisk modell En tape delt opp i ruter. I hver rute står det et symbol. En innretning som
DetaljerINF2820 Datalingvistikk V gang, 27.2 Jan Tore Lønning
INF2820 Datalingvistikk V2014 7. gang, 27.2 Jan Tore Lønning I dag Mellomspill: Chomsky Normal Form Tabellparsing: CKY-algoritmen Innlede Chart-Parsing 20. februar 2014 2 Chomsky-normalform (CNF) En grammatikk
DetaljerINF2820 Datalingvistikk V2015. Jan Tore Lønning
INF2820 Datalingvistikk V2015 Jan Tore Lønning ENDELIGE TILSTANDSTEKNIKKER OG REGULÆRE UTTRYKK I DATALINGVISTIKK DEL 2 26. januar 2015 2 ENDELIGE AUTOMATER «FINITE STATE AUTOMATA» (FSA) 26. januar 2015
Detaljer3/8/2011. I dag. Dynamic Programming. Example. Example FORMELLE EGENSKAPER VED SPRÅK (KAP. 16) Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen CHARTPARSING (SEKSJ 13.4) FORMELLE EGENSKAPER VED SPRÅK (KAP. 16) 8. mars 2011 2 I dag Oppsummering fra sist: Dynamisk programmering CKY-algoritmen
DetaljerSyntax/semantics - I INF 3110/ /29/2005 1
Syntax/semantics - I Program program execution Compiling/interpretation Syntax Classes of langauges Regular langauges Context-free langauges Scanning/Parsing Meta models INF 3/4-25 8/29/25 Program
Detaljer2/22/2011. Høyre- og venstreavledninger. I dag. Chomsky-normalform (CNF) Chomsky-normalform (CNF) PARSING. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen KONTEKSTFRIE GRAMMATIKKER OG PARSING 22. februar 2011 2 Høyre- og venstreavledninger Til hvert tre svarer det mange avledninger. For kontekstfrie
DetaljerINF2820 Datalingvistikk V Gang 23.3 Jan Tore Lønning
INF2820 Datalingvistikk V2015 10. Gang 23.3 Jan Tore Lønning I dag Trekkbaserte grammatikker, delvis repetisjon Formelle egenskaper: Alternative format for slike grammatikker Tolkning av grammatikkreglene
DetaljerINF2820 Datalingvistikk V Gang 26.2 Jan Tore Lønning
INF2820 Datalingvistikk V2018 7. Gang 26.2 Jan Tore Lønning I dag Fra sist: Høyre- og venstreavledninger Recursive-descent parser (top-down) Shift-reduce parser (bottom-up) Pythonimplementasjon: Shift-Reduce
DetaljerINF1820: Introduksjon til språk-og kommunikasjonsteknologi
INF1820: Introduksjon til språk-og kommunikasjonsteknologi Fjerde forelesning Lilja Øvrelid 6 februar, 2014 OVERSIKT Såkalt endelig tilstand (finite-state) -teknologi er kjapp og effektiv nyttig for et
DetaljerINF1820: Introduksjon til språk-og kommunikasjonsteknologi
INF1820: Introduksjon til språk-og kommunikasjonsteknologi Fjerde forelesning Lilja Øvrelid 6 februar, 2014 OVERSIKT Såkalt endelig tilstand (finite-state) -teknologi er kjapp og effektiv nyttig for et
DetaljerINF2820 Datalingvistikk V2015. Jan Tore Lønning
INF2820 Datalingvistikk V2015 Jan Tore Lønning ENDELIGE TILSTANDSTEKNIKKER OG REGULÆRE UTTRYKK I DATALINGVISTIKK DEL 2 22. januar 2015 2 ENDELIGE AUTOMATER «FINITE STATE AUTOMATA» (FSA) 23. januar 2015
DetaljerINF2820 Datalingvistikk V Gang 6.4 Jan Tore Lønning
INF2820 Datalingvistikk V2016 11. Gang 6.4 Jan Tore Lønning Sist Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2017 6. Gang - 20.2 Jan Tore Lønning I dag Kontekstfrie grammatikker og naturlige språk (fortsatt fra sist) Kontekstfrie grammatikker og regulære språk Grammatikker og trær i NLTK
DetaljerKap. 4 del I Top Down Parsering INF5110 v2006. Stein Krogdahl Ifi, UiO
Kap. 4 del I Top Down Parsering INF5110 v2006 Stein Krogdahl Ifi, UiO 1 Innhold First og Follow-mengder Boka ser på én parseringsmetode først, uten å se på First/Follow-mengder. Vi tar teorien først To
DetaljerINF 2820 V2018: Innleveringsoppgave 3
INF 2820 V2018: Innleveringsoppgave 3 Besvarelsene skal leveres i devilry innen fredag 23.3 kl 18.00 Det blir 5 sett med innleveringsoppgaver. Hvert sett gir inntil 100 poeng. Til sammen kan en få inntil
DetaljerAPPENDIKS D Geminittisk språk/grammatikk
1 APPENDIKS D Geminittisk språk/grammatikk Jeg har latt overskriften på dette appendikset bli sående i sin opprinnelige form, selv om jeg kun har maktet å gi et nokså usystematisk og mangelfullt innblikk
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2015 6. Gang - 23.2 Jan Tore Lønning PARSING DEL 1 2 I dag Høyre- og venstreavledninger Recursive-descent parser (top-down) Begynne Shift-reduce parser (bottom-up) 25. februar
DetaljerINF2820 Datalingvistikk V Gang 6.4 Jan Tore Lønning
INF2820 Datalingvistikk V2016 11. Gang 6.4 Jan Tore Lønning Sist Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj
DetaljerKap.4 del I Top Down Parsering INF5110 v2005. Arne Maus Ifi, UiO
Kap.4 del I Top Down Parsering INF5110 v2005 Arne Maus Ifi, UiO Innhold Motivering Boka gir først parsering uten First/Follow-mengder og så innfører dem. Vi tar teorien først First og Follow-mengder Fjerning
DetaljerEksamen INF2820 Datalingvistikk, H2018, Løsningsforslag
Eksamen INF2820 Datalingvistikk, H2018, Løsningsforslag 1 2 Tre1: Tre 2: Tre 3: 3 Det kan være lurt å bytte ut regel NP > NP og NP med NP > NP C NP C > og Grammatikk G blander terminaler og ikketerminaler
DetaljerINF5110 V2012 Kapittel 4: Parsering ovenfra-ned
INF5110 V2012 Kapittel 4: Parsering ovenfra-ned (top-down) Tirsdag 7. februar Stein Krogdahl, Ifi, UiO Oppgaver som gjennomgås i morgen, onsdag: -Spørsmålene på de to siste foilene fra onsdag 1/2 (Bl.a.
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2016 6. Gang - 24.2 Jan Tore Lønning PARSING DEL 1 2 I dag Hva er parsing? Høyre- og venstreavledninger Recursive-Descent parser (top-down) Shift-Reduce parser (bottom-up) Pythonimplementasjon:
DetaljerUNIVERSITETET I OSLO
UNIVERSITETET I OSLO Side 1 Det matematisk-naturvitenskapelige fakultet Eksamen i: INF2820 Datalingvistikk Eksamensdag: 6. juni 2014 Tid for eksamen: 1430-1830 Oppgavesettet er på 5 side(r) Vedlegg: 0
DetaljerOppgave 1 (samlet 15%)
2 Du kan svare på norsk, dansk, svensk eller engelsk. Du skal svare på alle spørsmålene. Vekten på de ulike spørsmålene er oppgitt. Du bør lese gjennom hele settet slik at du kan stille spørsmål til faglærerne
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2014 11. gang, 27.3.2014 Jan Tore Lønning I dag Repetere en del begreper: Trekkstrukturer Unifikasjon og subsumpsjon Trekkbaserte grammatikker Form: to alternative format Tolkning
DetaljerINF5110 V2013 Stoff som i boka står i kap 4, men som er generelt stoff om grammatikker
INF5110 V2013 Stoff som i boka står i kap 4, men som er generelt stoff om grammatikker 29. januar 2013 Stein Krogdahl, Ifi, UiO NB: Ikke undervisning fredag 1. februar! Oppgaver som gjennomgås 5. februar
DetaljerINF2820 Datalingvistikk V Gang 16.3 Jan Tore Lønning
INF2820 Datalingvistikk V2016 9. Gang 16.3 Jan Tore Lønning I dag Kort repetisjon: Hoedideer i chart-parsing CKY og chart: anerkjenning vs parsing Formell språkteori: Chomsky-hierarkiet Er naturlige språk
DetaljerINF1820 INF1820 2013-02-14. Arne Skjærholt INF1820. Arne Skjærholt
Arne Skjærholt Quatrième leçon Arne Skjærholt Quatrième leçon µορφή - form λόγος - lære Morfologi er det laveste meningsbærende nivået i språk. Fonologi og fonetikk er lavere nivåer, men de er ikke meningsbærende
DetaljerINF 2820 V2016: Obligatorisk innleveringsoppgave 3
INF 2820 V2016: Obligatorisk innleveringsoppgave 3 Besvarelsene skal leveres i devilry innen torsdag 21.4 kl 18.00 Filene det vises til finner du i o /projects/nlp/inf2820/cfg Oppgave 1: Shift-reduce-effektivisering
DetaljerOppgave 2. Eksamen INF2820, 2015, oppgave 2. La gramatikk G være:
2 Eksamen INF2820, 2015, oppgave 2 Oppgave 2 La gramatikk G være: S > NP VP VP > VI VP > VTV NP VP > VS CP CP > C S NP > 'dyret' 'barnet' 'Kari' 'Ola' VI > 'sov' 'smilte' 'danset' VTV > 'kjente' 'likte'
DetaljerOppgave 1. Spørsmål 1.1 (10%) Gitt det regulære uttrykket: a((bcd)+(cd))*cd
2 Du kan svare på norsk, dansk, svensk eller engelsk. Du skal besvare alle spørsmålene. Vekten på de ulike spørsmålene er oppgitt. Du bør lese gjennom hele settet slik at du kan stille spørsmål til faglærerne
DetaljerINF 2820 V2015: Obligatorisk innleveringsoppgave 3
INF 2820 V2015: Obligatorisk innleveringsoppgave 3 Besvarelsene skal leveres i devilry innen fredag 17.4 kl 18.00 Filene det vises til finner du i o /projects/nlp/inf2820/cfg Del 1 RD Parsing Oppgave 1:
DetaljerINF2820 Datalingvistikk V Gang 30.3 Jan Tore Lønning
INF2820 Datalingvistikk V2016 10. Gang 30.3 Jan Tore Lønning I dag Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj
DetaljerINF INF1820. Arne Skjærholt. Terza lezione INF1820. Arne Skjærholt. Terza lezione
Arne Skjærholt Terza lezione Arne Skjærholt Terza lezione Regulære uttrykk Regex Regulære uttrykk (regular expressions) er et godt eksempel på det som kalles finite-state methods (hvorfor det heter det
DetaljerINF1820: Introduksjon til språk-og kommunikasjonsteknologi
INF1820: Introduksjon til språk-og kommunikasjonsteknologi Sjette forelesning Arne Skjærholt 25 januar, 2012 SIST GANG Forrige gang: Alle rare ordene Alle rare morfene Nå: Morfologi med datamaskin (computational
DetaljerINF2820 Datalingvistikk V Gang 27.2 Jan Tore Lønning
INF2820 Datalingvistikk V2017 7. Gang 27.2 Jan Tore Lønning I dag Fra sist: Høyre- og venstreavledninger Recursive-descent parser (top-down) Shift-reduce parser (bottom-up) Pythonimplementasjon: Shift-Reduce
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2014 12. gang, 3.4.2014 Jan Tore Lønning I dag Trekkbaserte grammatikker (unifikasjonsgrammatikker) for naturlige språk NLTKs implementering av slike Litt om lingvistiske modeller
DetaljerKap.4, del 2: Top Down Parsering Kap. 5, del 1: Bottom Up Parsing INF5110, 7/ Legger ut en oppgave til kap. 4 (se beskjed).
Kap.4, del 2: Top Down Parsering Kap. 5, del 1: Bottom Up Parsing INF5110, 7/2-2008 Legger ut en oppgave til kap. 4 (se beskjed). tein Krogdahl Ifi, UiO Merk: Av de foilene som ble delt ut på papir på
DetaljerUNIVERSITETET I OSLO
UNIVERSITETET I OSLO Side 1 Det matematisk-naturvitenskapelige fakultet Eksamen i: INF2820 Datalingvistikk Eksamensdag: 14. juni 2016 Tid for eksamen: 1430-1830 Oppgavesettet er på 5 side(r) Vedlegg: 0
DetaljerINF2820 Datalingvistikk V Gang 2.3 Jan Tore Lønning
INF2820 Datalingvistikk V2015 7. Gang 2.3 Jan Tore Lønning PARSING DEL 2 2 I dag Recursive-descent parser, kort repetisjon Shift-reduce parser (bottom-up) Algoritme for anerkjenning Eksempelimplementasjon
DetaljerINF2820 Datalingvistikk V Gang 2.3 Jan Tore Lønning
INF2820 Datalingvistikk V2016 7. Gang 2.3 Jan Tore Lønning I dag CKY-algoritmen Python-implementasjon Chomsky Normal Form (CNF) 2. mars 2016 2 Dynamisk programmering I en beregning kan det inngå delberegninger
DetaljerINF2820 V2017 Oppgavesett 5 arbeidsoppgaver
INF2820 V2017 Oppgavesett 5 arbeidsoppgaver Dette er oppgaver du kan arbeide med på egen hånd. Du kan også arbeide med dem i gruppa 28.2 (hvis du har innleveringsoppgave 2 under kontroll) og spørre gruppelæreren
DetaljerStoff som i boka står i kap 4, men som er. 10. Februar Ifi, UiO
INF5110 V2010 Stoff som i boka står i kap 4, men som er generelt stoff om grammatikker 10. Februar 2010 Stein Krogdahl Ifi, UiO Oppgaver som gjennomgås 16/2: - Spørsmålene på foil 35 og 36 fra 9/10 - Finn
DetaljerMorfologi. Studiet av ordenes struktur Kap. 11 Om morfer (selvsagt) og litt større ting. EXFAC EURA 2. Morfologi1 1
Morfologi Studiet av ordenes struktur Kap. 11 Om morfer (selvsagt) og litt større ting EXFAC EURA 2. Morfologi1 1 Setninger består av ord (grupper av ord) Ord har struktur: les-te, en god les-er -te: bøyning
DetaljerINF2820 Datalingvistikk V Gang 2.3 Jan Tore Lønning
INF2820 Datalingvistikk V2016 7. Gang 2.3 Jan Tore Lønning I dag CKY-algoritmen Python-implementasjon Chomsky Normal Form (CNF) 1. mars 2016 2 Dynamisk programmering I en beregning kan det inngå delberegninger
DetaljerINF2820 Datalingvistikk V Gang 9.3 Jan Tore Lønning
INF2820 Datalingvistikk V2015 8. Gang 9.3 Jan Tore Lønning I dag Avslutte parsing i denne omgang Chomsky Normal Form (CNF) Algoritme for omforming CKY Algoritme Implementasjon Begynne trekkgramatikker
Detaljer