INF2820 Datalingvistikk V gang, Jan Tore Lønning
|
|
- Tonje Håland
- 7 år siden
- Visninger:
Transkript
1 INF2820 Datalingvistikk V gang, Jan Tore Lønning
2 I dag Trekkbaserte grammatikker (unifikasjonsgrammatikker) for naturlige språk NLTKs implementering av slike Litt om lingvistiske modeller med unifikasjon, spesielt HPSG 2
3 Sist Repetere en del begreper: Trekkstrukturer Unifikasjon og subsumpsjon Trekkbaserte grammatikker Form: to alternative format Tolkning Trekkbaserte grammatikker for naturlige språk, trinn-for-trinn v.1.0 «Head»-trekk v.1.5 X-bar v.2 - generaliseringer 3
4 Hoder ( heads ) (husker du?) I en CFG-regel har alle elementer på høyresiden samme status I en NL regel har som oftest et ledd hovedrollen NP Det N PP P NP VP V NP VP VP PP a house to the house built the house built the house in a week I et PS-tre og en CFG-regel kan en frase være hode I en annen frase I noen modeller snakker en bare om ord som hodet 4
5 «Hodetrekk»(Head features) (v.1.0) En frase deler mange trekk med sitt hode Vi samler det i et særskilt «head» trekk + tilsvarende regel med transitive verb gives 5
6 I dag Repetere en del begreper: Trekkstrukturer Unifikasjon og subsumpsjon Trekkbaserte grammatikker Form: to alternative format Tolkning Trekkbaserte grammatikker for naturlige språk, trinn-for-trinn v.1.0 «Head»-trekk v.1.5 X-bar v.2 - generaliseringer 6
7 X-bar (husker du?) En antagelse i flere grammatiske modeller/teorier En frase har tre nivåer: Full frase, eks. NP (= N ) Ord, eks N Midtnivå, eks. N (kalt Nominal i J&M) NP Det N N AP N N N PP VP V V V PP V V NP For generell form og mer informasjon, se Wikipedia 7
8 8
9 N =NP N =NOM DET A =AP N =NOM N =NOM P =PP A =AP N =NOM N P =PP 9
10 X-barskjema med et BAR-trekk (v.1.5) En del «nomenegenskaper» er delt mellom NP og hodet N (og N =Nom) En del «verbegenskaper» er delt mellom VP og V Vi representerer dette som trekk i «head»-trekket Hva med forskjellen mellom NP (=N ), Nom (=N ), N (ordet)? Flere muligheter. En av dem er å bruke et trekk for dette BAR: (Denne løsningen kaller vi her v.1.5) 10
11 Så langt (v.1.5) Mot 2.0: Dette er nesten en universell X-bar-regel for flere kategorier. Men vi må si spesielt fra om kategoriene som inngår (DET og N) Et alternativ er å Leksikalisere i N at N kan kombineres med DET til N Sammen med en modifisert regel Vi samler informasjon om kombinasjoner i et VAL(ency)-trekk (Dette er *ikke* delt mellom mor og hodedatter) 11
12 I dag Repetere en del begreper: Trekkstrukturer Unifikasjon og subsumpsjon Trekkbaserte grammatikker Form: to alternative format Tolkning Trekkbaserte grammatikker for naturlige språk, trinn-for-trinn v.1.0 «Head»-trekk v.1.5 X-bar v.2 - generaliseringer 12
13 Head-specifier regel Head-complement regel-0 v.2.0 house Eksempel på leksikalsk oppslag, eller egentlig: -Leksikalsk oppslag + -Leksikalsk regel som gir flertallsform Merk at N og Det bare nevnes i leksikon ikke i reglene 13
14 Subkategorisering Tidligere 3 VP-regler for mønstrene: VP V sleep VP V NP love VP V NP NP give Men det er mange andre mønstre VP V NP PP[to] give VP V NP VP[inf] persuade VP V CP tell (that Mary left) VP V NP CP tell (John that Mary left) VP V AP grow VP V NP PP save etc. Skal vi ha separate regler for hvert tilfelle? Bedre: La verbet selektere sine argumenter 31. mars
15 Head-complement-regler: Antall argumenter kan variere v
16 v.2.0 sleeps 16
17 v.2.0 gives 17
18 v.2.0 gives 18
19 v.2.0 persuades 19
20 Komplementer vs. Modifikatorer Komplement (argument): Kim gave the book to Mary Obligatorisk Eks, ugrammatisk: *Kim gave the book Kan ikke skifte med en annen preposisjon: *Kim gave the book from Mary Modifikator: Kim sang in the garden Kan fjernes uten at det blir ugrammatisk Kan gjentas: sang in the garden with great joy Kan bruke annen preposisjon: sang with great joy Husker du? Kan noen ganger være vanskelig å avgjøre om det er komplement eller modifikator 20
21 Komplement vs. modifikator, sjekk Komplement eller modifikator? En italiensk ekspert skal se på marmoren. En italienskekspert foreleste om verbets tider. Legg rapporten på bordet. Kari spiste på kjøkkenet An expert on Italian An expert from Italy An Italian expert 21
22 Modifikatorer v.2.0 N AP N Vi legger inn et trekk i modifikatoren om Hva slags ledd den kan modifisere Siden dette har med kombinasjon å gjøre legges det i VAL-boksen Vi må skille mellom modifikator til høyre og til venstre for hodet. 22
23 Modifikatorer v.2.0 N AP N small 23
24 Modifikatorer N N PP v.2.1 with Head-specifier og komplement-reglene må utvides til å sende MOD-trekket fra hodet og oppover 24
25 I dag Trekkbaserte grammatikker (unifikasjonsgrammatikker) for naturlige språk NLTKs implementering av slike Litt om lingvistiske modeller med unifikasjon, spesielt HPSG 25
26 NLTK-implement. begrensning 1 NLTK-implementasjonen forlanger f.eks.: S NP[AGR=?x] VP[AGR=?x] og tillater ikke: [CAT=s] [CAT=np,AGR=?x] [CAT=vp, AGR=?x] Vi kan «lure» NLTK og si at alle fraser har samme kategori X: X[CAT=s] X[CAT=np,AGR=?x] X[CAT=vp, AGR=?x] 26
27 NLTK-implement. begrensning 2 NLTK tillater ikke variable over hele strukturer. F.eks. kunne vi ønsket å skrive X[HEAD=?y, VAL=[BAR=1, SPEC=?z]] X[HEAD=?y, VAL=[BAR=0, SPEC=?z, COMP1=?u, COMP2=False]]?u for 27
28 NLTK-implement. begrensning 2 NLTK tillater ikke variable over hele strukturer. F.eks. kunne vi ønsket å skrive X[HEAD=?y, VAL=[BAR=1, SPEC=?z]] X[HEAD=?y, VAL=[BAR=0, SPEC=?z, COMP1=?u, COMP2=False]]?u Vi kan simulere riktig løsning ved å legge til et nivå til X[FS=[HEAD=?y, VAL=[BAR=1, SPEC=?z]]] X[FS=[HEAD=?y, VAL=[BAR=0, SPEC=?z, COMP1=?u, COMP2=False]]] X[FS=?u] 28
29 NLTK-implement. begrensning 3 NLTK-implementasjonen tillater ikke en delstruktur å være både delvis inisialisert og delt I noen tilfeller kan vi oppnå dette ved omskrivninger X[FS = [HEAD =?x, VAL=?y]] X[FS = [VAL=[BAR=2, MOD = [HEAD=?x, VAL=?y, DIR= 'right']]]] X[FS = [HEAD =?x, VAL =?y]] 29
30 Subcat er ikke et HEAD-trekk Siste tilnærming i J&M sec er ikke god <V <V 30
31 I dag Trekkbaserte grammatikker (unifikasjonsgrammatikker) for naturlige språk NLTKs implementering av slike Litt om lingvistiske modeller med unifikasjon, spesielt HPSG 31
32 Unifikasjonbaserte/trekkstrukturbaserte grammatiske teorier Flere moderne grammatiske teorier/modeller/rammeverk Bruker: trekk («features») og unifikasjon Lekskialiserte: Mye informasjon i leksikon Få frasestrukturregler. Inklusive Head-Driven Phrase Structure Grammar (HPSG) Lexical-Functional Grammar (LFG) m.fl. 32
33 Hvert rammeverk består av 1. Grunnleggende unifikasjonsformalisme 2. Utvidelser og begrensninger i forhold til denne formalismen 3. Prinsipper som gjelder for alle mennskespråk 4. Språkspesifikke regler og leksika ( (2) og (3) er ofte nøstet i hverandre og vanskelige å skille.) 33
34 HPSG og oss HPSG endrer og utvider det vi har gjort: Lister for subkategorisering av komplementer Bruk av typer og arv 34
35 Lister (HPSG) HPSG bruker lister i VAL(ency) trekket BAR2 tilsv. tom SPEC-liste og tom COMPS-liste BAR1 tilsv. tom COMPS-liste persuades We HPSG 35
36 Typer og arv - motivasjon Vi har skissert hovedtrekkene i en grammatikk Mye gjenstår: Flere regler Leksikalske oppslag (For) tidkrevende å gjøre for hånd. 36
37 Typer og arv 2 Vi ønsker å skrive samlet 1. Ord: Hva som er felles for alle ord (i forhold til fraser) 2. Verb: hva har alle verb (og bare verb) felles Det er informasjonen i (1) + noe mer 3. Verb som tar NP- +PP-komplement: (2) + more 4. Verbet give: (3) + hva er spesielt for give 37
38 Typer og arv 3 1. Vi kan lage en trekkstruktur for ord med bl.a. <BAR> = 0 2. Så kan vi lage en trekkstruktur for verb: Vi presiserer at den er en substruktur av (1) (mao. 1 subsummerer 2), og i tillegg ting som <HEAD CAT> = V 3. Så kan vi lage en struktur for den bestemte klassen av verb: Den er en substruktur av (2), Og inneholder flere trekk, som COMPS-trekk 4. For det enkelte verb må vi (bare) presisere Hvilken type (3) det tilhører Spesifikk informasjon som form og betydning Tilsvarende for andre ord. Og kan også gjøres for reger! 38
INF2820 Datalingvistikk V Gang 13.4 Jan Tore Lønning
INF2820 Datalingvistikk V2015 11. Gang 13.4 Jan Tore Lønning I dag Unifikasjonsgrammatikker Repetisjon og overblikk: Formalisme Lingvistisk anvendelse Utvidelse av lingvistisk anvendelse NLTKs implementering
DetaljerINF2820 Datalingvistikk V Gang 6.4 Jan Tore Lønning
INF2820 Datalingvistikk V2016 11. Gang 6.4 Jan Tore Lønning Sist Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj
DetaljerINF2820 Datalingvistikk V Gang 23.3 Jan Tore Lønning
INF2820 Datalingvistikk V2015 10. Gang 23.3 Jan Tore Lønning I dag Trekkbaserte grammatikker, delvis repetisjon Formelle egenskaper: Alternative format for slike grammatikker Tolkning av grammatikkreglene
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2014 11. gang, 27.3.2014 Jan Tore Lønning I dag Repetere en del begreper: Trekkstrukturer Unifikasjon og subsumpsjon Trekkbaserte grammatikker Form: to alternative format Tolkning
DetaljerINF2820 Datalingvistikk V Gang 6.4 Jan Tore Lønning
INF2820 Datalingvistikk V2016 11. Gang 6.4 Jan Tore Lønning Sist Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj
DetaljerINF2820 Datalingvistikk V Gang 13.4 Jan Tore Lønning
INF2820 Datalingvistikk V2016 12. Gang 13.4 Jan Tore Lønning I dag Trekkbaserte grammatikker for naturlige språk med vekt på subkategorisering/argumenter, 3 tilnærminger a. Enkel løsning, grammatikk 1
DetaljerINF2820 Datalingvistikk V Gang 20.3 Jan Tore Lønning
INF2820 Datalingvistikk V2017 11. Gang 20.3 Jan Tore Lønning I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2015 5. Gang - 16.2 Jan Tore Lønning I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2016 5. Gang - 17.2 Jan Tore Lønning I dag Kontekstfrie grammatikker, avledninger og trær Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker for naturlige språk
DetaljerINF2820 Datalingvistikk V Gang 30.3 Jan Tore Lønning
INF2820 Datalingvistikk V2016 10. Gang 30.3 Jan Tore Lønning I dag Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj
DetaljerINF2820 Datalingvistikk V Gang 16.3 Jan Tore Lønning
INF2820 Datalingvistikk V2015 9. Gang 16.3 Jan Tore Lønning I dag Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2017 6. Gang - 20.2 Jan Tore Lønning I dag Kontekstfrie grammatikker og naturlige språk (fortsatt fra sist) Kontekstfrie grammatikker og regulære språk Grammatikker og trær i NLTK
DetaljerINF2820 Datalingvistikk V Gang 13.3 Jan Tore Lønning
INF2820 Datalingvistikk V2018 9. Gang 13.3 Jan Tore Lønning I dag to deler A. Trekkstrukturgramatikker Fortsatt fra sist B. Chart-parsing Fortsetter parsing fra for to uker siden 2 TREKKSTRUKTUR- GRAMMATIKKER
DetaljerObligatorisk oppgave 4, INF2820, 2014
Obligatorisk oppgave 4, INF2820, 2014 Besvarelsene skal leveres i devilry innen 7.5 kl 1800. Filene det vises til finner du etter hvert på /projects/nlp/inf2820/ Oppgavene kan løses alene og det skal leveres
DetaljerINF2820 Datalingvistikk V Gang 19.3 del 1 Jan Tore Lønning
INF2820 Datalingvistikk V2018 10. Gang 19.3 del 1 Jan Tore Lønning I dag: to deler A. Active chart-parsing Fortsatt fra sist B. Tekstklassifisering 2 CHART-PARSING 3 I dag chart-parsing Chart-parsing:
Detaljer3/8/2011. I dag. Dynamic Programming. Example. Example FORMELLE EGENSKAPER VED SPRÅK (KAP. 16) Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen CHARTPARSING (SEKSJ 13.4) FORMELLE EGENSKAPER VED SPRÅK (KAP. 16) 8. mars 2011 2 I dag Oppsummering fra sist: Dynamisk programmering CKY-algoritmen
DetaljerINF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen CHARTPARSING (SEKSJ 13.4) FORMELLE EGENSKAPER VED SPRÅK (KAP. 16) 8. mars 2011 2 I dag Oppsummering fra sist: Dynamisk programmering CKY-algoritmen
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2014 10. gang, 20.3.2014 Jan Tore Lønning I dag Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M,
DetaljerINF2820 Datalingvistikk V Gang 13.3 Jan Tore Lønning
INF2820 Datalingvistikk V2017 9. Gang 13.3 Jan Tore Lønning I dag chart-parsing Fortsatt fra sist: Chart-parsing: hovedideer BU chart-parsing: algoritmen NLTKs ChartParser Enkel Python-implementasjon av
DetaljerOppgave 1 Vi har gitt følgende grammatikk for noe vi kan kalle speilengelsk :
Eksempelspørsmål Spørsmål av denne typen kan forventes til eksamen, men kanskje ikke så mange. I hvert fall ville dette pluss spørsmål fra første del av pensum blitt for mye for en tretimers eksamen. Oppgave
Detaljer3/5/2012. Chart alternativ datastruktur. Fundamentalregelen. Chart-parsing. Bottom-up FORMELL SPRÅKTEORI. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning CHART-PARSING FORMELL SPRÅKTEORI 5. mars 2012 2 Chart alternativ datastruktur NP Det Nom Fundamentalregelen NP Det Nom Nom Nom PP Nom Nom PP NP PP P NP Det
DetaljerINF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen FORMELLE OG NATURLIGE SPRÅK KONTEKSTFRIE GRAMMATIKKER 7. februar 2011 2 Naturlige språk som formelle språk Et formelt språk består av: En
DetaljerINF2820 Datalingvistikk V2012. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning CHART-PARSING FORMELL SPRÅKTEORI 5. mars 2012 2 Chart alternativ datastruktur NP Det Nom Nom Nom PP NP PP P NP Det Nom, N P NP, PN 0 book 1 the 2 flight 3
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2018 6. Gang - 19.2 Jan Tore Lønning I dag Kontekstfrie grammatikker og naturlige språk Grammatikker og trær i NLTK Kontekstfrie grammatikker, avledninger og trær Hva er parsing?
DetaljerINF 2820 V2016: Innleveringsoppgave 3 del 1
INF 2820 V2016: Innleveringsoppgave 3 del 1 Pga tekniske problemer er oppgaveteksten delt i to. Dette er første del. Andre del legges ut mandag 13.3! Besvarelsene skal leveres i devilry innen fredag 24.3
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2014 15. gang, 8.5.2014 Jan Tore Lønning Språk og grammatikk Språk (formelt): En endelig mengde A Ø En undermengde L A* Grammatikk: En endelig innretning som definerer L Klasser
DetaljerUNIVERSITETET I OSLO
UNIVERSITETET I OSLO Side 1 Det matematisk-naturvitenskapelige fakultet Eksamen i: INF2820 Datalingvistikk Eksamensdag: 6. juni 2014 Tid for eksamen: 1430-1830 Oppgavesettet er på 5 side(r) Vedlegg: 0
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2014 8. gang, 6.3.2014 Jan Tore Lønning I dag Chart parsing Implementasjon CKY og Chart: Parsing vs anerkjenning 2 Chart alternativ datastruktur (S, [0, 1]) (VP, [0,1]) (Det, [1,2])
DetaljerINF2820 Datalingvistikk V Gang 4.5 Jan Tore Lønning
INF2820 Datalingvistikk V2015 14. Gang 4.5 Jan Tore Lønning CHART PARSING 2 I dag Svakheter ved tidligere parsere RD og SR: ineffektivitet CKY: CNF Chart parsing,,dotted items og fundamentalregelen Algoritmer:
DetaljerINF2820 Datalingvistikk V Gang 9.3 Jan Tore Lønning
INF2820 Datalingvistikk V2016 8. Gang 9.3 Jan Tore Lønning CHART-PARSING 2 I dag Bakgrunn Svakheter med andre parsere CKY og Chart Chart-parsing: hovedideer BU chart-parsingalgoritmen Algoritmen uttrykt
DetaljerINF2820 Datalingvistikk V Gang 9.3 Jan Tore Lønning
INF2820 Datalingvistikk V2016 8. Gang 9.3 Jan Tore Lønning CHART-PARSING 2 I dag Bakgrunn Svakheter med andre parsere CKY og Chart Chart-parsing: hovedideer BU chart-parsing algoritmen Algoritmen uttrykt
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2017 5. Gang - 13.2 Jan Tore Lønning I dag Tekstnormalisering: lemmatisering og «stemming» Tagget tekst og tagging Begrensninger ved regulære språk Frasestruktur og kontekstfrie
DetaljerINF 2820 V2015: Obligatorisk innleveringsoppgave 3
INF 2820 V2015: Obligatorisk innleveringsoppgave 3 Besvarelsene skal leveres i devilry innen fredag 17.4 kl 18.00 Filene det vises til finner du i o /projects/nlp/inf2820/cfg Del 1 RD Parsing Oppgave 1:
DetaljerINF2820 Datalingvistikk V Gang 5.3 Jan Tore Lønning
INF2820 Datalingvistikk V2018 8. Gang 5.3 Jan Tore Lønning I dag: CNF og trekkstrukturgrammatikker Chomsky Normal Form (CNF) Grammatikker med trekk Trekkstrukturer og trekkstrukturgrammatikker Tolkning
DetaljerNorsyg en syntaksbasert dyp parser for norsk
en syntaksbasert dyp parser for norsk Petter Haugereid petterha@hf.ntnu.no Institutt for språk- og kommunikasjonsstudier NTNU Språkteknologi ved NTNU, seminar VI, 30. november 2006 Oversikt 1 2 Oversikt
DetaljerINF2820 Datalingvistikk V Gang 20.3 Jan Tore Lønning
INF2820 Datalingvistikk V2017 10. Gang 20.3 Jan Tore Lønning I dag grammatikker med trek og unifikasjon Fortsatt:) CKY og Chart: Parsing vs anerkjenning Grammatikker med trekk Tolkning av grammatikkene,
DetaljerINF 2820 V2016: Innleveringsoppgave 3 hele
INF 2820 V2016: Innleveringsoppgave 3 hele Dette er det komplette settet! Besvarelsene skal leveres i devilry innen fredag 24.3 kl 18.00 Det blir 5 sett med innleveringsoppgaver. Hvert sett gir inntil
DetaljerINF1820 2013-04-12 INF1820. Arne Skjærholt INF1820. Dagens språk: Russisk. dyes yataya l yektsiya. Arne Skjærholt. десятая лекция
Arne Skjærholt десятая лекция Dagens språk: Russisk. dyes yataya l yektsiya Arne Skjærholt десятая лекция N,Σ,R,S Nå er vi tilbake i de formelle, regelbaserte modellene igjen, og en kontekstfri grammatikk
Detaljer2/6/2012. Begrensninger ved regulære språk. INF2820 Datalingvistikk V2012. Formelle språk som ikke er regulære KONTEKSTFRIE GRAMMATIKKER.
INF2820 Datalingvistikk V2012 Jan Tore Lønning Begrensninger ved regulære Regulære er ikke ideelle modeller for naturlige, dvs Verken regulære uttrykk eller NFA er ideelle for å beskrive naturlige fordi:
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2015 6. Gang - 23.2 Jan Tore Lønning PARSING DEL 1 2 I dag Høyre- og venstreavledninger Recursive-descent parser (top-down) Begynne Shift-reduce parser (bottom-up) 25. februar
DetaljerUke 7: Små barn, små setninger I
LIN-1013: Språktilenelse, Våren 2003 Uke 7: Små barn, små setniner I 1. Litt om syntaks Sett slike trær før? IP qp NP I'! John I VP has Spec V' V DP! eaten an apple CP qp DP C'! et eple i C IP har k NP
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2016 6. Gang - 24.2 Jan Tore Lønning PARSING DEL 1 2 I dag Hva er parsing? Høyre- og venstreavledninger Recursive-Descent parser (top-down) Shift-Reduce parser (bottom-up) Pythonimplementasjon:
DetaljerINF 2820 V2016: Obligatorisk innleveringsoppgave 3
INF 2820 V2016: Obligatorisk innleveringsoppgave 3 Besvarelsene skal leveres i devilry innen torsdag 21.4 kl 18.00 Filene det vises til finner du i o /projects/nlp/inf2820/cfg Oppgave 1: Shift-reduce-effektivisering
DetaljerOppgave 1. Spørsmål 1.1 (10%) Gitt det regulære uttrykket: a((bcd)+(cd))*cd
2 Du kan svare på norsk, dansk, svensk eller engelsk. Du skal besvare alle spørsmålene. Vekten på de ulike spørsmålene er oppgitt. Du bør lese gjennom hele settet slik at du kan stille spørsmål til faglærerne
DetaljerOppgave 1. La G1 være grammatikken med hovedsymbol S og følgende regler:
2 Du kan svare på norsk, dansk, svensk eller engelsk. Du skal besvare alle spørsmålene. Vekten på de ulike spørsmålene er indikert. Du bør lese gjennom hele settet slik at du kan stille spørsmål til faglærerne
DetaljerINF2820 Datalingvistikk V Gang 6.3 Jan Tore Lønning
INF2820 Datalingvistikk V2017 8. Gang 6.3 Jan Tore Lønning I dag CKY-algoritmen fortsatt fra sist Python-implementasjon av CKY Chomsky Normal Form (CNF) Chart-parsing BU-algoritme for chart-parsing 3.
DetaljerIN1140: Introduksjon til språkteknologi. Forelesning #7
IN1140: Introduksjon til språkteknologi Forelesning #7 Lilja Øvrelid Universitetet i Oslo 11 oktober 2018 Tema for i dag 2 Forrige uke Ordklasser Ordklassetagging Oblig2a: språkmodeller (frist: 17/9) I
DetaljerINF2820 Datalingvistikk V2012. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning BEGRENSNINGER VED REGULÆRE SPRÅK OG KONTEKSTFRIE GRAMMATIKKER 2 I dag 1. Begrensninger ved regulære språk 2. Noen egenskaper ved naturlige språk 3. Kontekstfrie
DetaljerINF2820 Datalingvistikk V Gang Jan Tore Lønning
INF2820 Datalingvistikk V2018 5. Gang - 12.2 Jan Tore Lønning I dag Tokenisering, lemmatisering og «stemming» Tagget tekst og tagging Begrensninger ved regulære språk Frasestruktur og kontekstfrie grammatikker
DetaljerINF5830, H2009, Obigatorisk innlevering 2. 1 Oppgave: Unære produksjoner i CKY
INF5830, H2009, Obigatorisk innlevering 2 Innleveringsfrist 4.11 1 Oppgave: Unære produksjoner i CKY For bottom-up parsere, som CKY, har vi forutsatt at grammatikken er på CNF. For de ikke-leksikalske
DetaljerINF2820 V2017 Oppgavesett 5 arbeidsoppgaver
INF2820 V2017 Oppgavesett 5 arbeidsoppgaver Dette er oppgaver du kan arbeide med på egen hånd. Du kan også arbeide med dem i gruppa 28.2 (hvis du har innleveringsoppgave 2 under kontroll) og spørre gruppelæreren
Detaljer2/24/2012. Dynamic Programming. I dag. Example. Example PARSING. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning TABELLPARSING OG CHART- PARSING 24. februar 2012 2 I dag Mellomspill: Chomsky Normal Form Tabellparsing: CKY-algoritmen Innlede Chart-Parsing Dynamic Programming
DetaljerINF2820 V2017 Oppgavesett 5 Gruppe 21.2
INF2820 V2017 Oppgavesett 5 Gruppe 21.2 Denne uka er det først noen teoretiske oppgaver. Deretter er det en del praktiske arbeidsoppgaver som vil forberede deg til arbeidet med innleveringsoppgavesett
DetaljerINF INF1820. Arne Skjærholt. Negende les INF1820. Arne Skjærholt. Negende les
Arne Skjærholt egende les Arne Skjærholt egende les σύνταξις Syntaks, fra gresk for oppstilling, er studiet av hvordan vi bygger opp setninger fra ord. Pāṇini (ca. 400 år f.kr.) er den første som formulerer
DetaljerINF 2820 V2018: Innleveringsoppgave 3
INF 2820 V2018: Innleveringsoppgave 3 Besvarelsene skal leveres i devilry innen fredag 23.3 kl 18.00 Det blir 5 sett med innleveringsoppgaver. Hvert sett gir inntil 100 poeng. Til sammen kan en få inntil
DetaljerINF2820-V2018 Oppgavesett 10 Gruppe 18.4
INF2820-V2018 Oppgavesett 10 Gruppe 18.4 Chart-parsing med papir og penn Denne oppgaven tjener flere formål: Få bedre grep på chart-parsing See hvordan en chart-parser behandler venstrerekursjon Praktisk
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2014 13. gang, 10.4.2014 Jan Tore Lønning I dag Introduksjon til semantikk Formell semantikk grunnideene Logikk i NLTK 2 Semantikk Semantikk= studiet av mening Lingvistisk semantikk
DetaljerSpørsmål 1.1 (10%) Lag en ikke-deterministisk endelig tilstandsautomat (NFA) som beskriver dette språket.
2 Du kan svare på norsk, dansk, svensk eller engelsk. Du skal besvare alle spørsmålene. Vekten på de ulike spørsmålene er oppgitt. Du bør lese gjennom hele settet slik at du kan stille spørsmål til faglærerne
DetaljerINF2820 Datalingvistikk V gang, 27.2 Jan Tore Lønning
INF2820 Datalingvistikk V2014 7. gang, 27.2 Jan Tore Lønning I dag Mellomspill: Chomsky Normal Form Tabellparsing: CKY-algoritmen Innlede Chart-Parsing 20. februar 2014 2 Chomsky-normalform (CNF) En grammatikk
DetaljerINF2820 Datalingvistikk V2012. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning TABELLPARSING OG CHART- PARSING 24. februar 2012 2 I dag Mellomspill: Chomsky Normal Form Tabellparsing: CKY-algoritmen Innlede Chart-Parsing 24. februar
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2016 13. gang, 20.4.2016 Jan Tore Lønning I dag Introduksjon til semantikk Formell semantikk grunnideene Logikk i NLTK 2 Semantikk Semantikk= studiet av mening Lingvistisk semantikk
DetaljerINF2820 Datalingvistikk V Gang 16.3 Jan Tore Lønning
INF2820 Datalingvistikk V2016 9. Gang 16.3 Jan Tore Lønning I dag Kort repetisjon: Hoedideer i chart-parsing CKY og chart: anerkjenning vs parsing Formell språkteori: Chomsky-hierarkiet Er naturlige språk
DetaljerINF 2820 V2016: Obligatorisk innleverinsoppgave 1
INF 2820 V2016: Obligatorisk innleverinsoppgave 1 OBS Korrigert eksemplene oppgave 2, 8.2 Besvarelsene skal leveres i devilry innen torsdag 18.2 kl 18.00 Filene det vises til finner du på /projects/nlp/inf2820/fsa
DetaljerOppgave 2. Eksamen INF2820, 2015, oppgave 2. La gramatikk G være:
2 Eksamen INF2820, 2015, oppgave 2 Oppgave 2 La gramatikk G være: S > NP VP VP > VI VP > VTV NP VP > VS CP CP > C S NP > 'dyret' 'barnet' 'Kari' 'Ola' VI > 'sov' 'smilte' 'danset' VTV > 'kjente' 'likte'
DetaljerINF1820: Introduksjon til språk-og kommunikasjonsteknologi
INF1820: Introduksjon til språk-og kommunikasjonsteknologi Åttende forelesning Lilja Øvrelid 13 mars, 2017 1 I dag: Syntaks 2 Bakgrunn Syntaks: studiet av prinsipper og regler for setningsdannelse Beskrivelse
DetaljerINF1820: Introduksjon til språk-og kommunikasjonsteknologi
INF1820: Introduksjon til språk-og kommunikasjonsteknologi Åttende forelesning Lilja Øvrelid 13 mars, 2017 1 I dag: Syntaks 2 Bakgrunn Syntaks: studiet av prinsipper og regler for setningsdannelse Beskrivelse
DetaljerINF1820: Introduksjon til språk-og kommunikasjonsteknologi
INF1820: Introduksjon til språk-og kommunikasjonsteknologi Niende forelesning Lilja Øvrelid 13 mars, 2014 SYNTAKS studiet av prinsipper og regler for setningsdannelse gammel disiplin Pãṇini: sanskrit grammatiker
DetaljerINF 2820 V2018: Innleveringsoppgave 2
INF 2820 V2018: Innleveringsoppgave 2 Besvarelsene skal leveres i devilry innen fredag 2.3 kl 18.00 Det blir 5 sett med innleveringsoppgaver. Hvert sett gir inntil 100 poeng. Til sammen kan en få inntil
Detaljer2/22/2011. Høyre- og venstreavledninger. I dag. Chomsky-normalform (CNF) Chomsky-normalform (CNF) PARSING. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen KONTEKSTFRIE GRAMMATIKKER OG PARSING 22. februar 2011 2 Høyre- og venstreavledninger Til hvert tre svarer det mange avledninger. For kontekstfrie
Detaljer2/24/2012. Context-Free Grammars. I dag. Avledning. Eksempel: grammar1 PARSING. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning KONTEKSTFRIE GRAMMATIKKER OG PARSING 24. februar 2012 2 Context-Free Grammars Det mest sentrale verktøyet i datalingvistikk 24. februar 2012 3 2/24/2012 Speech
DetaljerINF1820: Introduksjon til språk-og kommunikasjonsteknologi
INF1820: Introduksjon til språk-og kommunikasjonsteknologi Niende forelesning Lilja Øvrelid 13 mars, 2014 SYNTAKS studiet av prinsipper og regler for setningsdannelse gammel disiplin Pãṇini: sanskrit grammatiker
DetaljerINF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen TABELLPARSING 1. mars 2011 2 I dag Oppsummering fra sist: Recursive-descent og Shift-reduce parser Svakheter med disse Tabellparsing: Dynamisk
DetaljerINF2820 Datalingvistikk V2012
INF2820 Datalingvistikk V2012 Jan Tore Lønning KONTEKSTFRIE GRAMMATIKKER OG PARSING 24. februar 2012 2 1 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Parsing: ovenifra og ned
DetaljerINF2820 Datalingvistikk V2012. Jan Tore Lønning
INF2820 Datalingvistikk V2012 Jan Tore Lønning KONTEKSTFRIE GRAMMATIKKER OG PARSING 23. februar 2012 2 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Parsing: ovenifra og ned
DetaljerINF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen KONTEKSTFRIE GRAMMATIKKER OG PARSING 22. februar 2011 2 I dag Avledninger og normalformer Parsing: ovenifra og ned (top-down) Parsing: nedenifra
Detaljer3/1/2011. I dag. Recursive descent parser. Problem for RD-parser: Top Down Space. Jan Tore Lønning & Stephan Oepen
INF2820 Datalingvistikk V2011 TABELLPARSING Jan Tore Lønning & Stephan Oepen 1. mars 2011 2 I dag Oppsummering fra sist: Recursive-descent og Shift-reduce parser Svakheter med disse Tabellparsing: Dynamisk
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2014 9. gang, 13.3.2014 Jan Tore Lønning I dag Chart parsing Implementasjon (Earley s algoritme) Parsing vs anerkjenning For CKY og chart Trekkbaserte ( feature-based )grammatikker
DetaljerEksamen INF2820 Datalingvistikk, H2018, Løsningsforslag
Eksamen INF2820 Datalingvistikk, H2018, Løsningsforslag 1 2 Tre1: Tre 2: Tre 3: 3 Det kan være lurt å bytte ut regel NP > NP og NP med NP > NP C NP C > og Grammatikk G blander terminaler og ikketerminaler
DetaljerINF2820 V2017 Oppgavesett 6 Gruppe 7.3
INF2820 V2017 Oppgavesett 6 Gruppe 7.3 Oppgave 1: Lag en kontekstfri grammatikk som beskriver samme språk som nettverket under. S a S S c S S b A1 A1 a S A1 c S A1 b A2 A2 c S A2 a S A2 b A3 A3 a A3 A3
DetaljerINF1820: Introduksjon til språk-og kommunikasjonsteknologi
INF1820: Introduksjon til språk-og kommunikasjonsteknologi Tiende forelesning Lilja Øvrelid 19 mars, 2012 SYNTAKS Lingvistikk: studiet av prinsipper og regler for setningsdannelse Beskrivelse av naturlige
DetaljerINF2820 Datalingvistikk V Gang 26.2 Jan Tore Lønning
INF2820 Datalingvistikk V2018 7. Gang 26.2 Jan Tore Lønning I dag Fra sist: Høyre- og venstreavledninger Recursive-descent parser (top-down) Shift-reduce parser (bottom-up) Pythonimplementasjon: Shift-Reduce
DetaljerRussisk i Head-Driven Phrase Structure Grammar
UNIVERSITETET I OSLO Institutt for informatikk Russisk i Head-Driven Phrase Structure Grammar En lingvistisk hypotesetesting Elvira Kostanda 15. desember 2008 Innhold I Hoveddel 5 1 Introduksjon 9 1.1
DetaljerINF2820 Datalingvistikk V2015. Forelesning 4, 9.2 Jan Tore Lønning
INF2820 Datalingvistikk V2015 Forelesning 4, 9.2 Jan Tore Lønning I dag Oppsummering av endelige tilstandsteknikker Begrensninger ved regulære språk Regulære uttrykk: teoretiske og praktiske Noen egenskaper
DetaljerUNIVERSITETET I OSLO
UNIVERSITETET I OSLO Side 1 Det matematisk-naturvitenskapelige fakultet Eksamen i: INF2820 Datalingvistikk Eksamensdag: 14. juni 2016 Tid for eksamen: 1430-1830 Oppgavesettet er på 5 side(r) Vedlegg: 0
DetaljerUNIVERSITETET I OSLO
UNIVERSITETET I OSLO Side 1 Det matematisk-naturvitenskapelige fakultet Eksamen i: INF2820 Datalingvistikk Eksamensdag: 14. juni 2016 Tid for eksamen: 1430-1830 Oppgåvesettet er på 5 side(r) Vedlegg: 0
DetaljerINF2820-V2014-Oppgavesett 15, gruppe 13.5
INF2820-V2014-Oppgavesett 15, gruppe 13.5 Vi møtes på FORTRESS denne uka. Semantikk i grammatikken Utgangspunktet er det lille grammatikkfragmentet med semantiske regler presentert I NLTK-boka som simple-sem.fcfg.
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2016 14. gang, 27.4.2016 Jan Tore Lønning I dag Formell setningssemantikk: Systematisk oversettelse fra naturlig språk til logisk språk Utvidelser av det logiske språket To trinn
DetaljerFactoid Spørsmål Svar
Grunnleggende INF5820 H2008 Institutt for Informatikk Universitetet i Oslo 25. september Outline Grunnleggende 1 Grunnleggende 2 3 4 5 Outline Grunnleggende 1 Grunnleggende 2 3 4 5 Factoide Grunnleggende
DetaljerINF1820: Introduksjon til språk-og kommunikasjonsteknologi
INF1820: Introduksjon til språk-og kommunikasjonsteknologi Niende forelesning Lilja Øvrelid 20 mars, 2017 1 Formelle modeller Kan fange inn den språklige kunnskapen v.hj.a et lite antall formelle modeller
DetaljerINF1820: Introduksjon til språk-og kommunikasjonsteknologi
INF1820: Introduksjon til språk-og kommunikasjonsteknologi Niende forelesning Lilja Øvrelid 20 mars, 2017 1 Formelle modeller Kan fange inn den språklige kunnskapen v.hj.a et lite antall formelle modeller
DetaljerNødvendige noder i norsk Grunntrekk i en leksikalsk-funksjonell beskrivelse av norsk syntaks
1 Nødvendige noder i norsk Grunntrekk i en leksikalsk-funksjonell beskrivelse av norsk syntaks Helge Dyvik 1. Innledning Etter fremveksten av generativ syntaks var det lenge vanlig å se den som et adskilt
DetaljerINF2820 Datalingvistikk V gang, Jan Tore Lønning
INF2820 Datalingvistikk V2015 13. gang, 27.4.2015 Jan Tore Lønning Semantikk noen poeng fra sist Vi legger vekt på at språket er om noe det denotasjonelle aspektet ved mening Det logiske forholdet mellom
DetaljerINF2820 Datalingvistikk V Gang, del Jan Tore Lønning
INF2820 Datalingvistikk V2018 10. Gang, del 2 19.3 Jan Tore Lønning TEKSTKLASSIFISERING 2 I dag: tekstklassifisering Tekstklassifisering og maskinlæring Eksempel: NLTK "Names" Ekseperimentelt oppsett 1
DetaljerParsing basert på LFG: Et MlT/Xerox-system applisert på norsk
Helge Dyvik Institutt for fonetikk og lingvistikk Universitetet i Bergen Sydnesplass 9 5000 Bergen Knut Hofland NA VFs EDB-senter fo r humanistisk forskning Postboks 53 5014 Bergen-Universitet Parsing
DetaljerINF2820 Datalingvistikk V2014. Jan Tore Lønning
INF2820 Datalingvistikk V2014 Jan Tore Lønning INF2820 Datalingvistikk 19. januar 2014 2 I dag: 1. Time: Datalingvistikk: motivasjon og eksempler Praktisk informasjon 2. Time: Endelige tilstandsteknikker
DetaljerINF2820 Datalingvistikk V2014. Forelesning 4, 6.2 Jan Tore Lønning
INF2820 Datalingvistikk V2014 Forelesning 4, 6.2 Jan Tore Lønning I dag Oppsummering av endelige tilstandsteknikker Regulære uttrykk: teoretiske og praktiske Begrensninger ved regulære språk Noen egenskaper
DetaljerINF1820: Introduksjon til språk-og kommunikasjonsteknologi
INF1820: Introduksjon til språk-og kommunikasjonsteknologi Tiende forelesning Lilja Øvrelid 20 mars, 2014 1 / 51 FORMELLE MODELLER kan representere den språklige kunnskapen v.hj.a et lite antall formelle
DetaljerINF5820. Language technological applications. H2010 Jan Tore Lønning
INF5820 Language technological applications H2010 Jan Tore Lønning jtl@ifi.uio.no Maskinoversettelse INF 5820 H2008 Forelesning 2 Machine Translation 1. Some examples 2. Why is machine translation a problem?
DetaljerINF2820 Datalingvistikk V Gang 2.3 Jan Tore Lønning
INF2820 Datalingvistikk V2016 7. Gang 2.3 Jan Tore Lønning I dag CKY-algoritmen Python-implementasjon Chomsky Normal Form (CNF) 2. mars 2016 2 Dynamisk programmering I en beregning kan det inngå delberegninger
DetaljerINF2820 Datalingvistikk V Gang 2.3 Jan Tore Lønning
INF2820 Datalingvistikk V2015 7. Gang 2.3 Jan Tore Lønning PARSING DEL 2 2 I dag Recursive-descent parser, kort repetisjon Shift-reduce parser (bottom-up) Algoritme for anerkjenning Eksempelimplementasjon
Detaljer