INF2820 Datalingvistikk V Gang 20.3 Jan Tore Lønning

Save this PDF as:
 WORD  PNG  TXT  JPG

Størrelse: px
Begynne med side:

Download "INF2820 Datalingvistikk V Gang 20.3 Jan Tore Lønning"

Transkript

1 INF2820 Datalingvistikk V Gang 20.3 Jan Tore Lønning

2 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 2

3 Trekkstrukturer Lang tradisjon i lingvistikk Eks.: fonologi En mengde trekk og verdier: For hvert trekk er det definert hvilke verdier som er mulige Et skritt videre: Hele trekkstrukturer som verdier 3

4 Trekkstrukturer som grafer Attribute Value Matrices (AVMs) Directed Acyclic Graphs (DAGs) To alternative notasjoner for det samme 4

5 Trekkstrukturer - formelt To endelige mengder F = {f 1, f 2,, f n } A = {a 1, a 2,, a n } En trekkstruktur over F og A er Atomær, dvs et element i A, eller Ikke atomær. Det er et objekt. Dette inneholder En mengde trekk, dvs en delmengde av F: f 1, f 2,, f j Til hvert av disse trekkene er det en verdi, som igjen er en trekkstruktur (atomær eller ikke atomær) 25. mars 2017 Begrensning: En trekkstruktur kan ikke inneholde to par av trekk og verdier (f k, a k ), (f p, a p ) der f k = f p, men a k =/= a p (som dictionaries i python) Observasjon: To trekkstrukturer som inneholder de samme trekk verdiparene kan være identiske, men behøver ikke være det 5

6 Unifikasjon av trekkstrukturer 25. mars

7 25. mars

8 Unifikasjon - grafisk SUBJ AGR PERS NUM 3rd sg SUBJ AGR AGR 8

9 Unifikasjon - grafisk SUBJ AGR PERS NUM 3rd sg SUBJ AGR AGR AGR PERS 3rd SUBJ AGR NUM sg 9

10 Subsumpsjon og unifikasjon Subsumpsjon F subsummerer G F er minst like generell som G Hvis og bare hvis: F er atomær og F=G Ellers For hvert trekk x i F: F(x) subsumerer G(x) For alle stier p, q in F: Hvis F(p) = F(q), så G(p) = G(q) Unifikasjon H er unifikasjonen av F og G H = Hvis og bare hvis Og H er den mest generelle slike trekkstrukturen 25. mars

11 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 11

12 NLTK - implementasjon >>> fs1 = nltk.featstruct(tense='past', NUM='sg') >>> fs1 [NUM='sg', TENSE='past'] >>> print(fs1) [ NUM = 'sg' ] [ TENSE = 'past' ] >>> from nltk import FeatStruct >>> fs2 = FeatStruct(CAT='vp', AGR = fs1) >>> print(fs2) [ AGR = [ NUM = 'sg' ] ] [ [ TENSE = 'past' ] ] [ ] [ CAT = 'vp' ] 25. mars

13 NLTK - implementasjon >>> fs3 = fs2.unify(featstruct( "[AGR =?x, SUBJ = [AGR =?x]]")) >>> print(fs3) [ AGR = (1) [ NUM = 'sg' ] ] [ [ TENSE = 'past' ] ] [ ] [ CAT = 'vp' ] [ ] [ SUBJ = [ AGR > (1) ] ] 25. mars

14 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 14

15 Gram.1. Regler med trekkstrukturer S NP VP NP Det N V serve V serves En ikke terminal suppleres med en partiell trekkstruktur Mulig deling mellom trekkstrukturene i en regel Terminalene er uendret 25. mars

16 Betingelser på grammatikalitet S, Hvert lokalt tre må tillates av en grammatikkregel NP, VP, DET, N, V, NP, DET, N, the restaurant serves many fish 25. mars

17 Lokalt tre tillatt av regel eks 1 t1: S, Hvert lokalt tre må tillates av en grammatikkregel NP, VP, R1: S NP VP Regelen R1 svarer til et lokalt tre t2 R1 tillater t1 hvis t1 «utvider» t2, Mer formelt: hvis t2 subsummerer t1 25. mars

18 Subsumpsjon av trær Vi kan utvide definisjonen av subsumpsjon fra trekkstrukturer til trær med trekkstrukturer på nodene Et tre T subsummerer et tre T dersom Trekkstrukturen på T subsummerer strukturen på T Inkludert at hvis T har en kategori, så har T samme kategori Hvis T har døtrene D 1, D 2,, D n, så har T like mange døtre D 1, D 2,, D n, der D i subsummerer D i for i = 1, 2,, n, og Alle delinger i T er også delinger i T. 18

19 Tolkning av grammatikk Et tre T med trekkstrukturer er tillatt av grammatikk G hvis og bare hvis. Hvis t 1, t 2,, t n er alle de lokale trærne i T, så fins det tilsvarende regler i G, si g 1, g 2,, g n s.a.: tre t i er tillatt av regel g i for i= 1, 2,, n Hvis T er et annet tre tillatt av de samme reglene g 1, g 2,, g n, på tilsvarende subtrær og T subsummerer T, så subsummerer T også T. "Det skal ikke være med mer i treet enn det reglene krever. " 25. mars

20 Grammatikker to alternative format 1. Trekkstrukturer i reglene NLTK er et (begrenset) forsøk på å implementere dette formatet 2. Regler + likninger Jurafsky og Martin 25. mars

21 Grammatikker to alternative format 1. Trekkstrukturer i reglene 2. Regler + likninger S NP VP NP Det NOM V serves 25. mars

22 Lokalt tre tillatt av regel eks 1 S, Hvert lokalt tre må tillates av en grammatikkregel NP, VP, J&M format: Det lokale treet lystrer alle likningene 25. mars

23 Lokalt tre tillatt av regel eks 2 DET, Hvert lokalt tre må tillates av en grammatikkregel the Trekkstr. i regel DET[AGR=[PERS= 3rd ]] > the DET, Regler + likninger: Det lokale treet lystrer alle likningene the DET the <DET AGR PERS>=3rd 25. mars

24 Sammenlikning av formatene 1. Trekkstrukturer i reglene Utvid ikke terminaler med partielle trekkstrukturer Variable i trekkstrukturene for deling («reentrancy») Brukt for eksempel i tidlig Head driven Phrase Structure Grammars (HPSG) 2. Regler + likninger Legg likninger til CFG reglene En likning mellom To stier, eller En sti og en atomær verdi Inspirert av PATR Lexical Functional Grammar Blir det samme (før evt utvidelser) 25. mars

25 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 25

26 Videre Vise noen eksempler på hvordan trekk og unifikasjon anvendes i moderne lingvistiske teorier, spesielt til subkategorisering: ved å lage en serie av grammatikk(fragment)er gå lengre enn NLTK være mer detaljert enn J&M og samtidig se hvor mye av dette som kan og ikke kan gjøres i NLTKs fcfg-er 26

27 Subkategorisering Tidligere 3 VP regler for mønstrene: VP V sleep VP V NP love VP V NP NP give Men det er mange andre mønstre (jfr. Oblig. 2) VP V NP PP[to] give VP V NP VP[inf] persuade VP V CP tell (that Mary left) VP V NP CP tell (John that Mary left) VP V AP grow VP V NP PP save etc. Hvert verb kan forekomme i noen slike mønstre ikke i andre Mål: Unngå overgenerering og falske flertydigheter 25. mars

28 Løsning med CFG Innføre forskjellige kategorier (ikke terminaler) for de forskjellige verbene, f.eks: VP IV VP TV NP VP DTV NP NP IV sleep TV love DTV give Osv. Svakheter med denne løsningen: Mange regler Mange kategorier Manglende generalisering: «verb er verb» 25. mars

29 Med eksempelgrammatikk 1 Eksempel først i seksjon 9.3 i NLTK-boka. VP[TENSE=?t, NUM=?n] > V[SUBCAT=intrans, TENSE=?t, NUM=?n] VP[TENSE=?t, NUM=?n] > V[SUBCAT=trans, TENSE=?t, NUM=?n] NP VP[TENSE=?t, NUM=?n] > V[SUBCAT=clause, TENSE=?t, NUM=?n] SBar V[SUBCAT=intrans, TENSE=pres, NUM=sg] > 'disappears' 'walks' V[SUBCAT=trans, TENSE=pres, NUM=sg] > 'sees' 'likes' V[SUBCAT=clause, TENSE=pres, NUM=sg] > 'says' 'claims' V[SUBCAT=intrans, TENSE=pres, NUM=pl] > 'disappear' 'walk' V[SUBCAT=trans, TENSE=pres, NUM=pl] > 'see' 'like' V[SUBCAT=clause, TENSE=pres, NUM=pl] > 'say' 'claim' V[SUBCAT=intrans, TENSE=past, NUM=?n] > 'disappeared' 'walked' V[SUBCAT=trans, TENSE=past, NUM=?n] > 'saw' 'liked' V[SUBCAT=clause, TENSE=past, NUM=?n] > 'said' 'claimed' 29

30 Noen observasjoner - anvendelse S NP[NUM=?x] VP[NUM=?x] VP[TENSE=?t, NUM=?n] > V[SUBCAT=intrans, TENSE=?t, NUM=?n] VP[TENSE=?t, NUM=?n] > V[SUBCAT=trans, TENSE=?t, NUM=?n] NP VP[TENSE=?t, NUM=?n] > V[SUBCAT=clause, TENSE=?t, NUM=?n] SBar Eksempelet viser en mulig behandling av subkategorisering av verb Generaliserer over verb Men like mange regler som i en CFG Skal se alternative måter senere 30

31 En generalisering av formalismen Eksempelgrammatikk 2 serves Så sist at grammatikk 2 sees på som en notasjonell variant av grammatikk mars

32 NLTK og grammatikk 2 NLTKs format for trekkgrammatikker tillater ikke regler som i grammatikk 2. Men vi kan «lure» NLTKs fcfg ved å innføre en dummy kategori og la alle fraser være av denne kategorien, f.eks.: X[CAT=S] > X[CAT=NP,AGR=?x] X[CAT=VP,AGR=?x] X[CAT=NP,AGR=?x] > X[CAT=Det,AGR=?x] X[CAT=N,AGR=?x] X[CAT=VP,AGR=?x] > X[CAT=V,AGR=?x] X[CAT=NP] X[CAT=V,AGR =[NUM = 'sg', PERS = '3rd']] > 'serves' Obs: Parsing kan bli mindre effektiv 25. mars

33 Grammatikk 2 i likningsformalismen I likningsformalismen som brukes i J&M kan grammatikker som grammatikk 2 skrives med regler som denne (fra J&M seksj ) 33

34 Eksempelgrammatikk 2: subkat. Tilsvarende løsning som i grammatikk 1 Samme styrker og svakheter serves osv. 25. mars

35 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 35

36 Eksempelgrammatikk 3 Den samme regelen virker for alle verb som tar ett argument. says (Kim says that Lee is asleep) serves (The restaurant serves fish) Resten i leksikon 25. mars

37 Eksempelgrammatikk 3 En regel for hvert mulig antall av argumenter til en V Resten i leksikon 25. mars

38 Eksempelgrammatikk 3 COMP2 Forhindrer verb som tar 2 argumenter her says serves COMP2 Forhindrer at disse verbene tar flere enn to argumenter 25. mars

39 Så langt, grammatikk 3 Færre og mer generelle regler Mer informasjon i leksikon Et verb velger sine argumenter 39

40 I NLTK NLTK boka drøfter denne type løsninger (seksj. 9.3), men implementerer dem ikke. Denne løsningen kan implementeres i NLTKs fcfg med samme trikk som for grammatikk 2: X[CAT=VP,AGR=?x] > X[CAT=V,AGR=?x,SC=[COMP1=?y, COMP2]] X[CAT=?y] X[CAT=V, AGR=[NUM=sg,PERS=3rd],SC=[COMP1=NP, COMP2]] > 'serves' 40

41 X-bar (husker du?) En frase har tre nivåer: Full frase, eks. NP (= N ) Ord, eks N Midtnivå, eks. N (kalt Nominal i J&M) Felles struktur for fraser av ulike kategorier: NP, VP, PP For generell form og mer informasjon, se Wikipedia En del egenskaper er felles for NP og hodet N (og N =Nom), f.eks. kasus En del egenskaper er delt mellom VP og V, f.eks. tempus Bar V N PP Adj? 2 S: V NP: N PP: P 1 VP: V Nom: N PP: P 0 V N P 41

42 N =NP N =NOM DET An A =AP old N =NOM N =NOM P =PP A =AP boring N professor N =NOM P =PP of German from Sweden 42

43 Grammatikk 4 basert på X-bar Vi representerer det som er felles mellom N, Nom og NP i et trekk «head» Tilsvarende for S, VP og V, og for P og PP, osv. Hva med forskjellen mellom NP (=N ), Nom (=N ), N (ordet)? Flere muligheter. En av dem er å bruke et trekk for dette BAR: 43

44 Head-complement rule+lexicon serves En regel for verb som tar ett komplement uavhengig av komplementets kategori Samme regel virker for PP P NP with Resten i leksikon 25. mars

45 Head complement-rules En regel for hvert mulig antall (0, 1, 2) av argumenter uavhengig av kategori Resten i leksikon 25. mars

46 Specifier rules Den første regelen vil både dekke S NP VP NP DET NOM hamburger 25. mars

47 Eksempel with a hamburger 47

48 Leksikalsk regel with a hamburger 48

49 Head-complement-0-regel with a hamburger 49

50 Resultat with a hamburger 50

51 Leksikalsk regel (?) with a hamburger 51

52 Head-specifier-regel-1 with a hamburger 52

53 Resultat with a hamburger 53

54 Leksikalsk regel with a hamburger 54

55 HC-1-regel with a hamburger 55

56 Resultat with a hamburger 56

57 Grammatikk 4 i NLTKs fcfg-formalisme Kan vi uttrykke grammatikk 4 i NLTKs fcfg formalisme (med trikket for kategorier)? Noe går, men regler hvor strukturer både er delt og (delvis) instansiert er ikke mulig å uttrykke i fcfggrammatikker, f.eks. 25. mars

58 Vurdering av grammatikk 4 Denne uttrykker langt på vei en generell X-bar grammatikk Noen fenomener er problematiske: Skal enhver SPEC være BAR2, f.eks. er dette naturlige for DET? Er alle argumenter fulle fraser (BAR2), f.eks. Kari prøvde [å synge] (er dette en V?) Det er ikke bare kategorien til argumentet som avgjør om det kan være komplement F.eks. form Kari hørte [Ola synge]. (+INF) 25. mars

59 Grammatikk 4b Grammatikk 4 er gjort enkel dels for å få plass til strukturene serves Vi kunne like gjerne brukt dette formatet serves I stedet for dette dette formatet 25. mars

60 Grammatikk 4b Sammen med denne regelen I stedet for dette denne regelen og tilsvarende for de andre reglene 25. mars

61 Så langt Grammatikk 4b vil beskrive akkurat det samme som grammatikk 4 Men med dette formatet ser vi muligheten for at hodet kan stille flere krav til sine komplementer og SPEC., f.eks. at den må ha en spesiell form Vi kan legge inn mere i f.eks. COMP1 61

62 Frasetyper. Kan være argumenter. Ulik subkategorisering av verb. (J&M, fig 15.3) 62

63 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 63

64 Grammatikk 5 Hovedide: Hodet kan spesifisere hele strukturen til sine komplementer og til specifier ikke bare kategorien Spesielt kan hodet spesifisere «Bar-nivået» på argumentene Formen til argumentene f.eks. finit/infinite Grammatikkformalismen må tillate variable over hele strukturer 64

65 Head specifier regel Head complement regel 0 house Eksempel på leksikalsk oppslag, eller egentlig: Leksikalsk oppslag + Leksikalsk regel som gir entallsform 65

66 Head complement regler 66

67 sleeps 67

68 gives 68

69 gives 69

70 persuades 70

71 Grammatikk 5 i NLTKs fcfg? NLTK tillater ikke variable over hele strukturer. F.eks. kunne vi ønsket å skrive X[HEAD=?y, VAL=[BAR=1, SPEC=?z]] X[HEAD=?y, VAL=[BAR=0, SPEC=?z, COMP1=?u, COMP2=False]]?u for 71

72 Grammatikk 5 i NLTKs fcfg? Vi kan ikke skrive grammatikk 5 direkte i NLTK selv med vårt trikk Vi kan ta noen av ideene og gjøre litt mer ut av subkat enn i grammatikk 3/4 72

73 Grammatikk 5 i likningsformatet I prinsippet er dette mulig J&M, seksj skisserer tre suksessive løsninger til subkat som svarer omtrent til våre Grammatikk1/2 Grammatikk 3/4 Grammatikk 5 Men gjør noen litt rare ting 73

74 Grammatikk 5 i likningsformatet F.eks burde Hvis argumentets CAT er bestemt av <VP subcat> skal den ikke også i regel Heller vært X X SUBCAT kan ikke være et HEAD-trekk fordi det ikke er delt mellom mor og datter 74

75 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 75

76 Unifikasjonbaserte/trekkstrukturbaserte grammatiske teorier Flere moderne grammatiske teorier/modeller/rammeverk Bruker: trekk («features») og unifikasjon Leksikaliserte: Mye informasjon i leksikon Få frasestrukturregler. Inklusive Generalized Phrase Structure Grammar (GPSG) Head Driven Phrase Structure Grammar (HPSG) Lexical Functional Grammar (LFG) 76

77 Hvert rammeverk består av 1. Grunnleggende unifikasjonsformalisme 2. Utvidelser og begrensninger i forhold til denne formalismen 3. Prinsipper som gjelder for alle menneskespråk 4. Språkspesifikke regler og leksika ( (2) og (3) er ofte nøstet i hverandre og vanskelige å skille.) 77

78 HPSG og oss HPSG endrer og utvider det vi har gjort: Lister for subkategorisering av komplementer Bruk av typer og arv 78

79 Lister (HPSG) HPSG bruker lister i VAL(ency) trekket BAR2 tilsv. tom SPEC-liste og tom COMPS-liste BAR1 tilsv. tom COMPS-liste persuades We HPSG 79

80 Fotnote Vi har i HPSG skilt argumentene mellom SUBCAT som en liste av komplementer SPEC, specifier, f.eks. subjekts-np til et verb Begge lærebøkene har også eksempler med SUBCAT-lister: NLTK har en liste av CAT-navn (tilsv. grammatikk 3/4) J&M har en liste av strukturer (tilsv. grammatikk 5) Begge legger også specifier (subjekts NP) (først) på SUBCAT-lista og har ikke SPEC-trekk Tilsvarer en tidlig variant av HPSG 80

81 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 81

82 Implementasjon av unifikasjon Du må kunne: Gitt to trekkstrukturer f1 og f2: Avgjøre om de er unifiserbare Hvis de er unifiserbare, konstruere en struktur f3 som er resultatet av å unifisere de to. J&M seksj 15.4 er ikke pensum: Trenger ikke å kunne konstruksjonen med ekstra pekere 82

83 Parsing med trekkgrammatikker Vi har sett hvordan vi kan bygge trær med trekkstrukturer for setninger ut i fra en trekkgrammatikk Dette kan kombineres med alle parsingalgoritmene vi har sett for CFG: Parsingalgoritmen holder rede på rekkefølgen vi bygger treet Det er en komplikasjon når vi skal bygge flere trær Enten det er ved baktrackking: RD, SR Eller ved tabell: CKY, Chart 83

84 Eksempel S NP[AGR=?x] VP[AGR=?x] NP[AGR=?x] Det[AGR=?x] Nom[AGR=?x] Nom[AGR=?x] N[AGR=?x] Nom[AGR=?x] N[AGR=?x] Nom[AGR=?x] Det the N[AGR=sg] hamburger N[AGR=pl] resturants 84

85 Eksempel fortsatt Den ene analysen gjør the til sg, den andre gjør den til pl NP[NUM=pl] NP[NUM=sg] Nom[NUM=pl] Nom[NUM=sg] Nom[NUM=pl] Det[NUM=sg] N[NUM=sg] N[NUM=pl] Det[NUM=pl] N[NUM=sg] N[NUM=pl] the hamburger restaurants the hamburger restaurants 85

86 Løsning En backtrack-parser må kunne omgjøre unifikasjoner som ikke fører frem, her at the s NUM er sg. En tabellparser (CKY eller Chart) som vil lage begge alternativ må kopiere strukturer før de unifiseres Være klar over problemet og prinsippet for løsninger Ikke se på detaljer, J&M, seksj 15.5 ikke pensum. 25. mars

INF2820 Datalingvistikk V Gang 13.4 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 13.4 Jan Tore Lønning INF2820 Datalingvistikk V2016 12. Gang 13.4 Jan Tore Lønning I dag Trekkbaserte grammatikker for naturlige språk med vekt på subkategorisering/argumenter, 3 tilnærminger a. Enkel løsning, grammatikk 1

Detaljer

INF2820 Datalingvistikk V Gang 6.4 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 6.4 Jan Tore Lønning INF2820 Datalingvistikk V2016 11. Gang 6.4 Jan Tore Lønning Sist Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj

Detaljer

INF2820 Datalingvistikk V Gang 23.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 23.3 Jan Tore Lønning INF2820 Datalingvistikk V2015 10. Gang 23.3 Jan Tore Lønning I dag Trekkbaserte grammatikker, delvis repetisjon Formelle egenskaper: Alternative format for slike grammatikker Tolkning av grammatikkreglene

Detaljer

INF2820 Datalingvistikk V gang, Jan Tore Lønning

INF2820 Datalingvistikk V gang, Jan Tore Lønning INF2820 Datalingvistikk V2014 11. gang, 27.3.2014 Jan Tore Lønning I dag Repetere en del begreper: Trekkstrukturer Unifikasjon og subsumpsjon Trekkbaserte grammatikker Form: to alternative format Tolkning

Detaljer

INF2820 Datalingvistikk V Gang 13.4 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 13.4 Jan Tore Lønning INF2820 Datalingvistikk V2015 11. Gang 13.4 Jan Tore Lønning I dag Unifikasjonsgrammatikker Repetisjon og overblikk: Formalisme Lingvistisk anvendelse Utvidelse av lingvistisk anvendelse NLTKs implementering

Detaljer

INF2820 Datalingvistikk V Gang 30.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 30.3 Jan Tore Lønning INF2820 Datalingvistikk V2016 10. Gang 30.3 Jan Tore Lønning I dag Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj

Detaljer

INF2820 Datalingvistikk V Gang 6.4 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 6.4 Jan Tore Lønning INF2820 Datalingvistikk V2016 11. Gang 6.4 Jan Tore Lønning Sist Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj

Detaljer

INF2820 Datalingvistikk V Gang 16.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 16.3 Jan Tore Lønning INF2820 Datalingvistikk V2015 9. Gang 16.3 Jan Tore Lønning I dag Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj

Detaljer

INF2820 Datalingvistikk V gang, Jan Tore Lønning

INF2820 Datalingvistikk V gang, Jan Tore Lønning INF2820 Datalingvistikk V2014 12. gang, 3.4.2014 Jan Tore Lønning I dag Trekkbaserte grammatikker (unifikasjonsgrammatikker) for naturlige språk NLTKs implementering av slike Litt om lingvistiske modeller

Detaljer

INF2820 Datalingvistikk V Gang 20.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 20.3 Jan Tore Lønning INF2820 Datalingvistikk V2017 10. Gang 20.3 Jan Tore Lønning I dag grammatikker med trek og unifikasjon Fortsatt:) CKY og Chart: Parsing vs anerkjenning Grammatikker med trekk Tolkning av grammatikkene,

Detaljer

INF2820 Datalingvistikk V Gang 13.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 13.3 Jan Tore Lønning INF2820 Datalingvistikk V2018 9. Gang 13.3 Jan Tore Lønning I dag to deler A. Trekkstrukturgramatikker Fortsatt fra sist B. Chart-parsing Fortsetter parsing fra for to uker siden 2 TREKKSTRUKTUR- GRAMMATIKKER

Detaljer

INF2820 Datalingvistikk V gang, Jan Tore Lønning

INF2820 Datalingvistikk V gang, Jan Tore Lønning INF2820 Datalingvistikk V2014 10. gang, 20.3.2014 Jan Tore Lønning I dag Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M,

Detaljer

INF2820 Datalingvistikk V Gang Jan Tore Lønning

INF2820 Datalingvistikk V Gang Jan Tore Lønning INF2820 Datalingvistikk V2016 5. Gang - 17.2 Jan Tore Lønning I dag Kontekstfrie grammatikker, avledninger og trær Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker for naturlige språk

Detaljer

INF2820 Datalingvistikk V Gang Jan Tore Lønning

INF2820 Datalingvistikk V Gang Jan Tore Lønning INF2820 Datalingvistikk V2015 5. Gang - 16.2 Jan Tore Lønning I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker

Detaljer

Obligatorisk oppgave 4, INF2820, 2014

Obligatorisk oppgave 4, INF2820, 2014 Obligatorisk oppgave 4, INF2820, 2014 Besvarelsene skal leveres i devilry innen 7.5 kl 1800. Filene det vises til finner du etter hvert på /projects/nlp/inf2820/ Oppgavene kan løses alene og det skal leveres

Detaljer

INF2820 Datalingvistikk V Gang 13.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 13.3 Jan Tore Lønning INF2820 Datalingvistikk V2017 9. Gang 13.3 Jan Tore Lønning I dag chart-parsing Fortsatt fra sist: Chart-parsing: hovedideer BU chart-parsing: algoritmen NLTKs ChartParser Enkel Python-implementasjon av

Detaljer

INF2820 Datalingvistikk V Gang Jan Tore Lønning

INF2820 Datalingvistikk V Gang Jan Tore Lønning INF2820 Datalingvistikk V2017 6. Gang - 20.2 Jan Tore Lønning I dag Kontekstfrie grammatikker og naturlige språk (fortsatt fra sist) Kontekstfrie grammatikker og regulære språk Grammatikker og trær i NLTK

Detaljer

Oppgave 1 Vi har gitt følgende grammatikk for noe vi kan kalle speilengelsk :

Oppgave 1 Vi har gitt følgende grammatikk for noe vi kan kalle speilengelsk : Eksempelspørsmål Spørsmål av denne typen kan forventes til eksamen, men kanskje ikke så mange. I hvert fall ville dette pluss spørsmål fra første del av pensum blitt for mye for en tretimers eksamen. Oppgave

Detaljer

3/8/2011. I dag. Dynamic Programming. Example. Example FORMELLE EGENSKAPER VED SPRÅK (KAP. 16) Jan Tore Lønning & Stephan Oepen

3/8/2011. I dag. Dynamic Programming. Example. Example FORMELLE EGENSKAPER VED SPRÅK (KAP. 16) Jan Tore Lønning & Stephan Oepen INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen CHARTPARSING (SEKSJ 13.4) FORMELLE EGENSKAPER VED SPRÅK (KAP. 16) 8. mars 2011 2 I dag Oppsummering fra sist: Dynamisk programmering CKY-algoritmen

Detaljer

INF2820 Datalingvistikk V Gang 9.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 9.3 Jan Tore Lønning INF2820 Datalingvistikk V2016 8. Gang 9.3 Jan Tore Lønning CHART-PARSING 2 I dag Bakgrunn Svakheter med andre parsere CKY og Chart Chart-parsing: hovedideer BU chart-parsingalgoritmen Algoritmen uttrykt

Detaljer

INF2820 Datalingvistikk V Gang 9.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 9.3 Jan Tore Lønning INF2820 Datalingvistikk V2016 8. Gang 9.3 Jan Tore Lønning CHART-PARSING 2 I dag Bakgrunn Svakheter med andre parsere CKY og Chart Chart-parsing: hovedideer BU chart-parsing algoritmen Algoritmen uttrykt

Detaljer

INF2820 Datalingvistikk V Gang 16.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 16.3 Jan Tore Lønning INF2820 Datalingvistikk V2016 9. Gang 16.3 Jan Tore Lønning I dag Kort repetisjon: Hoedideer i chart-parsing CKY og chart: anerkjenning vs parsing Formell språkteori: Chomsky-hierarkiet Er naturlige språk

Detaljer

INF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen

INF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen FORMELLE OG NATURLIGE SPRÅK KONTEKSTFRIE GRAMMATIKKER 7. februar 2011 2 Naturlige språk som formelle språk Et formelt språk består av: En

Detaljer

Oppgave 1. La G1 være grammatikken med hovedsymbol S og følgende regler:

Oppgave 1. La G1 være grammatikken med hovedsymbol S og følgende regler: 2 Du kan svare på norsk, dansk, svensk eller engelsk. Du skal besvare alle spørsmålene. Vekten på de ulike spørsmålene er indikert. Du bør lese gjennom hele settet slik at du kan stille spørsmål til faglærerne

Detaljer

INF2820 Datalingvistikk V Gang 4.5 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 4.5 Jan Tore Lønning INF2820 Datalingvistikk V2015 14. Gang 4.5 Jan Tore Lønning CHART PARSING 2 I dag Svakheter ved tidligere parsere RD og SR: ineffektivitet CKY: CNF Chart parsing,,dotted items og fundamentalregelen Algoritmer:

Detaljer

UNIVERSITETET I OSLO

UNIVERSITETET I OSLO UNIVERSITETET I OSLO Side 1 Det matematisk-naturvitenskapelige fakultet Eksamen i: INF2820 Datalingvistikk Eksamensdag: 6. juni 2014 Tid for eksamen: 1430-1830 Oppgavesettet er på 5 side(r) Vedlegg: 0

Detaljer

INF2820 Datalingvistikk V gang, Jan Tore Lønning

INF2820 Datalingvistikk V gang, Jan Tore Lønning INF2820 Datalingvistikk V2014 9. gang, 13.3.2014 Jan Tore Lønning I dag Chart parsing Implementasjon (Earley s algoritme) Parsing vs anerkjenning For CKY og chart Trekkbaserte ( feature-based )grammatikker

Detaljer

INF2820 V2017 Oppgavesett 5 arbeidsoppgaver

INF2820 V2017 Oppgavesett 5 arbeidsoppgaver INF2820 V2017 Oppgavesett 5 arbeidsoppgaver Dette er oppgaver du kan arbeide med på egen hånd. Du kan også arbeide med dem i gruppa 28.2 (hvis du har innleveringsoppgave 2 under kontroll) og spørre gruppelæreren

Detaljer

INF2820 Datalingvistikk V gang, Jan Tore Lønning

INF2820 Datalingvistikk V gang, Jan Tore Lønning INF2820 Datalingvistikk V2014 8. gang, 6.3.2014 Jan Tore Lønning I dag Chart parsing Implementasjon CKY og Chart: Parsing vs anerkjenning 2 Chart alternativ datastruktur (S, [0, 1]) (VP, [0,1]) (Det, [1,2])

Detaljer

3/5/2012. Chart alternativ datastruktur. Fundamentalregelen. Chart-parsing. Bottom-up FORMELL SPRÅKTEORI. Jan Tore Lønning

3/5/2012. Chart alternativ datastruktur. Fundamentalregelen. Chart-parsing. Bottom-up FORMELL SPRÅKTEORI. Jan Tore Lønning INF2820 Datalingvistikk V2012 Jan Tore Lønning CHART-PARSING FORMELL SPRÅKTEORI 5. mars 2012 2 Chart alternativ datastruktur NP Det Nom Fundamentalregelen NP Det Nom Nom Nom PP Nom Nom PP NP PP P NP Det

Detaljer

INF2820 Datalingvistikk V Gang 6.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 6.3 Jan Tore Lønning INF2820 Datalingvistikk V2017 8. Gang 6.3 Jan Tore Lønning I dag CKY-algoritmen fortsatt fra sist Python-implementasjon av CKY Chomsky Normal Form (CNF) Chart-parsing BU-algoritme for chart-parsing 3.

Detaljer

INF 2820 V2016: Innleveringsoppgave 3 del 1

INF 2820 V2016: Innleveringsoppgave 3 del 1 INF 2820 V2016: Innleveringsoppgave 3 del 1 Pga tekniske problemer er oppgaveteksten delt i to. Dette er første del. Andre del legges ut mandag 13.3! Besvarelsene skal leveres i devilry innen fredag 24.3

Detaljer

INF 2820 V2016: Obligatorisk innleveringsoppgave 3

INF 2820 V2016: Obligatorisk innleveringsoppgave 3 INF 2820 V2016: Obligatorisk innleveringsoppgave 3 Besvarelsene skal leveres i devilry innen torsdag 21.4 kl 18.00 Filene det vises til finner du i o /projects/nlp/inf2820/cfg Oppgave 1: Shift-reduce-effektivisering

Detaljer

2/6/2012. Begrensninger ved regulære språk. INF2820 Datalingvistikk V2012. Formelle språk som ikke er regulære KONTEKSTFRIE GRAMMATIKKER.

2/6/2012. Begrensninger ved regulære språk. INF2820 Datalingvistikk V2012. Formelle språk som ikke er regulære KONTEKSTFRIE GRAMMATIKKER. INF2820 Datalingvistikk V2012 Jan Tore Lønning Begrensninger ved regulære Regulære er ikke ideelle modeller for naturlige, dvs Verken regulære uttrykk eller NFA er ideelle for å beskrive naturlige fordi:

Detaljer

INF2820 Datalingvistikk V2012. Jan Tore Lønning

INF2820 Datalingvistikk V2012. Jan Tore Lønning INF2820 Datalingvistikk V2012 Jan Tore Lønning BEGRENSNINGER VED REGULÆRE SPRÅK OG KONTEKSTFRIE GRAMMATIKKER 2 I dag 1. Begrensninger ved regulære språk 2. Noen egenskaper ved naturlige språk 3. Kontekstfrie

Detaljer

Spørsmål 1.1 (10%) Lag en ikke-deterministisk endelig tilstandsautomat (NFA) som beskriver dette språket.

Spørsmål 1.1 (10%) Lag en ikke-deterministisk endelig tilstandsautomat (NFA) som beskriver dette språket. 2 Du kan svare på norsk, dansk, svensk eller engelsk. Du skal besvare alle spørsmålene. Vekten på de ulike spørsmålene er oppgitt. Du bør lese gjennom hele settet slik at du kan stille spørsmål til faglærerne

Detaljer

INF1820 2013-04-12 INF1820. Arne Skjærholt INF1820. Dagens språk: Russisk. dyes yataya l yektsiya. Arne Skjærholt. десятая лекция

INF1820 2013-04-12 INF1820. Arne Skjærholt INF1820. Dagens språk: Russisk. dyes yataya l yektsiya. Arne Skjærholt. десятая лекция Arne Skjærholt десятая лекция Dagens språk: Russisk. dyes yataya l yektsiya Arne Skjærholt десятая лекция N,Σ,R,S Nå er vi tilbake i de formelle, regelbaserte modellene igjen, og en kontekstfri grammatikk

Detaljer

2/24/2012. Dynamic Programming. I dag. Example. Example PARSING. Jan Tore Lønning

2/24/2012. Dynamic Programming. I dag. Example. Example PARSING. Jan Tore Lønning INF2820 Datalingvistikk V2012 Jan Tore Lønning TABELLPARSING OG CHART- PARSING 24. februar 2012 2 I dag Mellomspill: Chomsky Normal Form Tabellparsing: CKY-algoritmen Innlede Chart-Parsing Dynamic Programming

Detaljer

INF 2820 V2016: Innleveringsoppgave 3 hele

INF 2820 V2016: Innleveringsoppgave 3 hele INF 2820 V2016: Innleveringsoppgave 3 hele Dette er det komplette settet! Besvarelsene skal leveres i devilry innen fredag 24.3 kl 18.00 Det blir 5 sett med innleveringsoppgaver. Hvert sett gir inntil

Detaljer

INF2820 Datalingvistikk V Gang Jan Tore Lønning

INF2820 Datalingvistikk V Gang Jan Tore Lønning INF2820 Datalingvistikk V2015 6. Gang - 23.2 Jan Tore Lønning PARSING DEL 1 2 I dag Høyre- og venstreavledninger Recursive-descent parser (top-down) Begynne Shift-reduce parser (bottom-up) 25. februar

Detaljer

Oppgave 2. Eksamen INF2820, 2015, oppgave 2. La gramatikk G være:

Oppgave 2. Eksamen INF2820, 2015, oppgave 2. La gramatikk G være: 2 Eksamen INF2820, 2015, oppgave 2 Oppgave 2 La gramatikk G være: S > NP VP VP > VI VP > VTV NP VP > VS CP CP > C S NP > 'dyret' 'barnet' 'Kari' 'Ola' VI > 'sov' 'smilte' 'danset' VTV > 'kjente' 'likte'

Detaljer

INF2820 Datalingvistikk V gang, 27.2 Jan Tore Lønning

INF2820 Datalingvistikk V gang, 27.2 Jan Tore Lønning INF2820 Datalingvistikk V2014 7. gang, 27.2 Jan Tore Lønning I dag Mellomspill: Chomsky Normal Form Tabellparsing: CKY-algoritmen Innlede Chart-Parsing 20. februar 2014 2 Chomsky-normalform (CNF) En grammatikk

Detaljer

2/24/2012. Context-Free Grammars. I dag. Avledning. Eksempel: grammar1 PARSING. Jan Tore Lønning

2/24/2012. Context-Free Grammars. I dag. Avledning. Eksempel: grammar1 PARSING. Jan Tore Lønning INF2820 Datalingvistikk V2012 Jan Tore Lønning KONTEKSTFRIE GRAMMATIKKER OG PARSING 24. februar 2012 2 Context-Free Grammars Det mest sentrale verktøyet i datalingvistikk 24. februar 2012 3 2/24/2012 Speech

Detaljer

INF2820 Datalingvistikk V Gang Jan Tore Lønning

INF2820 Datalingvistikk V Gang Jan Tore Lønning INF2820 Datalingvistikk V2016 6. Gang - 24.2 Jan Tore Lønning PARSING DEL 1 2 I dag Hva er parsing? Høyre- og venstreavledninger Recursive-Descent parser (top-down) Shift-Reduce parser (bottom-up) Pythonimplementasjon:

Detaljer

INF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen

INF2820 Datalingvistikk V2011. Jan Tore Lønning & Stephan Oepen INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen TABELLPARSING 1. mars 2011 2 I dag Oppsummering fra sist: Recursive-descent og Shift-reduce parser Svakheter med disse Tabellparsing: Dynamisk

Detaljer

INF2820 Datalingvistikk V Gang 2.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 2.3 Jan Tore Lønning INF2820 Datalingvistikk V2015 7. Gang 2.3 Jan Tore Lønning PARSING DEL 2 2 I dag Recursive-descent parser, kort repetisjon Shift-reduce parser (bottom-up) Algoritme for anerkjenning Eksempelimplementasjon

Detaljer

INF2820 Datalingvistikk V2012

INF2820 Datalingvistikk V2012 INF2820 Datalingvistikk V2012 Jan Tore Lønning KONTEKSTFRIE GRAMMATIKKER OG PARSING 24. februar 2012 2 1 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Parsing: ovenifra og ned

Detaljer

INF INF1820. Arne Skjærholt. Negende les INF1820. Arne Skjærholt. Negende les

INF INF1820. Arne Skjærholt. Negende les INF1820. Arne Skjærholt. Negende les Arne Skjærholt egende les Arne Skjærholt egende les σύνταξις Syntaks, fra gresk for oppstilling, er studiet av hvordan vi bygger opp setninger fra ord. Pāṇini (ca. 400 år f.kr.) er den første som formulerer

Detaljer

INF2820 Datalingvistikk V2012. Jan Tore Lønning

INF2820 Datalingvistikk V2012. Jan Tore Lønning INF2820 Datalingvistikk V2012 Jan Tore Lønning KONTEKSTFRIE GRAMMATIKKER OG PARSING 23. februar 2012 2 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Parsing: ovenifra og ned

Detaljer

3/1/2011. I dag. Recursive descent parser. Problem for RD-parser: Top Down Space. Jan Tore Lønning & Stephan Oepen

3/1/2011. I dag. Recursive descent parser. Problem for RD-parser: Top Down Space. Jan Tore Lønning & Stephan Oepen INF2820 Datalingvistikk V2011 TABELLPARSING Jan Tore Lønning & Stephan Oepen 1. mars 2011 2 I dag Oppsummering fra sist: Recursive-descent og Shift-reduce parser Svakheter med disse Tabellparsing: Dynamisk

Detaljer

Norsyg en syntaksbasert dyp parser for norsk

Norsyg en syntaksbasert dyp parser for norsk en syntaksbasert dyp parser for norsk Petter Haugereid petterha@hf.ntnu.no Institutt for språk- og kommunikasjonsstudier NTNU Språkteknologi ved NTNU, seminar VI, 30. november 2006 Oversikt 1 2 Oversikt

Detaljer

INF2820 Datalingvistikk V Gang Jan Tore Lønning

INF2820 Datalingvistikk V Gang Jan Tore Lønning INF2820 Datalingvistikk V2017 5. Gang - 13.2 Jan Tore Lønning I dag Tekstnormalisering: lemmatisering og «stemming» Tagget tekst og tagging Begrensninger ved regulære språk Frasestruktur og kontekstfrie

Detaljer

INF2820 Datalingvistikk V gang, Jan Tore Lønning

INF2820 Datalingvistikk V gang, Jan Tore Lønning INF2820 Datalingvistikk V2014 13. gang, 10.4.2014 Jan Tore Lønning I dag Introduksjon til semantikk Formell semantikk grunnideene Logikk i NLTK 2 Semantikk Semantikk= studiet av mening Lingvistisk semantikk

Detaljer

INF2820 V2017 Oppgavesett 6 Gruppe 7.3

INF2820 V2017 Oppgavesett 6 Gruppe 7.3 INF2820 V2017 Oppgavesett 6 Gruppe 7.3 Oppgave 1: Lag en kontekstfri grammatikk som beskriver samme språk som nettverket under. S a S S c S S b A1 A1 a S A1 c S A1 b A2 A2 c S A2 a S A2 b A3 A3 a A3 A3

Detaljer

INF2820 Datalingvistikk V Gang 27.2 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 27.2 Jan Tore Lønning INF2820 Datalingvistikk V2017 7. Gang 27.2 Jan Tore Lønning I dag Fra sist: Høyre- og venstreavledninger Recursive-descent parser (top-down) Shift-reduce parser (bottom-up) Pythonimplementasjon: Shift-Reduce

Detaljer

INF2820 Datalingvistikk V Gang 2.3 Jan Tore Lønning

INF2820 Datalingvistikk V Gang 2.3 Jan Tore Lønning INF2820 Datalingvistikk V2016 7. Gang 2.3 Jan Tore Lønning I dag CKY-algoritmen Python-implementasjon Chomsky Normal Form (CNF) 1. mars 2016 2 Dynamisk programmering I en beregning kan det inngå delberegninger

Detaljer

INF2820 Datalingvistikk V gang, Jan Tore Lønning

INF2820 Datalingvistikk V gang, Jan Tore Lønning INF2820 Datalingvistikk V2016 13. gang, 20.4.2016 Jan Tore Lønning I dag Introduksjon til semantikk Formell semantikk grunnideene Logikk i NLTK 2 Semantikk Semantikk= studiet av mening Lingvistisk semantikk

Detaljer

INF2820 Datalingvistikk V2015. Forelesning 4, 9.2 Jan Tore Lønning

INF2820 Datalingvistikk V2015. Forelesning 4, 9.2 Jan Tore Lønning INF2820 Datalingvistikk V2015 Forelesning 4, 9.2 Jan Tore Lønning I dag Oppsummering av endelige tilstandsteknikker Begrensninger ved regulære språk Regulære uttrykk: teoretiske og praktiske Noen egenskaper

Detaljer

Parsing basert på LFG: Et MlT/Xerox-system applisert på norsk

Parsing basert på LFG: Et MlT/Xerox-system applisert på norsk Helge Dyvik Institutt for fonetikk og lingvistikk Universitetet i Bergen Sydnesplass 9 5000 Bergen Knut Hofland NA VFs EDB-senter fo r humanistisk forskning Postboks 53 5014 Bergen-Universitet Parsing

Detaljer

Oppgave 1 (samlet 40%)

Oppgave 1 (samlet 40%) 2 Du kan svare på norsk, dansk, svensk eller engelsk. Du skal besvare alle spørsmålene. Vekten på de ulike spørsmålene er oppgitt. Du bør lese gjennom hele settet slik at du kan stille spørsmål til faglærerne

Detaljer

INF1820: Introduksjon til språk-og kommunikasjonsteknologi

INF1820: Introduksjon til språk-og kommunikasjonsteknologi INF1820: Introduksjon til språk-og kommunikasjonsteknologi Niende forelesning Lilja Øvrelid 20 mars, 2017 1 Formelle modeller Kan fange inn den språklige kunnskapen v.hj.a et lite antall formelle modeller

Detaljer

INF1820: Introduksjon til språk-og kommunikasjonsteknologi

INF1820: Introduksjon til språk-og kommunikasjonsteknologi INF1820: Introduksjon til språk-og kommunikasjonsteknologi Niende forelesning Lilja Øvrelid 13 mars, 2014 SYNTAKS studiet av prinsipper og regler for setningsdannelse gammel disiplin Pãṇini: sanskrit grammatiker

Detaljer

INF1820: Introduksjon til språk-og kommunikasjonsteknologi

INF1820: Introduksjon til språk-og kommunikasjonsteknologi INF1820: Introduksjon til språk-og kommunikasjonsteknologi Niende forelesning Lilja Øvrelid 20 mars, 2017 1 Formelle modeller Kan fange inn den språklige kunnskapen v.hj.a et lite antall formelle modeller

Detaljer

INF1820: Introduksjon til språk-og kommunikasjonsteknologi

INF1820: Introduksjon til språk-og kommunikasjonsteknologi INF1820: Introduksjon til språk-og kommunikasjonsteknologi Åttende forelesning Lilja Øvrelid 13 mars, 2017 1 I dag: Syntaks 2 Bakgrunn Syntaks: studiet av prinsipper og regler for setningsdannelse Beskrivelse

Detaljer

INF1820: Introduksjon til språk-og kommunikasjonsteknologi

INF1820: Introduksjon til språk-og kommunikasjonsteknologi INF1820: Introduksjon til språk-og kommunikasjonsteknologi Åttende forelesning Lilja Øvrelid 13 mars, 2017 1 I dag: Syntaks 2 Bakgrunn Syntaks: studiet av prinsipper og regler for setningsdannelse Beskrivelse

Detaljer

UNIVERSITETET I OSLO

UNIVERSITETET I OSLO UNIVERSITETET I OSLO Side 1 Det matematisk-naturvitenskapelige fakultet Eksamen i: INF2820 Datalingvistikk Eksamensdag: 14. juni 2016 Tid for eksamen: 1430-1830 Oppgavesettet er på 5 side(r) Vedlegg: 0

Detaljer

Uke 7: Små barn, små setninger I

Uke 7: Små barn, små setninger I LIN-1013: Språktilenelse, Våren 2003 Uke 7: Små barn, små setniner I 1. Litt om syntaks Sett slike trær før? IP qp NP I'! John I VP has Spec V' V DP! eaten an apple CP qp DP C'! et eple i C IP har k NP

Detaljer

INF1820: Introduksjon til språk-og kommunikasjonsteknologi

INF1820: Introduksjon til språk-og kommunikasjonsteknologi INF1820: Introduksjon til språk-og kommunikasjonsteknologi Niende forelesning Lilja Øvrelid 13 mars, 2014 SYNTAKS studiet av prinsipper og regler for setningsdannelse gammel disiplin Pãṇini: sanskrit grammatiker

Detaljer

INF2820 Datalingvistikk V2014. Forelesning 4, 6.2 Jan Tore Lønning

INF2820 Datalingvistikk V2014. Forelesning 4, 6.2 Jan Tore Lønning INF2820 Datalingvistikk V2014 Forelesning 4, 6.2 Jan Tore Lønning I dag Oppsummering av endelige tilstandsteknikker Regulære uttrykk: teoretiske og praktiske Begrensninger ved regulære språk Noen egenskaper

Detaljer

INF2820-V2014-Oppgavesett 15, gruppe 13.5

INF2820-V2014-Oppgavesett 15, gruppe 13.5 INF2820-V2014-Oppgavesett 15, gruppe 13.5 Vi møtes på FORTRESS denne uka. Semantikk i grammatikken Utgangspunktet er det lille grammatikkfragmentet med semantiske regler presentert I NLTK-boka som simple-sem.fcfg.

Detaljer

INF1820: Introduksjon til språk-og kommunikasjonsteknologi

INF1820: Introduksjon til språk-og kommunikasjonsteknologi INF1820: Introduksjon til språk-og kommunikasjonsteknologi Tiende forelesning Lilja Øvrelid 19 mars, 2012 SYNTAKS Lingvistikk: studiet av prinsipper og regler for setningsdannelse Beskrivelse av naturlige

Detaljer

INF1820: Introduksjon til språk-og kommunikasjonsteknologi

INF1820: Introduksjon til språk-og kommunikasjonsteknologi INF1820: Introduksjon til språk-og kommunikasjonsteknologi Tiende forelesning Lilja Øvrelid 20 mars, 2014 1 / 51 FORMELLE MODELLER kan representere den språklige kunnskapen v.hj.a et lite antall formelle

Detaljer

INF2820 Datalingvistikk V2012. Jan Tore Lønning

INF2820 Datalingvistikk V2012. Jan Tore Lønning INF2820 Datalingvistikk V2012 Jan Tore Lønning ENDELIGE TILSTANDSTEKNIKKER OG REGULÆRE UTTRYKK I DATALINGVISTIKK DEL 2 20. januar 2012 2 Non-Determinism Speech and Language Processing - Jurafsky and Martin

Detaljer

INF2820 Datalingvistikk V2012. Jan Tore Lønning

INF2820 Datalingvistikk V2012. Jan Tore Lønning INF2820 Datalingvistikk V2012 Jan Tore Lønning MER OM PARSING, SÆRLIG TABELLPARSING 20. februar 2012 2 I dag Oppsummering og utfylling fra sist: Recursive-descent parser (top-down) Shift-reduce parser

Detaljer

. Grammatiske problem med å beskrive ordklassen adverb og setningsleddet adverbial i norsk. Sverre Stausland Johnsen Universitetet i Oslo

. Grammatiske problem med å beskrive ordklassen adverb og setningsleddet adverbial i norsk. Sverre Stausland Johnsen Universitetet i Oslo .. Grammatiske problem med å beskrive ordklassen adverb og setningsleddet adverbial i norsk Sverre Stausland Johnsen Universitetet i Oslo stausland.johnsen@iln.uio.no Universitetet i Stavanger 15. januar

Detaljer

1/31/2011 SAMMENHENGER FSA OG REGULÆRE UTTRYKK. Regulære språk. Fra FSA til RE. Fra regulært uttrykk til NFA REGULÆRE UTTRYKK I DATALINGVISTIKK DEL 2

1/31/2011 SAMMENHENGER FSA OG REGULÆRE UTTRYKK. Regulære språk. Fra FSA til RE. Fra regulært uttrykk til NFA REGULÆRE UTTRYKK I DATALINGVISTIKK DEL 2 INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen ENDELIGE TILSTANDSTEKNIKKER OG REGULÆRE UTTRYKK I DATALINGVISTIKK DEL 2 31. januar 2011 2 Regulære språk Følgende er ekvivalente: a) L kan

Detaljer

0. Innledning. Et grunnleggende spørsmål i semantikk er:

0. Innledning. Et grunnleggende spørsmål i semantikk er: 0. Innledning Et grunnleggende spørsmål i semantikk er: Hvordan bestemmes en setnings mening ut i fra meningen til dens deler? Hvordan bestemmes en setnings mening ut i fra meningen til ordene som inngår

Detaljer

INF3170 Logikk. Ukeoppgaver oppgavesett 7

INF3170 Logikk. Ukeoppgaver oppgavesett 7 INF3170 Logikk Ukeoppgaver oppgavesett 7 Unifisering I forelesning 10 så vi på en unifiseringsalgoritme som finner en mest generell unifikator for to termer. I automatisk bevissøk har vi imidlertid bruk

Detaljer

INF1820: Introduksjon til språk-og kommunikasjonsteknologi

INF1820: Introduksjon til språk-og kommunikasjonsteknologi INF1820: Introduksjon til språk-og kommunikasjonsteknologi Ellevte forelesning Lilja Øvrelid 26 mars, 2012 1 / 48 FORMELLE MODELLER Kan fange inn den språklige kunnskapen v.hj.a et lite antall formelle

Detaljer

UNIVERSITETET I OSLO

UNIVERSITETET I OSLO UNIVERSITETET I OSLO Side 1 Det matematisk-naturvitenskapelige fakultet Eksamen i: INF2820: Datalingvistikk Eksamensdag: 8. juni 2012 Tid for eksamen: 0900 1300 Oppgavesettet er på 6 side(r) Vedlegg: Ingen

Detaljer

INF2820 Datalingvistikk V2014. Jan Tore Lønning

INF2820 Datalingvistikk V2014. Jan Tore Lønning INF2820 Datalingvistikk V2014 Jan Tore Lønning INF2820 Datalingvistikk 19. januar 2014 2 I dag: 1. Time: Datalingvistikk: motivasjon og eksempler Praktisk informasjon 2. Time: Endelige tilstandsteknikker

Detaljer

INF / Kap. 5, Del 2 Stein Krogdahl, Ifi, UiO

INF / Kap. 5, Del 2 Stein Krogdahl, Ifi, UiO INF5110 12/2-2013 Kap. 5, Del 2 Stein Krogdahl, Ifi, UiO Dagens temaer: Noen foiler igjen fra forrige gang SLR(1), LR(1)- og LALR(1)-grammatikker NB: Oppgaver til kap 4 og 5 er lagt ut på undervisningsplanen

Detaljer

INF1800 LOGIKK OG BEREGNBARHET

INF1800 LOGIKK OG BEREGNBARHET INF1800 LOGIKK OG BEREGNBARHET FORELESNING 2: MENGDELÆRE Roger Antonsen Institutt for informatikk Universitetet i Oslo 20. august 2008 (Sist oppdatert: 2008-09-03 12:36) Mengdelære Læreboken Det meste

Detaljer

INF 2820 V2016: Obligatorisk innleverinsoppgave 1

INF 2820 V2016: Obligatorisk innleverinsoppgave 1 INF 2820 V2016: Obligatorisk innleverinsoppgave 1 OBS Korrigert eksemplene oppgave 2, 8.2 Besvarelsene skal leveres i devilry innen torsdag 18.2 kl 18.00 Filene det vises til finner du på /projects/nlp/inf2820/fsa

Detaljer

INF2820 Datalingvistikk V2017 Forelesning 1.2 Jan Tore Lønning

INF2820 Datalingvistikk V2017 Forelesning 1.2 Jan Tore Lønning INF2820 Datalingvistikk V2017 Forelesning 1.2 Jan Tore Lønning ENDELIGE TILSTANDSMASKINER OG REGULÆRE SPRÅK 19. januar 2017 2 Fysisk modell En tape delt opp i ruter. I hver rute står det et symbol. En

Detaljer

INF1820: Introduksjon til språk-og kommunikasjonsteknologi

INF1820: Introduksjon til språk-og kommunikasjonsteknologi INF1820: Introduksjon til språk-og kommunikasjonsteknologi Tiende forelesning Lilja Øvrelid 20 mars, 2014 1 / 1 FORMELLE MODELLER kan representere den språklige kunnskapen v.hj.a et lite antall formelle

Detaljer

INF2820 Datalingvistikk V gang, Jan Tore Lønning

INF2820 Datalingvistikk V gang, Jan Tore Lønning INF2820 Datalingvistikk V2015 13. gang, 27.4.2015 Jan Tore Lønning Semantikk noen poeng fra sist Vi legger vekt på at språket er om noe det denotasjonelle aspektet ved mening Det logiske forholdet mellom

Detaljer

Russisk i Head-Driven Phrase Structure Grammar

Russisk i Head-Driven Phrase Structure Grammar UNIVERSITETET I OSLO Institutt for informatikk Russisk i Head-Driven Phrase Structure Grammar En lingvistisk hypotesetesting Elvira Kostanda 15. desember 2008 Innhold I Hoveddel 5 1 Introduksjon 9 1.1

Detaljer

INF1800 Forelesning 2

INF1800 Forelesning 2 INF1800 Forelesning 2 Mengdelære Roger Antonsen - 20. august 2008 (Sist oppdatert: 2008-09-03 12:36) Mengdelære Læreboken Det meste av det vi gjør her kan leses uavhengig av boken. Følgende avsnitt i boken

Detaljer

Nødvendige noder i norsk Grunntrekk i en leksikalsk-funksjonell beskrivelse av norsk syntaks

Nødvendige noder i norsk Grunntrekk i en leksikalsk-funksjonell beskrivelse av norsk syntaks 1 Nødvendige noder i norsk Grunntrekk i en leksikalsk-funksjonell beskrivelse av norsk syntaks Helge Dyvik 1. Innledning Etter fremveksten av generativ syntaks var det lenge vanlig å se den som et adskilt

Detaljer

Forelesning 14: Automatisk bevissøk IV matriser og koblingskalkyle Christian Mahesh Hansen mai 2006

Forelesning 14: Automatisk bevissøk IV matriser og koblingskalkyle Christian Mahesh Hansen mai 2006 Forelesning 14: Automatisk bevissøk IV matriser og koblingskalkyle Christian Mahesh Hansen - 22. mai 2006 1 Automatisk bevissøk IV 1.1 Introduksjon Bevissøk med koblinger Vi har til nå sett på forskjellige

Detaljer

INF1820 V2014 Oppgave 3b CFGer og semantikk

INF1820 V2014 Oppgave 3b CFGer og semantikk INF1820 V2014 Oppgave 3b CFGer og semantikk Innleveringsfrist fredag 9. mai Lever inn svarene dine i en fil som angir brukernavnet ditt, slik: oblig3b brukernavn.py En perfekt besvarelse av denne oppgaven

Detaljer

Kap. 5, Del 3: INF5110, fra 1/3-2011

Kap. 5, Del 3: INF5110, fra 1/3-2011 Kap. 5, Del 3: LR(1)- og LALR(1)-grammatikker INF5110, fra 1/3-2011 Bakerst: Oppgaver til kap 5 (svar kommer til gjennomgåelsen) gåe Nytt 2/3: Nå også oppgave 2 fra eksamen 2006 Stein Krogdahl, Ifi, UiO

Detaljer

INF2820 Datalingvistikk V2017 Forelesning 2, 23.1 Jan Tore Lønning

INF2820 Datalingvistikk V2017 Forelesning 2, 23.1 Jan Tore Lønning INF2820 Datalingvistikk V2017 Forelesning 2, 23.1 Jan Tore Lønning ENDELIGE TILSTANDSMASKINER OG REGULÆRE SPRÅK, DEL 2 19. januar 2017 2 Sist uke: FSA Brukes om hverandre: Finite state automaton - FSA

Detaljer

Forelesning 23. Grafteori. Dag Normann april Oppsummering. Oppsummering. Oppsummering. Digresjon: Firefarveproblemet

Forelesning 23. Grafteori. Dag Normann april Oppsummering. Oppsummering. Oppsummering. Digresjon: Firefarveproblemet Forelesning 23 Grafteori Dag Normann - 16. april 2008 Oppsummering En graf består av noder og kanter Kanter ligger inntil noder, og noder kan være naboer. Vi bør kjenne til begrepene om sammenhengende

Detaljer

UNIVERSITETET I OSLO

UNIVERSITETET I OSLO UNIVERSITETET I OSLO Side 1 Det matematisk-naturvitenskapelige fakultet Eksamen i: INF2820 Datalingvistikk Eksamensdag: 14. juni 2016 Tid for eksamen: 1430-1830 Oppgåvesettet er på 5 side(r) Vedlegg: 0

Detaljer

INF2820 Datalingvistikk V2016. Jan Tore Lønning

INF2820 Datalingvistikk V2016. Jan Tore Lønning INF2820 Datalingvistikk V2016 Jan Tore Lønning INF2820 Datalingvistikk 20. januar 2016 2 I dag: 1. Time: Datalingvistikk: motivasjon og eksempler Praktisk informasjon 2. Time: Regulære språk OBS: Lov å

Detaljer

IN1140: Introduksjon til språkteknologi. Forelesning #8

IN1140: Introduksjon til språkteknologi. Forelesning #8 IN1140: Introduksjon til språkteknologi Forelesning #8 Samia Touileb Universitetet i Oslo 17. oktober 2017 Tema for i dag 2 Fra forrige uke: HMM og FSA Evaluering Syntaks HMM og FSA 3 HMM er er en utvidelse

Detaljer

MAT1030 Diskret matematikk

MAT1030 Diskret matematikk MAT1030 Diskret matematikk Forelesning 23: Grafteori Dag Normann Matematisk Institutt, Universitetet i Oslo 16. april 2008 Oppsummering En graf består av noder og kanter Kanter ligger inntil noder, og

Detaljer

Oppsummering. MAT1030 Diskret matematikk. Oppsummering. Oppsummering. Forelesning 23: Grafteori

Oppsummering. MAT1030 Diskret matematikk. Oppsummering. Oppsummering. Forelesning 23: Grafteori Oppsummering MAT1030 Diskret matematikk Forelesning 23: Grafteori Dag Normann Matematisk Institutt, Universitetet i Oslo 16. april 2008 En graf består av noder og kanter Kanter ligger inntil noder, og

Detaljer