IN1140: Introduksjon til språkteknologi. Forelesning #8

Transkript

1 IN1140: Introduksjon til språkteknologi Forelesning #8 Samia Touileb Universitetet i Oslo 17. oktober 2017

2 Tema for i dag 2 Fra forrige uke: HMM og FSA Evaluering Syntaks

3 HMM og FSA 3 HMM er er en utvidelse av endelig tilstandsmaskiner (FSA er) FSA er defineres ved en mengde tilstander og en mengde transisjoner mellom disse i henhold til input-observasjoner En vektet FSA er en utvidelse av en FSA der hver transisjon er forbundet med en sannsynlighet: uttrykker hvor sannsynlig den overgangen er. Sannsynlighetene for alle transisjoner fra en tilstand summerer til 1 (distribusjon)

4 Evaluering 4 Gitt at vi har trent en modell (en PoS-tagger, språkmodell,... ), Hvordan kan vi evaluere den? Ønsker å kvantifisere kvaliteten på testdata så vi kan sammenlikne ulike modeller. Generelt to stragier for å evaluere en modell: Ekstrinsisk og intrinsisk.

5 Ekstrinsisk evaluering 5 Vi evaluerer modellen indirekte utfra hvordan den påvirker resultatene for en annen oppgave. Oppgavedrevet. F.eks se hvordan en språkmodell påvirker maskinoversettelse, talegjennkjenning, osv. Fordel: kan teste modellen i samme kontekst som vi vil bruke den. Bakdel: ofte krevende ift tid/ressurser.

6 Intrinsisk evaluering 6 Bruker et mer direkte mål for hvor bra modellen er på oppgaven den ble trent for. PoS-tagging: ønsker en modell som predikerer taggene for et testkorpus med høyest nøyaktighet; accuracy = #riktig #tokens Språkmodell: gitt et representativt testkorpus wi k, ønsker vi en modell P som predikerer w1 k med så høy sannsynlighet som mulig. Uttrykkes gjerne som perpleksitet (perplexity): P P (w k 1) = P (w k 1) 1 K der K er antall tokens (lengdenormalisering). Mål fra informasjonteori som sier oss hvor godt en sannynslighetsdistribusjon predikerer data. Høy sannsynlighet = lav perpleksitet. Fordel: ofte rask og billig. Bakdel: ikke alltid samsvar mellom ekstrinsiske og intrinsiske mål.

7 Datasplitter 7 Dersom vi tester på treningsdataene får vi urealistisk gode resultater sammenliknet med om vi tester på nye data. Kalles overfitting dersom en model er for spesifikt tilpasset testdataene til å gi representative målinger for hvordan modellen generaliserer til usette data. Trenger minst to datasett: treningsdata og testdata. Bruker ofte også en tredje splitt: valideringsdata (development data). Testdataene kalles ofte held-out. Viktig at datasplittene er balanserte og representative: F.eks samme sjanger, domene, osv.

8 Tema for i dag Syntaks 8

9 Bakgrunn 9 Syntaks: studiet av prinsipper og regler for setningsdannelse Gammel disiplin Pãṇini: sanskrit grammatiker (4 BC) Beskrivelse av naturlige språk via sett med generelle (universelle) regler

10 Generativ grammatikk 10 Moderne studie av syntaks Noam Chomsky: Syntactic Structures (1957) Syn på språk inspirert av naturvitenskap: språket er en mengde setninger mengde: en samling objekter, f.eks.: {a, b, c}, a {a, b, c}, d {a, b, c}

11 Generativ grammatikk 11 Målet med syntaktisk teori: formulære en beskrivelse av denne mengden (feks. beskrive mengden av alle norske setninger) Avgjøre hva er ikke et norsk setning (grammatikalitet) Eksplisitt beskrivelse av denne mengden Alle liker klassisk musikk Liker ikke alle klassisk musikk? *Klassisk alle liker musikk *Liker klassik alle musikk ikke

12 Grammatiske beskrivelser 12 Den grammatiske beskrivelsen skal generere alle og bare de grammatiske setningene i språket (generativ). Ekstensjonell (oppregning) vs. intensjonell (beskrivelse): ekstensjonell: liste opp alle setninger: {... Alle nordmenn liker fotball, Alle nordmenn liker ikke fotball, Alle nordmenn liker fotball og friidrett, Alle nordmenn liker ikke fotball og friidrett... }

13 Grammatiske beskrivelser 13 Problem med ekstensjonell beskrivelse: i prinsippet uendelig antall setninger sier ingenting om setningers struktur Alle nordmenn liker fotball Alle nordmenn liker fotball

14 Grammatiske beskrivelser 14 En grammatikk er en beskrivelse av et språk Inneholder: hvordan en språklig enhet ser ut form rollen enheten spiller i forhold til andre språklige enheter funksjon Samme form kan ha ulik funksjon: Hun kjøpte et pent hus. Huset er pent. Hun synger pent. Form og funksjon for større enheter enn ord Et pent hus er ikke alltid dyrere. Vi bodde i et pent hus.

15 Grammatiske beskrivelser 15 Setningers struktur: Mer enn bare den lineære rekkefølgen Hierarkisk ordnede fraser: funksjon - enkeltord og større grupper: Jeg liker fotball Alle nordmenn liker fotball flertydighet - samme (lineære) ordstreng, ulik frasestruktur: Hun så gutten med teleskopet [så gutten med teleskopet] [gutten med teleskopet] (måten vi grupærer ordene sammen på)

16 Grammatiske beskrivelser 16 En generativ grammatikk: genererer alle og bare de grammatiske setningene i et språk tildeler hver setning en strukturell beskrivelse En (generativ) grammatisk beskrivelse er en eksplisitt redegjørelse for mengden setninger i et språk Syntaktiske regler

17 Syntaks 17 Studiet av hvordan setninger bygges opp av ord og ordkombinasjoner, såkalte konstituenter Syntaktisk form - konstituenter beskrives i form av ordklasser, fraser: fraser - større konstituenter over ordnivå fraser navngis etter hodet - det sentrale, obligatoriske medlemmet, referanse Syntaktisk funksjon - konstituenter beskrives i form av sin funksjon i setningen som helhet Subjekt (Direkte og indirekte) Objekt Adverbial Ordklasse gir indirekte informasjon om funksjonspotensiale

18 Syntaks 18 ord fraser setninger Setningen - inneholder en finitt verbform og (som regel) et subjekt Spis! Bea lukket vinduet fort. Frasen - bygger opp setningen eller andre fraser (hierarkisk) og navngis etter hodet NP (noun phrase) VP (verb phrase) PP (prepositional phrase) etc.

19 Syntaktiske regler 19 Kombinerer ord til fraser og fraser til setninger Leddstilling i et språk: SVO (engelsk, norsk) Beskriver forholdet mellom grupper av ord (ordklasser) og plassering i setningen DT liker å komme foran et substantiv Syntaktiske funksjoner: subjekt, objekt Andre begrensninger som påvirker grammatikalitet *Bea fant *Bea fant fort *Bea fant i bilen Bea fant nøkkelen

20 Syntaktiske regler 20 Beskriver hierarkisk gruppering av ord gamle menn og kvinner kan forlate skipet [gamle menn] og [kvinner] [gamle [menn og kvinner]]

21 Syntaktiske regler 21 Strukturell flertydighet For sale: an antique desk suitable for lady with thick legs and large drawers We will oil your sewing machine and adjust tension in your home for $10.00 Flertydighet grunnet flere mulige strukturer for en setning Forklarer hvordan gruppering av ord relaterer til betydning

22 Grammatikalitet 22 Språkbrukere kan utføre grammatikalitetsbedømninger Grammatisk er ikke det samme som meningsfull Colorless green ideas sleep furiously *Furiously green sleep ideas colorless Syntaktisk korrekt, semantisk nonsens Bekrefter skillet mellom syntaks og semantikk

23 Konstituenter 23 Konstituenter grupperinger av ord i en setning, fungerer som en enhet The dog ate my homework The dog ate my homework Hvordan kan vi avgjøre konstituentstatus? Lingvistiske tester

24 Konstituenter 24 Lingvistiske tester: stå alene -testen: What did the dog eat? my homework *ate my erstattes med pronomen The dog ate it The dog ate my homework and the cat did too Flyttes som enhet : It was my homework that the dog ate. My homework was eaten by the dog.

25 Konstituenter 25 Eksempel: The dog played in the garden Where did the dog play? In the garden (stå alene) The dog played there (erstattes med pronomen) In the garden is where the dog played (flytter som enhet)

26 Fraser: syntaktiske kategorier 26 Et enkelt ord kan bygges ut til en gruppe ord, slik at den nye gruppen har samme funksjon i setningen (en konstituent) Kan substitueres for hverandre The dog ate the cake The dog ate the birthday cake The dog ate the delicious birthday cake The dog ate the delicious birthday cake that was meant for Bea Fraser: (adledd) hode (adledd: utfylling) (the delicious birthday) cake (that was meant for Bea)

27 Substantivfraser (NP) 27 Hodet er et substantiv Fungerer typisk som subjekt eller objekt i setningen Eksempler: determinativ + substantiv: the dog, en hund egennavn: Barack Obama, Japan pronomen: he, they, han, henne Hodet bestemmer kongruens. Kongruens feks tall, kjønn, bestemthet

28 Preposisjonsfraser (PP) 28 Hodet er en preposisjon Etterfølges av en NP-utfylling (preposisjonsobjekt) Eksempler: prep + NP in the garden, over the rooftops foranstilt adledd (Adj) dypest ned i skuffen

29 Adjektivfraser (AdjP) 29 Hodet er et adjektiv Kan ha foranstilt adledd: adverb eller andre adjektiv Noen adjektiv tar etterstilt utfylling (som verb) Eksempler: Adj: crazy, red, brilliant foranstilt adledd: almost crazy, pretty big etterstilt adledd: crazy about dogs, lik sin far

30 Verbfraser (VP) 30 Hodet er et verb i finitt eller infinitt form Eksempler: verb sover, danset verb + NP: spiste kaken verb + NP + NP: ga ham kaken verb + NP + PP: la alle papirene i skuffen Kan komplettere: Jeg/Barnet/Den rare mannen...

31 Syntaktiske kategorier 31 Frasale kategorier: NP, VP, AdjP, PP Leksikale kategorier: N, V, P, Adj, Adv Frasestrukturtre (Phrase Structure (PS) tree) S NP VP Det N V NP the dog ate Det N my homework

32 Frasestrukturtrær 32 The dog ate my homework leksikale kategorier finne umiddelbare konstituenter finne hodet ikke-leksikale kategorier (fraser) top down vs bottom up

33 Frasestrukturtrær Lineær rekkefølge i setningen 2. Syntaktiske kategorier for ord og grupper av ord 3. Hierarkisk struktur noder som forbindes av grener Tremetaforer: rot, løv ( leaves ), grener Familiemetaforer: mor, datter, barn, søster Dominans: ikke-refleksiv, asymmetrisk unik rot: kun en node som ikke domineres av noen annen node

34 Frasestrukturtrær 34 roten = hela setningen (S) en node = en konstituent terminale noder = enkeltord etikett = konstituenttype (Det, N, NP, VP)

35 Frasestrukturregler 35 Informasjonen i et frasestrukturtre kan også representeres som frasestrukturregler Generaliserer over vår syntaktiske kunnskap Spesifiserer de velformede strukturene i et språk 1. S NP VP 2. NP D N 3. VP V NP

36 Frasestrukturregler 36 Noen flere regler: intransitive verb 1. The cat purred 2. The woman laughed VP V

37 Frasestrukturregler 37 Noen flere regler: PP i VP 1. The dog played in the garden 2. The cat ate the cake on the terrace VP VP PP PP P NP

38 Frasestrukturregler 38 Noen flere regler: leddsetninger (innledes av subjunksjon complementizer (C)): 1. My brother said that the dog purred 2. We wondered whether the cat ate the cake VP V CP CP C S

39 Rekursive strukturer 39 mengden av setninger i et naturlig språk antas å være uendelig språkets kreativitet Dette er en setning Dette er en setning som jeg skriver akkurat nå Dette er en setning som jeg tror at jeg skriver akkurat nå Dette er en setning som du mener at jeg tror at jeg skriver akkurat nå osv.

40 Rekursive strukturer 40 endelig og eksplisitt grammatisk beskrivelse trenger mekanisme som kan generere (i prinsipp) uendelige strukturer rekursive strukturer: inneholder en delstruktur av samme type som helheten progammeringsspråk: feks Python frasestrukturgrammatikk: en trestruktur er rekursiv dersom den inneholder en node som dominerer en annen node med samme etikett

41 Rekursive strukturer 41 Rekursive regler gjør at grammatikken kan generere et uendelig antall strukturer The dog played in the garden on Monday The dog played in the garden on Monday for an hour The dog played in the garden on Monday for an hour with a stick VP V PP?? VP VP PP

42 Rekursive strukturer 42 Andre rekursive regler The dog with the collar barked The dog with the collar around its neck barked The dog with the collar around its neck on the sofa barked... NP NP PP

43 Bar-kategorier 43 Annet eksempel på rekursjon: adjektiver The kindhearted intelligent handsome boy NP Adj NP? NEI Determinativer og adjektiver har forskjellig status innenfor substantivfrasen kun én determinativ, flere adjektiv adjektiver modifiserer substantivet direkte, determinativet har rekkevidde over Adj+N Introduserer et nivå mellom NP og N: N NP Det N N Adj N N N

44 Setninger 44 Alle fraser har hode hva med setningen? The dog will eat the cake The dog has eaten the cake The dog is eating the cake The dog might eat the cake VP Aux VP Spesifiserer tidsramme for hendelsen beskrevet av verbet Aux er hodet: alle hendelser er lokalisert i tid

45 Seleksjon 45 Seleksjon: beskriver krav visse hoder har på sine syntaktiske omgivelser verb selekterer forskjellige komplementer The dog found the cake (NP) vs. *The dog found My brother said that the cat ate it (CP) vs *My brother said The cat purred () vs *The cat purred my brother

46 Transformasjoner 46 Vi har kunnskap om at visse setninger er relatert Strukturelle forskjeller er helt systematisk relatert til en forskjell i betydning Deklarative setninger vs. ja/nei-spørsmål The cat is purring Is the cat purring? Kan modelleres ved transformasjonelle regler: Flytt Aux til S To steg: 1. Frasestrukturreglene genererer den grunnleggende strukturen ( d(eep)-structure ) 2. Transformasjonelle regler kan endre ( s(urface)-structure )

47 Transformasjoner 47 Andre eksempler: aktiv-passiv The dog ate the cake The cake was eaten by the dog eksistensialkonstruksjoner The dog was in the garden There was a dog in the garden topikalisering Vi skal treffes i morgen I morgen skal vi treffes utbryting ( cleft ) The dog ate the cake It was the dog that ate the cake

48 Universell Grammatikk 48 Generativ grammatikk: språket er lokalisert i den menneskelige hjerne Mål: en modell av denne indre språkmodulen (UG) Kan brukes til å beskrive alle naturlige språk, forutsi grammatikalitet Språk: enkle variasjoner over samme grunnleggende design Frasestruktur Fraser: hoder og komplementer Setningers hode er Aux (eller T(ense)) som spesifiserer tempus, bøyningssamsvar og modalitet Forskjeller, feks ulik leddstilling: parametre