Norsyg en syntaksbasert dyp parser for norsk

Transkript

1 en syntaksbasert dyp parser for norsk Petter Haugereid Institutt for språk- og kommunikasjonsstudier NTNU Språkteknologi ved NTNU, seminar VI, 30. november 2006

2 Oversikt 1 2

3 Oversikt 1 2

4 Oversikt 1 2

5 En dyp parser er lingvistisk motivert. Tar utgangspunkt i en lingvistisk teori. Implementeres ved hjelp av en spesiell software.

6 Syntaktiske teorier Forskjellige syntaktiske rammeverk: HPSG (Head-driven Phrase Structure Grammar) DelphIn ERG (English Resource Grammar) Jacy (Japansk) Den tyske HPSG-grammatikken + grammatikker for portugisisk, spansk, gresk, norsk... LFG (Lexical Functional Grammar) ParGram Engelsk Tysk Fransk Norsk

7 Syntaktiske teorier Forskjellige syntaktiske rammeverk: HPSG (Head-driven Phrase Structure Grammar) DelphIn ERG (English Resource Grammar) Jacy (Japansk) Den tyske HPSG-grammatikken + grammatikker for portugisisk, spansk, gresk, norsk... LFG (Lexical Functional Grammar) ParGram Engelsk Tysk Fransk Norsk

8 Syntaktiske teorier Forskjellige syntaktiske rammeverk: HPSG (Head-driven Phrase Structure Grammar) DelphIn ERG (English Resource Grammar) Jacy (Japansk) Den tyske HPSG-grammatikken + grammatikker for portugisisk, spansk, gresk, norsk... LFG (Lexical Functional Grammar) ParGram Engelsk Tysk Fransk Norsk

9 Oversikt 1 2

10 LKB LKB (Linguistic Knowledge Builder) Tilpasset HPSG-grammatikker. Typede trekkstrukturer. Open source.

11 TRALE TRALE Tilpasset HPSG-grammatikker. Typede trekkstrukturer ++. Open source.

12 XLE XLE Tilpasset LFG-grammatikker. Trekkstrukturer ++ (ikke typer). Eies og utvikles av Parc, ikke open source.

13 Oversikt 1 2

14 Fakta om : Hette først NorSource (2002) (leksikalsk HPSG-grammatikk). Byttet navn til Saargram (2004) (konstruksjonell HPSG). Byttet igjen til Phdgram (2005) (eksempelgrammatikk for phd-avhandling). Fikk navnet (Norwegian syntax-based grammar) i 2006 (mer fokus på dekning).

15 Flere fakta om Typer 1200 (4404 linjer kode) Leksikon (håndskrevet) 1486 (5081 linjer kode) Leksikon (NorKompLeks ++) Syntaktiske regler 53 Bøyningsregler 49 (12976 unntak)

16 Komponenter i Komponenter: Preprocessor (Ersatz) Gjenkjenner tall, epostadresser osv. Skiller ut skilletegn,. : ) Behandling av ukjente ord Ord som mangler i leksikonet får en generell nominal type. Grammatikken i LKB-systemet Bygger et parse-chart av de ordene den får. Reglene (53 stk) bestemmer hvilke kombinasjoner som er mulige. 4 typer (roots) bestemmer hvilke trestrukturer som regnes for en parse.

17 Komponenter i Komponenter: Preprocessor (Ersatz) Gjenkjenner tall, epostadresser osv. Skiller ut skilletegn,. : ) Behandling av ukjente ord Ord som mangler i leksikonet får en generell nominal type. Grammatikken i LKB-systemet Bygger et parse-chart av de ordene den får. Reglene (53 stk) bestemmer hvilke kombinasjoner som er mulige. 4 typer (roots) bestemmer hvilke trestrukturer som regnes for en parse.

18 Komponenter i Komponenter: Preprocessor (Ersatz) Gjenkjenner tall, epostadresser osv. Skiller ut skilletegn,. : ) Behandling av ukjente ord Ord som mangler i leksikonet får en generell nominal type. Grammatikken i LKB-systemet Bygger et parse-chart av de ordene den får. Reglene (53 stk) bestemmer hvilke kombinasjoner som er mulige. 4 typer (roots) bestemmer hvilke trestrukturer som regnes for en parse.

19 Komponenter i Komponenter: Preprocessor (Ersatz) Gjenkjenner tall, epostadresser osv. Skiller ut skilletegn,. : ) Behandling av ukjente ord Ord som mangler i leksikonet får en generell nominal type. Grammatikken i LKB-systemet Bygger et parse-chart av de ordene den får. Reglene (53 stk) bestemmer hvilke kombinasjoner som er mulige. 4 typer (roots) bestemmer hvilke trestrukturer som regnes for en parse.

20 Oversikt 1 2

21 Leipzig-korpuset Leipzig-corpuset ( setninger) Tekster hentet fra internett. 10% er nynorsk, noe er dansk eller svensk. Mellom 20 og 30% kan ikke regnes som grammatisk norsk. er testet på de 1000 første setningene. Grammatikken parser 28% av setningene.

22 Wikipedia-artikkel Wikipedia-artikkel om operativsystemer (219 setninger) Alt er grammatisk norsk. Grammatikken parser 71 av setningene (32.4%) analyser for hver setning. 16 av setningene som er parset har ikke fått korrekt analyse (22.5%). 25.1% av setningene i artikkelen får korrekt analyse.

23 Statistikk fra Wikipedia-artikkelen operativ Coverage Profile total distinct total overall Aggregate items analyses results coverage % 65 i-length < i-length < i-length < i-length < i-length < i-length < i-length < i-length < i-length < i-length < Total (generated by [incr tsdb()] at 29-nov-2006 (18:39 h))

24 Utfordringer Utfordringer for grammatikken: Lange setninger: Større mulighet for at noe går galt. Kan være svært tvetydige. Med en begrensning på noder i et chart, blir sjelden setninger med mer enn 20 ord parset. Parsene blir ikke ranket. Ukjente ord opphav til mye tvetydighet. Manglende syntaktiske analyser.

25 Planer Planer for grammatikken: Integrere en tagger. Mer presis behandling av ukjente ord. Parseren vil bli mer effektiv. Tilpasse grammatikken til Norsk Ordbank når den gjøres fritt tilgjengelig. Lage en trebank (5000 setninger) som kan brukes som grunnlag for en statistisk modell som rangerer analysene. Fortsette å korrigere manglende syntaktiske analyser.

26 gir riktig analyse av 25% av setningene i en Wikipedia-artikkel. Lange setninger er hovedgrunnen til at ikke fler setninger blir analysert. Dette kan forbedres hvis en integrerer en tagger og forbedrer analysene.

27 Instruksjoner for nedlasting av finnes på denne siden, sammen med en kort presentasjon av grammatikken: petter.haugereid/norsyg.html er tilgjengelig under LGPL-lisensen.