Status for Språkbanken satsingsområde framover. Kristin Bakken 6. juni 2011

Transkript

1 Status for Språkbanken satsingsområde framover Kristin Bakken 6. juni 2011

2 Status Kva var måla i fjor? 1. NST-ressursane 2. Leggje inn nokre etablerte ressursar 3. Lyse ut midlar for å få laga nye ressursar

3 1. NST-ressursane Dei digitale ressursane inneheld: 1. Leksikalske databasar (inkl. verktøy) 2. Talemateriale 3. Tekstmateriale

4 Mål for NST-ressursane Leggje opent ut alt vi har løyve til å leggje ut Heller leggje ut meir enn mindre i første omgang Invitere brukarane til å hjelpe oss med å sortere og vidareutvikle Tekstressursane førebels ikkje lagde ut

5 Vegar vidare frå desse ressursane? Leksikalske ressursar Kvantitativ påbygging? Dvs. fleire ord? Nynorsk? Kvalitetssikring? Færre feil? Lenkemoglegheiter? T.d. frå fonetisk transkripsjon til lyd eller til Norsk ordbank

6 Oppsummering NST Har tatt lang tid å få dei på plass No er dei sikra for offentlegheita Lettare tilgjengelege per dato enn opp til no Eitt utgangspunkt for Språkbanken Vi håpar på brukarinitiert vidareutvikling!

7 2. Eksisterande ressursar Har arbeidd langs tre spor 1. Norsk ordbank ved UiO/ILN og Språkrådet 2. Norsk aviskorpus ved UniComputing 3. Talemålskorpuset Rundkast ved NTNU

8 Norsk ordbank: status Avtale i hovudtrekk klar Språkbanken skal få distribuere gratis ILN og Språkrådet beheld opphavsrett/eigedomsrett Språkbanken betaler for drift og oppdatering Språkbanken får lov til å vidareutvikle Norsk ordbank viktig for vidareutvikling og samankopling av leksikalske ressursar, t.d. ordnettet

9 Norsk ordbank: moglege vegar vidare Norsk ordbank Kvantitativ utviding fleire ord Fleire informasjonskategoriar? Oppkopling til andre ressursar Sjå leksikonet i NST og Norsk ordbank under eitt Kopling harmonisering?

10 Norsk aviskorpus: status Semje med UniComputing: vi ønskjer ein avtale Intensjonane: Språkbanken distribuerer data Språkbanken kostar drift og oppdatering Språkbanken kostar eventuell vidareutvikling Men: Kva seier avisene til dette?

11 Norsk aviskorpus: moglege vegar vidare Kvalitetssikring, t.d. utelukking av dublettar, sjekk av xml-koding, metadata, fjerning av boilerplate og sideskiftkonvertering Konvertering og tilrettelegging av materiale frå Rensking og oppgradering til nytt format Generering av n-gram Tilleggstekster, t.d. frå Nasjonalbiblioteket

12 Rundkast: status Rundkast: NTNU-finansiert og -utvikla talekorpus basert på nyhendeprogram frå NRK NTNU ønskjer at dette blir lagt inn i Språkbanken Dialog med NRK om rettar Har fått OK frå NRK til å formidle til forskingsformål Møte med NRK 21. juni om å få utvida bruksvilkåra og utarbeidd avtale

13 Rundkast: moglege vegar vidare Kvantitativ utbygging (t.d. andre sjangrar, som reklamefinansiert radio, TV-sendingar) Større volum, detaljert fonetisk transkripsjon (gullstandard) Meir nynorsk- eller dialektinnhald

14 3. Utvikling av nye ressursar 2010 lyst ut eit prosjekt om å få laga eit norsk ordnett for Språkbanken Forenkla anbud Kaldera språkteknologi AS gjer jobben Lars Nygaard vil presentere prosjektet kl 15:30

15 Annan aktivitet i Tre infrastruktursøknader til NFR CLARINO ein nasjonal infrastruktursøknad NB skal stå for langtidslagring NB skal utarbeide metadatastandard LIA UiO-leidd infrastruktursøknad NB skal digitalisere lydband INESS UiB-leidd infrastruktursøknad NB skal levere tekst - blir presenterte nærare kl. 1100

16 Litt meir om metadatarbeidet Nasjonalt arbeidsmøte i august Etablert kontaktar med Sverige, Danmark og Finland der tilsvarande arbeid skjer Utveksling av skriftlege forarbeid Fellesnordisk workshop 30. september i Finland Språkbanken må ha metadata det må òg CLARINOnettverket ha

17 NBdigital og Språkbanken Nasjonalbiblioteket digitaliserer tekst No bøker digitaliserte. Med ord pr bok gir det eit korpus på 19 milliarder ord av desse bøkene/dokumenta er fritt nedlastbare som pdf Korleis nytte ut denne gigantiske ressursen til språkteknologiske formål? Er meldt inn frå mange kantar som eit høgt prioritert ønske til Språkbanken

18 To utfordringar 1. Rettigheiter. Men vi har: Tekst som er fallen i det fri Tekst med avtaler som opnar for bruk til språkteknologiformål òg kommersiell bruk Tekst produsert av det offentlege ( 9) 2. Kvaliteten på den elektroniske teksten OCR-lesen tekst, òg det digitalt avleverte (jf. pdf) Dvs. ikkje feilfri tekst

19 Etablere ein tekstbank Leggje ut tekst frå NBdigital som fritt kan brukast til språkteknologiformål Rein tekst? Invitasjon til å utvikle metodar for autokorrektur Vil samstundes arbeide for å forbetre OCR-lesinga Etter kvart håper vi at dette kan tene som ein forsyningsstad for korpusbyggjarar

20 Nye prosjekt: innspel 1. Transducer-basert morfologisk analysator Multitagging Ordformsgenerering ved maskinomsetjing Grunnlag for morfologisk intelligent automatisk orddeling ein god stavekontroll for t.d. OpenOffice Andre applikasjonar på høgare nivå (taggar, talesyntese, grammatikkontroll, osb.) føreset ein morfologisk analysator Utarbeiding av meir tolerante taggarar til analyse av tekst med eldre eller unormert rettskriving

21 Nye prosjekt: innspel 2. Føringsgrammatikk for norsk vidareutvikling av OB-taggaren Forbetra morfologisk disambiguering av nynorsk Forbetre syntaktisk analyse for nynorsk og bokmål Dependensanalyse for nynorsk og bokmål Utvikle eit trenings- og testkorpus for å lage parsaren (1,2 mill ord)

22 Nye prosjekt: innspel 3. Parallellkorpus Kome inn meir generelle ønske om dette Er etablert eit prosjekt ved UiO Arbeide for å leggje ut parallelle klarerte tekster i Språkbanken Lyse ut midlar til parallellføring?

23 Nye prosjekt 4. Vidareutvikle eksisterande ressursar Norsk aviskorpus peikar seg ut Klart definert behov for oppgradering, vidareutvikling Rimeleg investering som vil gjere ein stor, flott ressurs vesentleg betre

24 Nye prosjekt Vi ønskjer respons på dette!

25 Arbeidsplan vidare Utlysing av nye prosjekt (eitt innan 1.7, eitt eller to nye før 1.12) Leggje inn Norsk ordbank, Norsk aviskorpus og Rundkast, ferdigstille avtalene om distribusjonsvilkår Metadataarbeid i tråd med CLARIN Arbeide vidare med distribusjonsteknologi og -vilkår Utarbeide system for versjonering, tilbakeføring og deponering Utarbeide ein norsk BLARK Realisere ein tekstbank og få lagt ut fri tekst Samle inn og klarere eksisterande ressursar for distribusjon

26 Informasjon! Inntil sist veke: ingen ressursar eller funksjonalitet å informere om Leggje ein informasjonsplan: Kvar bør vi vere synlege? Korleis bli meir synlege?

27 Takk til alle som har hjelpt til og vore velviljuge og tolmodige! Vi ønskjer å realisere ein språkbank som svarer til fagmiljøa sine behov Behova må meldast Ressursane må utviklast i fagmiljøa Vilje til å dele Hugs: Språkbanken er ei finansieringskjelde for slik utvikling