IT-verktøy i infrastrukturprosjektet LIA

Transkript

1 IT-verktøy i infrastrukturprosjektet LIA Kristin Hagen, Tekstlaboratoriet, ILN Usit-seminar 12. oktober 2017

2 LIA (Language Infrastructure made Accessible ) Femårig samarbeidsprosjekt mellom UiO, UiB, NTNU, UiT og Nasjonalbiblioteket Digitalisere og tilgjengeliggjøre talemålsopptak med norske og samiske dialekter Transkribere og annotere opptak av god kvalitet 2

3 Planlagt sluttprodukt Tre talespråkskorpus: ett for norsk, ett for Norsk i Amerika og ett for samisk i Tekstlaboratoriets søkeverktøy nye Glossa: Begge har Feide/eduGAIN/Clarin-innlogging En nedlastingsside: Originale wavfiler Transkripsjoner Her trenger vi en fildepotløsning helst med Feide/eduGAIN/Clarin-innlogging på grunn av personvern og avtale med NSD

4 IT-verktøy i prosjektet Noe utvikler vi selv (korpussøkeverktøy og translitterator, morfologisk annotator, talemålstagger og parser for norsk talemål nynorsk) Ellers: gratis programvare som er egnet for formålet Mangler: fildepot

5 Kort om arbeidsflyt og verktøy: Digitalisering og filutveksling NTNU, UiB, UiO og UiT sender gamle opptak på spolebånd og kassetter til Nasjonalbiblioteket i Mo i Rana NB digitaliserer opptakene og langtidslagrer dem Gjennom Box utveksler vi digitale lydfiler og transkripsjoner mellom Nasjonalbiblioteket og de fire universitetene

6 Kort om arbeidsflyt og verktøy: Metadata og transkripsjon Ikke-sensitive metadata om hvert enkelt opptak og hver enkelt informant registreres foreløpig i felles Googledokumenter. Konverteres til tsv-filer som kan importeres til korpusdatabasen eller til cmdi-format. Talemålsnær transkripsjon og korrekturlesing med transkripsjonsprogrammet ELAN fra The Language Archive, Max Planck Institute

7 7

8 8

9 Kort om arbeidsflyt og verktøy: Translitterering (1) De talemålsnære transkripsjonene blir translitterert halvautomatisk til nynorsk ved hjelp av Oslotranslitteratoren utviklet ved Tekstlaboratoriet Oslo-translitteratoren lager en alternativ transkripsjon fra en originaltranskripsjon. Kan bli trent på et hvilket som helst språk eller på en hvilken som helst dialekt. Er for eksempel brukt fra älvdalsk, amerikasvensk og estlandssvensk til standard svensk ortografi

10 10

11 Kort om arbeidsflyt og verktøy: Translitterering (2) Definere dialekt Laste opp transkripsjon Translitterere delfil Laste ned delfil og korrigere (uten lyd) Laste opp og trene Translitterere neste delfil Laste ned delfil og korrigere (uten lyd) Laste opp og trene OSV Sette sammen til ny ELAN-fil som korrekturleses

12 12

13 Kort om arbeidsflyt og verktøy: morfologisk tagging Skal trene statistisk talemålstagger for nynorsk. Foreløpig har vi treningsmateriale på ca ord laget ved å korrekturlese output fra Oslo-Bergen-taggeren i en morfologisk annotator laget ved Tekstlaboratoriet

14 14

15 Kort om arbeidsflyt og verktøy: Parsing Skal trene statistisk dependensparser for nynorsk talemål i samarbeid med IFI. Foreløpig har vi treningsmateriale på ca 1400 setninger i CoNLL-format Annoteres i TrEd, som er utviklet i Tsjekkia til utviklingen av The Prague Dependency Treebank

16 Kort om arbeidsflyt i LIA 2 Opptakene blir transkribert talemålsnært ved de fire universitetene Transkripsjonene blir korrekturlest De talemålsnære transkripsjonene blir translitterert halvautomatisk til nynorsk ortografi og rettes manuelt De ortografiske transkripsjonene blir korrekturlest Foreløpig har UiO og spesielt Anneke - stått for translittereringen. Tor Erik skal lese korrektur. à Må starte med translitterering og korrekturlesing i større skala snart!

17 Kort om arbeidsflyt og verktøy: Konvertering av lyd- og bildefiler Alle wav-filer konverteres til mp3-filer som skal brukes i korpuset. Vi bruker for tida Audacity. Alle videofiler konverteres til mp4. Vi bruker Adobe Media Encoder

18 Nye Glossa Lydnære og ortografiske transkripsjoner skal til slutt inn i nye Glossa sammen med metadata og lyd/bilde Hovedutvikler: Anders Nøklestad Finansiering: Clarino Åpen kildekode

19 19

20 20

21 21

22 22