Speech Corpora. Janne Bondi Johannessen 4. December 2008 Uppsala University

Transkript

1 Speech Corpora Janne Bondi Johannessen 4. December 2008 Uppsala University Corpus linguistics - often equals written language linguistics Corpus linguistics has become - for the languages where such resources exist - the way of doing linguistics Field work without leaving the arm chair Fact: The vast majority of corpora (for any language) contain written language Danger: Generalizations about language become generalisations about written language 1

2 Example of speech corpus 2

3 Written vs. spoken language WRITTEN LANGUAGE Highly controlled Full sentences Follows well-known norms Monologue One of main purposes: description Can describe feelings, but rarely expresses feelings SPOKEN LANGUAGE Spontaneous Repetitions and interruptions Innovations Dialogue/polylogue One of main purposes: communication Can express feelings Example 1 of study using speech corpora: Looking for language expressing emotions 3

4 Challenges: Find texts that express rather than describe emotions Difficult to obtain: Legal considerations (written consent necessary) Practical considerations (how be a fly on the wall) Ethical considerations (how justify using private material) Find a suitable selection of emotions Plutchik s basic set: Acceptance, anger, anticipation, disgust, joy, fear, sadness, surprise. The Big Brother Corpus The first season of the television show Big Brother. The first ones were not overtly exhibitionistic or playing to the TV audience. The show is full of situations with basic emotions The corpus is useful for linguistic and language technological purposes, but also for psychologists and sociologists. Problems with the corpus the range of informants is very narrow: only young adults in their twenties and thirties without higher education. The director of the show compiled footage in a way that might give a false picture of the situations. 4

5 The NoTa-Oslo Corpus Advantages Many and varied informants: 170 informants carefully chosen sociolinguistic variables (age, gender, education, place of dwelling, of birth, and of childhood, occupation, but not name). different relationships: parent-child, spouses, friends, etc. Different, controlled situations: Two, maximally differentiated A semi-formal interview with the RA A comfortable, laid-back conversation (dialogue) with one other informant (often to the extent that they talk about forbidden topics) Disadvantages The range of emotions is not as wide as with the Big Brother Corpus. The Norwegian legislation require a high level of anonymity and security (to the extent that this is possible when they appear on sound and video). The topics that are talked about must be safe : lists of informants s names and addresses have had to be destroyed. Advantage: The TAUS corpus Representative selection of informants years old Disadvantage Only formal interviews 5

6 A screen shot of the NoTa-Oslo results page Test case: swear words Search for swear words in Norwegian, Swedish and Danish corpora Compare results in spoken and written corpora Are both types equally suited to study emotions? 6

7 Big Brother Corpus words 278 occurrences of faen Oslo Corpus of Tagged Norwegian Texts words 174 occurrences of faen = 0,19 % of all words = 0, 0009 % of all words The swear word occurs 211 times more often in the speech corpus than in the written language corpus 7

8 Gothenburg Spoken Language Corpus Novels words words 39 occurrences of faen 1 occurrence of faen = % of all words of all words The swear word faen (devil) is 120 times more frequent in the spoken than in the written language corpus BySoc KorpusDK words words 251 occurrences of fanden 1152 occurrence of fanden = % of all words of all words The swear word fanden occurs 9 times more often in the speech corpus than in the written language corpus. 8

9 Anger The utterance below is uttered by a young woman as she is going into the shower, and she is annoyed with one of the young men, who is teasing her by standing naked just in front of her: Dø, kutt ut a for faen. Nå er jeg trøtt og nå er jeg sur og nå sa jeg det. (you cut out then for devil now am I tired and now am I sour and now said I it) ( Hey f.. you, cut it. Now I m tired, and now I m annoyed, and now I ve said it. ) Uttered by Rebekka, 27 Surprise Below, a young girl twice expresses surprise that the person she talks to did not sleep in a hotel. 090 jeg sov bak i bussen (I slept behind in the bus) 089 hadde du ikke hotell? (Did you not have a hotel room?) 090 nei # jeg sov sånn derre litt her og litt der og (No, I slept a bit here and a bit there) 089 hæ jeg trodde du hadde hotell jeg (what I thought you had hotel I) ( What! I thought you had a hotel room! ) Uttered by 089: a young girl, 18, talking to 090: young man, 18. 9

10 Acceptance 007 og da så jeg alle som kom inn # m da ## da fikk jeg med meg ganske mange kostymer (And then I saw everybody who wanted to come in - I got to see quite a few costumes.) 008 * mm ( I agree.) 007 jeg syns det var morsomt med de guttene som var gresskar jeg # for de var sånn seks stykker eller sånn (I really liked the blokes that were pumpkins) 008* mm (I agree.) Two young women are having a very friendly conversation, where one is eagerly telling the other about how she got to see all the participants in a costumes ball. Affection 132 [laughing-] man må ta hensyn vet du [-laughing] (You have to be considerate, you know) 131 [laughter] 132 kan oppstå situasjoner forstår du # (Situations can arise, you see) men nå skal ikke du tigge # nei ## [laughter] (But you mustn t beg, no) [laughing-] åssen går det med [-laughing] katta di da? (How s your cat?) Uttered by 132: a woman, 52, to dog while talking to 131: a woman,

11 Speech corpora Are often thought to be most useful for Sociolinguistic research Discourse analysis Phonological research But... Some recent research using a speech corpus Janne Bondi Johannessen og Kristin Hagen (red.): Språk i Oslo. Ny forskning omkring talespråk. Novus forlag 2008, Oslo. ISBN:

12 o Ruth Vatvedt Fjeld (UiO): Talespråksforskningens betydning for leksikografien Talespråksord mangler i ordbøkene: Herre, men ikke derre Ikke loka, lættis toalettpapir, klosettpapir, men ikke dasspapir, dassrull o Betydningsspesialisering --- det gjør jo automatisk at hvis alt går i dass da så oi jeg sølte (uforståelig) # (stønning) # jeg er helt dass i øya o Betydningsutvidelse skikkelig a2 (fra lty) bra, god, ordentlig ha s-e klær / få s- betaling / s-e folk / adv: oppføre seg s- den smakte skikkelig # forferdelig Toril Opsahl, Unn Røyneland og Bente Ailin Svendsen (UiO): Syns du jallanorsk er lættis, eller? om taggen [lang=x] i NoTa-Oslo-korpuset o Hva slags ord finnes i korpuset som ikke finnes i ordbøkene? o Hvilke befolkningsgrupper bruker mest unormerte ord? o Er det forskjeller? o Gutter fra østre deler av Oslo er mest kreative i dette nyordsperspektivet. 12

13 Kjell Ivar Vannebo (UiO): NoTa-informantene og tellemåten Gammel tellemåte: treogtredve Ny tellemåte: trettitre Det er over femti år siden den nye tellemåten ble innført. 1950, enstemmig i Stortinget, intitiativ fra Telegrafverket Eneste gang en normering for talemål har funnet sted for norsk Hva kan man konkludere med grunnlag i NoTa-korpuset? Reformen har vært vellykket, selv om andre har hevdet det motsatte! år: 99 % ny tellemåte år: 49 % 51+ år: 32 % Øystein Alexander Vangsnes (UiT): Omkring adnominalt åssen/hvordan i Oslo-målet hvordan poker var det du spilte da? åssen bikkje er det men-...? Åssen er mer brukt i Oslo Rest enn i Oslo Vest Adnominalt åssen er vanligere enn adnominalt hvordan Adnominalt åssen er uvanlig blant folk med høy utdanning Betydningen til adnominalt åssen: Egenskap Eksemplar Åssen bil kjøpte ru a? En rød en. åssen topp? ja e på ballen... på toppen av ballen 13

14 Janne Bondi Johannessen (UiO): Psykologiske demonstrativer o jo jeg var jo på, på Ammerudhjemmet, og da så satt hun dama som jeg snakka om som var snart hundre år (Dame, 80, Grorud, Oslo) o men hva med han derre m leste du om han derre han tyskeren som hadde kuttet av utstyret på en fyr og spist det (Mann, 18, Vestre Aker) En ny type demonstrativ De vanlige (den, denne) Geografisk avstand nær, fjern De nye (han, hun) psykologisk distanse The 3sg personal pronouns han/hun (he/she) used as a demonstrative determiner NoTa Oslo Speech Corpus Oslo Corpus of Tagged Norwegian Texts words words 231 han/hun as demonstratives 60 han/hun demonstratives = 0, 026 % of all words = 0, 0003 % of all words as I.e.: The demonstrative han/hun is 87 times more frequent in the spoken material 14

15 Svein Lie (UiO): Veldig sånn festejente Nye betydninger av veldig og sånn veldig brukt med substantiv man oppfatter et bestemt trekk eller egenskap ved substantivet, som så kan graderes. Sånn et ekstremt vanlig talespråksord, har mange viktige bruksbetingelser å signalisere høflighet! Gjert Kristoffersen (UiB) og Hanne Gram Simonsen (UiO): Osjlo! En undersøkelse av sl-sekvensen i NoTa-korpuset Apikal, bakre, uttale eller fremre uttale av <sl>? 3477 belegg av <sl> Fremlyd: over 99,6 % bakre uttale Innlyd: 68 % bakre uttale Ordet Oslo: 84,4 % bakre uttale (inkludert alle de unge) 15

16 Elisabet Engdahl (GU): Frågor i NoTa o Spørsmålsformuleringer ja/nei-spørsmål Ekkospørsmål o han sa måtte pappa måtte fikse det # for det han har installert det o installert hva da? (Ekkospørsmål) Spørsmål med deklarativ ordstilling o du har ikke vært der du heller nei? o bruksbetingelser o NoTa-korpuset som forskningsverktøy hvordan transkribørene har annotert spørsmålene hvordan korpuset fungerer. Inger Margrethe Hvenekilde Seim (UiO): Innhold og struktur i en samtale mellom to ungdommer i et flerkulturelt miljø i Oslo To gutter med innvandrerbakgrunn i en timelange samtale. Hvordan forløper samtalen? Hvordan tas emner opp? Emnet etnisitet Egen gruppetilhørighet Hverandres gruppetilhørighet Andres gruppetilhørighet 16

17 Jan Svennevig (BI/UiO): Ikke sant som respons i samtale Sammenligning av flere små, eldre samtalekorpus og NoTa-korpuset ikke sant brukt som respons har økt fra null i 1994 til en tredel av alle forekomster i mest vanlig blant yngre mennesker. flere betydninger for uttrykket brukt som respons felles for dem er at det brukes som bekreftelse på noe som er sagt i samtalen. Kan virke ganske irriterende på samtalepartneren, og Svennevig forklarer hvorfor. Lars-Olof Delsing (LU): Viskningar och rop eller hur vi undrar och förundras o Ordstillingen og ordene som er brukt i utrops- og undringskonstruksjoner. Så du har vackra rosor! (f.svensk) Så vakre roser du har! (norsk) Vad/så många slipsar du har! (svensk) Så mange slips du har! (norsk) o En enorm variasjon mellom de skandinaviske språkene. Men likevel en del generaliseringer. 17

18 Gunnar Hrafn Hrafnbjargarson (UiO/UiT): Substantiverte adjektiv: Det er verste jeg har hørt o Nakne superlativer : En forholdsvis ukjent konstruksjonstype o Svakt bøyd, men mangler artikkel, o Ligner på utbryting, men er det ikke det er bare fugler som kan fly det er eneste som er minuset syns jeg da o Dette er ikke utbrytinger, slik de tilsynelatende kan se ut Det som kan fly er bare fugler * Det som er minuset synes jeg er eneste o men er faktisk en type ikkereferensiell, substantivert predikativ. Marit Julien (LU): Så vanleg at det kan ikkje avfeiast om V2 i innføyde setningar. Ordstillingen i underordnede setninger Men det som Så jeg bare sier er er at han kan ikke lage sanger. at det kan jeg ikke gjøra. Hva slags betingelser er mulige? Det ikke spiller noen direkte rolle hva slags verb som innleder at-setningen. Det som teller, er utelukkende semantikk: at-setningen må være hevdet. *Men jeg tviler på at slike konserter hjelper faktisk mot volden. 18

19 Mari Nygård, Kristin M. Eide og Tor A. Åfarli (NTNU): Ellipsens syntaktiske struktur Lydløse ord. Uuttalte, lydløse eller stumme ord. Ellipse. fikk ikke lov å herje som vi ville. nei jeg var vel en ti-tolv år tenker jeg, så var ikke så gammal... Ikke noen allmenn forståelse blant språkforskerne om fenomenet ellipse. Noen: det som ikke er uttalt, finnes heller ikke. Nygård, Eide og Åfarli: ellipse er like eksisterende i språket som de ordene vi faktisk hører. de tilsynelatende stumme ordene kan bare forekomme i klart definerte kontekster, og ikke er tilfeldig spredt rundt omkring. Fredrik Jørgensen (UiO): Automatisk gjenkjenning av ytringsgrenser i talespråk Talespråket er en utfordring som må løses for at man siden skal kunne analysere talespråkets grammatikk automatisk. Skriftspråk er tydelig avgrenset ved tegnsetting, Transkribert talespråk er ikke inndelt på noen enhetlig måte, så her må det nytenkning til. Viktig å utvikle automatiske metoder for å finne ytringsgrenser i NoTa-korpuset, Noen foreløpige tall viser hvor vellykket det har blitt. 19

20 Peter Juel Henrichsen (KU): NoTa nu med lydskrift Å lage norsk lydskrift av norsk ortografisk transkripsjon på, ved å gå via dansk! Systemet NoTaFon Utnytter at NoTa-korpuset er grammatisk tagget med ordklasser og bøying noen enkle ordlister over de vanligste ordene som er mest forskjellige på dansk og norsk. Får automatisk laget norske tekst om til dansk tekst I dansk kan han så bruke et system som finnes fra før for å gå fra ortografi til lydskrift. Setter opp noen enkle regler for hvordan dansk og norsk lyd skiller seg fra hverandre (bløte og harde konsonanter, for eksempel), Får et automatiske system fra dansk lydskrift til norsk lydskrift! Åshild Søfteland og Anders Nøklestad (UiO): Manuell morfologisk tagging av NoTa-materialet med støtte fra en statistisk tagger Talespråk er fullt av gjentakelser, avbrudd og pauser Derfor vanskelig å bruke eksisterende analysemetoder, f.eks. Tagger Alternativ: Lage en statistisk tagger for talespråk: Begynn med å tagge en del av teksten manuelt; dette blir det første treningskorpuset Tren taggeren på treningskorpuset Kjør taggeren på en ny del av teksten Rett opp feila som taggeren har gjort Legg den oppretta teksten til treningskorpuset Gå til punkt 2 Metode: Treetagger. Resultat: 96,9 % korrekt. 20

21 Victoria Rosén (UiB): Mot en trebank for talespråk Diskuterer viktigheten av å ha en samling av syntaktisk annoterte setninger Viktig for språkteknologisk utivkling Viktig for språkteknologisk evaluering Vanskelig med syntaktisk annotering av talespråk En løsning: å foreta manuell for-redigering for senere automatisk analyse Janne Bondi Johannessen: Oslospråket i tall 21

22 Øst og vest: Elva eller elven, avisa eller avisen, gata eller gaten, boka eller boken, tida eller tiden, sola eller solen? Øst og vest: Diftonger blei eller ble? 22

23 Øst og vest: Kløyvd infinitiv Væra eller være? (antall forekomster) Kløyvd infinitiv i prosent: væra i prosent av alle ganger verbet brukes i begge former i øst og vest 23

24 Kjønn: tida eller tiden? (Prosent, kjønnsvis) Kjønn: Kløyvd infinitiv (gjøra eller gjøre) 24

25 Alder: Substantiver på -a (kona, gata) Skrift og tale: derre + substantiv (NoTa-korpuset og Oslo-korpuset av taggede, norske tekster) 25

26 Tale og skrift: åssen og hvordan Types of speech corpora Resentative corpora NoTa Oslo speech corpus (collected in ) GSLC (Swedish, collected continously) BySoc (Danish, collected 1987) BNC (British English, collected 1990s) TAUS (Oslo speech, collected 1970s) Skewed corpora Nordic dialect corpus (2007-9) Big Brother Corpus 26

27 How to create a speech corpus Collect speech (and video) Digitize speech (and video) Transcribe standard orthography phonetic script Annotate grammatically Put together transcription(s), sound files, video, grammar in a searchable system Make a database of metadata Make a search interface Collect speech 27

28 Decide on informants NoTa Oslo 166 informants Equally distributed w.r.t. age, gender, place, education Nordic Dialect Corpus Goal: 400 informants from Norway (NorDiaSyn) Goal: 128 from Sweden and Finland (Swedia 2000) Goal: 50 from Denmark (DanDiaSyn) Four informants from each measure point Requirements: One male and one female under 30 years One male and one female over 50 years Reveals possible diachronic changes Reveals possible gender differences Each informant: Must speak the local dialect Must have little or no education Must have grown up and have lived at the measure point most of his or her life attitude to own dialect Speech type: Formal interview One informant interviewed by the research assistant Duration: 10 minutes Questions about topics such as childhood and place of residence Video-recorded Transcribed later 28

29 Speech type: Informal conversation Two informants from the same measure point speak freely for 20 minutes An informal setting with refreshments The informants cannot talk about sensitive and confidential information A list of topics is presented to the informant Video-recorded Transcribed later 29

30 Transcribe phonetically. Tool: Transcriber or other Is it necessary to have two transcriptions? o Phonetic transcription can uncover features that standard ortography hides. gives the researcher a visual picture of language. o Standard orthographic transcription o Makes corpus easily searchable o Search for det rather than de, dæ, di, da...) o Makes it easy to develop language technology for the corpus o Search for verb followed by preposition o More readable results o Not so readily readable: [sukking] ee njei je vet fakktisk itte rikkti je de ær klart de æ mannge minner +[pron=uklart] # de ær de å # ee [sukking] je vætt ee ja +[pron=uklart] [kremting] 30

31 From phonetic to ortographic transcription Semi-automatic translation from phontic to ortographic transcription 31

32 Translated transcription Resulting file Result after: phonetic transcription translation to orthographic transcription tagging og_[ å "og" konj] han_[ hann "han" pron_mask_ent_pers_hum_3_nom] e_[ ee "e" interj_fyll] og_[ å "og" konj] han_[ hann "han" pron_mask_ent_pers_hum_3_nom] E3_[ E3 "E3" subst_prop] #_[ # "#" pause] han_[ hann "han" pron_mask_ent_pers_hum_3_akk] var_[ va "være" verb_pret] sånn_[ sånn "sånn" sånn] matrialforvalter_[ matrialførrvalltar "matrialforvalter" subst_appell_mask_ub_fl] der_[ dær "der" prep] 32

33 Tools Transcriber for transcription Sound and picture:.wav og.mov-format Transliterator: from one transcription standard to another Grammatical tagger for spoken language Internet search system: Glossa Big Brother Web pages The British National Corpus: BySoc Gothenburg Spoken Language Corpus: Nordic Dialect Corpus Norwegian Speech Corpus (NoTa) TAUS Speech Corpus The Text Laboratory 33