Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse

Transkript

1 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Jon Øygarden Program for audiografutdanning Avdeling for helse- og sosialfag Høgskolen i Sør-Trøndelag 17. April

2 3 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Hvorfor prediktere taleoppfattelse Talesignalets akustikk Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Speech Transmission Index (STI) SII vs. STI Common Intelligibility Scale (CIS) 4 2

3 STI for et auditorium elendig dårlig brukbar god utmerket Steeneken and Houtgast, 22, Basics of the STI measuring method, i Past, present and future of the Speech Transmission Index, TNO 5 AI anvendt for å vise gode forhold for kommunikasjon eller fare for overhøring 6 3

4 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Talesignalets akustikk Talesignalet som funksjon av tid Hvordan Napoleons overopphetede kanoner i Egypt kan hjelpe oss til å analysere talesignalet Langtids gjennomsnitt talespekter (LTASS) Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Speech Transmission Index (STI) SII vs. STI Common Intelligibility Scale (CIS) 7 Tale som funksjon av tid Trykkendinger omkring atmosfæretrykket Tid 8 4

5 å-lyd i som 9 i-lyd i tid 1 5

6 s-lyd i som 11 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Talesignalets akustikk Talesignalet som funksjon av tid Hvordan Napoleons overopphetede kanoner i Egypt kan hjelpe oss til å analysere talesignalet Langtids gjennomsnitt talespekter (LTASS) Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Speech Transmission Index (STI) SII vs. STI Common Intelligibility Scale (CIS) 12 6

7 Jean Baptiste Joseph Fourier March 21, 1768 May 16, 183 Fransk matematiker og fysiker Anvendte Fourier serier for å beskrive varmeledning i varme stoffer Denne metoden anvendes i dag for å finne frekvensinnholdet i lyder Fourier-transformasjon Wikipedia 13 Omtalt i Les Misèrables (De elendige) av Victor Hugo (1862) Il y avait à l'académie des sciences un Fourier célèbre que la postérité a oublié et dans je ne sais quel grenier un Fourier obscur dont l'avenir se souviendra. Det var en hedret Fourier ved Vitenskapsakademiet, som ettertiden har glemt, og i et bortgjemt kvistværelse en obskur Fourier, som fremtiden vil minnes. (min oversettelse) Part 1, Bok III, Kapitel I (Året 1817) Project Gutenberg 14 7

8 Omtalt i Les Misèrables (De elendige) av Victor Hugo (1862) Jean Baptiste Joseph Fourier (March 21, 1768 May 16, 183) Joseph Fourier (Google treff : 1 5 ) Il y avait à l'académie des sciences un Fourier célèbre que la postérité a oublié et dans je ne sais quel grenier un Fourier obscur dont l'avenir se souviendra. Det var en hedret Fourier ved Vitenskapsakademiet, som ettertiden har glemt, og i et bortgjemt kvistværelse en obskur Fourier, som fremtiden vil minnes. (min oversettelse) Part 1, Bok III, François Kapitel I Marie (ÅretCharles 1817) Fourier (7 April October 1837) Charles Fourier (Google treff: 157 ) Project Gutenberg Omtalt i Les Misèrables (De elendige) av Victor Hugo (1862) Jean Baptiste Joseph Fourier (March 21, 1768 May 16, 183) Drivhuseffekt Joseph Fourier (Google treff : 1 5 ) Il y avait à l'académie des sciences un Fourier célèbre que la postérité a oublié et dans je ne sais quel grenier un Fourier obscur dont l'avenir se souviendra. Det var en hedret Fourier ved Vitenskapsakademiet, som ettertiden har glemt, og i et bortgjemt kvistværelse en obskur Fourier, som fremtiden vil minnes. (min oversettelse) Part 1, Bok III, François Kapitel I Marie (ÅretCharles 1817) Fourier (7 April October 1837) Charles Fourier (Google treff: 157 ) Feminisme Project Gutenberg

9 En periode av en a-lyd målt i 1 punkter 17 En periode av en a-lyd målt i 1 punkter En periode av en 1 Hz sinus tone beregnet i 1 punkter 18 9

10 En periode av en a-lyd målt i 1 punkter En periode av en 1 Hz sinus tone beregnet i 1 punkter Hvert punkt i figurene over er multiplisert med hverandre 19 En periode av en a-lyd målt i 1 punkter En periode av en 1 Hz sinus tone beregnet i 1 punkter Hvert punkt i figurene over er multiplisert med hverandre De 1 produktene er summert Denne summen blir større jo mere lyden ligner på denne 1 Hz sinustonen 2 1

11

12 Tidsplan Frekvensplan 23 Tidsplan Frekvensplan 24 12

13 Tidsplan Frekvensplan 25 Tidsplan Frekvensplan 26 13

14 Tidsplan Frekvensplan 27 Tidsplan Frekvensplan 28 14

15 Frekvensspektrum Styrke 29 Frekvensspektrum Frekvensspektrum Styrke Styrke [db] Lineær skala Målinger i db gir en logaritmisk skala 3 15

16 Frekvensspektrum Frekvensspektrum Styrke Styrke [db] Lineær skala Målinger i db gir en logaritmisk skala Weber-Fechners lov Styrken på sanseopplevelsen er proporsjonal med logaritmen til stimulus Ernst Heinrich Weber (June 24, 1795 January 26, 1878) Gustav Theodor Fechner (April 19, 181 November 28, 1887), Fechner, G. T., Elemente der Psychophysik (186) 31 Frekvensspektrum Styrke [db] Tid [s] Tidsplan Frekvensplan 32 16

17 Matlab spekter i sann tid linspekter (log/okt/okt3-husk stopp før lukking av vindu) ltass 33 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Talesignalets akustikk Talesignalet som funksjon av tid Hvordan Napoleons overopphetede kanoner kan hjelpe oss til å analysere talesignalet Langtids gjennomsnitt talespekter (LTASS) Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Speech Transmission Index (STI) SII vs. STI Common Intelligibility Scale (CIS) 34 17

18 35 Inni er vi like! Det er ikke store forskjeller mellom LTASS for forskjellige språk, fordi fysiologien er lik

19 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Talesignalets akustikk Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Historikk Band Importance Functions Ulike frekvensområders betydning for taleoppfattelse Hvordan beregne SII Speech Transmission Index (STI) SII vs. STI Common Intelligibility Scale (CIS) 37 I seinere versjoner av standarden er navnet skiftet fra Articulation Index (AI) til Speech Intelligibility Index (SII) 38 19

20 JASA Første publikasjon om artikulasjonsindeks første dokument om artikulasjonsindeks Harvey Fletcher: An empirical theory of telephone quality. AT&T Internal Memorandum,11(6), October First document about the Articulation Index. Case 21131,report The only known copy is in Fletcher s archives, Brigham Young University,Provo UT. (UA29, Box 19 #2, MSS1233) Jont B. Allen, The Articulation Index is a Shannon Channel Capacity. i Auditory signal processing By Daniel Pressnitzer, Alain Cheveign, Stephen McAdams, Lionel Collet,

21 Harvey Fletcher Western Electric Bell Laboratories Høreapparat Audiometer/taleaudiometri Stereofonisk lydopptak Likelydskurver Kritiske bånd Artikulasjonsindeks Physics today June Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Talesignalets akustikk Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Historikk Band Importance Functions Ulike frekvensområders betydning for taleoppfattelse Hvordan beregne SII Speech Transmission Index (STI) SII vs. STI Common Intelligibility Scale (CIS) 42 21

22 functions Lett løpende tale Nonsens stavelser Kritiske bånd ligner på en logaritmisk frekvensskala, men er enda bedre tilpasset øret 43 functions Estimat lik betydning over flere kritiske bånd Gjennomsnitt av flere typer talemateriale 44 22

23 I ANSI S er det foreslått fire forskjellige inndelinger av frekvensområdet som har betydning for talen: 21 kritiske bånd er mest nøyaktig SII - Critical band procedure SII - Equally contributing procedure SII - 1/3 octave procedure SII - octave procedure I ANSI S er det foreslått fire forskjellige inndelinger av frekvensområdet som har betydning for talen: SII - Critical band procedure SII - Equally contributing procedure SII - 1/3 octave procedure SII - octave procedure /3 oktav bånd litt mindre nøyaktig

24 I ANSI S er det foreslått fire forskjellige inndelinger av frekvensområdet som har betydning for talen: 17 bånd med lik taleforståelighet enda mindre nøyaktig SII - Critical band procedure SII - Equally contributing procedure SII - 1/3 octave procedure SII - octave procedure I ANSI S er det foreslått fire forskjellige inndelinger av frekvensområdet som har betydning for talen: SII - Critical band procedure SII - Equally contributing procedure SII - 1/3 octave procedure SII - octave procedure oktav bånd minst nøyaktig 48 24

25 I ANSI S er det foreslått fire forskjellige inndelinger av frekvensområdet som har betydning for talen: SII - Critical band procedure SII - Equally contributing procedure SII - 1/3 octave procedure SII - octave procedure I ANSI S er det foreslått fire forskjellige inndelinger av frekvensområdet som har betydning for talen: /3 oktav bånd SII - 1/3 octave procedure /3 oktav bånd kombinerer god nøyaktighet med at dette er en standard som brukes i mye akustisk måleutstyr 5 25

26 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Talesignalets akustikk Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Historikk Band Importance Functions Ulike frekvensområders betydning for taleoppfattelse Hvordan beregne SII Speech Transmission Index (STI) SII vs. STI Common Intelligibility Scale (CIS) 51 SII ANSI1997 1/3-oct 8 speech spectrum band level [db] shout loud raised normal ref int noise /3 octave center freq [Hz] 52 26

27 SII ANSI1997 1/3-oct 8 7 Talen varierer ca. 15 db over og under LTASS speech spectrum band level [db] normal ref int noise LTASS normal styrke Høreterskelen kan uttrykkes 1/3 octave center freq [Hz] som støy 53 SII ANSI1997 1/3-oct 8 7 forvrengning speech spectrum band level [db] forsterkning og demping hørselstap og støy normal ref int noise /3 octave center freq [Hz] 54 27

28 SII ANSI1997 1/3-oct 8 7 forvrengning speech spectrum band level [db] forsterkning og demping Hørselstap og støy normal ref int noise Hvor stor andel av LTASS db som når fram til lytteren sier noe om mulighet for taleoppfattelse, men det må vektes ut fra viktigheten av de forskjellige frekvensområdene SII beregning: 1. Velg beregningsmetode 2. Spesifiser 1. Ekvivalent talespektrum nivå 2. Ekvivalent støyspektrum nivå 3. Ekvivalent høreterskel nivå 3. Beregn ekvivalent maskerings spektrum nivå For hvert frekvensbånd 1. Bestem talens egenmaskering 2. Velg den største verdien av talens egenmaskerings nivå (3.1) og støyens nivå (2.2) 3. Beregn helningen på oppover spredning av maskering 4. Beregn maskerings nivået fra 3.2 og Beregn internt støy spektrum nivå hørselstap (2.3) 5. Bestem forstyrrings spektrum nivå på bakgrunn av den største verdien fra 3 og 4 6. Beregn nivå forvrengningsfaktor av Beregn bånd hørbarhetsfunksjon 1. Beregn forløpig bånd hørbarhetsfunksjon fra 2.1 og 5 2. Beregn endelig bånd hørbarhetsfunksjon fra 6 og Beregn SSI Speech Intelligibility Index fra 7.2 og Band Importance 56 Function 28

29 SII beregning: 1. Velg beregningsmetode 2. Spesifiser 1. Ekvivalent talespektrum nivå 2. Ekvivalent støyspektrum nivå Noe forenklet: 3. Ekvivalent høreterskel nivå 3. Beregn ekvivalent maskerings spektrum Hvor stor nivå del For av hvert frekvensbånd 1. Bestem talens egenmaskering LTASS db 2. Velg den største verdien av talens når egenmaskerings fram til nivå (3.1) og støyens nivå (2.2) lytteren uten at 3. Beregn helningen på oppover spredning det maskeres av maskering av 4. Beregn maskerings nivået fra 3.2 og støy 3.3 og vektet etter frekvensområdenes 4. Beregn internt støy spektrum nivå hørselstap (2.3) viktighet for taleoppfattelse 5. Bestem forstyrrings spektrum nivå på bakgrunn av den største verdien fra 3 og 4 6. Beregn nivå forvrengningsfaktor av Beregn bånd hørbarhetsfunksjon 1. Beregn forløpig bånd hørbarhetsfunksjon fra 2.1 og 5 2. Beregn endelig bånd hørbarhetsfunksjon fra 6 og Beregn SSI Speech Intelligibility Index fra 7.2 og Band Importance 57 Function Forventet skår for ulike typer talemateriale Kjente setninger Nonsens stavelser 58 29

30 En svakhet med SII standardmetode: Den tar ikke hensyn til etterklangen! Det finnes en spesialmetode i ANSI S som tar hensyn til både etterklang og støy, men STI er en mere anvendt metode Laukli, romakustikk 59 En svakhet med SII standardmetode: Den tar ikke hensyn til etterklangen! Etterklangstid: Et mål på akustikken i et rom. Man måler hvor lang tid det tar fra en lyd skrus av til den er blitt 6 db svakere (måles i sek) Signal-støy forhold: Laukli, romakustikk Differansen mellom nivået på talen og nivået på støyen i db. Positivt tall talen er sterkest Negativt tall støyen er sterkest. (Engelsk: Signal-to-noise ratio Forkortes SNR) 6 3

31 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Talesignalets akustikk Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Speech Transmission Index (STI) Historikk Envelope spektrum Hvordan måle og beregne STI Forskjellige typer STI SII vs. STI Common Intelligibility Scale (CIS)

32 STI ble introdusert i 1971 av Tammo Houtgast og Herman Steeneken Houtgast and Steeneken, 22, The roots of the STI approach, i Past, present and future of the Speech Transmission Index, TNO 63 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Talesignalets akustikk Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Speech Transmission Index (STI) Historikk Envelope spektrum Hvordan måle og beregne STI Forskjellige typer STI SII vs. STI Common Intelligibility Scale (CIS) 64 32

33 Envelope spektrum Envelopen (omhylningskurven) til 1 sekunder tale som er filtrert med 25 Hz oktaven Vi kan bruke Fourier igjen! Og får da: envelope spektrum Steeneken and Houtgast, 22, Basics of the STI measuring method, i Past, present and future of the Speech Transmission Index, TNO 65 Effekt av etterklang og støy på talens envelope spektrum Etterklangstid Houtgast and Steeneken, 22, The roots of the STI approach, i Past, present and future of the Speech Transmission Index, TNO 66 33

34 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Talesignalets akustikk Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Speech Transmission Index (STI) Historikk Envelope spektrum Hvordan måle m og beregne STI Forskjellige typer STI SII vs. STI Common Intelligibility Scale (CIS) 67 Steeneken and Houtgast, 22, Basics of the STI measuring method, i Past, present and future of the Speech Transmission Index, TNO 68 34

35 Matrix for seven MTF s 1 Hz 3 Hz 1 Hz X Bilde lånt fra: 69 Måling og beregning av STI Korrigeres pga. maskering og høreterskel Regnes om til signal/støy forhold Konverteres til et tall mellom og 1 Middelverdien i hvert oktavbånd beregnes Summeres med vekting for manneller kvinne-stemme m. redundanskorr. 7 35

36 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Talesignalets akustikk Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Speech Transmission Index (STI) Historikk Envelope spektrum Hvordan måle og beregne STI Forskjellige typer STI SII vs. STI Common Intelligibility Scale (CIS) 71 Varierende nøyaktighet Metoder for: Telefon PA-anlegg Rom akustikk 72 36

37 Et alternativ til å bruke 15 minutter for å måle STI med den tradisjonelle metoden (98 målinger) er å måle rom impuls responsen. STI kan beregnes av denne 73 Metoder for prediksjon av taleoppfattelse ved forstyrrende etterklang og støy Hvorfor prediktere taleoppfattelse Talesignalets akustikk Artikulasjonsindeks (AI) og Speech Intelligibility Index (SII) Speech Transmission Index (STI) SII vs. STI Common Intelligibility Scale (CIS) 74 37

38 STI AI (SII) 75 CIS på.7 (7%) er ofte valgt som krav ved varsling i nødsituasjoner

39 CIS på.7 (7%) er ofte valgt som krav ved varsling i nødsituasjoner