MUS Metodologisk emne, kognitiv musikkvitenskap

Transkript

1 MUS428 - Metodologisk emne, kognitiv musikkvitenskap Lydanalyse 9 mars 27

2 Beskjeder Tilbakemeldinger fra presentasjonene forrige uke ligger på fronter. Oblig 3: Lydanalyse NM i stillstand

3 I dag: Learning outcomes Kjenne til noen generelle problemstillinger og prinsipper innen forskning på lyd og Music Information Retrieval Ha en konseptuell forståelse av Fourier Transform Kunne utføre enkle lydanalyser i Matlab

4 Orio (26): Music Retrieval: A Tutorial and Review. Litt gammel, men god intro til MIR-fagfeltet. Paralleller til tradisjonell musikalsk analyse Digital representasjon av musikk Bølgeform Spektrum Spektrogram MIDI Deskriptorer sortert etter Time scales short term: Timbre, Orchestration, Acoustics middle term: Rhythm, Melody, Harmony long term: Structure

5 Forskning på lyd Sammenheng mellom det sub-symbolske, symbolske og supra-symbolske. MIR sjanger-klassifikasjon: Hvilke subsymbolske descriptorer er felles for en sjanger? MIR instrument-klassifikasjon: Hvilke subsymbolske descriptorer er felles for et instrument? Hvis vi kan trene en maskin til å kjenne igjen musikkinstrumenter/sanger/artister, så kan det gi oss en infallsvinkel til å studere hvordan mennesker sanser musikk.

6 Grunnleggende lydlære: Periodisitet Her har begge de to bølgeformene samme frekvens Frekvens: Antall svingninger per sekund Test selv noen enkle tidsdomeneoperasjoner, f.eks. med Grapher (Mac)

7 Amplitude Grunnleggende lydlære: Amplitude og Fase sinustoner gjengis med amplitude (også kalt magnitude) og fase: amplitude: fase: amplitude:.7 fase: Fase amplitude: fase:.75 amplitude:.5 fase:

8 Amplitude Grunnleggende lydlære: Amplitude og Fase sinustoner gjengis med amplitude (også kalt magnitude) og fase: amplitude: fase: amplitude:.7 fase: Fase amplitude: fase: Forskjøvet med.75 sammenliknet med plottet øverst til venstre

9 Grunnleggende lydlære: Grunnfrekvens og Overtoner Harmoniske toner består som regel av en ganske tydelig grunnfrekvens, med overtoner som har frekvens lik 2,3,4,5,... ganger grunnfrekvensen.

10 Grunnleggende lydlære: Analog Digital

11 Grunnleggende lydlære: Analog Digital

12 Grunnleggende lydlære: Sampling sinustone: Hz samplet paa Hz samplet paa 2 Hz samplet paa.5 Hz... for lite

13 Grunnleggende lydlære: Sampling sinustone: Hz samplet paa Hz samplet paa 2 Hz samplet paa.5 Hz... for lite ALIASING: Signalet ser ikke lenger ut som en Hz sinustone

14 Grunnleggende lydlære: Nyquist Nyquist Shannons samplingsteorem (litt omskrevet): Hvis et signal inneholder frekvenskomponenter på opptil X Hz, må vi minimum bruke en samplingsrate på 2 ganger X Hz. CD samplingsfrekvens: 44 Hz høyeste gjengivbare frekvens: 225 Hz (Nyquistfrekvens) Menneskelig hørsel: ca 2 2 Hz

15 Noen naturlige (fra sampler) lyder i tidsdomenet flute trumpet x x 4 sax piano x x 4

16 Noen naturlige (fra sampler) lyder i tidsdomenet flute trumpet Anslag (onset) Hale (tail) sax x piano x x x 4

17 Vi zoomer inn på anslaget flute trumpet sax piano

18 Og på halen flute trumpet x x 4 sax piano x x 4

19 Vi zoomer helt inn på kun to perioder flute trumpet sax.4 piano

20 Fra tidsdomenet til frekvensdomenet: Fourier Transform Ethvert signal kan representeres som en sum av sinustoner med angitt amplitude og fase. (Spektrum) Vi ser vanligvis på et relativt kort signal for å finne frekvensinnholdet i dette. Dersom vi skal analysere et lengre signal deler vi det opp i overlappende vinduer. Flere varianter. Discrete Fourier Transform (DFT) Short-Time Fourier Transform (STFT) Fast Fourier Transform (FFT) og andre varianter som brukes på analoge signaler Det viktigste i dette kurset er ikke forskjellen på de ulike typene.

21 Fra tidsdomenet til frekvensdomenet: Fourier Transform.3 Fløyte, vindu: 69 samples, dekker 2 perioder Her er vårt fløytesignal

22 Fra tidsdomenet til frekvensdomenet: Fourier Transform.3 Fløyte, vindu: 69 samples, dekker 2 perioder For enkelhets skyld nedsampler vi til et signal med 7 sampler

23 Fra tidsdomenet til frekvensdomenet: Fourier Transform Resulatatet av å gjøre en Fourier Transform er to nye signaler: 3 amplitude fase Her er ikke x-aksen tid, men bin.

24 Fra tidsdomenet til frekvensdomenet: Fourier Transform.3 Fløyte, vindu: 69 samples, dekker 2 perioder amplitude.5 fase

25 Fra tidsdomenet til frekvensdomenet: Fourier Transform.3 Fløyte, vindu: 69 samples, dekker 2 perioder amplitude.5 fase

26 Fra tidsdomenet til frekvensdomenet: Fourier Transform.3 Fløyte, vindu: 69 samples, dekker 2 perioder amplitude.5 fase

27 Fra tidsdomenet til frekvensdomenet: Fourier Transform.3 Fløyte, vindu: 69 samples, dekker 2 perioder amplitude.5 fase

28 Fra tidsdomenet til frekvensdomenet: Fourier Transform.3 Fløyte, vindu: 69 samples, dekker 2 perioder amplitude.5 fase

29 Fra tidsdomenet til frekvensdomenet: Fourier Transform.3 Fløyte, vindu: 69 samples, dekker 2 perioder amplitude.5 fase

30 Fra tidsdomenet til frekvensdomenet: Fourier Transform.3 Fløyte, vindu: 69 samples, dekker 2 perioder amplitude.5 fase

31 Fra tidsdomenet til frekvensdomenet: Fourier Transform.3 Fløyte, vindu: 69 samples, dekker 2 perioder amplitude.5 fase

32 Fra tidsdomenet til frekvensdomenet: Fourier Transform.3 Fløyte, vindu: 69 samples, dekker 2 perioder amplitude.5 fase

33 Effekten av å doble vinduslengden.4 Vårt eksempel.4 Dobbel samplingsrate Dobbel vindusstørrelse, samme samplingsrate Dobbel vindusstørrelse, halv samplingsrate Høye frekvenser må filtreres bort (nyquist)

34 Vanlivis nedsampler vi ikke:.3 amplitude fase

35 Fire instrumenter, full samplingsrate, vindu 69 samples 4 flute 4 trumpet sax 4 piano

36 Mer om vindusstørrelse Vinduet matcher som regel ikke grunnfrekvensen i signalet. Da faller frekvenskomponentene mellom flere bins

37

38 Oppsummeringspunkter for Fourier Transform Ethvert signal kan representeres som en sum av sinustoner med angitt amplitude/magnitude og fase. Man kan gå frem og tilbake mellom frekvensdomenet og tidsdomenet ved hjelp av FFT og IFFT Innenfor et vindu bestående av N samples har vi N/2 frekvenskomponenter. Det vil si at for å få god frekvensoppløsning må vi ha et langt nok vindu. Dersom vinduet er langt betyr det dårligere oppløsning i tid. Spektrogrammer lages derfor vanligvis med overlappende vinduer (hop size) to fine videoer som forklarer FFT i programmet Max:

39 FFT i Matlab (fløyteeksempelet): Les inn, hør og plot: les in lyden flute = audioread( flute.wav ); hør på lyden sound(flute,44); hør på litt av lyden sound(flute(5:7),44); se på waveform plot(flute) zoom inn på waveform xlim([5 7]) FFT Velg ut en del av lyden plot vinduet du har valgt Gjør en FFT trekk ut amplitude og fase plot amplitude flute69 = flute(8:869); plot(flute69); Y=fft(flute69); Variablen Y inneholder nå komplekse tall a = abs(y); f = angle(y); stem(a(:85))

40 Fysiologisk inspirerte modeller for å beskrive lyd Siden vi ikke er i stand til å høre alle detaljer i lyden som når ørene våre er det interessant å modellere hørselssystemet vårt.. Tidlig prosessering: Modellere filtrering som skjer i det ytre øret, og mellomøret 2. Filterbankmodellering av det indre øret. Denne modellen er vanligvis en kraftig forenkling av virkeligheten. Øret vårt har 35 hårceller, mens 64 eller 28 kanaler brukes i modellene. 3. Modellering av hårcellenes mekaniske bevegelse 4. Modellering av nervebanene fra hårcellene til hjernen 5. Modellering av prosesseringen som skjer i hjernen

41 Fysiologisk inspirerte modeller for a beskrive lyd Hørselssystemet va rt:

42 Fysiologisk inspirerte modeller for å beskrive lyd Cochleagram av fløytelyden vår: 25 2 Place (Bark) 5 5 Time (s)

43 MIRtoolbox Toolbox (samling av funksjoner) for Matlab rettet mot lydanalyse og Music Information Retrieval Se MIRtoolbox primer (på pensumlisten) og manualen som følger med nedlasting av toolboxen for informasjon om installasjon osv. Nedlasting: På midirommet ligger MIRtoolbox ferdig nedlastet i mappen /Applications/matlab toolbox Noen grunnfunksjoner: miraudio - les inn lydfil mirplay - spill av lydfil mirplayer - avspiller for lydfiler mirframe - del opp en lydfil i frames mirfilterbank - del opp en lydfil i filterbanks mirgetdata - hent ut data fra et mirobject Husk at du kan bruke hjelpefunksjonen i Matlab (F)

44 Lyddeskriptorer?f' A iio n+. ','P clt th u) 'o'o.a o o oo oooo p p Is, F a li.^-6-.-i l3.c=ef il? R;9r'5 gil$ 6-i6!J ; p ;:-j5; ai; p!x3= 5 E i=ar? l;a '6:e+ L 6 5';Eil i.e= ;i:?* A 3 t9:![t6{ ::tfs 3 + ;EFti' r'i ll:*o )i ' 3*iat [-r ie*-at f E :":-=*i 7!- sfsqt : : il:+:;; &il iuirf 3 = ExIE; 36 fq-'f =.F'E-i5 a'b :6tl! ti EE-E ic +g; * I ii e i. xit ililli } qr A q, -Q -N G- o! \_ s -:N/a g.y:.-:c; p-- q+l F? ; < :U '-+b-. teitl iligr:f O-rti +rc o-d 9g se?p' SE FE EO.. a '',- r- P v' vo tr i- -^Y su^: -;. 6P O ;. d fxz; : o- blrr i -x *i o- i [--- -==.x rl N',&. trf= q.e 5 M Z'!N XAF 'o 3?a 95'H S5 E i '' ii i 5: ;-o 'o e 9 ofi 69!r' a-i ii Z F X r: xj. a H {: e 6 -(^ Xq 6 i ab v v, F- F E' "i rn x-.= -6'?" U- { : d 't3 f i' lftz., a 5^ *F : e P E ^Yl or < *.6 bi> P6oi-x il$ll+t?-'{o 58-!n-s!!= s*a;;f i F I*X?E fihe- #=={d-9i xe :ra =._7. ; t *f];-e E g ';- ii< G!'- a-. a-. --il IM lilr z l'; lc tv fmt h O g T] J D. ',"a H X ! ^ v td I'. -a! o x H o o o o i o o

45 Noen analysemetoder og lyddeskriptorer i MIRtoolbox mirrms mirenvelope mirspectrum mirflux mirbrightness mircentroid mirroughness mironsets mirkey mirfeatures mirsimatrix mirzerocross

46 Repetisjon av beskjeder Tilbakemeldinger fra presentasjonene forrige uke ligger på fronter. Oblig 3: Lydanalyse NM i stillstand