INF5820 Natural Language Processing - NLP. H2009 Jan Tore Lønning

Transkript

1 INF5820 Natural Language Processing - NLP H2009 jtl@ifi.uio.no

2 HMM Tagging INF5830 Lecture 3 Sep

3 Today More simple statistics, J&M sec 4.2: Product rule, Chain rule Notation, Stochastic variable J & M,Chap , slide Markov-models slides, J&M, Sec Not: Formulas in sec 4.5.3, sec

4 INF5830 H2009 Institutt for Informatikk Universitetet i Oslo 8. september

5 Outline Markov-modeller 1 Markov-modeller

6 Outline Markov-modeller 1 Markov-modeller

7 Markov-egenskapen Markov-egenskapen P(X n+1 = x X n = x n,... X 1 = x 1 ) = P(X n+1 = x X n = x n ) Neste tilstand avhenger bare av nåværende tilstand, ikke av fortidige. P(X 1, X 2,..., X T ) = P(X 1 )P(X 2 X 1 )P(X 3 X 1, X 2 ) P(X T X 1,... X T 1 ) = P(X 1 )P(X 2 X 1 )P(X 3 X 2 ) P(X T X T 1 ) T 1 = P(X 1 ) P(X t+1 X t ) t=1

8 Markov-modell a ij = P(X t+1 = s j X t = s i ) Da vil N j=n a ij = 1 for alle i π i = P(X 1 = s i ) ( alternativt spesielle start og sluttilstander, s 0, s F, og a 0i = π i ).

9 Sammenheng med FSA Dette svarer til en endelig-tilstandsautomat (FSA) der Kantene er merket med sannsynligheter, summen av sannsynligheter ut i fra en node er 1. Inputalfabetet er lik navnet på tilstandene og en input svarer til tilsvarende gjennomløp av tilstander.

10 Language models If we assume that word strings have the Markov property: P(w 1, w 2,..., w T ) = P(w 1 )P(w 2 w 1 )P(w 3 w 1, w 2 ) P(w T w 1,... w T 1 ) P(w 1 )P(w 2 w 1 )P(w 3 w 2 ) P(w T w T 1 ) T 1 = P(w 1 ) P(w t+1 w t ) t=1 We get a bigram language model, also called a first-order language model Used in tagging, speech processing, translation, etc.

11 Language models Consider words instead of tags. ˆP(w i ) = C(w i ) N ˆP(w i w i 1 ) = C(w i 1w i ) C(w i 1 ), first-order language model or bigram model ˆP(w i w i 2 w i 1 ) = C(w i 2w i 1 w i ) C(w i 2 w i 1 ) second-order language model or trigram model ˆP(w i w i n+1... w i 1 ) = C(w i n+1...w i 1 w i ) C(w i n+1...w i 1 ) n-gram model or n 1th-order language model. These are approximations to the probabilities. Indicated by hats.

12 Outline Markov-modeller 1 Markov-modeller

13 Skjult Markov-modell Det vi observerer Det underliggende nivå ( årsakene )

14 Skjult Markov-modell Definition 1 En endelig mengde tilstander, Q = {q 1, q 2,,..., q N } 2 Et endelig signal alfabet, V = {V 1, v 2,,..., v V } 3 En matrise av overgangssannsynligheter, A = {a ij 1 i N, 1 j N} 4 En mengde emisjonssannsynligheter, B = {b i (v t ) 1 i N, v t V } (b ij = b i (v j )) 5 En mengde initialsannsynligheter, π i = P(X 1 = s i ), sannsynligheten for å starte i tilstand s i. (Litt unøyaktig definisjon i J&M.)

15 Alternativt til siste punktet 5 En mengde initialsannsynligheter, π i = P(X 1 = s i ), sannsynligheten for å starte i tilstand s i. kan en operere med Definition 5 En spesielle start og sluttilstander, q 0, q F. Disse har ikke emisjoner. Det er overganger ut fra (men ikke inn i) q 0, og inn i (men ikke ut fra) q F

16 Enkle spørsmål: Spm. Gitt en sekvens av skjulte tilstander q i1 q i2... q in, hva er sannsynligheten for en outputsekvens v k1 v k2... v kn? Svar P(v k1 v k2... v kn q i1 q i2... q in ) = n j=1 b i j (v kj ) Spm. Gitt en outputsekvens v k1 v k2... v kn, hva er sannsynligheten for en sekvens av tilstander q i1 q i2... q in? Svar P(q i1 q i2... q in v k1 v k2... v kn ) = P(v k1 v k2...v k n q i 1 q i2...q i n )P(q i 1 q i2...q i n ) P(v k1 v k2...v k n ) = n j=1 b i j (v kj ) n j=1 a i (j 1) i j P(v k1 v k2...v k n )

17 Mer kompliserte spørsmål Gitt en bestemt HMM 1 Sannsynlighet ( likelihood ): Hva er sannsynligheten for en outputsekvens v k1 v k2... v kn = v kn k 1? 2 Dekoding: Gitt en outputsekvens v k1 v k2... v kn, hva er den mest sannsynlige sekvensen av tilstander q i1 q i2... q in? 3 Trening: Gitt en sekvens av observasjoner v k1 v k2... v kn og en mengde tilstander, finn overgangs-, A, og emisjonssannsynlighetene B.

18 Svar Markov-modeller Gitt en bestemt HMM 1 Sannsynlighet ( likelihood ): Hva er sannsynligheten for en outputsekvens v k1 v k2... v kn = v kn k 1? Svar q i n i1 Q n P(v k n k 1 q in i 1 ) = q i n i1 Q n n b ij (v kj ) j=1 n j=1 a i(j 1) i j Problemet for de store spørsmålene er ikke så mye å gi en formel for en løsning, men en effektiv algoritme for det. Viterbi-algoritmen er et effektivt svar på spm. 2. Se INF4820.

19 Outline Markov-modeller 1 Markov-modeller

20 Stokastisk tagging Gitt en sekvens av ord w 1 w 2... w n (som vi vil skrive w n 1 ) Hva er den mest sannsynlige taggsekvensen t n 1 = t 1t 2... t n? arg max P(t1 n w n P(w1 n 1 ) = arg max tn 1 )P(tn 1 ) t1 n t1 n P(w1 n) = arg max P(w1 n tn 1 )P(tn 1 ) t1 n

21 Ordsannsynlighetene Uttrykket vi ser på: P(w n 1 tn 1 )P(tn 1 ) P(w n 1 tn 1 ) = P(w n w n 1 1 t n 1 )P(w n 1 w n 2 1 t n 1 ) P(w 1 t n 1 ) Antar P(w i w 1,i t n 1 ) = P(w i t i ) Altså (feilaktig) at et ord ikke avhenger av ordene før og etter, bare av sin tagg. P(w n 1 tn 1 ) = P(w n t n )P(w n 1 t (n 1) ) P(w 1 t 1 ) = n i=1 P(w i t i )

22 Tagg-sannsynlighetene Antar Markov-egenskapen P(t (j+1) t j 1 ) = P(t j+1 t j ) P(t1 n ) = P(t 1)P(t 2 t 1 )P(t 3 t1 2 ) P(t n t (n 1) 1 ) = P(t 1 )P(t 2 t 1 )P(t 3 t 2 ) P(t n t n 1 ) n 1 = P(t 1 ) P(t i+1 t i ) = i=1 n P(t i t i 1 ) i=1 (Hvis P(t 1 t 0 ) er sannsynligheten for å starte i t 1 )

23 Som gir Markov-modeller n P(w1 n tn 1 )P(tn 1 ) = P(w i t i ) = i=1 n P(t i t i 1 ) i=1 n P(w i t i )P(t i t i 1 ) i=1 ˆt 1 n = arg max P(t1 n w 1 n ) t1 n = arg max P(w1 n tn 1 )P(tn 1 ) t1 n = arg max t n 1 i=1 n P(w i t i )P(t i t i 1 )

24 Markov-modeller Stokastisk tagging kan altså sees på som en HMM, der Ord er det vi observerer Tagger er de skjulte tilstandene Vi har gjort en del litt grove antagelser

25 Outline Markov-modeller 1 Markov-modeller

26 Trigrams Markov-modeller We know the Markov-property P(t (j+1) t j 1 ) = P(t j+1 t j ) is not accurate. A better approximation P(t (j+1) t j 1 ) P(t j+1 t (j 1) t j ) P(t1 n ) = P(t 1)P(t 2 t 1 )P(t 3 t1 2 ) P(t n t (n 1) 1 ) P(t 1 )P(t 2 t 1 )P(t 3 t 1 t 2 ) P(t n t n 2 t n 1 ) n 1 = P(t 1 )P(t 2 t 1 ) P(t i+2 t i t (i+1) ) = i=1 n P(t i t i 2 t i 1 ) i=1 (Assuming two initial start states t 1, t 0 )

27 The trigram tagging formula ˆt 1 n = arg max P(t1 n w 1 n ) t1 n = arg max P(w1 n tn 1 )P(tn 1 ) t1 n [ n arg max t n 1 i=1 If t n+1 is an extra end state. P(w i t i )P(t i t i 2 t i 1 ) ] P(t n+1 t n )

28 Counting Markov-modeller ˆP(t i ) = C(t i ) N ˆP(t i t i 1 ) = C(t i 1t i ) C(t i 1 ) ˆP(t i t i 2 t i 1 ) = C(t i 2t i 1 t i ) C(t i 2 t i 1 ) These are approximations to the probabilities. Indicated by hats. MLE: maximum-likelihood estimates

29 Order Markov-modeller A first-order HMM uses bigrams. A second-order HMM uses trigrams. etc.

30 Second order HMM This is similar to the first-order model if we let a state represent a pair of tags. s ij represents the tag sequence t i t j the transition probability a <ij,kl> for going from s ij to s kl : a <ij,kl> = 0 for j k a <ij,jl> = P(s jl s ij ) = P(t j t l t i t j ) = P(t l t i t j ) b ij (v m ) = P(v m t j ) Similarly a second-order language model is an ordinary second-order markov model, where states represent bigrams.