Bayesisk estimering. Tettheten i punkt x er her gitt ved: der p(q X ) er áposterioriparameterfordelinggitt ved: p(q X )=

Transkript

1 Bayesisk estimering Bayesisk estimering Tettheten i punkt x er her gitt ved: Z p(x X )= p(x q)p(q X )dq der p(q X ) er áposterioriparameterfordelinggitt ved: p(q X )= p(x q)p(q) R p(x q)p(q)dq og p(x q) er likelihoodfunksjonen som kan beregnes fra treningssettet ved: p(x q)= n k=1 p(x k q). Her er p(q) (á prioriparameterfordeling)ogp(x q) kjente funksjoner av q.

2 Bayesisk estimering Rekursiv Bayesisk estimering Bayesisk estimering kan beskrives rekursivt ved p(q X n )= p(x n q)p(q X n 1 ) R p(xn q)p(q X n 1 )dq, der x n er sample nummer n itreningssettet X n = {x 1,x 2,...,x n }. Ved å definere p(q X 0 )=p(q) der X 0 er et tomt treningssett, gir dette en følge av fordelinger som funksjon av antall sampler i treningssettet: p(q),p(q x 1 ),p(q x 1,x 2 ),...,p(q X n ),... Typisk vil á posteriorifordelingen bli skarpere og skarpere når antall sampler øker, dvs. Bayesisk læring, der p(q X n )! d(q q 0 ) når n! (konvergens mot Diracs deltafunksjon om parametervektor q 0 ).

3 Eksempel - Bayesisk estimering (1) Á priori parameterfordeling (for samme datasett som i foregående eksempel). Her er det valgt en fordeling N(µ 0,s 2 0 ) med µ 0 = 2,0 ogs 0 = 5,0.

4 Eksempel - Bayesisk estimering (2) Áposterioriparameterfordelingp(q X 1 ) (blå kurve) og á priori fordeling (svart kurve), maksimalpunkt 0, 9470.

5 Eksempel - Bayesisk estimering (3) Áposterioriparameterfordelingp(q X 10 ) (blå kurve) og á priori fordeling (svart kurve), maksimalpunkt 0, 8660.

6 Eksempel - Bayesisk estimering (4) Áposterioriparameterfordelingp(q X 50 ) (blå kurve) og á priori fordeling (svart kurve), maksimalpunkt 0, 8340.

7 Eksempel - Bayesisk estimering (5) Áposterioriparameterfordelingp(q X 100 ) (blå kurve) og á priori fordeling (svart kurve), maksimalpunkt 0, 7100.

8 Eksempel - Bayesisk estimering (6) Áposterioriparameterfordelingp(q X 200 ) (blå kurve) og á priori fordeling (svart kurve), maksimalpunkt 0, 8960.

9 Eksempel - Bayesisk estimering av forventning til univariat normalfordeling I dette eksempelet er: p(x µ)=n(µ,s 2 ) der s antas kjent og µ er ukjent, og p(µ)=n(µ 0,s 2 0 ) der µ 0 og s 0 er kjente. Det kan vises at á posteriori parameterfordeling blir: p(µ X )=N(µ n,s 2 n ), dvs. en normalfordeling med forventning og varians: µ n = ns 0 2 ns0 2 + s 2 m s 2 n + ns0 2 + s 2 µ 0 og sn 2 = s 2 s0 2 ns0 2 + s 2, der µ 0, s 0 og s er kjente, og m n = 1 n Ân k=1 x k er sampelmiddelet over X. Tettheten i punktet x blir derved (kan vises): Z p(x X )= p(x µ)p(µ X )dµ = N(µ n,s 2 + sn 2 ).

10 Eksempel - læring av forventning til univariat normalfordeling (1)

11 Eksempel - læring av forventning til univariat normalfordeling (2)

12 Eksempel - læring av forventning til univariat normalfordeling (3)

13 Eksempel - læring av forventning til univariat normalfordeling (4)

14 Eksempel - læring av forventning til univariat normalfordeling (5)

15 Eksempel - estimering av forventning i multivariat normalfordeling Antar følgende: p(x µ)=n(µ, ), p(µ)=n(µ 0, 0 ), X = {x 1,x 2,...,x n }, µ = ukjent, = kjent, µ 0 = kjent, 0 = kjent, treningssett med n sampler fra én og samme klasse. Likelihoodfunksjonen blir da p(x µ)= n k=1 p(x k µ)= og á posteriori parameterfordeling kan vises å bli p(µ X )= n apple 1 1 (2p) nd/2 n/2 exp k=1 2 (x k µ) t 1 (x k µ) p(x µ)p(µ) R = N(µ p(x µ)p(µ)dµ n, n ).

16 Eksempel - estimering av forventning i multivariat normalfordeling (2) Her er parameterestimatene µ n = 0 ( 1 n + 0) 1 m n + 1 n ( 1 n + 0) 1 µ 0 (veiet middel av m n og µ 0 ) og n = 1 n ( 1 n + 0) 1 0 eller n = 1 n 0( 1 n + 0) 1. Tettheten i punktet x kan nå beregnes: Z p(x X )= p(x µ)p(µ X )dµ = N(µ n, + n ) (kan vises). Igrensenn! (det asymptotiske tilfellet) får man µ n! m n og n! 0 slik at p(x X )! N(m n, ) når n! (maksimum likelihood løsningen).