Suffisient observator

Transkript

1 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Suffisiete observatorer Suffisiet observator Statistisk størrelse s som ieholder tilstrekkelig iformasjo fra treigssettet X for estimerig av parametervektore q. Ka vises at: s er suffisiet ) p(q s,x )=p(q s), slik at s ieholder all ødvedig iformasjo fra X. Eksempel: s = m = 1 Â x k for de multivariate ormalfordelige N(µ, ). Faktoriserigsteoremet sier at: s er suffisiet for q hvis og bare hvis p(x q)=g(s, q)h(x ). Suffisiete observatorer er yttige dersom s og g(s, q) er ekle og mest mulig av likelihoodfuksjoe ka skilles ut i faktore h(x ). Uik4590/Uik9590/TTK405 - Møstergjekjeig Idar Dyrdal (idar@uik.o)

2 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Suffisiete observatorer Bruk av suffisiete observatorer Maksimum likelihood estimerig: Skal maksimalisere likelihoodfuksjoe p(x q)=g(s, q)h(x ) mht. q, dvs. tilstrekkelig å maksimalisere g(s, q) mht. q og glemme h(x ). Bayesisk estimerig: Må først fie á posteriori parameterfordelig p(q X )= p(x q)p(q) R = p(x q)p(q)dq g(s, q)h(x )p(q) R = g(s, q)h(x )p(q)dq g(s, q)p(q) R. g(s, q)p(q)dq Dersom p(q) er uiform (eller = ) ka dee fordelige uttrykkes ved: p(q X )= g(s, q) R g(s, q)dq = g(s, q) (kjeretetthete til g), Dersom >> 1vilp(q X ) g(s, q) selv om p(q) ikke er uiform, slik at: Z Z p(x X )= p(x q)p(q X )dq p(x q) g(s, q)dq der p(x q) er e kjet fuksjo av x og q, og g ka fies i lærebøker. Uik4590/Uik9590/TTK405 - Møstergjekjeig Idar Dyrdal (idar@uik.o)

3 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Suffisiete observatorer Ekspoesialfamilie Familie av kjete fordeliger på forme: der maksimum likelihood fuksjoe blir: p(x q) = p(x q)=a(x)exp[a(q)+b(q) t c(x)], a(x k )exp[a(q)+b(q) t c(x k )] " ( Â )# = exp a(q)+b(q) t 1 c(x k ) a(x k ). {z } {z } g(s,q) h(x ) = g(s, q)h(x ), der de suffisiete observatore er gitt ved s = 1 Â c(x k ). Uik4590/Uik9590/TTK405 - Møstergjekjeig Idar Dyrdal (idar@uik.o)

4 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Parametriske fordeliger Ekspoesialfamilie (oe eksempler) Nav Fordelig Parametre Suffisiet observator g(s,q) Uivariat ormal r q p(x q)= p e 1 q(x q1 = µ q1) q = s > 0 s1 = 1 s = 1 q / e q(s q1s1+q 1 ) Multivariat ormal p(x q)= 1 (p) d/ e 1 (x q 1)t (x q 1) q 1 = µ = 1, > 0 s1 = 1 S = 1 xk t / e [Tr ( )s q t 1 s1+q t 1 q1] Ekspoesial ( qe qx x 0 p(x q)= 0 ellers q > 0 s = 1 q e qs Gamma p(x q)= 8 >< q q1+1 (q1 + 1) x q1 e qx x 0 >: 0 ellers q1 > 1 q > 0 s1 = s = 1! 1/ xk " # q q1+1 (q1 + 1) sq1 1 e qs Poisso P(x q)= q x x! e q, der x = 0,1,,... q > 0 s = 1 q s e q Multiomial d P(x q)=m! q xi i xi!, der 8 >< xi = 0,1,...,m d >: Â xi = m qi,,...,d der 8 >< 0 < qi < 1 d >: Â qi = 1 s = 1 d q si i Adre eksempler er Rayleigh-, Maxwell-, beta-, Beroulli- og biomialfordeligee. Uik4590/Uik9590/TTK405 - Møstergjekjeig Idar Dyrdal (idar@uik.o)

5 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Begresiger Begresiger ved parametriske metoder Uimodal fordelig Parametriske metoder har visse begresiger: Tetthetsfuksjoee har som oftest ukjet form slik at gal eller dårlig atakelse om forme gir suboptimalt resultat. De fleste kjete (ekle) fordeliger har bare é mode, slik at de passer dårlig til mage virkelige fordeliger med flere moder (multimodale fordeliger). Tetthetsfuksjoee ka være kjete, me beregigsmessig kompliserte; de ka f.eks. bestå av e bladig av uimodale kompoeter. Multimodal fordelig Uik4590/Uik9590/TTK405 - Møstergjekjeig Idar Dyrdal (idar@uik.o)

6 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Oversikt Ihold i kurset Beslutigsteori (desisjosteori) Parametriske metoder Ikke-parametriske metoder Lieære og geeraliserte diskrimiatfuksjoer Feilrateestimerig og evaluerig av klassifikatorer Ikke-ledet lærig Klygeaalyse. Uik4590/Uik9590/TTK405 - Møstergjekjeig Idar Dyrdal (idar@uik.o)

7 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Oversikt Ikke-parametriske metoder I ikke-parametriske metoder gjøres det ige atakelser om forme på tetthetsfuksjoee. I stedet brukes treigssettet direkte til å estimere tetthete eller á posteriori sasylighete i ethvert pukt x av iteresse (dvs. egeskapsvektoree til ukjet sampler). Vi skal se på følgede metoder: Tetthetsestimerig (puktestimerig): Vidumetoder, Nærmeste-abo metoder. Estimerig av á posteriori sasylighet: Nærmeste-abo (NN) regele, K-ærmeste-abo (knn) regele. Uik4590/Uik9590/TTK405 - Møstergjekjeig Idar Dyrdal (idar@uik.o)

8 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Metoder Tetthetsestimerig x Tetthete i x estimeres ved: p (x) = k / V for et treigssett X med sampler. x k V x1 Her er: R - vilkårlig regio omkrig puktet x, k - atall sampler (observasjoer) fra X iefor regioe, V - volumet av regioe. Uik4590/Uik9590/TTK405 - Møstergjekjeig Idar Dyrdal (idar@uik.o)

9 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Vidumetode Vidumetode Tetthetsestimatet uttrykkes her som e sum av vidufuksjoer setrert omkrig treigssamplee: j x xi j h p (x)= k / = 1 V Â 1 x j V h Vidufuksjoee ka være rektagulære (geerelt hyperkubiske), me ka geeraliseres, f.eks. ved: xi Rektagulære vidufuksjoer. x xi j h 1 p p e 1 x x i h j(u)= 1 (p) 1/ e 1 u Uik4590/Uik9590/TTK405 - Møstergjekjeig Gaussisk vidufuksjo. Idar Dyrdal (idar@uik.o)