Generell informasjon om faget er tilgjengelig fra It s learning. 1 En kort oppsummering Adaptiv filtrering 2. 3 Prediksjon 4

Transkript

1 Stavanger, 13. august 2013 Det teknisknaturvitenskapelige fakultet ELE500 Signalbehandling, Generell informasjon om faget er tilgjengelig fra It s learning. Innhold 1 En kort oppsummering. 1 2 Adaptiv filtrering 2 3 Prediksjon 4 4 Bratteste nedstigning 5 5 LMS algoritmen 7 1 En kort oppsummering. Det står ikke noe spesielt om adaptiv filtrering i læreboka til Haugen, men egentlig er både Kalman filter og RLS en form for adaptiv filtrering. De kan betraktes som en samtidig filtrering av både inngangsignaler og målinger for å estimere tilstander og/eller parametre i modellen. Filterkoeffisientene endres da fra steg til steg i filtreringen, de er adaptive. Dette notatet prøver å presentere RLS filteret med utgangspunkt i en adaptiv filter tankegang. Jeg har prøvd å lage presentasjonen her både enkel og fullstendig. Karl Skretting, Institutt for data- og elektroteknikk (IDE), Universitetet i Stavanger (UiS), 4036 Stavanger. Sentralbord Direkte E-post: karl.skretting@uis.no.

2 2 Adaptiv filtrering Vi starter med å se på lineær prediksjon, det vil si at estimatet finnes med lineær filtrering av inngangsignalet. Det som er adaptivt er filterkoeffisientene, men form (lengde) på filteret er fast. En skisse som viser problemstillingen ved adaptiv filtrering er i figur 1. d(k) x(k) Adaptivt filter ˆd(k) + + w(k) - w(k + 1) e(k) Algoritme Figur 1: Prinsippskisse for adaptiv filtrering. Se tekst for forklaring av symbol. Det adaptive filteret er gitt ved filterkoeffisientene som her er samlet i en kolonnevektor w med lengde N. Filterkoeffisientene kan endres for hvert tidssteg, notasjonen w(k) i figuren viser at det er koeffisientene ved steg k. Inngangsignalet til det adaptive filteret er x(k). Utgangsignalet er ˆd(k), det er en vekta sum av inngangsverdier og tidligere inngangsverdier, vektene er filterkoeffisientene. De inngangsverdiene en bruker ved steg k samles gjerne i en vektor x(k) med lengde N. Altså x(k) = x(k) x(k 1). x(k N + 1) ˆd(k) = N 1 i=0, w(k) = w 0 (k) w 1 (k). w N 1 (k). (1) w i (k)x(k i) = x T (k)w(k). (2) Poenget med et adaptivt filter er at en ønsker at utgangen skal bli så likt som råd et ønsket signal, det kalles ofte d(k). For at en skal ha noen mulighet til å estimere d(k) med det adaptive filteret må det være korrelert med inngangsignalet x(k). Differansen mellom utgangen av det adaptive filteret, ˆd(k), og det ønska signalet, d(k), blir feilen, e(k). e(k) = d(k) ˆd(k) = d(k) x T (k)w(k). (3) 2

3 En har en algoritme som beregner filterkoeffisientene for hvert tidssteg, inngangen til denne algoritmen er både x(k) og e(k) og de brukes, gjerne sammen med lagrede tidligere verdier, for å beregne de adaptive filterkoeffisientene for neste tidssteg, w(k + 1). En ønsker disse koeffisientene slik at feilen blir minst mulig, altså å minimere e(k + 1). Siden en ikke vet hva som blir neste verdier, hverken d(k + 1) eller x(k + 1), er det selvsagt umulig å få feilen e(k + 1) til å bli null. En ønsker ei algoritme som finner w(k + 1) slik at forventningsverdien til feilen blir minst mulig, E[ e(k + 1) ] minimeres. Absoluttverdier er kompliserte, fordi funksjonen abs() ikke er deriverbar i 0, så en bruker gjerne heller at E[e 2 (k + 1)] minimeres. En kan, og det blir ofte gjort, regne videre med forventningsverdier og da får en at det optimale filterkoeffisientene må oppfylle Wiener-Hopf ligningene, det er et lineært ligningssystem, R x w = r dx. (4) R x er, den generelt tidsvarierende, autokorrelasjonsmatrisa til x(k), r dx er, også generelt tidsvarierende, krysskorrelasjonsvektoren til d(k) og x(k), og w er da vektoren med de tidsvarierende filterkoeffisientene, w(k). Alternativt kan en se mer praktisk på det å finne de til enhver tid optimale filterkoeffisientene basert på antakelsen at det som er de optimale filterkoeffisientene nå, er de samme som det som var de optimale filterkoeffisientene i steget før, og gjerne også stegene litt før det igjen. Det viser seg, ikke overraskende, at disse praktiske metodene finner løsningen på Wiener-Hopf ligningene, eller tilnærmede løsninger, der en bruker ulike metoder for å estimere R x og r dx på. La oss se praktisk på dette. Vi ser på de L siste ligningene av 3, L N, og ønsker å finne den beste w vi kunne bruk her, der den er fast og ikke får endre seg fra gang til gang. Altså e(k) = d(k) x T (k)w e(k 1) = d(k 1) x T (k 1)w. e(k L + 1) = d(k L + 1) x T (k L + 1)w Med åpenbare definisjoner kan dette skrives (5) e = d Xw. (6) Dimensjonene her er L 1 for e og d, L N for X, linje n i X er x T (k +1 n), og N 1 for w. En ønsker å minimere sum av kvadrerte feil her, det er det samme som å minimerer 2-normen kvadrert L 1 f(w) = e 2 (k i) = e T e = e 2 2 = d Xw 2 2. (7) i=0 Fra lineær algebra har en at når en minimerer uttrykket over med hensyn på w så får en least squares løsningen w = (X T X) 1 X T d. (8) 3

4 Å vise at løsningen til ligning 7 er som i ligning 8 er ikke så vanskelig når en først kan derivere f(w) med hensyn på w og så sette den deriverte til null. En må bruke derivasjonsregler fra lineær algebra, ligningene 11 og 12, og får da f(w) = e T e = (d T w T X T ) (d Xw) f(w) = d T d w T X T d d T Xw + w T X T Xw f w = 0 dt X d T X + 2w T (X T X) Når en setter dette til 0 får en w T (X T X) = d T X Transponerer og multipliserer med (X T X) 1 og får så ligning 8. Mye det samme gjøres når en finner bratteste nedstigning i del 3 her. 3 Prediksjon Vi skal nå ha en prediktor som går et steg fram, det vil si at en ønsker å predikere x n+1 ut fra x n og tidligere verdier. x n+1 x n p n + + e n - z 1 P Figur 2: Prinsippskisse for prediksjon ett steg fram. Se tekst for mer forklaring. En enkel skisse for prediksjon viser i figur 2. Utgangen fra prediktoren figur 2 er p n (tilsvarer ˆd(k) i figur 1). Prediksjonsfeilen er e n (tilsvarer e(k) i figur 1). Vi skal nå la prediktoren, figur 2, være et adaptivt filter og tegner nå figuren om igjen, altså figur 1 innsatt i figur 2. Vi bruker symboler som i figur 1, og resultatet er i figur 3. Bruk av forsinkelseblokker er her slik at en tydelig ser at prediktoren bruker x(k) og tidligere verdier, samt filterkoeffisientene w(k), for å prediktere neste verdi ˆx(k + 1). På samme måte bruker oppdateringsalgoritmen både x(k) og e(k), og gjerne også tidligere verdier (informasjonen i disse er akkumulert i w(k)) for å beregne nye filterkoeffisienter w(k + 1). I andre tilsvarende figurer kan forsinkelsene være underforstått som del av henholdsvis prediktor og oppdateringsalgoritmen. Utfordringen ved adaptiv filtrering er å bruke en god og effektiv algoritme for oppdateringen. Flere alternativer finnes. Vi skal se på noen av dem. 4

5 x(k + 1) d(k) z 1 x(k) Adaptiv prediktor ˆx(k + 1) + + w(k) ˆd(k) - e(k) w(k + 1) Algoritme e(k) Figur 3: Prinsippskisse for adaptiv prediksjon ett steg fram. Se tekst for mer forklaring. 4 Bratteste nedstigning En kjenner Newtons metode for å finne x slik at f(x) = 0, en starter med en x 0 og så finner en neste verdi med formelen x i+1 = x i 1 f (x i ) f(x i). En tilsvarende iterativ metode kan brukes for å finne minimum av funksjonen. En kan i hvert steg gå i motsatt retning av den deriverte, x i+1 = x i µ sign(f (x i )), der sign(a) = a/ a, men steglengden µ er nå vanskeligere å sette optimalt. Velger en en passelig liten steglengde vil en ende opp med at x i og x i+1 er på hver sin side av et lokalt minimum for funksjonen. Det er samme prinsipp som brukes i bratteste nedstigning metoden for adaptiv filtrering. For adaptiv filtrering har en en funksjon med flere variabler (samlet i vektoren w). Funksjonen er som i ligning 7 f(w) = e T e = (d Xw) T (d Xw). (9) For bratteste nedstigning metode skal en altså gå i motsatt retning av den deriverte, eller mer presist gradienten. Fra matematikken husker en at gradienten til en funksjon med flere variabler (samlet i en vektor) er en vektor med sammen størrelse, like mange elementer som det er variabler i funksjonen, og at hvert element er den partiell deriverte av funksjonen med hensyn på hver av variablene. Altså blir oppdateringsligningen w(k + 1) = w(k) µ f(k), f(k) = f(w(k)). (10) 5

6 En kan bruke følgende formler fra lineær algebra (x T Ax) x = 2Ax (11) (b T x) = (xt b) = b (12) x x og finne gradienten til f i ligning 9. For enkelhets skyld skriver vi nå w i stedet for w(k) og får f(k) = f(w(k)) = f(w) w = [ (d T w T X T ) (d Xw) ] w = [ d T d w T X T d d T Xw + w T X T Xw ] w = [ w T (X T X)w 2(d T X)w ] w f(k) = 2(X T X)w(k) 2(X T d) (13) Negativ retning av gradienten er da gitt med (faktoren 2 fjernes) f(k) = X T d X T Xw (14) = X T (d Xw) = X T e. (15) Retningen kan en gange med en passende faktor, for eksempel 1/L, og da får vi f(k) = ( 1 L XT d) ( 1 L XT X)w = 1 L XT e (16) f(k) = ˆr dx ˆR x w(k) = ˆr ex. (17) Her har vi brukt at det som står inni parentesene er estimat for krysskorrelasjon og autokorrelasjon. Husk at definisjonen på krysskorrelasjon, for Wide Sense Stationary signaler (prosesser), er 1 r xy (l) = E[x(n)y(n l)] = lim M 2M + 1 M n= M x(n)y(n l). (18) Autokorrelasjonen er tilsvarende, en setter x inn i stedet for y og får r xx. Oppdaterinsalgoritmen skrives da som w(k + 1) = w(k) + µ (ˆr dx ˆR x w(k)) = w(k) + µ ˆr ex. (19) Dette stemmer med resultatet en får hvis en regner med forventningsverdier, og en antar at både x(k) og d(k) er Wide Sense Stationary signaler (prosesser) da får en w(k + 1) = w(k) + µ (r dx R x w(k)) = w(k) + µ r ex. (20) 6

7 Feilen e(k) er et resultat av det adaptive filteret og dermed av oppdateringsalgoritmen, det er altså ikke et signal som en i utgangspunktet har, derfor er r ex ikke en gitt egenskap, og en skriver gjerne oppdaterinsalgoritmen litt løsere som w(k + 1) = w(k) + µ E[e(k)x(k)]. (21) 5 LMS algoritmen Problemet med bratteste nedstigning metoden er at E[e(k)x(k)] i ligning 21 generelt er ukjent og må estimeres, for eksempel som i ligning 16. Spesielt enkelt blir det hvis en nå har L = 1, da får en den enkle LMS oppdateringsalgoritmen w(k + 1) = w(k) + µ e(k)x(k) (22) Egenskapene for denne algoritmen er godt utforsket, både teoretisk og i praksis. Her skal vi bare nevne at valg av µ er viktig, for liten verdi og algoritmen konvergerer sakte og for stor verdi og algoritmen hopper for mye i hytt og vær. En har vist at for WSS-prosesser så vil LMS algoritmen konvergerer (for middelverdi) hvis 0 < µ < 2 λ max (23) der λ max er største egenverdi for R x. Denne er ikke alltid enkel å finne, men en kan for eksempel bruke at λ max N i=1 λ i = tr(r x ) = N E[ x(k) 2 ], hvis x(k) er WSS. Det er utallige varianter av LMS, men vi skal ikke se på de her. 7