Newtons metode. Gitt f(x) slik at f(a)f(b) < 0, Newtons metode genererer en følge {x k }, hvor. (Newton Raphson) x k+1 = x k f(x k) f (x k )

Transkript

1 Newtons metode 1/15 Gitt f(x) slik at f(a)f(b) < 0, Newtons metode genererer en følge {x k }, hvor x k+1 = x k f(x k) f (x k ) x 0 [a, b] gitt. (Newton Raphson) y=f(x) x k+1 x k Konvergens: Iterasjons funksjonen for Newtons metode er g(x) = x f(x) f (x) og g (x) = f(x)f (x) [f (x)] 2 Hvis x er en simpel rot (f(x ) = 0, f (x ) 0), er g (x ) = 0 og konvergens er kvadratisk (r = 2). Merk at konvergensen er garantert for bare x 0 nær nok x (lokal konvergens).

2 MATLAB EKSEMPEL: f(x) = 1 (x 2)2 x /15

3 Kondisjoner som garantere konvergensen Selv om f(a)f(b) < 0, det er ikke garantert at Newtons metode konvergerer i [a, b]. Men: hvis de følgende kondisjoner er oppfylt, 3/15 1. f(a)f(b) < 0 2. f (x) 0 for alle x [a, b] 3. f (x) 0 eller f (x) 0 for alle x [a, b], 4. f(a) f (a), f(b) f (b) < b a da Newton konvergerer. Kondisjoner 1) og 2) garenterer at f(x) er monoton i [a, b] og derfor har kun én eneste rot x. Kondisjon 3) sier at f er henten konkav eller konveks og sammen med 4) den garantere at for alle start punkt x 0 neste iterasjon x 1, og dermed alle de andre x 2, x 3,..., x k,..., er i [a, b]. g (x ) = 0 gjør resten.

4 Sekant metode Et ulempe med Newtons metode er at vi må supplere til algoritmen funksjonen, f(x k ) første deriverte f (x k ). 4/15 Spesielt f kan være vanskelig å supplere (kanskje f er beregnet ut av en stor data fil). En alternativ er at vi bytter ut f med en endelig-differense approksimasjon: f (x k ) f(x k) f(x k 1 ) x k x k 1.

5 Metoden kalles for sekant metode fordi i hvert iterasjon den er ekvivalent til å approksimere f med sekanten gjennom (x k, f(x k )) og (x k 1, f(x k 1 )). 5/15 y=f(x) x k x k 1 Iterasjonen er: x k x k 1 x k+1 = x k f(x k ) f(x k ) f(x k 1 ), (sekantmetode, Regulafalsi) Merk at vi trenger to start verdier x 0 og x 1 for å kunne starte iterasjoner.

6 Konvergens av sekant metode 6/15 x k x k 1 x k+1 = x k f(x k ) f(x k ) f(x k 1 ) Analysen av fiks punkt iterasjoner for sekant metoden er mer komplisert enn for Newtons metode siden sekantene trenger 2 forrige approksimerte verdier x k, x k 1 for å kunne beregne x k+1 (to term rekurrense). Det kan vises at lim k e k+1 e k e k 1 = c > 0 for en konstant c. Denne grense indikerer at følgen {x k } konvergerer til x (i hvert fall lokalt) og at konvergensen er mer enn lineært (superlineært). For å regne ut konvergensens rate r, introduserer vi s k = e k+1 e k r

7 s k = e k+1 e k r, Merk at lim s k = C, k C > 0 en konstant på grunn av definisjonen av konvergensens rate. (egentlig r er ukjent men vi later som vi kjenner det) 7/15 e k+1 = s k e k r = s k s r k 1 e k 1 r2 Da: Vi setter termer sammen: c k e k+1 e k e k 1 = s ks r k 1 e k 1 r2 s k 1 e k 1 r e k 1 c k s k s r 1 k 1 e k 1 r2 r 1 Den eneste måte at denne konvergens skjer er at r 2 r 1 = 0, dermed r = (superlineært konvergens men ikke kvadratisk). golden ratio

8 Konvergensen er lokalt (som for Newtons metode) Hvis kondisjonene 1)-4) er oppfylt, da konvergerer sekantene. Fordeler og ulemper av sekant metode x k x k 1 x k+1 = x k f(x k ) f(x k ) f(x k 1 ) 8/15 bare en ny funksjon evaluering hvert steg (2 for Newton: f(x k ), f (x k )) trenger 2 start verdier x 0, x 1, (1 for Newton) konvergensen er tregere enn Newton (r s = , r N = 2) selv om fortsatt superlineært. Kostnadene per iteratsjon av sekantene er mindre enn for Newton, og selv om sekantene trenger flere iterasjoner til konvergens er nådd. Ofte, de totale kostnadene for å finne x med sekant metoden er mindre enn for Newtons.

9 Invers kvadratisk iterpolasjon 9/15 f(x) = 0 x k x k 1 x k 2 Newton approksimerer f med en tangent Sekantene approksimerer f med er linje gjennom de siste to iterasjoner (x k f(x k )), (x k 1, f(x k 1 )). Hvis vi har (x k, f(x k )), (x k 1, f(x k 1 )), (x k 2, f(x k 2 )) hvorfor ikke approksimerer f med en polynom ov grad 2 gjennom disse punktene (interpolasjon)? Den siste prosedyr gir metoder som konvergerer superlineært (r > 1) men ikke r > 2.

10 Vi har to valg: interpolere f som funksjon av data x k, x k 1, x k 2 (Muller s metode) Denne metode har flere ulemper: polynomer of grad 2 har: 2, 1, 0 røtter (2 komplekse og kongjugerte). Hvis vi har 2 røtter, hvilket skal vi velge som x k+1? Hva om vi finner komplekse approksimasjoner til x selv om x er et reell tall? Mullers metode er veldig brukt for å finne røtter av polynomer. interpolere h = f 1 som funksjon av data y k = f(x k ), y k 1 = f(x k 1 ), y k 2 = f(x k 2 ) (invers interpolasjon) 10/15 Vi vil diskutere interpolasjon senere i kurset. I mellomtiden, set a = x k 2, b = x k 1, og c = x k, og f a = f(a) = f(x k 2 ), f b = f(b), f c = f(c). Den kvadratisk polynom som approksimerer x som funksjonen av f(x) er: x = a (y f b)(y f a ) (f a f b )(f a f c ) + b (y f a)(y f c ) (f b f a )(f b f c ) + c (y f a)(y f b ) (f c f a )(f c f b ) og dermed x x+1 finnes ved å sette y = 0. f b f a x k+1 = a (f a f b ) (f f a f c a f c ) + b (f b f a )(f b f c ) + c f a f b (f c f a )(f c f b )

11 f b f a x k+1 = a (f a f b )(f a f c ) + b f a f c (f b f a )(f b f c ) + c f a f b (f c f a )(f c f b ) Etter x k+1 er regnet ut, setter vi a b, b c og c x k+1 og dermed fortsetter med å regne ut x k+2. Forrige iterasjonen kan også skrives som 11/15 x k+1 = b + p/q, hvor p = v(w(u w)(c b) (1 u)(b a)), q = (w 1)(u 1)(v 1), og u = f b /f c, v = f b /f a, w = f a /f c. Fordeler/ulemper: 1 ny funksjon evaluering per iterasjon Konvergerer med rate r = Konvergens er lokalt litt mer komplisert implementasjon

12 Mer om f(x) = 0 Lineær fraksjonal interpolasjon: bruker rasjonal funskjoner som 12/15 istedet for polynomer. Er brukt for funksjoner som har asymptoter. φ(x) = x u vx w x = w v, y = 1 v Bruker de 3 siste beregnet approksimasjoner x k 2, x k 1, x k Konvergerer (lokalt) superlineært, r =

13 For polynomer: f(x) = p(x) = a n x n + a n 1 x n a 1 x + a 0 = 0 Man har n røtter (reelle eller komplekse) Descartes regel: Antallet positive røtter av en polynom med reelle koeffisienter er lik antallet fortegn-skift av koeffisienten minus en multippel av 2 (evt. 0). (Samme regel for negative røtter: f( x) = 0) Med Descartes regel kan man vurdere (omtrent) hvor mange reelle og komplekser røtter p har. 13/15 En mer presis lokalisering er mer komplisert (Sturm følge) KLASSISKE METODER FOR POLYNOMER: Biseksjon, Newton, sekant... Kan ikke brukes til komplekse røtter Mullers metode (kvadratisk interpolasjon) Etter å ha funnet en rot, x 1, bruker man deflasjon: q(x) = p(x)/(x x 1 ), og finner røttene til q (merk at q er nå av grad n 1).

14 AD HOC METODER Form en matris som har karakteristisk polynom lik p(x) og bruk eigenverdi metoder Spesielle metoder for polynomer som er lineært konvergente men veldig effektive (Bernoulli, Laguerre, Jenkins Traub,... ). 14/15

15 Newtons metode, sekant metode, o.s.v. kan også generaliseres til systemer av ikke lineære likninger: f 1 (x 1, x 2,..., x n ) = 0 f 2 (x 1, x 2,..., x n ) = 0 15/15 f n (x 1, x 2,..., x n ) = 0. Detaljene kommer i den avansert delen av kurset (etter Påske) NESTE GANG: Interpolasjon (Kapittel 7)