Ninety-nine bottles. Femte forelesning. I dagens forelesning: Mest matematiske verktøy. Først: Asymptotisk notasjon. Så: Rekurrensligninger.

Transkript

1 I dagens forelesning: Mest matematiske verktøy. Først: Asymptotisk notasjon. Så: Rekurrensligninger. Hva slags kjøretid har denne sangen? Hvordan kan du formulere det som en rekurrensligning? Ninety-nine bottles Femte forelesning 1

2 ?2

3 x lg y = y lg x lg x lg y = lg y lg x lg y lg x = lg x lg y QED 3

4 Asymptotisk notasjon «It s Greek to me» 4

5 O Ω Θ = 5

6 f O(g) 6

7 f(n) O(g(n)) 7

8 f.eks. 3n 2 + 9n + 2 f.eks. n 2 eller n 3 f(n) = O(g(n)) 8

9 9

10 [ n ] 2 i=1 x i 2 i,i+1 i+3 3

11 O(g(n)) = {f(n) c, n 0 > 0 [ n n 0 [ 0 f(n) cg(n) ] ]} 11

12 O(g(n)) = {f(n) c, n 0 > 0 [ n n 0 [ 0 f(n) cg(n) ] ]} 12

13 Ω: Omvendt av O 13

14 14

15 Θ = O Ω 15

16 På tavla: Asymptotisk notasjon i ligninger n + O(n) betyr n + f(n) for en eller annen funksjon, der f(n) = O(n) På tavla: Forenkling av pn^2 + qn + r pn^2 + qn^2 +rn^2 = (p + q + r)n^2. Sett c = p + q + r Siden cn^2 cn^3 er funksjonen også O(n^3). 16

17 Hvis ikke f(n)/g(n) : f er O(g) Nyttig ekstraverktøy. Her kan man f.eks. bruke l Hôpitals regel for å finne en løsning. Hvis ikke f(n)/g(n) 0: f er Ω(g) Hvis f(n)/g(n) c: f er Θ(g) Nyttig: For enhver b>1 og x>0 har vi: log_b n = O(n^x) Merk: Alle grunntall for logaritmer er ekvivalente (gir bare et konstantledd i forskjell). 17

18 Lineær tid Loglineær (O(n lg n)) Kvadratisk Kubisk O(nk ) Eksponentiell og sublineær tid 18

19 Hvem er raskest? n 2.5 (2n) 0.5 n n 100 n n 2 lg n (2n) 0.5 n + 10 n 2 lg n n n 100 n n^2 lg n vs. n^2.5 tilsvarer lg n vs. sqrt(n) 19

20 Samme farge Samme farge 20

21 recursive.jpg Kjøretidsberegninger for rekursive algoritmer. (Jfr. tidligere snakk om rekursjon og dekomponering men også induksjon.)! 21

22 22 Rekurrens-intuisjon på tavla? (Bruk av den rekursive definisjonen til å omskrive ledd i definisjonen selv )

23 T (L) = T ( L 2 ) + W (L) L 2 23 L

24 = = + = + 24

25 T (L) = T (L/2) + W (L) = [T (L/4) + W (L/2)] + W (L) = [[T (L/8) + W (N/4)] + W (N/2)] + W (L). = T (L/2 i ) + W (L/2 i 1 ) W (L) Sett i = lg L = T (L/2 lg L ) + W (L/2 lg L 1 ) W (L) = T (1) + W (2) W (L) (Vi går videre snart... ) 25

26 T (L) = T (L/2) + W (L) = [T (L/4) + W (L/2)] + W (L) = [[T (L/8) + W (N/4)] + W (N/2)] + W (L). = T (L/2 i ) + W (L/2 i 1 ) W (L) Sett i = lg L = T (L/2 lg L ) + W (L/2 lg L 1 ) W (L) = T (1) + W (2) W (L) (Vi går videre snart... ) 26

27 HUSK! n 1 n log 2 n n 2 n 2 = n n 27

28 [ n ] 2 i=1 x i 2 i,i+1 i+3 3

29 T (n) = 1 if n = 1 2T (n/2) + n if n > 1 T (n) = n lg n + n 29

30 T (n) = 0 if n = 2 T ( n) + 1 if n > 2 T (n) = lg lg n 30

31 T (n) = 1 if n = 1 T (n/3) + T (2n/3) + n if n > 1 T (n) = (n lg n) 31

32 T (n) = 1 if n = 1 T (n 1) + 1 if n > 1 T (n) = n 32

33 «Simulering»: Iterasjonsmetoden/rekurrenstrær Forklarer iterasjonsmetoden her. Rekurrenstrær er bare en måte å tegne opp det som skjer på. Induksjon: Substitusjonsmetoden «Kokebok»: Masterteoremet Preprosessering: Variabelskifte (litt avansert) 33

34 Iterasjon 34

35 T (n) = T (n 1) + 1 = [T ([n 1] 1) + 1] + 1 = T (n 2) + 2 = T (n 3) = T (n i) + i Sett i = n 1 for å få T (1) = T (1) + n 1 = n 35

36 T (n) = T (n 1) + 1 = [T ([n 1] 1) + 1] + 1 = T (n 2) + 2 = T (n 3) + 3 T (x)... = T (x 1) + 1; x = n 1 = T (n i) + i Sett i = n 1 for å få T (1) = T (1) + n 1 = n 36

37 T (n) = T (n 1) + 1 = [T ([n 1] 1) + 1] + 1 = T (n 2) + 2 = T (n 3) + 3 T (x)... = T (x 1) + 1; x = n 1 = T (n i) + i Sett i = n 1 for å få T (1) = T (1) + n 1 = n 37

38 T (n) = T (n 1) + 1 = [T ([n 1] 1) + 1] + 1 = T (n 2) + 2 = T (n 3) = T (n i) + i Sett i = n 1 for å få T (1) = T (1) + n 1 = n 38

39 T (n) = 2T (n/2) + n = 2[2T ([n/2]/2) + [n/2]) + n = 4T (n/4) + 2n = 8T (n/8) + 3n... = 2 i T (n/2 i ) + in Sett i = lg n for å få T (1) = n (1) + n lg n = (n lg n) 39

40 T (n) = 2T (n/2) + n Hmm... = 2[2T ([n/2]/2) + [n/2]) + n = 4T (n/4) + 2n = 8T (n/8) + 3n... = 2 i T (n/2 i ) + in Sett i = lg n for å få T (1) = n (1) + n lg n = (n lg n) 40

41 Aha! n 1 n log 2 n n 2 n 2 = n Hva blir høyden multiplisert med radsummen her? n Denne typen rekursjonstrær (og iterasjonsmetoden) kan brukes til å gjette løsninger som kan bevises med induksjon. 41

42 Substitusjon 42

43 «Gjett» en løsning Bevis korrekthet med induksjon 43

44 Induksjon Vil vise P(n) for vilkårlig n Bevis grunntilfelle, P(1) Anta P(k) for k < n Vis at dette medfører P(n) Vi har da P(1), og vet at det medfører P(2), som medfører P(3), osv. 44

45 T (n) = 1 if n = 1 T (n 1) + 1 if n > 1 Vil vise: T (n) = n Basis: T (1) = 1 Induksjonshypotese: T (k) = k, k < n 45

46 T (n) = T (n 1) + 1 IH: T (k) = k, der k = n 1 = n = n QED 46

47 T (n) = T (n 1) + 1 IH: T (k) = k, der k = n 1 = n = n QED 47

48 T (n) = 1 if n = 1 2T (n/2) + n if n > 1 Vil vise: T (n) = n lg n + n Basis: T (n) = 1 = 1 lg Hypotese: T (k) = k lg k + k, k < n 48

49 T (n) = 2T ( n 2 ) + n = 2 n 2 lg n 2 + n 2 + n (IH.) = n lg n 2 + n + n = n(lg n lg 2) + n + n = n lg n n + n + n = n lg n + n QED Finurligheter og detaljer på tavla. 49

50 T (n) = 2T ( n 2 ) + n = 2 n 2 lg n 2 + n 2 + n (IH.) = n lg n 2 + n + n = n(lg n lg 2) + n + n = n lg n n + n + n = n lg n + n QED Finurligheter og detaljer på tavla. 50

51 Den eksakte formen må bevises! Hvis du ender opp med noe som er nesten det samme (f.eks. ved bruk av asymptotisk notasjon) er ikke beviset gyldig! 51

52 Ikke i Kleinberg men kan være nyttig for dem som har valgt Kleinberg likevel. Masterteoremet 52

53 T (n) = at (n/b) + f(n) Antall «barn»: Størrelse per «barn»: «Høyde»: a n/b log b n = (lg n) Rota har f(n) arbeid; hver løvnode har en konstant mengde arbeid. Hva vil dominere totalen? Det kommer an på forholdet mellom f(n) og antallet løvnoder. Antall «løvnoder»: a log b n = n log b a Husk uttrykket for antall løvnoder! 53

54 Tilfelle 1: Løvnodene dominerer Da blir kostnaden (n log b a ) Det skjer når f(n) = O(n log b a ) 54

55 Tilfelle 2: «Dødt løp» Da blir kostnaden Det skjer når (n log b a lg n) Samme kostnad i hvert nivå (dvs. det samme som løvnodene); vi ganger med høyden. f(n) = (n log b a ) 55

56 Det finnes en c < 1 s.a. af(n/b) cf(n), for store nok verdier n Det vil intuitivt si at f-en krymper nedover i treet. 56 f(n) er da regulær

57 Tilfelle 3: Rota dominerer Da blir kostnaden Det skjer når (f(n)) Regulariteten innebærer, for en c < 1 og store n: a*f(n/b) c*f(n). Trenger ikke sjekkes hvis f(n) er polynomisk (dvs. n^k). f(n) = (n log b a+ ) 57 f(n) må være regulær!

58 T (n) = 1 if n = 1 2T (n/2) + n if n > 1 a = 2 b = 2 log b a = 1 n log b a = n f(n) = n = (n log b a ) Her er det dødt løp, så vi får høyde * antall løvnoder = høyde * radsummen, som vi jo kjenner så godt fra treet vårt T (n) = (n log b a lg n) = (n lg n) 58

59 T (n) = 1 if n = 1 2T (n/2) + n if n > 1 a = 2 b = 2 log b a = 1 n log b a = n f(n) = n = (n log b a ) Her er det dødt løp, så vi får høyde * antall løvnoder = høyde * radsummen, som vi jo kjenner så godt fra treet vårt T (n) = (n log b a lg n) = (n lg n) 59

60 Variabelskifte 60

61 Flytter oss til «en enklere verden» Skift funksjon og variabel; går «opp i opp» T(n) = S(m) F.eks. m = lg n, S(m) = T(2m ) 61

62 T (n) = 2T ( n) + lg n [m = lg n] T (2 m ) = 2T (2 m/2 ) + m [S(m) = T (2 m )] S(m) = 2S(m/2) + m = O(m lg m) T (n) = O(lg n lg lg n) 62

63 T (n) = 2T ( n) + lg n [m = lg n] T (2 m ) = 2T (2 m/2 ) + m [S(m) = T (2 m )] S(m) = 2S(m/2) + m = O(m lg m) T (n) = O(lg n lg lg n) Legg merke til at alle venstresidene (og høyresidene, for den saks skyld) er like. 63