Spørsmålskompilering del 2

Transkript

1 UNIVERSITETET I OSLO Spørsmålskompilering del 2 Estimere størrelsen på mellomresultater Vurdere fysiske spørreplaner Institutt for Informatikk INF3100 V18 Evgenij Thorstensen 1

2 Overblikk For å vurdere såvel logiske som fysiske planer trenger vi en kostnadsberegning. Kan ikke gjøres eksakt (avhengig av dataene vi har), så DBMSet estimerer. Vi vil ha en kostnadsfunksjon C som kan beregnes lokalt: C(R c S) bør regnes ut fra C(R) og C(S). Hva slags kostnader finnes? INF3100 V18 Evgenij Thorstensen 2

3 Kostnader: IO Disk-IO: Kostnader av å lese En gitt page (random read) En sekvens av pages (sequential read) Sekvens er vanligvis billigere Relevant for å velge mellom Table scan Index scan INF3100 V18 Evgenij Thorstensen 3

4 Kostnader: Antall tupler Antall tupler å prosessere i en operasjon. Relevant for alt, inkludert diskoperasjoner. Vi skal se på hvordan dette estimeres, og hvordan det påvirker valg av algoritmer for Innlesing Joins INF3100 V18 Evgenij Thorstensen 4

5 parsere konvertere Estimere resultatstørrelser anvende lover utføre estimere resultatstørrelser velge beste vurdere fysiske planer estimere kostnader INF3100 V18 Evgenij Thorstensen 5

6 Estimere størrelser Ideelt sett ønsker vi regler som er nøyaktige en liten feil kan resultere i valg av en lite hensiktsmessig algoritme i den fysiske spørreplanen enkle å beregne minimal ekstrakostnad for å gjøre selve valget logisk konsistente ikke avhengig av konkret algoritme for operatoren Men ingen universell algoritme finnes for dette Heldigvis hjelper også omtrentlige estimater til å velge en god fysisk spørreplan INF3100 V18 Evgenij Thorstensen 6

7 Notasjon B R eller B(R) angir antall blokker som er nødvendig for å lagre R tettpakket T R eller T(R) angir antall tupler i R V R (A) eller V(R,A) angir antall ulike verdier for attributt A i R Gjennomsnittlig antall tupler med like A-verdier er da T R /V R (A) S R eller S(R) er størrelsen av et tuppel i R i bytes sizeof R eller sizeof(r) er størrelsen av R i bytes: sizeof R = T R * S R INF3100 V18 Evgenij Thorstensen 7

8 Størrelsen av en projeksjon Størrelsen av en projeksjon L (R) kan beregnes nøyaktig: ett resultattuppel for hvert argumenttuppel T( A, B, (R)) = T R endrer bare størrelsen av hvert tuppel: sizeof( A, B, (R)) = T R * (S R.A + S R.B + ) INF3100 V18 Evgenij Thorstensen 8

9 Størrelsen av en projeksjon, Relasjon R A B C D 1 cat 1999 a 2 cat 2002 b 3 dog 2002 c 4 cat 1998 a 5 dog 2000 c eksempel sizeof( A, B, (R)) = T R * (S A + S B + ) sizeof R = sizeof( A (R)) = sizeof( A, B, C, D, (A+10) E (R)) = A: 4 byte integer B: 20 byte text string C: 4 byte date (year) D: 30 byte text string T R = 5 S R = 58 V R (A) = 5 V R (B) = 2 V R (C) = 4 V R (D) = 3 INF3100 V18 Evgenij Thorstensen 9

10 Størrelsen av en seleksjon En seleksjon s C (R) reduserer antall tupler, men størrelsen av hvert tuppel er uendret sizeof(s C (R)) = T(s C (R)) * S R Estimering av antall tupler avhenger av seleksjonsbetingelsen C fordeling av verdier for de aktuelle attributtene: vi antar en uniform fordeling hvor vi bruker V R (A) for å estimere antall tupler i resultatet INF3100 V18 Evgenij Thorstensen 10

11 Størrelsen av en seleksjon (forts.) For attributt A og konstant c: Likhet, s A = c (R): Bruk selektivitetsfaktoren 1/V R (A) T(s A=c (R)) = T R / V R (A) Intervall, s A < c (R): Bruk selektivitetsfaktoren 1/3 T(s A<c (R)) = T R / 3 Ulikhet, s A c (R): Bruk selektivitetsfaktoren 1-1/V R (A) T(s A c (R)) = T R * (1 1/V R (A)) INF3100 INF V18 Evgenij - Ellen Thorstensen Munthe-Kaas 11

12 Størrelsen av en seleksjon, Relasjon R A B C D 1 cat 1999 a 2 cat 2002 b 3 dog 2002 c 4 cat 1998 a 5 dog 2000 c T(s A=c (R)) = T R / V R (A) T(s A=3 (R)) = T(s B = cat (R)) = eksempel A: 4 byte integer B: 20 byte text string C: 4 byte date (year) D: 30 byte text string T R = 5 S R = 58 T(s A<c (R)) = T R / 3 T(s A > 2 (R)) = V R (A) = 5 V R (B) = 2 V R (C) = 4 V R (D) = 3 T(s A c (R)) = T R * (1 1/V R (A)) T(s B cat (R)) = INF3100 V18 Evgenij Thorstensen 12 INF Ellen Munthe-Kaas 12

13 Størrelsen av en seleksjon med AND eller NOT Seleksjon med flere betingelser med AND, s A AND B AND (R): estimer størrelsen ved hjelp av én selektivitetsfaktor for hver betingelse: 1/3 for <, >,, 1-1/V R (A) for på attributt A 1/V R (A) for = på attributt A T(s A AND B AND (R)) = T R * faktor A * faktor B *... Seleksjon med NOT, s NOT A (R): Bruk selektivitetsfaktoren 1-T(s A (R))/ T R T(s NOT A (R)) = T R T(s A (R)) INF3100 V18 Evgenij Thorstensen 13

14 Størrelsen av en seleksjon med Relasjon R AND eller NOT, eksempel A B C D 1 cat 1999 a 2 cat 2002 b 3 dog 2002 c 4 cat 1998 a 5 dog 2000 c T(s A AND B AND (R)) = T R * faktor A * faktor B *... T(s C = 1999 AND A < 4 (R)) = T(s NOT A (R)) = T R - T(s A (R)) T(s NOT A = 3 (R)) = A: 4 byte integer B: 20 byte text string C: 4 byte date (year) D: 30 byte text string T R = 5 S R = 58 V R (A) = 5 V R (B) = 2 V R (C) = 4 V R (D) = 3 INF3100 V18 Evgenij Thorstensen 14

15 Størrelsen av en seleksjon med OR Seleksjon med flere betingelser med OR, s A OR B OR (R) Alternativ 1: T(s A OR B OR (R)) = T(s A (R)) + T(s B (R)) +... Alternativ 2: T(s A OR B OR (R)) = min(t R, (T(s A (R)) + T(s B (R)) +...) ) Alternativ 3: anta at m 1 tupler tilfredsstiller den første betingelsen, m 2 tilfredsstiller den andre betingelsen,... 1 m i / T R er da andelen tupler som ikke tilfredsstiller den i-te betingelsen T(s A OR B OR (R)) = T R * [1 (1 m 1 / T R ) * (1 m 2 / T R ) *...] INF3100 V18 Evgenij Thorstensen 15

16 Størrelsen av et produkt Størrelsen av et kartesisk produkt R S kan beregnes nøyaktig: Ett tuppel for hver mulige kombinasjon av tuplene i relasjonene R og S: T(R S) = T R * T S Størrelsen av hvert nye tuppel er summen av størrelsen til hvert av de opprinnelige tuplene: S(R S) = S R + S S sizeof(r S) = T(R S) * S(R S) = T R * T S * (S R + S S ) INF3100 V18 Evgenij Thorstensen 16

17 Størrelsen av naturlig join Størrelsen av naturlig join R(X,A) S(A,Y) avhenger av hvordan verdiene til joinattributtet A fordeler seg mellom relasjonene R(X,A) og S(A,Y): Disjunkte sett med A-verdier tomt resultat: T(R S) = 0 A er en fremmednøkkel fra R til S hvert tuppel i R matcher ett tuppel i S: T(R S) = T R Nesten alle tuplene i R og S har samme A-verdi kombiner alle tuplene i hver relasjon: T(R S) = T R * T S INF3100 V18 Evgenij Thorstensen 17

18 Størrelsen av naturlig join (forts.) Antakelser: Inkludering av verdimengde: Hvis V R (A) V S (A), så anta at ( A (R)) ( A (S)) Dvs. hver A-verdi i R har en match i S Bevaring av verdimengde: Anta at verdimengden til ikke-join-attributter er den samme før og etter join, dvs. V(R S, B) = V R (B) der B er et attributt i R, men ikke i S INF3100 V18 Evgenij Thorstensen 18

19 Størrelsen av naturlig join (forts.) Antall tupler i R(X, A) S(A, Y) kan nå estimeres som følger: Hvis V R (A) V S (A), vil hvert tuppel i R matche anslagsvis T S / V S (A) tupler i S: T(R S) = T R * T S / V S (A) Tilsvarende, hvis V S (A) V R (A): T(R S) = T R * T S / V R (A) Generelt: T(R S) = T R * T S / max(v R (A), V S (A)) V(R S, B) = V R (B) for B et attributt i X V(R S, C) = V S (C) for C et attributt i Y V(R S, A) = min(v R (A), V S (A)) for joinattributtet A INF3100 V18 Evgenij Thorstensen 19

20 Størrelsen av naturlig join (forts.) Eksempel: A(a, b) B(b, c) C(c, d) T A = T B = T C = V A (a) = V B (b) = 100 V C (c) = 100 V A (b) = V B (c) = V C (d) = 100 T(A B) = T(A B C) = INF3100 V18 Evgenij Thorstensen 20

21 Størrelsen av naturlig join (forts.) Hvis det er mer enn ett joinattributt, R(X, A 1, A 2, ) S(A 1, A 2,, Y), får vi: T R * T S T(R S) = max(v R (A 1 ), V S (A 1 )) * max(v R (A 2 ), V S (A 2 )) * for hvert A i -attributt som er felles for R og S For naturlig join mellom flere relasjoner R 1 R 2 R 3 R n start med maksimalt antall tupler T(R 1 ) * T(R 2 ) * T(R 3 ) * * T(R n ) for hvert attributt A som forekommer i mer enn en relasjon, divider med alle unntatt den minste V(R i,a) Størrelsen av equijoin beregnes som naturlig join Størrelsen av thetajoin R c S beregnes ved å beregne størrelsen av s c (R S) INF3100 V18 Evgenij Thorstensen 21

22 Størrelsen av en union Avhenger av om vi bruker set- eller bag-versjonen: Bag: Resultatet er nøyaktig lik summen av tupler i argumentene: T(R b S) = T R + T S Set: Som for bag hvis relasjonene er disjunkte Antall tupler i den største relasjonen hvis den minste er en delmengde av denne Vanligvis et sted mellom disse, kan for eksempel bruke gjennomsnittet: T(R s S) = T R + T S /2 hvor S er den minste relasjonen INF3100 V18 Evgenij Thorstensen 22

23 Størrelsen av snitt og differanse Antall tupler i et snitt R S er 0 hvis relasjonene er disjunkte min(t R, T S ) hvis den ene relasjonen er en delmengde av den andre vanligvis et sted i mellom, kan for eksempel bruke gjennomsnittet: min(t R, T S ) / 2 Antall tupler i en differanse R S er T R hvis relasjonene er disjunkte T R - T S hvis alle tuplene i S finnes i R vanligvis et sted i mellom, kan for eksempel bruke gjennomsnittet: T R - T S /2 INF3100 V18 Evgenij Thorstensen 23

24 Størrelsen av en duplikateleminasjon Antall distinkte tupler som resultat av en duplikateliminasjon (R) er 1 hvis alle tuplene er like T R hvis alle tuplene er forskjellige En tilnærming: Gitt V R (A i ) for alle n attributter, vil maksimalt antall ulike tupler være V R (A 1 ) * V R (A 2 ) * * V R (A n ) La estimert antall tupler være det minste av dette tallet og T R /2, dvs. min(v R (A 1 ) * V R (A 2 ) * * V R (A n ), T R /2) Tilsvarende for gruppering (ser bare på grupperingsattributtene A 1, A 2,... A m ) INF3100 V18 Evgenij Thorstensen 24

25 parsere Vurdere fysiske planer konvertere anvende lover utføre estimere resultatstørrelser velge beste vurdere fysiske planer estimere kostnader INF3100 V18 Evgenij Thorstensen 25

26 Sammenligning av logiske spørreplaner Vi sammenligner ulike spørreplaner for en gitt spørring ved hjelp av størrelsen på temporære relasjoner estimer resultatet av hver operator i spørreplanen legg kostnadene inn i treet kostnaden til planen er lik summen av alle kostnadene i treet, bortsett fra for: roten sluttresultatet løvnodene data lagret på disk INF3100 V18 Evgenij Thorstensen 26

27 Sammenligning av logiske spørreplaner - eksempel StarsIn(title, year, starname) MovieStar(name, address, gender, birthdate) SELECT title FROM StarsIn WHERE starname IN ( SELECT name FROM MovieStar WHERE birthdate LIKE %1960 ); title Statistikk: T(StarsIn) = V(StarsIn, starname) = 500 S(StarsIn) = 60 T(MovieStar) = V(MovieStar, name) = V(MovieStar, birthdate) = 50 S(MovieStar) = 100 title starname = name s starname = name StarsIn name StarsIn name s birthdate LIKE %1960 INF3100 V18 Evgenij Thorstensen MovieStar s birthdate LIKE %1960 MovieStar 27

28 Eksempel (forts.) A 1 = s birthdate LIKE %1960 (MS): T(A 1 ) = T(s (MS)) = T(MS) / V(MS, birthdate) = 1000 / 50 = 20 sizeof(a 1 ) = 20 * 100 = 2000 Statistikk: T(SI) = V(SI, starname) = 500 S(SI) = 60 T(MS) = A 2 = name (A 1 ): T(A 2 ) = T( (A 1 )) = T(A 1 ) = 20 anta at name er 20 byte sizeof(a 2 ) = 20 * 20 = 400 A 3 = SI A 2 : T(A 3 ) = T(SI A 2 ) = T(SI)*T(A 2 ) / max[v(si, starname), V(A 2, name)] = * 20 / max(500, 20) = 400 S(A 2 ) = 20 sizeof(a 3 ) = 400 * ( ) = A 4 = title (A 3 ): T(A 4 ) = T( (A 3 )) = T(A 3 ) = 400 anta at title er 40 byte sizeof(a 4 ) = 400 * 40 = V(MS, name) = V(MS, birthdate) = 50 S(MS) = title starname = name StarsIn name s birthdate LIKE % MovieStar INF3100 V18 Evgenij Thorstensen 28

29 Eksempel (forts.) A 1 = s birthdate LIKE %1960 (MS) som før: 2000, T(s (MS))=20 Statistikk: T(SI) = V(SI, starname) = 500 S(SI) = 60 A 2 = name (A 1 ) som før: 400, T(A 2 ) = T(A 1 ) = 20 B 3 = SI A 2 : T(B 3 ) = T(SI x A 2 ) = T(SI) * T(A 2 ) = * 20 = S(A 2 ) = 20 sizeof(b 3 ) = * ( ) = B 4 = s starname = name (B 3 ): (Regelen for T(s A=B (R)) er ikke gjennomgått) T(B 4 ) = T(s (B 3 )) = T(B 3 ) / max(v(b 3, name), V(SI, starname)) = / max(20, 500) = 400 S(B 4 ) = S(SI) + S(B 3 ) = = 80 sizeof(b 4 ) = 400 * 80 = B 5 = title (B 4 ) som A 4 : 400 * 40 = INF3100 V18 Evgenij Thorstensen StarsIn T(MS) = V(MS, name) = V(MS, birthdate) = 50 S(MS) = title s starname = name name s birthdate LIKE % MovieStar 29

30 title starname = name Eksempel (forts.) title s starname = name StarsIn name StarsIn name s birthdate LIKE %1960 s birthdate LIKE % MovieStar MovieStar Totalt: = Totalt: INF V18 Evgenij Thorstensen =

31 Valg av fysisk spørreplan Mulige alternativer for å velge billigste fysiske spørreplan: exhaustive heuristic branch-and-bound hill climbing dynamic programming Sellinger-style optimizations INF3100 V18 Evgenij Thorstensen 31

32 Valg av fysisk spørreplan (forts.) Exhaustive: se på alle mulige kombinasjoner av valg i planen estimer kostnaden til hver plan mange planer, kostbart/ikke gjennomførbart Heuristic (brute force): velg en plan i henhold til heuristiske regler, dvs. basert på tidligere erfaringer som f.eks.: bruk indeks på operasjoner som s A = 10 (R) bruk den minste relasjonen først ved join av mange relasjoner hvis argumentene er sortert, bruk en sorteringsbasert operator... rask, men bare basert på generelle regler INF3100 V18 Evgenij Thorstensen 32

33 Valg av fysisk spørreplan (forts.) Branch-and-bound: finn en plan ved hjelp av heuristiske regler se på mindre deler av planen for å finne optimaliseringer Sellinger-style optimization: for alle subuttrykk, ta vare på kostnaden og forventet type resultat en operator kan ha høyere individuell kostnad, men hvis resultatet f.eks. er sortert, kan senere operatorer bruke dette ingen effekt ved vurdering av størrelsen på mellomresultatet ved vurdering av antall disk-io kan første del av en sorteringsbasert operasjon spares INF3100 V18 Evgenij Thorstensen 33

34 Query planning i postgres Via noen eksempler. Keywords: EXPLAIN og EXPLAIN ANALYZE INF3100 V18 Evgenij Thorstensen 34

35 Query planning i postgres EXPLAIN: Viser query plan og kostnadsestimat. EXPLAIN SELECT * FROM post ORDER BY body LIMIT 50; Limit (cost= rows=50 width=422) -> Sort (cost= rows= width=422) Sort Key: body -> Seq Scan on post (cost= rows= width=422) pgadmin kan visualisere explain-output INF3100 V18 Evgenij Thorstensen 35

36 Postgres, større eksempel EXPLAIN ANALYZE SELECT * FROM tenk1 t1, tenk2 t2 WHERE t1.unique1 < 100 AND t1.unique2 = t2.unique2 ORDER BY t1.fivethous; QUERY PLAN Sort (cost= rows=101 width=488) (actual time= rows=100 loops=1) Sort Key: t1.fivethous Sort Method: quicksort Memory: 77kB -> Hash Join (cost= rows=101 width=488) (actual time= rows=100 loops=1) Hash Cond: (t2.unique2 = t1.unique2) -> Seq Scan on tenk2 t2 (cost= rows=10000 width=244) (actual time= rows=10000 loops=1) -> Hash (cost= rows=101 width=244) (actual time= rows=100 loops=1) Buckets: 1024 Batches: 1 Memory Usage: 28kB -> Bitmap Heap Scan on tenk1 t1 (cost= rows=101 width=244) (actual time= rows=100 loops=1) Recheck Cond: (unique1 < 100) -> Bitmap Index Scan on tenk1_unique1 (cost= rows=101 width=0) (actual time= rows=100 loops=1) Index Cond: (unique1 < 100) Planning time: ms Execution time: ms INF3100 V18 Evgenij Thorstensen 36

37 Postgres, kostnadsmodell I postgres måles kostnader i abstrakte poeng. Følgende defaults gjelder seq_page_cost = 1 random_page_cost = 4 cpu_tuple_cost = 0.01 (100x raskere) cpu_operator_cost = (400x raskere) cpu_index_tuple_cost = (200x raskere) INF3100 V18 Evgenij Thorstensen 37