SQL: SELECT-spørringer

Transkript

1 SQL: SELECT-spørringer Evgenij Thorstensen V18 Evgenij Thorstensen SQL: SELECT-spørringer V18 1 / 29

2 Relasjonsalgebra, recap Tre hovedoperatorer i tillegg til mengdeoperatorer: Seleksjon σ θ Projeksjon π A Kartesisk produkt og θ-join θ SQL-spørringer bygges i hovedsak via disse, men deklarativt. DBMS-et bygger så et relalg-uttrykk fra spørringen, en såkalt query plan. Evgenij Thorstensen SQL: SELECT-spørringer V18 2 / 29

3 SQL Det intergalaktiske dataspeaket har flere del-språk: Data Query Language: SELECT-spørringer Data Definition Language: CREATE-spørringer, lager skjema Data Control Language: GRANT/REVOKE, datatilgang og brukere Data Manipulation Language: INSERT/UPDATE, skrivespørringer Detaljer finnes her: Evgenij Thorstensen SQL: SELECT-spørringer V18 3 / 29

4 Et eksempel SELECT p.navn, m.id FROM Person p JOIN Movie m ON p.id = m.actorid WHERE m.directorid = 1234; Select-project-join-spørring: SELECT attributter FROM tabell WHERE betingelse. [Person p JOIN Movie m ON p.id = m.actorid] er et tabelluttrykk. Vi lager tabeller via joins, og betingelser via operatorer og logikk. Evgenij Thorstensen SQL: SELECT-spørringer V18 4 / 29

5 Joins I SQL har vi NULL; det medfører at vi har noen ekstra join-typer. JOIN RIGHT JOIN LEFT JOIN FULL JOIN JOIN er som i relasjonsalgebra; bare tupler som oppfyller betingelser. [R LEFT JOIN S ON R.a = S.b] er en JOIN som beholder alle tupler fra R. De som ikke matcher noe i S får NULL-verdier i alle S-kolonner. Hva er RIGHT og OUTER? Evgenij Thorstensen SQL: SELECT-spørringer V18 5 / 29

6 Self-join Print navn på alle ansatte og hver ansattes sjef gitt Ansatt(Id, Navn), Leder(ansId, sjefid). --Feil! SELECT a.navn, a.navn FROM Ansatt a JOIN Leder ON ansid=id AND sjefid=id; Åpenbart noe fryktelig galt i spørringen over. Vi trenger to forskjellige navn! Evgenij Thorstensen SQL: SELECT-spørringer V18 6 / 29

7 Self-join Print navn på alle ansatte og hver ansattes sjef gitt Ansatt(Id, Navn), Leder(ansId, sjefid). Vi trenger en ekstra kopi av Ansatt: --Riktig SELECT a.navn, s.navn FROM Ansatt a JOIN Leder ON ansid=a.id JOIN Ansatt s ON s.id = sjefid; Evgenij Thorstensen SQL: SELECT-spørringer V18 7 / 29

8 Fallgruver joins En veldig lite hjelpsom kortform for JOIN: FROM Tabell1, Tabell2, Tabell3 WHERE <masse betingelser>; Veldig lett å rote seg bort. Skriv heller JOIN ON for hver tabell. Self og andre joins: Husk at WHERE evalueres på enkeltrader i tabellen laget i FROM. Evgenij Thorstensen SQL: SELECT-spørringer V18 8 / 29

9 Betingelser Boolske operatorer på verdier, settes sammen via logiske operatorer. I tillegg til kolonner/verdier kan man bruke scalar subqueries; dette er en spørring som returnerer en tabell med en rad og en kolonne. Fallgruve med betingelser: NULL. [NULL = NULL] evaluerer til false. functions-comparison.html Evgenij Thorstensen SQL: SELECT-spørringer V18 9 / 29

10 NULL, en historie C. A. R. Hoare sa i 2009: I call it my billion-dollar mistake. It was the invention of the null reference in At that time, I was designing the first comprehensive type system for references in an object oriented language (ALGOL W). My goal was to ensure that all use of references should be absolutely safe, with checking performed automatically by the compiler. But I couldn t resist the temptation to put in a null reference, simply because it was so easy to implement. This has led to innumerable errors, vulnerabilities, and system crashes, which have probably caused a billion dollars of pain and damage in the last forty years. Evgenij Thorstensen SQL: SELECT-spørringer V18 10 / 29

11 NULL-problematikk NULL som del av et aritmetisk uttrykk, gir NULL som svar Sammenlikning av NULL med en verdi, gir unknown som svar. Unntak: is distinct from (som er omtrent som <>, men sammenlikner som om null var en verdi) Det er ikke lov å bruke NULL eksplisitt som del av et uttrykk. Vi kan spørre om resultatet av en beregning er NULL: [X IS NULL], [X IS NOT NULL] Egne regler for gruppering med NULL senere. Evgenij Thorstensen SQL: SELECT-spørringer V18 11 / 29

12 NULL-håndtering Noen nyttige constructs: COALESCE(Expr1, Expr2,...) returnerer første argument som ikke er NULL; NULL hvis alle er NULL. Typisk bruk: COALESCE(Adresse, Ikke oppgitt ) NULLIF(Expr1, Expr2) returnerer NULL hvis argumentene er like, ellers returneres Expr1. Evgenij Thorstensen SQL: SELECT-spørringer V18 12 / 29

13 Mer betingelser EXISTS(Spørring) boolsk SOME/ANY(Spørring) og ALL(Spørring) SELECT p.navn FROM Person p WHERE p.formue > ALL (SELECT pq.formue FROM Person pq WHERE pq. alder = 30)); Kan brukes mot flere attributter via ROW: WHERE ROW(A, B) > ALL(her må vi ha to kolonner) Viktig: ALL sammenlikner en og en verdi/rad med en hel tabell. Kan ikke brukes til å sjekke flere rader samtidig mot en tabell. Evgenij Thorstensen SQL: SELECT-spørringer V18 13 / 29

14 La oss teste våre ferdigheter Med det vi har sett sålangt kan vi gjøre en hel del. Prosjekt(prnr, pnavn, kunde, pleder, startdato) Ansatt(anr, navn, tittel, fdato, pnr, ansdato) Timeliste(anr, dato, prnr, timer) Kunde(knr, knavn, adresse) Finn navn og tittel på de ansatte som har arbeidet på minst ett prosjekt som er påbegynt etter 2014 og er bestilt av kunden ABC. Evgenij Thorstensen SQL: SELECT-spørringer V18 14 / 29

15 Divide and conquer Prosjekt(prnr, pnavn, kunde, pleder, startdato) Ansatt(anr, navn, tittel, fdato, pnr, ansdato) Timeliste(anr, dato, prnr, timer) Kunde(knr, knavn, adresse) --Alle prosjekter per betingelse WITH RiktigeProsjekter AS ( SELECT p.prnr FROM Prosjekt p JOIN Kunde k ON p.kunde = k.knr WHERE p.startdato> AND k.knavn = ABC ), AnsattePaProsjekter AS ( --Hvem var pa hvilke prosjekter SELECT a.navn, a.tittel, t.prnr FROM Ansatt a JOIN Timeliste t ON t.anr = a.anr ) --Og sett de to sammen SELECT app.navn, app.tittel FROM AnsattePaProsjekter app JOIN RiktigeProsjekter rp ON app.prnr = rp.prnr; Evgenij Thorstensen SQL: SELECT-spørringer V18 15 / 29

16 En vanskelig type oppgave Samme skjema: Prosjekt(prnr, pnavn, kunde, pleder, startdato) Ansatt(anr, navn, tittel, fdato, pnr, ansdato) Timeliste(anr, dato, prnr, timer) Kunde(knr, knavn, adresse) Finn navn og tittel på de ansatte som har arbeidet på alle prosjekter som er påbegynt etter 2014 og er bestilt av kunden ABC. Fristende å prøve seg med ALL; men funker ikke! Triks: xp(x) x P(x). Vi vil ha de ansatte som IKKE har noe riktig prosjekt de IKKE har jobbet på. Evgenij Thorstensen SQL: SELECT-spørringer V18 16 / 29

17 Trenger fremdeles riktige prosjekter Prosjekt(prnr, pnavn, kunde, pleder, startdato) Ansatt(anr, navn, tittel, fdato, pnr, ansdato) Timeliste(anr, dato, prnr, timer) Kunde(knr, knavn, adresse) --Alle prosjekter per betingelse CREATE VIEW RiktigeProsjekter AS ( SELECT p.prnr FROM Prosjekt p JOIN Kunde k ON p.kunde = k.knr WHERE p.startdato> AND k.knavn = ABC ); Vi vil ha (Ansatt Timeliste) div RiktigeProsjekter. Evgenij Thorstensen SQL: SELECT-spørringer V18 17 / 29

18 Løsning --Ansatte som IKKE har noe (riktig prosjekt de IKKE har jobbet pa) SELECT a.navn, a.tittel FROM Ansatt a WHERE NOT EXISTS ( SELECT * FROM RiktigeProsjekter rp WHERE NOT EXISTS ( SELECT * FROM Timeliste t WHERE t.prnr = rp.prnr AND t.anr = a.anr)); Innerst select kjøres på nytt for hver ansatt og prosjekt. Kalles korrelert spørring. Kunne også ha brukt litt telling, eller en LEFT JOIN. Evgenij Thorstensen SQL: SELECT-spørringer V18 18 / 29

19 Aggregering COUNT, SUM, etc. Et eksempel: SELECT p.navn, COUNT(m.id) AS ant FROM Person p JOIN Movie m ON p.id = m.actorid WHERE m.directorid = 1234 GROUP BY p.id, p.navn HAVING ant>10; Aggregater slår sammen mange tupler til ett tuppel. Hvilke tupler? Evgenij Thorstensen SQL: SELECT-spørringer V18 19 / 29

20 Aggregering COUNT, SUM, etc. Et eksempel: SELECT p.navn, COUNT(m.id) AS ant FROM Person p JOIN Movie m ON p.id = m.actorid WHERE m.directorid = 1234 GROUP BY p.id, p.navn HAVING ant>10; Aggregater slår sammen mange tupler til ett tuppel. Hvilke tupler? Først beregnes SELECT-FROM-WHERE Så leses GROUP BY, og tabellen deles opp i en gruppe per verdi av det som er i GROUP BY Så beregnes aggregater for hver gruppe ny tabell, en rad per gruppe Så filtreres denne på HAVING-betingelser. Evgenij Thorstensen SQL: SELECT-spørringer V18 19 / 29

21 Konsekvenser av aggregat-semantikk Hvis jeg har ikke-aggregater i SELECT, så må jeg ha alle disse i GROUP BY (unntak fra og med pgsql 9.1: Hvis PK er med i SELECT) Aggregater kan ikke brukes i WHERE Uten GROUP BY får man ut maks en rad; aggregerer hele tabellen. Sjeldent riktig! SELECT p.navn, COUNT(m.id) AS ant FROM Person p JOIN Movie m ON p. Id = m.actorid WHERE m.directorid = 1234 GROUP BY p.id, p.navn HAVING ant>10; Evgenij Thorstensen SQL: SELECT-spørringer V18 20 / 29

22 Gruppering-eksempel Prosjekt(prnr, pnavn, kunde, pleder, startdato) Ansatt(anr, navn, tittel, fdato, pnr, ansdato) Timeliste(anr, dato, prnr, timer) Kunde(knr, knavn, adresse) --Alle prosjekter per betingelse WITH RiktigeProsjekter AS ( SELECT p.prnr FROM Prosjekt p JOIN Kunde k ON p.kunde = k.knr WHERE p.startdato> AND k.knavn = ABC ), UnikeAnsattePaRiktigeProsjekter AS ( --Hvem var pa riktige prosjekter SELECT DISTINCT a.anr, a.navn, a.tittel, t.prnr FROM Ansatt a JOIN Timeliste t ON t.anr = a.anr JOIN RiktigeProsjekter rp ON rp. prnr = t.prnr ) --Og sa teller vi opp antall riktige prosjekter per ansatt SELECT app.navn, app.tittel FROM UnikeAnsattePaRiktigeProsjekter app GROUP BY app.anr, app.navn, app.tittel HAVING COUNT(app.prnr) = (SELECT COUNT(*) FROM RiktigeProsjekter); Evgenij Thorstensen SQL: SELECT-spørringer V18 21 / 29

23 NULL-problematikk ved aggregering NULL-verdier ignoreres ved aggregering viktig med COUNT, unntak er COUNT(*). De fleste aggregeringsfunksjoner returnerer NULL hvis de evalueres over ingen verdier. Evgenij Thorstensen SQL: SELECT-spørringer V18 22 / 29

24 SQL, generell form SELECT [DISTINCT] <attributtliste> FROM <tabelluttrykk> [where <where-betingelser>] [GROUP BY <grupperingsattributter> [HAVING <aggregat-betingelser>] ] [ORDER BY <attributt> [asc desc] [, <attributt> [asc desc] ]... ]; Evgenij Thorstensen SQL: SELECT-spørringer V18 23 / 29

25 Mye vil ha mer: Arrays SQL støtter arrays som datatype. Egentlig lister. CREATE TABLE sal_emp ( name text, pay_by_quarter integer[4], schedule text[][] ); Til herligheten medfølger en haug operasjoner. Arrays kan også brukes i spørringer, array(x, Y, 3) lager en array. Evgenij Thorstensen SQL: SELECT-spørringer V18 24 / 29

26 Array-operasjoner Plukke ut et element: SELECT kodon[2] FROM genomsekvens... Konkatenering: g1.kodon ACU, g1.kodon g2.kodon Finne antall elementer:.. WHERE cardinality(kodon) > Sammenlikne eksakt innhold: g1.kodon = g2.kodon, g1.kodon <> g2. kodon Sammenlikne med hvert element i en array: any, all. For eksempel WHERE kodon[3] = ANY(array[ GGU, UGG, UAA ])... Flate ut en array: SELECT kromosomnr, unnest(kodon) FROM genomsekvens; functions-array.html Evgenij Thorstensen SQL: SELECT-spørringer V18 25 / 29

27 Rekursiv SQL Ikke egentlig rekursiv. Egentlig fikspunkt-sql (fixpoint). Tillater oss å kjøre en spørring S på resultatet av S igjen og igjen. Brukes til å nøste opp graf-aktige data. WITH RECURSIVE <tabellnavn>(<attributtliste>) AS ( <ikke-rekursiv term> union union all -- velg en <rekursiv term> ) select * from <tabellnavn>; Evgenij Thorstensen SQL: SELECT-spørringer V18 26 / 29

28 Rekursiv SQL, eksempel Gitt Fly(fraBy, tilby, carrier, flightnr, pris), finn alle byer man kan nå fra NYC eller Chicago med maks 3 flybytter. Skriv ut antall bytter og totalpris. WITH RECURSIVE Destinasjon(fra, til, antconn, totpris) AS ( --Start-tabell gitt av denne sporringen SELECT f.fraby, f.tilby, 0, f.pris FROM fly f WHERE f.fraby = New York or f.fraby = Chicago UNION ALL -- Rekursiv term, kjores pa Destinasjon og setter inn nye tupler der! SELECT d.fra, g.tilby, d.antconn + 1, d.totpris + g.pris FROM Destinasjon d JOIN Fly g ON d.til = g.fraby WHERE d.antconn < 3 ) SELECT * FROM destinasjon; Evgenij Thorstensen SQL: SELECT-spørringer V18 27 / 29

29 Rekursiv SQL, semantikk La Init og Rek være henholdsvis den ikke-rekursive og den rekursive delen (begge er spørringer). Først evalueres Init. Resultatet legges i tabellnavnet vi valge (Destinasjon). Så evalueres Rek over Destinasjon. Hvis den returnerer tupler som ikke allerede var i Destinasjon, legges de der, og Rek evalueres igjen. Og igjen, og igjen, til den ikke finner noe nytt. Evgenij Thorstensen SQL: SELECT-spørringer V18 28 / 29

30 Rekursiv SQL med array Array kommer til nytte i løkkehåndtering i rekursive spørringer. WITH RECURSIVE Destinasjon(fra, til, byoversikt, antconn, totpris) AS ( SELECT f.fraby, f.tilby, array[f.fraby, f.tilby], 0, f.pris from fly f where f.fraby = New York or f.fraby = Chicago UNION ALL select d.fra, g.tilby, d.byoversikt g.tilby, d.antconn + 1, d. totpris + g.pris from destinasjon d, fly g where d.til = g.fraby and g.tilby <> all(byoversikt) ) SELECT fra, til, antconn, totpris FROM Destinasjon; Evgenij Thorstensen SQL: SELECT-spørringer V18 29 / 29