Forelesning 3 DAS - Systemtabeller, indekser, distribuerte systemer m.m. - Tom Heine Nätt/Edgar Bostrøm

Transkript

1 Forelesning 3 DAS - Systemtabeller, indekser, distribuerte systemer m.m. - Tom Heine Nätt/Edgar Bostrøm

2 Systemtabeller

3 Alt er tabeller og SQL I MySQL: Databasen mysql F.eks SET SQL_LOG_BIN=0; I SQLServer: Databasen Master (m.f) Hvorfor?

4 MySQL sine grant tables user Også brukerdata (Hashet passord, tilkobling, begrensinger osv.) db og host Komplisert par tables_priv columns_priv Tabellene har 2 deler Scope columns Privilege columns

5 MySQL sine grant tables Ofte lettere å utføre store operasjoner på flere brukere mot disse tabellene Gir deg lettere(?) oversikt Enkelte ting er vanskelige å gjøre med GRANT/REVOKE

6 User table Globale privilegier Settes med GRANT ON *.* TO Inneholder 5 deler Scope columns Data-related privilege columns Administrative privilege columns Encryption related privilege columns Connection-related privilege columns

7 DB table Databasespesifikke privilegier Settes med GRANT ON dbnavn.* TO Man kan sette host til ingenting (se host tabell)

8 Tables_priv tabellen Styrer rettighetene på en bestemt tabell Har kun 2 privilegiekolonner: Table_priv (tabellen generelt) Select, Insert, Update, Delete, Create, Drop, Grant, Index, Alter, References, Create View, Show View, Trigger Column_priv ( hva skal vi muligens tillate på kolonner) Select, Insert, Update, References Timestamp, Grantor Settes ved GRANT ON database.tabell TO

9 Columns_priv Styrer rettigheter på kolonner i tabeller Fineste inndeling (MySQL) Krever at samme privilegie er satt i tables_priv sin Colums_priv kolonne/atributt Settes av: GRANT SELECT(kolonnenavn, kolonnenavn), DELETE(kolonnenavn) ON database.tabell TO

10 Tabellmotorer

11 MySQL sine tabelltyper/tabellmotorer Settes ved å lenge på ENGINE= etter CREATE TABLE (.) Ulike tabellmotorer til ulikt bruk Lagring, hastighet, kapasistet osv Typer: MyISAM : Generell. InnoDB : Standard, Store datamengder, Transaction safe, rollback MEMORY : Lagres kun i RAM, rask ARCHIVE : optimalisert for å holde store datamengder, og innsetninger CSV : Lagrer i CSV filer. Bra for systemintegrasjon og app. uten db muligheter. treigere (BLACKHOLE) (EXAMPLE) M.f.

12 Indekser

13 Indekser Innholdsfortegnelse Hashmap / Søketrær Ingen stor betydning for selve DB, kun for hurtighet Men: Ikke alltid det blir raskere Ofte DBA som setter (ut i fra logger) CREATE INDEX <navn> ON <tabell>(<kolonner>[(<lengde>)]) Ulike typer indekser har ulike bruksområder. Hvilke indekser som finnes avhenger av DBMS: Mye lik data, mye ulike data, tall, tegn, datoer osv PK er alltid en indeks MySQL: SHOW INDEX FROM <tabellnavn>

14 Indekser Eksempel lånt fra Edgar

15 EN DBMS er ikke én ting Består av mange komponenter Kan ha tilleggsmoduler Mange elementer går igjen hos ulike DBMSer

16 Forenklet oppbygning 1. Query processor 2. Authorization control 3. Integrity checker 4. Query optimizer 5. Transaction manager 6. Scheduler 7. Recovery manager 8. Buffer manager 9. File manager 1. Sjekker at spørring er OK 2. Sjekker at bruker har rettigheter 3. Sjekker at det er trygt å utføre spørringen 4. Gjør spørringen raskere/bedre 5. Setter inn delene av spørringen i en sammenheng 6. Når kan vi få lov til å utføre spørringen? Når passer det best å kjøre? 7. Hvordan skal vi kunne undoe spørringen 8. Hva skal skrives til fil? 9. Skrive til fil

17 Hvordan lagre på filer? Åpner aldri hele fila Ofte mange filer I enkelte typer DB har rådata på en dedikert disk Arbeider med pages (el.blocks) Utdrag av fila Mange ulike måter å strukturere filene på (Jfr. tabelltyper i MySQL) Heap (uordnet) Sequential (ordnet) Hash (hash funksjon)

18 Distribuerte databasesystemer

19 Distribuerte databasesystemer Når: Data blir for mye for en maskin Belastningen blir for mye for en maskin Spre risiko ved systemkræsj Spre databasen til ulike lokasjoner (nærhet til dataene) Spre databasen til ulike systemer (nærhet til dataene) Integrasjon mellom data i ulike systemer Ønsker spesialversjoner av databasen (f.eks mobile versjoner) ++

20 Distribuerte databasesystemer Skiller mellom Distributed DBMS (DDBMS) DBMS (og Data) - ulike lokasjoner som flere lokale DBer Ofte også med overlapp Den samlede datamengden omtales som Distributed database (DDB) Om hvert system her helt autonomt, kalles det for MDBS (Multidatabase system) Distributed Processing DBMS Flere DBMS er jobber mot samme DB Parallel DBMS Èn DBMS som kjører over flere maskiner To typer systemer: Homogene Heterogene Hardware DMBS (produkt/versjon) Mer feilsikkert, men vanskeligere å administrere

21 Fordeler og ulemper DDBMS (Noen punkter gjelder også de andre to arkitekturene ) Fordeler: Ulemper: Samler flere DBer (også integrasjon) Tilgjengelighet Stabilitet Ytelse Økonomi ( billigere med flere billige maskiner enn en supermaskin) Modulær vekst Kompleksitet Transaksjonskontroll (data ikke oppdatert samtidig alle steder) Kostnad (drifting, systemer) Integritet vanskeligere Ingen standarder Mindre erfaring ( DBA på kurs ) Flere administratorer (sikkerhet) Mer datatrafikk på nettverket ( sikkerhet) Treig trafikk på nettet

22 Fragmentering av data Hvordan skal vi skille en DB til DDB? Opplagt å skille tabeller, men en tabell kan også være for stor 2 hovedtyper: Horisontal deling (rader), RESTRICT-operatoren Vertikal deling (attributter), PROJECT-operatoren I tillegg: blanding av disse. Med/uten redundans Hva med kalendersystemer??? Hvorfor fragmentering/ddbms? Lagre data på lokasjonen der den brukes Sikkerhet ikke alt går skeis Passe på data lokalt Effektivt. Man får mange mindre databaser (transaksjoner, backup osv.)

23 Date s 12 regler for DDBMS 1. Local autonomy DBMS styres lokalt 2. No reliance on a central site 3. Continuous operation Ved fragmentering, endring av lokasjoner osv.. 4. Local independance Hvor dataene befinner seg er uvesentlig for bruker 5. Fragmentation independence Hvordan dataene er fragmentert er uvesentlig for bruker 6. Replication independence Brukeren skal ikke måtte hente inn riktig data

24 Date s 12 regler for DDBMS 7. Distributed query processing En spørring kan inneholde data fra mange lokasjoner 8. Distributed transaction processing Transaksjoner skal fungere riktig på tvers av lokasjoner 9. Hardware independence 10. Operating system independence 11. Network independence 12. Database independence (DBMS independence) Med andre ord: For brukeren skal et DDBMS virke som det er et DBMS

25 Google 10 milliarder websider indeksert (10 kb i gjennomsnitt) 1000 forespørsler hvert sekund 2000 PC i et cluster 30 clustere 1 petabyte i hvert cluster (1 petabyte = 1 million MB) Bygget på standardmaskiner du får kjøpt i butikken 2 maskiner feiler hver dag.. Likevel ingen systemfeil siden Feb (1 time) Laget sitt eget DDBMS system (Des. 2004: Google-tick/0, , ,00.htm)

26 Eksempel på andre områder med enorme datamengder som krever DDBMS: Forsikring Butikker (medlemskort) Forskning (NASA, Klima) Produksjon (Logging av alle prod. elementer) F.eks Prediktor