Querying the Internet with PIER

Størrelse: px
Begynne med side:

Download "Querying the Internet with PIER"

Transkript

1 Querying the Internet with PIER TDT2 Avanserte distribuerte systemer Truls Jørgensen Disposisjon 2

2 Hva er PIER? (1) Peer-to-Peer Information Exchange and Retrieval Paring av tradisjonell prosessering av databasequeries med ny p2pteknologi En distribuert query processor (QP) Bygd over en Distributed Hash Table (DHT) CAN, men har også blitt portet til Chord 3 Hva er PIER? (2) (Internett-) data prosesseres der de er lagret (in situ) uten noen intermediate database PIER ønsker å vise at query processing kan bli gjort i en massively distributed scale Krever ikke noen ekstensjon til underliggende DHT- APIet. PIER benytter wrappere til å aksessere til å aksessere data in situ (f.eks rene filer eller streams) Antar at alle peers bruker samme scheme for lagring av data 4

3 Relaxed Consistency ACID-egenskapene er ikke implementert i noe massivt distribuert system i dag Brewer: Et distribuert datasystem kan bare ha to av følgende egenskaper: Konsistens Tilgjengelighet Toleranse for nettverkspartisjoner. Distribuerte databaser velger konsistens fremfor tilgjengelighet PIER må ha høy tilgjengelighet, og ofrer derfor konsistens. Best effort på tilgjengelig subnett 5 Arkitektur Lag 1 - Applikasjoner Network monitoring Other user apps Lag 2 - PIER Query optimizer Catalog Manager Core Relational Execution Engine Lag 3 - DHT Overlay Routing Provider Storage Manager 6

4 Distribuerte hashtabeller Abstraksjon over flere distribuerte noder Hver node kan lagre data Hvert data item identifiseres med en unik nøkkel 7 CAN Content Adressable Network Basert på et d-dimensjonalt koordinatsystem. Hver node holder en routingtabell for sine naboer To noder er naboer hvis de deler et hyperplan med dimensjon d-1 Delt inn i soner. Hver node er ansvarlig for en sone En nøkkel hashes til et punkt i koordinatsystemet og lagres hos den ansvarlige noden 8

5 CAN - lookup (16,0) (16,12) (16,16) (12,12) (12,16) Key = (15,14) Data (0,0) (0,16) 9 DHT detaljer Overlay Routing Overlay Routing Provider Mapper en nøkkel til ipadressen til den noden som for øyeblikket er ansvarlig for nøkkelen Leverer et API for Lookup Å bli med i og forlate nettverket Sende notify når mappingen mellom noder og nøkler endres Lag 3 DHT Storage Manager 10

6 DHT detaljer Storage Manager Overlay Routing Provider Leverer så god ytelse at den ikke blir flaskehalsen i systemet. I PIER brukes en main memory storage manager. Leverer et API for Store(key, item) Retrieve(key) -> item Remove (key) Lag 3 DHT Storage Manager 11 DHT detaljer Provider Binder routing layer og storage manager sammen og tilbyr et interface til applikasjoner for begge Hvert objekt har et Namespace identifiserer applikasjonen den tilhører resourceid gir en semantisk mening til objektet eller primærnøkkel instanceid Overlay Routing tilfeldig tall satt av applikasjonen (skiller objekter med likt navnerom og resourceid, noe som kan oppstå dersom objektet ikke er lagret på primærnøkkel) API get(namespace, resourceid) -> item put(namespace,resouceid, instanceid, item, lifetime) renew(namespace,resourceid, instanceid,item, lifetime) -> bool multicast(namespace, resourceid, item) lscan(namespace) -> iterator newdata(namespace) -> item Lag 3 DHT Provider Storage Manager 12

7 Query Processor Støtter samtidig utførelse av operatorer som kan bli pipelinet Støtter seleksjon, projeksjon, gruppering, agreggering og distribuert join 13 Basert på eksisterende læreboklærdom om parallell join. To tabeller, R og S Lagret i henholdsvis navnerom N R og N S PIER lager midlertidige tabeller i navnerommet N Q 14

8 Symmetrisk Hash Join Hver node i N R og N S utfører en scan i sitt lokale navnerom for å finne alle R og S-tupler Hvert tuppel som tilfredstiller lokale seleksjonspredikater legges til N Q. I parallell på hver node Verdiene for for joinattributtene konkateneres slik at de danner resourceid (primærnøkkel) Matchende noder legges til og sendes oppover til den initierende prosessen 15 Fetch Matches Variant av Symmetrisk Hash Join Brukes når den ene tabellen, S, allerede er hashet på join-attributt(ene). N R scannes, og for hver R-tuppel sendes et getkall for å finne sammenfallende S-verdi. 16

9 Symmetrisk Semi-Join Forsøk på å redusere kommunikasjon (og båndbredde!) Projiserer bare ResourceID og join-nøklene Utfører en Symmetrisk Hash Join på resultatet Utfører deretter en Fetch Matches Join for å få hele tuppelet fra tabellen 17 Bloom Joins Bloomfiltre benyttes for å hente ut bare den de viktige delene av identifikatoren, og sparer båndbredde: Bloomfiltre opprettes for hvert fragment av S og R som finnes hos en node Filtrene publiseres i et temporært navnerom, før de blir multicastet til alle noder som har den motsatte tabellen Noden skanner sitt tilsvarende fragment, men rehasher kun de tuplene som matcher Bloomfilteret. 18

10 (1) Simulering over noder Ble testet på Full Mesh og Transit Stub-topologi Full Mesh topologi: Alle endepunkter kan nå alle andre direkte Ideal Enkel å simulere Transit Stub topologi: Typisk Internett Hierarkisk Vanskeligere å simulere Ingen stor forskjell ble funnet -> Full Mesh.. 19 (2) Transit stub Vs Full Mesh 20

11 (3) Mye avhenger av den underliggende DHT PIER skalerer bra så lenge antall noder er stort nok til å hindre network cognestion. Hver joinalgoritme ble testet med Uendelig båndbredde Begrenset båndbredde Tiden det tok til å motta det siste tuppelet ble valgt som metrikk 21 (4) Uendelig båndbredde Symmetrisk Hash Join raskest Begrenset båndbredde, høy selektivitetsfaktor Fetch Matches-join Symmetrisk Semi-Join Begrenset båndbredde, lav selektivitetsfaktor Symmetrisk Semi-join Bloom-join 22

12 (5) Fixed båndbredde -10Mbs SHJ bruker mest båndbredde rehashing av begge tabeller FM bruker omtrent konstant båndbredde- S-tuppelet må uansett hentes og evalueres, uansett hvor selektiv predikatet er I SSJ overfører den andre joinoperasjonen tuplene i S og R som matcher Trafikken øker linært med selektiviteten av S BF er god på lav selektivtet minsker rehashing av R Mange R-tupler har ikke noen S-tupler å joine med. 23

Peer-to-Peer systemer

Peer-to-Peer systemer Peer-to-Peer systemer Bakgrunn Oversikt Taksonomi Applikasjonsområder Modeller Mats Thoresens diplom 2003 1 2 Hva er Peer-to-Peer? Peer node i et nettverk Noder i en arkitektur kommuniserer og deler ressurser

Detaljer

DBS18 - Strategier for Query-prosessering

DBS18 - Strategier for Query-prosessering Side 1 for Databaser DBS18 - Strategier for Query-prosessering søndag 22. mai 2016 13.03 Pensum 18.1-18.4, side 655-674, unntatt 18.4.4 og 18.4.5 En spørring som blir skrevet i et høynivå-språk, må bli

Detaljer

Parallelle og distribuerte databaser Del I

Parallelle og distribuerte databaser Del I UNIVERSITETET I OSLO Parallelle og distribuerte databaser Del I Institutt for Informatikk INF3100 7.4.2014 Ellen Munthe-Kaas 1 Parallellberegninger Database på én storskala parallellmaskin: Utnytter parallelliteten

Detaljer

Databasesystemer, oversikt

Databasesystemer, oversikt Databasesystemer, oversikt Evgenij Thorstensen V18 Evgenij Thorstensen Databasesystemer, oversikt V18 1 / 23 Kurset Databasesystemer og databaser. Databaser er abstrakte objekter (datastrukturer, spørrespråk).

Detaljer

Populærvitenskapelig foredrag Peer-2-peer: fra Napster til TOR

Populærvitenskapelig foredrag Peer-2-peer: fra Napster til TOR IN1020 - Introduksjon til datateknologi Populærvitenskapelig foredrag 08.11.2017 Peer-2-peer: fra Napster til TOR Håkon Kvale Stensland & Andreas Petlund Introduksjon til Peer-to-Peer Forskjellige nettverksarkitekturer

Detaljer

Parallelle og distribuerte databaser

Parallelle og distribuerte databaser UNIVERSITETET I OSLO Parallelle og distribuerte databaser Institutt for Informatikk INF3100 11.4.2013 Ellen Munthe-Kaas 1 Parallellberegninger Database på én storskala parallellmaskin: Utnytter parallelliteten

Detaljer

Ad-hoc / selvkonfigurerende sensornettverk. Knut Øvsthus, PhD Professor Høgskolen i Bergen

Ad-hoc / selvkonfigurerende sensornettverk. Knut Øvsthus, PhD Professor Høgskolen i Bergen Ad-hoc / selvkonfigurerende sensornettverk Knut Øvsthus, PhD Professor Høgskolen i Bergen Agenda Introduksjon Hvorfor kommer sensornett nå? Arbeid ved FFI CWIN Arbeid ved HiB Veien videre Moore s lov Dobling

Detaljer

Effektiv eksekvering av spørsmål

Effektiv eksekvering av spørsmål UNIVERSITETET I OSLO Effektiv eksekvering av spørsmål Spørsmålshåndtering Modell for kostnadsberegning Kostnad for basisoperasjoner Implementasjonsalgoritmer Institutt for Informatikk INF3100 6.4.2016

Detaljer

Maps og Hashing. INF Algoritmer og datastrukturer. Map - ADT. Map vs Array

Maps og Hashing. INF Algoritmer og datastrukturer. Map - ADT. Map vs Array Maps og Hashing INF0 - Algoritmer og datastrukturer HØSTEN 00 Institutt for informatikk, Universitetet i Oslo INF0, forelesning : Maps og Hashing Map - Abstrakt Data Type (kapittel.) Hash-funksjoner (kapittel..)

Detaljer

Maps og Hashing. INF Algoritmer og datastrukturer. Map - ADT. Map vs Array

Maps og Hashing. INF Algoritmer og datastrukturer. Map - ADT. Map vs Array Maps og Hashing INF0 - Algoritmer og datastrukturer HØSTEN 00 Institutt for informatikk, Universitetet i Oslo INF0, forelesning : Maps og Hashing Map - Abstrakt Data Type Hash-funksjoner hashcode Kollisjonshåndtering

Detaljer

INF Algoritmer og datastrukturer

INF Algoritmer og datastrukturer INF2220 - Algoritmer og datastrukturer HØSTEN 2009 Institutt for informatikk, Universitetet i Oslo INF2220, forelesning 3: Maps og Hashing Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning 3 1 / 25 Maps

Detaljer

Effektiv eksekvering av spørsmål

Effektiv eksekvering av spørsmål UNIVERSITETET I OSLO Effektiv eksekvering av spørsmål Basert på foiler av Hector Garcia-Molina, Ragnar Normann Oversikt Spørsmålshåndtering Modell for kostnadsberegning Kostnad for basis-operasjoner Implementasjons-algoritmer

Detaljer

... HASHING. Hashing. Hashtabeller. hash(x)

... HASHING. Hashing. Hashtabeller. hash(x) HASHING Hashing Hashtabeller (kapittel.) Hash-funksjoner (kapittel.) Kollisjonshåndtering Åpen hashing (kapittel.) Lukket hashing (kapittel.) Anta at en bilforhandler har ulike modeller han ønsker å lagre

Detaljer

Effektiv eksekvering av spørsmål

Effektiv eksekvering av spørsmål UNIVERSITETET I OSLO Effektiv eksekvering av spørsmål Spørsmålshåndtering Modell for kostnadsberegning Kostnad for basisoperasjoner Implementasjonsalgoritmer Institutt for Informatikk INF3100 23.3.2015

Detaljer

Effektiv eksekvering av spørsmål

Effektiv eksekvering av spørsmål UNIVERSITETET I OSLO Effektiv eksekvering av spørsmål Spørsmålshåndtering Modell for kostnadsberegning Kostnad for basisoperasjoner Implementasjonsalgoritmer Institutt for Informatikk INF3100 V18 Evgenij

Detaljer

Fakultet for informasjonsteknologi, Kontinuasjonsløsning på SIF8037 Distribuerte systemer og ytelsesvurdering (Distribuerte systemer kun)

Fakultet for informasjonsteknologi, Kontinuasjonsløsning på SIF8037 Distribuerte systemer og ytelsesvurdering (Distribuerte systemer kun) Side 1 av 5 NTNU Norges teknisk naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Kontinuasjonsløsning

Detaljer

Kapittel 5 Nettverkslaget

Kapittel 5 Nettverkslaget Kapittel 5 Nettverkslaget I dette kapitlet ser vi nærmere på: Nettverkslaget IP-protokollen Format Fragmentering IP-adresser Rutere Hierarkisk ruting og ruteaggregering Autonome soner 1 Nettverkslaget

Detaljer

Spørsmålskompilering del 1

Spørsmålskompilering del 1 UNIVERSITETET I OSLO Spørsmålskompilering del 1 Parsering Logiske spørreplaner uttrykt i relasjonsalgebra Optimalisering ved hjelp av algebraiske lover Institutt for Informatikk INF3100 - V18 - Evgenij

Detaljer

Spørsmålskompilering del 1

Spørsmålskompilering del 1 UNIVERSITETET I OSLO Spørsmålskompilering del 1 Parsering Logiske spørreplaner uttrykt i relasjonsalgebra Optimalisering ved hjelp av algebraiske lover Institutt for Informatikk INF3100-11.4.2016 - Ellen

Detaljer

Spørsmålskompilering del 2

Spørsmålskompilering del 2 UNIVERSITETET I OSLO Spørsmålskompilering del 2 Estimere størrelsen på mellomresultater Vurdere fysiske spørreplaner Institutt for Informatikk INF3100 V18 Evgenij Thorstensen 1 Overblikk For å vurdere

Detaljer

Parallelle og distribuerte databaser

Parallelle og distribuerte databaser UNIVERSITETET IOSLO Parallelle og distribuerte databaser Institutt for Informatikk INF3100 28.3.2011 Ellen Munthe-Kaas 1 Parallellberegninger Database på én storskala parallellmaskin: Utnytter parallelliteten

Detaljer

Hashing. INF Algoritmer og datastrukturer HASHING. Hashtabeller

Hashing. INF Algoritmer og datastrukturer HASHING. Hashtabeller Hashing INF2220 - Algoritmer og datastrukturer HØSTEN 200 Institutt for informatikk, Universitetet i Oslo INF2220, forelesning : Hashing Hashtabeller (kapittel.) Hash-funksjoner (kapittel.2) Kollisjonshåndtering

Detaljer

Fakultet for informasjonsteknologi, Løsning på eksamen i TDT4190 Distribuerte systemer Torsdag 9. juni 2005, 0900 1300

Fakultet for informasjonsteknologi, Løsning på eksamen i TDT4190 Distribuerte systemer Torsdag 9. juni 2005, 0900 1300 Side 1 av 10 NTNU Norges teknisk naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Løsning på eksamen i

Detaljer

UNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk. INF Ragnar Normann

UNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk. INF Ragnar Normann UNIVERSITETET I OSLO RELASJONSALGEBRA Regning med relasjoner Institutt for Informatikk 1 Relasjonsalgebraen definerer en mengde av operasjoner på relasjoner gir oss et språk til å beskrive spørsmål om

Detaljer

Effektiv eksekvering av spørsmål

Effektiv eksekvering av spørsmål UNIVERSITETET I OSLO Effektiv eksekvering av spørsmål Spørsmålshåndtering Modell for kostnadsberegning Kostnad for basisoperasjoner Implementasjonsalgoritmer Institutt for Informatikk INF3100 21.3.2014

Detaljer

INF2220: Forelesning 3. Map og hashing Abstrakte datatyper (kapittel 3.1) Map (kapittel 4.8) Hashing (kapittel 5)

INF2220: Forelesning 3. Map og hashing Abstrakte datatyper (kapittel 3.1) Map (kapittel 4.8) Hashing (kapittel 5) INF2220: Forelesning 3 Map og hashing Abstrakte datatyper (kapittel 3.1) Map (kapittel 4.8) Hashing (kapittel 5) Map og hashing Ett minutt for deg selv: Hva vet du om maps/dictionarys og hashing fra tidligere?

Detaljer

Lars Vidar Magnusson. October 11, Lars Vidar Magnusson () Forelesning i Operativsystemer October 11, / 28

Lars Vidar Magnusson. October 11, Lars Vidar Magnusson () Forelesning i Operativsystemer October 11, / 28 Tråder Lars Vidar Magnusson October 11, 2011 Lars Vidar Magnusson () Forelesning i Operativsystemer 09.09.2011 October 11, 2011 1 / 28 Oversikt Tråder 1 Tråder Introduksjon Multithreading Prosesser og

Detaljer

INF2220: Forelesning 3

INF2220: Forelesning 3 INF2220: Forelesning 3 Map og hashing Abstrakte datatyper (kapittel 3.1) Map (kapittel 4.8) Hashing (kapittel 5) ABSTRAKTE DATATYPER 2 Abstrakte datatyper En ADT består av: Et sett med objekter. Spesifikasjon

Detaljer

Databaser. Relasjonsmodellen 1 Læreboka: Kap. 2 Relasjonsmodellen Faglærere: Tore Mallaug, Kjell Toft Hansen

Databaser. Relasjonsmodellen 1 Læreboka: Kap. 2 Relasjonsmodellen Faglærere: Tore Mallaug, Kjell Toft Hansen Databaser Relasjonsmodellen 1 Læreboka: Kap. 2 Relasjonsmodellen Faglærere: Tore Mallaug, Kjell Toft Hansen Tema for dagen Relasjonsmodellen Hvorfor relasjoner? Fra ER diagram til relasjoner 22.09.2008

Detaljer

Fakultet for informasjonsteknologi, Løsning på kontinuasjonseksamen i TDT4190 Distribuerte systemer 19. august 2006,

Fakultet for informasjonsteknologi, Løsning på kontinuasjonseksamen i TDT4190 Distribuerte systemer 19. august 2006, Side 1 av 8 NTNU Norges teknisk-naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Løsning på kontinuasjonseksamen

Detaljer

Fakultet for informasjonsteknologi, Løsning på kontinuasjonseksamen i TDT4190 / SIF8042 Distribuerte systemer August 2005, 0900 1300

Fakultet for informasjonsteknologi, Løsning på kontinuasjonseksamen i TDT4190 / SIF8042 Distribuerte systemer August 2005, 0900 1300 Side 1 av 11 NTNU Norges teknisk naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Løsning på kontinuasjonseksamen

Detaljer

Løsningsforslag for Eksamensoppgave i TDT4190 Distribuerte systemer

Løsningsforslag for Eksamensoppgave i TDT4190 Distribuerte systemer Institutt for datateknikk og informasjonsvitenskap Løsningsforslag for Eksamensoppgave i TDT4190 Distribuerte systemer Faglig kontakt under eksamen: Jon Olav Hauglid Tlf.: 93 80 58 51 Eksamensdato: Onsdag

Detaljer

INF1020 Algoritmer og datastrukturer

INF1020 Algoritmer og datastrukturer Dagens plan Hashing Hashtabeller Hash-funksjoner Kollisjonshåndtering Åpen hashing (kap. 5.3) Lukket hashing (kap. 5.4) Rehashing (kap. 5.5) Sortering ut fra en hashing-ide (side 66-68) Bøttesortering

Detaljer

SQL: Systemaspekter. Evgenij Thorstensen V18. Evgenij Thorstensen SQL: Systemaspekter V18 1 / 21

SQL: Systemaspekter. Evgenij Thorstensen V18. Evgenij Thorstensen SQL: Systemaspekter V18 1 / 21 SQL: Systemaspekter Evgenij Thorstensen V18 Evgenij Thorstensen SQL: Systemaspekter V18 1 / 21 Oversikt Hvordan et DBMS er organisert (med psql som eksempel) Trelagsarkitektur og impedance mismatch Databasetilgangsmåter

Detaljer

Parallelle og distribuerte databaser del II

Parallelle og distribuerte databaser del II UNIVERSITETET I OSLO Parallelle og distribuerte databaser del II Paxos consensus Paxos commit Databaser i peer-to-peer-systemer (P2P) Databaser i mobile ad-hoc-nettverk (MANET) Institutt for Informatikk

Detaljer

Spørsmålskompilering del 2

Spørsmålskompilering del 2 UNIVERSITETET I OSLO Spørsmålskompilering del 2 Estimere størrelsen på mellomresultater Vurdere fysiske spørreplaner Institutt for Informatikk INF3100-7.4.2015 - Ellen Munthe-Kaas 1 Oversikt: Fra spørring

Detaljer

Plan for dagen. Vprg 4. Dagens tema - filbehandling! Strømmer. Klassen FilLeser.java. Tekstfiler

Plan for dagen. Vprg 4. Dagens tema - filbehandling! Strømmer. Klassen FilLeser.java. Tekstfiler Plan for dagen Vprg 4 LC191D Videregående programmering Høgskolen i Sør-Trøndelag Avdeling for informatikk og e-læring Anette Wrålsen Del: Intro til tekstfiler Del II: Mer om tekstfiler, Scanner-klassen

Detaljer

Fakultet for informasjonsteknologi, Løsning på kontinuasjon i TDT4190 Distribuerte systemer Onsdag 4. august 2004, 0900 1300

Fakultet for informasjonsteknologi, Løsning på kontinuasjon i TDT4190 Distribuerte systemer Onsdag 4. august 2004, 0900 1300 Side 1 av 9 NTNU Norges teknisk naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Løsning på kontinuasjon

Detaljer

INF1010 Hashing. Marit Nybakken 8. mars 2004

INF1010 Hashing. Marit Nybakken 8. mars 2004 INF1010 Hashing Marit Nybakken marnybak@ifi.uio.no 8. mars 2004 Til nå har vi trodd at en HashMap var en mystisk uendelig stor samleeske der vi på magisk vis kan putte inn objekter og ta ut objekter ved

Detaljer

Historisk tidslinje. Resource Description Framework (RDF) Web Ontology Language (OWL) Object-Role Modeling (ORM) Entity Relationship Model (ER)

Historisk tidslinje. Resource Description Framework (RDF) Web Ontology Language (OWL) Object-Role Modeling (ORM) Entity Relationship Model (ER) Historisk tidslinje Natural Language Information Analysis Method (NIAM) 1960 1970 Object-Role Modeling (ORM) Entity Relationship Model (ER) 1980 Unified Modeling Language (UML) 1990 Resource Description

Detaljer

Jini. Overblikk. Gruppe 1: Odd-Wiking Rahlff, Arnor Solberg og Finn Haukebøe

Jini. Overblikk. Gruppe 1: Odd-Wiking Rahlff, Arnor Solberg og Finn Haukebøe Jini Gruppe 1: Odd-Wiking Rahlff, Arnor Solberg og Finn Haukebøe Overblikk Hvorfor Jini? (Motivasjon) Kort historikk Hva er Jini? Arkitektur Essensielle Egenskaper Styrker & Svakheter Jini vs. CORBA Jini

Detaljer

Relasjonsalgebraen. Algebra

Relasjonsalgebraen. Algebra Relasjonsalgebraen Definerer en mengde av operasjoner på relasjoner Gir oss et språk til å beskrive spørsmål om innholdet i relasjonene Språket er prosedyralt: Vi sier hvordan svaret skal beregnes. Alternativet

Detaljer

INF1300 Introduksjon til databaser

INF1300 Introduksjon til databaser UNIVERSITETET I OSLO INF1300 Introduksjon til databaser Dagens tema: Relasjonsalgebraen Oversettelse av select-from-where til relasjonsalgebra SQL: union, snitt, differanse, kartesisk produkt INF1300 22.10.2007

Detaljer

ADDML. Archival Data Description Markup Language. Generell del. Versjon PA 0.07 Sist oppdatert: TPD. ADDML_8_2.doc 03/03/2011 1(12)

ADDML. Archival Data Description Markup Language. Generell del. Versjon PA 0.07 Sist oppdatert: TPD. ADDML_8_2.doc 03/03/2011 1(12) ADDML Archival Data Description Markup Language Generell del Versjon PA 0.07 Sist oppdatert: 2010-09-16 TPD ADDML_8_2.doc 03/03/2011 1(12) Innledning... 4 Mål... 4 Historie... 4 Hvordan benytte ADDML...

Detaljer

Parallelle og distribuerte databaser del II

Parallelle og distribuerte databaser del II UNIVERSITETET I OSLO Parallelle og distribuerte databaser del II Paxos consensus Paxos commit Databaser i peer-to-peer-systemer (P2P) Databaser i mobile ad-hoc-nettverk (MANET) Institutt for Informatikk

Detaljer

Forelesning Oppsummering

Forelesning Oppsummering IN1020 - Introduksjon til datateknologi Forelesning 23.11.2018 Oppsummering Håkon Kvale Stensland & Andreas Petlund Nettverksdelen - Pensum Relevante kapitler fra boka (se pensumliste) Alt presentert på

Detaljer

UNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk. INF Ellen Munthe-Kaas

UNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk. INF Ellen Munthe-Kaas UNIVERSITETET I OSLO RELASJONSALGEBRA Regning med relasjoner Institutt for Informatikk 1 Relasjonsalgebraen definerer en mengde av operasjoner på relasjoner gir oss et språk til å beskrive spørsmål om

Detaljer

UNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk. INF Ellen Munthe-Kaas 1

UNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk. INF Ellen Munthe-Kaas 1 UNIVERSITETET I OSLO RELASJONSALGEBRA Regning med relasjoner Institutt for Informatikk INF3100-8.2.2010 Ellen Munthe-Kaas 1 Relasjonsalgebraen definerer en mengde av operasjoner på relasjoner gir oss et

Detaljer

Kjørehjelperen Testdokumentasjon

Kjørehjelperen Testdokumentasjon 2013 Kjørehjelperen Testdokumentasjon Høgskolen i Oslo og Akershus Henrik Hermansen og Lars Smeby Gruppe 8 26.05.2013 Forord Dette dokumentet tar for seg to forskjellige ting. Først forklares det hvordan

Detaljer

Parallelle og distribuerte databaser del I

Parallelle og distribuerte databaser del I UNIVERSITETET I OSLO Parallelle og distribuerte databaser del I Databaser på parallellmaskiner; map-reduce Distribuerte databaser Distribusjonsmodeller (sharding, replikering) Distribuerte transaksjoner:

Detaljer

Forelesning 3 DAS - Systemtabeller, indekser, distribuerte systemer m.m. - Tom Heine Nätt/Edgar Bostrøm

Forelesning 3 DAS - Systemtabeller, indekser, distribuerte systemer m.m. - Tom Heine Nätt/Edgar Bostrøm Forelesning 3 DAS - Systemtabeller, indekser, distribuerte systemer m.m. - Tom Heine Nätt/Edgar Bostrøm Systemtabeller Alt er tabeller og SQL I MySQL: Databasen mysql F.eks SET SQL_LOG_BIN=0; SELECT @@SQL_LOG_BIN

Detaljer

INF1300 Relasjonsalgebra og SQL, mengder og bager. Lysark for forelesning v. 2.1

INF1300 Relasjonsalgebra og SQL, mengder og bager. Lysark for forelesning v. 2.1 INF1300 Relasjonsalgebra og SQL, mengder og bager. Lysark for forelesning v. 2.1 Dagens temaer Relasjonsalgebraen Renavning Algebra Heltallsalgebra Klassisk relasjonsalgebra Mengdeoperatorer Union Snitt

Detaljer

Fakultet for informasjonsteknologi,

Fakultet for informasjonsteknologi, Side 1 av 9 NTNU Norges teknisk naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Løsning på SIF8037 Distribuerte

Detaljer

Generelt om permanent lagring og filsystemer

Generelt om permanent lagring og filsystemer Generelt om permanent lagring og filsystemer Filsystem Den delen av OS som kontrollerer hvordan data lagres på og hentes frem fra permanente media Data deles opp i individuelle deler, filer, som får hvert

Detaljer

EMC. Neste generasjon datalagring. Roger Samdal Technology Consultant EMC Norge. Copyright 2009 EMC Corporation. All rights reserved.

EMC. Neste generasjon datalagring. Roger Samdal Technology Consultant EMC Norge. Copyright 2009 EMC Corporation. All rights reserved. EMC Neste generasjon datalagring Roger Samdal Technology Consultant EMC Norge 1 Storagetrender 2009-2010 Teknologier Solid State Drives 8Gbps Fibre Channel 10Gbps iscsi 6Gbps SAS 2.0 FCoE Smartere lagring

Detaljer

UNIVERSITETET RELASJONSALGEBRA. Regning g med relasjoner. Institutt for Informatikk. INF Ellen Munthe-Kaas 1

UNIVERSITETET RELASJONSALGEBRA. Regning g med relasjoner. Institutt for Informatikk. INF Ellen Munthe-Kaas 1 UNIVERSITETET IOSLO RELASJONSALGEBRA Regning g med relasjoner Institutt for Informatikk INF3100-7.2.2011 Ellen Munthe-Kaas 1 Relasjonsalgebraen definerer en mengde av operasjoner på relasjoner gir oss

Detaljer

GraphQL. Hva, hvorfor, hvordan

GraphQL. Hva, hvorfor, hvordan GraphQL Hva, hvorfor, hvordan Dag Olav Prestegarden BouvetOne Nord, 4. mai 2017 Ikke dette Eller dette Men dette Noen problemer med web-apier i dag GraphQL som løsning Features ved GraphQL Agenda Skjemadefinisjon

Detaljer

Naming og trading INF5040. Foreleser: Olav Lysne. Ifi/UiO 1

Naming og trading INF5040. Foreleser: Olav Lysne. Ifi/UiO 1 Naming og trading INF5040 Foreleser: Olav Lysne Ifi/UiO 1 To design spørsmål Navngiving ressursdeling krever globale lokasjonsuavhengige navn på ressurser og objekter hvordan konstruere navngivingsskjema

Detaljer

Parallelle og distribuerte databaser del III

Parallelle og distribuerte databaser del III UNIVERSITETET I OSLO Parallelle og distribuerte databaser del III NoSQL og alternative datamodeller Institutt for Informatikk INF3100 20.4.2015 Ellen Munthe-Kaas 1 NoSQL NoSQL er et paraplybegrep som omfatter

Detaljer

Nett og tjenestekvalitet

Nett og tjenestekvalitet 1 Nett og tjenestekvalitet 2 Telenorstopp http://www.tu.no/it/2011/06/16/derfor-stoppet-mobilnettet 3 Telematikk Information security System architecture Systems engineering Systems Validation Dependability

Detaljer

Dokumentasjon av XML strukturer for ByggSøk

Dokumentasjon av XML strukturer for ByggSøk Dokumentasjon av XML strukturer for ByggSøk 28. februar 2003 Per Thomas Jahr Innhold 1 Oversikt over skjemaer...1 2 Valg mellom import og include...2 3 Enkoding...2 4 Navnerom...2 5 Regler for navngiving

Detaljer

INF-MAT5370. Grafer og datastrukturer

INF-MAT5370. Grafer og datastrukturer INF-MAT5370 Grafer og datastrukturer Øyvind Hjelle oyvindhj@simula.no, +47 67 82 82 75 Simula Research Laboratory, www.simula.no August 3, 2009 Innhold Kort om grafer Topologiske operatorer og operasjoner,

Detaljer

Spørsmålskompilering

Spørsmålskompilering UNIVERSITETET I OSLO Spørsmålskompilering Parsering Logiske spørreplaner uttrykt i relasjonsalgebra Optimalisering ved hjelp av algebraiske lover Estimere størrelsen på mellomresultater Vurdere fysiske

Detaljer

Nettlaget. Nettlagets oppgaver

Nettlaget. Nettlagets oppgaver Ruting og Pakke- svitsjing Mål Oversikt over hvor ruting passer inn i Internett arkitekturen Prinsippene for vanlige ruting protokoller Styrker og svakheter Disposisjon primæroppgavene til nettlaget datagram

Detaljer

Opprinnelig IP-pakke inneholder 4480 Byte data. Dette er inklusiv IPheader. Max nyttelast på EthernetRammen er 1500 oktetter.

Opprinnelig IP-pakke inneholder 4480 Byte data. Dette er inklusiv IPheader. Max nyttelast på EthernetRammen er 1500 oktetter. 2SSJDYHUWLOXNH 2SSJDYH (W,3YGDWDJUDPSnRNWHWWHUVNDOVHQGHVRJPn IUDJPHQWHUHVIRUGLGHWVNDOJMHQQRPHW(WKHUQHWPHGHQ PDNVLPXPQ\WWHODVWSD\ORDGSnRNWHWWHU 9LV7RWDO/HQJWK0RUH)ODJRJ)UDJPHQW2IIVHWIRUKYHUWIUDJPHQW Opprinnelig

Detaljer

Repetisjon: Normalformer og SQL

Repetisjon: Normalformer og SQL IN2090 databaser og datamodellering Repetisjon: Normalformer og SQL Mathias Stang og Stein Michael Storleer 21. november 2018 1 Agenda Normalformer Funksjonelle avhengigheter Nøkler Finne hvilke normalformer

Detaljer

TDT4160 Datamaskiner Grunnkurs 2011. Gunnar Tufte

TDT4160 Datamaskiner Grunnkurs 2011. Gunnar Tufte 1 TDT4160 Datamaskiner Grunnkurs 2011 Gunnar Tufte 2 Bussar og busshierarki Tape Optical Bus 3 CPU og buss komunikasjon Tape Optical Bus 4 Buss linjer Bus Adr/data Bit 0 Adr/data Bit 1 Adr/data Bit 2 Adr/data

Detaljer

Fakultet for informasjonsteknologi,

Fakultet for informasjonsteknologi, Side 1 av 5 NTNU Norges teknisk-naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Kontaktperson under eksamen:

Detaljer

Funksjonalitet og oppbygning av et OS (og litt mer om Linux)

Funksjonalitet og oppbygning av et OS (og litt mer om Linux) Funksjonalitet og oppbygning av et OS (og litt mer om Linux) Hovedfunksjoner i et OS OS skal sørge for: Styring av maskinvaren Deling av maskinens ressurser Abstraksjon vekk fra detaljer om maskinvaren

Detaljer

Hashing: Håndtering av kollisjoner

Hashing: Håndtering av kollisjoner Hashing: Håndtering av kollisjoner Innsetting av dataelement i hashtabell Algoritme: 1. Bruk en hashfunksjon til å beregne hashverdi basert på dataelementets nøkkelverdi 2. Sett inn dataelementet i hashtabellen

Detaljer

INF 329: Web-Teknologier. Dataimplementasjon. Fra Kapittel 11 i «Designing Data-Intensive Web Applications» Presentasjonsdato: 17/10/2004

INF 329: Web-Teknologier. Dataimplementasjon. Fra Kapittel 11 i «Designing Data-Intensive Web Applications» Presentasjonsdato: 17/10/2004 INF 329: Web-Teknologier Dataimplementasjon Fra Kapittel 11 i «Designing Data-Intensive Web Applications» Presentasjonsdato: 17/10/2004 av: Dag Viggo Lokøen (dagvl@ii.uib.no) Kent Inge F. Simonsen (kentis@ii.uib.no)

Detaljer

Oppsummering. Thomas Lohne Aanes Thomas Amble

Oppsummering. Thomas Lohne Aanes Thomas Amble Oppsummering Thomas Lohne Aanes Thomas Amble 14.11.04 Kapittel 2: Data Modell Mål: Data som skal brukes av applikasjonen blir spesifisert på en formell og likevel intuitiv måte. Resultat: Vi får et konseptuelt

Detaljer

PRODUKTBESKRIVELSE INFRASTRUKTUR. NRDB Sentralisert Node

PRODUKTBESKRIVELSE INFRASTRUKTUR. NRDB Sentralisert Node PRODUKTBESKRIVELSE INFRASTRUKTUR NRDB Sentralisert Node Versjon 3.0 11/10/04 Nasjonal referansedatabase AS 14/10/04 Page 1 of 10 Innholdsfortegnelse 1 INNLEDNING...3 1.1 NUMMERPORTABILITET...3 1.2 VIDERESALG

Detaljer

Relasjonsalgebra Kopi av lysark om relasjonsalgebra. Vi går igjennom denne for å lage et matematisk fundament for forståelsen av hvordan

Relasjonsalgebra Kopi av lysark om relasjonsalgebra. Vi går igjennom denne for å lage et matematisk fundament for forståelsen av hvordan Relasjonsalgebra Kopi av lysark om relasjonsalgebra. Vi går igjennom denne for å lage et matematisk fundament for forståelsen av hvordan select-setningen virker. Temaer som blir tatt inn i SQL-notatet:

Detaljer

Applikasjonsutvikling med databaser

Applikasjonsutvikling med databaser Applikasjonsutvikling med databaser Lars Vidar Magnusson October 12, 2011 Lars Vidar Magnusson () Forelesning i DAS 10.10.2011 October 12, 2011 1 / 24 Applikasjonsutvikling med databaser Databaser tilbyr

Detaljer

PRODUKTBESKRIVELSE INFRASTRUKTUR. NRDB Internett

PRODUKTBESKRIVELSE INFRASTRUKTUR. NRDB Internett PRODUKTBESKRIVELSE INFRASTRUKTUR NRDB Internett Versjon 3.0 11/10/04 Nasjonal referansedatabase AS 15/10/04 Page 1 of 10 Innholdsfortegnelse 1 INNLEDNING...3 1.1 NUMMERPORTABILITET...3 1.2 VIDERESALG TELEFONI...3

Detaljer

Mulige Master-oppgaver hos Peter C. Ölveczky

Mulige Master-oppgaver hos Peter C. Ölveczky 11.1.2006 Masteroppgaver 1 Mulige Master-oppgaver hos Peter C. Ölveczky http://heim.ifi.uio.no/ peterol 11.1.2006 Masteroppgaver 2 Peter C. Ölveczky 1. amanuensis ved PMA-gruppen Email: peterol@ifi.uio.no

Detaljer

UNIVERSITETET I OSLO SQL. Structured Query Language. (The intergalactic dataspeak) Institutt for Informatikk. INF Ragnar Normann 1

UNIVERSITETET I OSLO SQL. Structured Query Language. (The intergalactic dataspeak) Institutt for Informatikk. INF Ragnar Normann 1 UNIVERSITETET I OSLO SQL Structured Query Language (The intergalactic dataspeak) Institutt for Informatikk INF3100 1.2.2005 Ragnar Normann 1 SQL SQL Structured Query Language er et deklarativt språk for

Detaljer

1. Relasjonsmodellen. 1.1. Kommentarer til læreboka

1. Relasjonsmodellen. 1.1. Kommentarer til læreboka Avdeling for informatikk og e-læring, Høgskolen i Sør-Trøndelag Relasjonsmodellen Tore Mallaug 2.9.2013 Lærestoffet er utviklet for faget Databaser 1. Relasjonsmodellen Resymé: Denne leksjonen gir en kort

Detaljer

1. Mer om oppbyning av XML-dokument

1. Mer om oppbyning av XML-dokument Avdeling for informatikk og e-læring, Høgskolen i Sør-Trøndelag Mer om oppbyning av XML-dokument Lene Hoff 2.9.2013 Lærestoffet er utviklet for faget XML Teknologi 1. Mer om oppbyning av XML-dokument Resymé:

Detaljer

Hva består Internett av?

Hva består Internett av? Hva består Internett av? Hva er et internett? Et internett = et nett av nett Ingen sentral administrasjon eller autoritet. Mange underliggende nett-teknologier og maskin/programvareplatformer. Eksempler:

Detaljer

Bachelor 2015 048E. Theodor Rove Nordgård, Chris Sonko HIST DRIFT AV DATASYSTEMER

Bachelor 2015 048E. Theodor Rove Nordgård, Chris Sonko HIST DRIFT AV DATASYSTEMER Bachelor 2015 048E Theodor Rove Nordgård, Chris Sonko HIST DRIFT AV DATASYSTEMER 1. Introduksjon Hvem er vi? Vi er to studenter ved Høgskolen i Sør-Trøndelag som i år fullfører vår bachelorgrad i studiet

Detaljer

Databaser. Relasjonsmodellen 2 Læreboka: Kap. 2 Relasjonsmodellen

Databaser. Relasjonsmodellen 2 Læreboka: Kap. 2 Relasjonsmodellen Databaser Relasjonsmodellen 2 Læreboka: Kap. 2 Relasjonsmodellen Tema for dagen Hva er relasjonsalgebra? Seleksjon Projeksjon Produkt Indre forening Ytterforening Settoperasjoner: union, snitt, differanse

Detaljer

UNIVERSITETET. Relasjonsalgebra. INF Ragnhild Kobro Runde

UNIVERSITETET. Relasjonsalgebra. INF Ragnhild Kobro Runde UNIVERSITETET IOSLO Relasjonsalgebra Regning med relasjoner 1 Annen bruk av chasealgoritmen (korrigert lysark) For å vise en FD X Y starter tabellen med to rader som er like for attributtene i X, og ulike

Detaljer

INF2810: Funksjonell Programmering. Strømmer og utsatt evaluering

INF2810: Funksjonell Programmering. Strømmer og utsatt evaluering INF2810: Funksjonell Programmering Strømmer og utsatt evaluering Stephan Oepen Universitetet i Oslo 30. mars 2017 Forrige forelesning 2 Mer om (prosedyre)navn, bindinger, og verditilordning Nok en ny abstrakt

Detaljer

TDT4300 Datavarehus og datagruvedri3, Våren 2014

TDT4300 Datavarehus og datagruvedri3, Våren 2014 TDT4300 Datavarehus og datagruvedri3, Våren 2014 23/1 2014 Trond Aalberg 1 Dagens tema MulAdimensjonale data Dimensjoner og hierarkier revisited Fra modellering Al OLAP implementasjon Vi ser på eksempler

Detaljer

VIPR SOFTWARE- DEFINED Storage

VIPR SOFTWARE- DEFINED Storage VIPR SOFTWARE- DEFINED Storage Virtualiser alt. Ingen kompromisser. Torstein Børresen EMC Norge 1 MILLIARDER AV BRUKERE MILLIONER AV BRUKERE Mobile Cloud Big Data Social Mobile Enheter HUNDREVIS AV MILLIONER

Detaljer

Pensum: fra boken (H-03)+ forelesninger

Pensum: fra boken (H-03)+ forelesninger Pensum: fra boken (H-03)+ forelesninger unntatt kursorisk tema KAP. 1 KAP. 2 KAP. 3 JAVA I-110 (ikke gjennomgått) OO + ABSTRAKSJON /GENERISK PROGRAMMERING REKURSJON ALGORITME-TIDSANALYSE; O-NOTASJON KAP.

Detaljer

INF1300 Relasjonsalgebra. Et matematisk fundament for å forstå SQL-setninger

INF1300 Relasjonsalgebra. Et matematisk fundament for å forstå SQL-setninger INF1300 Relasjonsalgebra Et matematisk fundament for å forstå SQL-setninger Innhold Relasjonsalgebraen Operatorene i relasjonsalgebraen Relasjonsalgebratolkning av select-setningen Kostbare operasjoner

Detaljer

Tjenestebeskrivelse Internett Ruter Innhold

Tjenestebeskrivelse Internett Ruter Innhold Tjenestebeskrivelse Internett Ruter Innhold Internett Ruter... 2 Enkel brannmur... 2 Dual-stack IPv4 og IPv6... 2 IPv4 NAT... 2 DHCP tildeling av IPv4 adresser i LAN... 2 SLAAC tildeling av IPv6 adresser

Detaljer

Java RMI (Remote Method Invocation) Gruppe 9: Ivar Steien Rasmussen Tom Anders Dalseng Andreas Petlund

Java RMI (Remote Method Invocation) Gruppe 9: Ivar Steien Rasmussen Tom Anders Dalseng Andreas Petlund Java RMI (Remote Method Invocation) Gruppe 9: Ivar Steien Rasmussen Tom Anders Dalseng Andreas Petlund Antagelser og forutsetninger Implementasjonseksemplet kompileres og kjøres på Java SDK 1.4.2 Dokumentasjon

Detaljer

6105 Windows Server og datanett

6105 Windows Server og datanett 6105 Windows Server og datanett Oppgave a: Installere Active Directory Certificate Services Bruk av kryptering i Windows forutsetter at brukerne får utstedt digitale sertifikater med krypteringsnøkler.

Detaljer

INF2810: Funksjonell Programmering. En Scheme-evaluator i Scheme, del 2

INF2810: Funksjonell Programmering. En Scheme-evaluator i Scheme, del 2 INF2810: Funksjonell programmering INF2810: Funksjonell Programmering En Scheme-evaluator i Scheme, del 2 Erik Velldal Universitetet i Oslo 7. mai 2015 Tema Forrige uke SICP 4.1. Structure and interpretation

Detaljer

UNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk INF Ellen Munthe-Kaas

UNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk INF Ellen Munthe-Kaas UNIVERSITETET I OSLO RELASJONSALGEBRA Regning med relasjoner Institutt for Informatikk INF3100-2.2.2015 Ellen Munthe-Kaas Relasjonsalgebraen definerer en mengde av operasjoner på relasjoner gir oss et

Detaljer

Spørsmålskompilering. Basert på foiler av Hector Garcia-Molina

Spørsmålskompilering. Basert på foiler av Hector Garcia-Molina Spørsmålskompilering Basert på foiler av Hector Garcia-Molina Oversikt: Fra spørring til resultat SQL spørring parsere parseringstre konvertere resultat logiske spørreplaner (LSPer) anvende lover forbedrede

Detaljer

A study of different matching heuristics. Hovedfagspresentasjon Jan Kasper Martinsen

A study of different matching heuristics. Hovedfagspresentasjon Jan Kasper Martinsen A study of different matching heuristics Hovedfagspresentasjon Jan Kasper Martinsen (janma@ifi.uio.no) Terminologi: Graf teori En graf består av et sett med noder Nodene er tilknyttet hverandre ved hjelp

Detaljer

INF1300 Introduksjon til databaser

INF1300 Introduksjon til databaser UNIVERSITETET I OSLO INF1300 Introduksjon til databaser Dagens tema: SQL: Outer join Denormalisering og splitting Transaksjoner og ACID-reglene DBMSer en introduksjon til INF3100 INF1300 19.11.2007 Ragnar

Detaljer

32 bits. type of service. head. len 16-bit identifier time to live

32 bits. type of service. head. len 16-bit identifier time to live Ruting i Internett! Det globale internettet består av sammenkoblede Autonomous Systems (AS) : " Stub AS: liten organisasjon " Multihomed AS: stor organisasjon (ingen gjennomgangstrafikk) " Transit AS:

Detaljer

Utvikling fra kjernen og ut

Utvikling fra kjernen og ut Utvikling fra kjernen og ut PHP-arkitektur Brukergrensesnitt! inn ut Dynamisk web-side bygges opp på grunnlag av spørring mot databasen Utviklingsretning Applikasjon Virkelighetsmodell Plattform Bruker

Detaljer