Querying the Internet with PIER
|
|
- Lilly Berg
- 6 år siden
- Visninger:
Transkript
1 Querying the Internet with PIER TDT2 Avanserte distribuerte systemer Truls Jørgensen Disposisjon 2
2 Hva er PIER? (1) Peer-to-Peer Information Exchange and Retrieval Paring av tradisjonell prosessering av databasequeries med ny p2pteknologi En distribuert query processor (QP) Bygd over en Distributed Hash Table (DHT) CAN, men har også blitt portet til Chord 3 Hva er PIER? (2) (Internett-) data prosesseres der de er lagret (in situ) uten noen intermediate database PIER ønsker å vise at query processing kan bli gjort i en massively distributed scale Krever ikke noen ekstensjon til underliggende DHT- APIet. PIER benytter wrappere til å aksessere til å aksessere data in situ (f.eks rene filer eller streams) Antar at alle peers bruker samme scheme for lagring av data 4
3 Relaxed Consistency ACID-egenskapene er ikke implementert i noe massivt distribuert system i dag Brewer: Et distribuert datasystem kan bare ha to av følgende egenskaper: Konsistens Tilgjengelighet Toleranse for nettverkspartisjoner. Distribuerte databaser velger konsistens fremfor tilgjengelighet PIER må ha høy tilgjengelighet, og ofrer derfor konsistens. Best effort på tilgjengelig subnett 5 Arkitektur Lag 1 - Applikasjoner Network monitoring Other user apps Lag 2 - PIER Query optimizer Catalog Manager Core Relational Execution Engine Lag 3 - DHT Overlay Routing Provider Storage Manager 6
4 Distribuerte hashtabeller Abstraksjon over flere distribuerte noder Hver node kan lagre data Hvert data item identifiseres med en unik nøkkel 7 CAN Content Adressable Network Basert på et d-dimensjonalt koordinatsystem. Hver node holder en routingtabell for sine naboer To noder er naboer hvis de deler et hyperplan med dimensjon d-1 Delt inn i soner. Hver node er ansvarlig for en sone En nøkkel hashes til et punkt i koordinatsystemet og lagres hos den ansvarlige noden 8
5 CAN - lookup (16,0) (16,12) (16,16) (12,12) (12,16) Key = (15,14) Data (0,0) (0,16) 9 DHT detaljer Overlay Routing Overlay Routing Provider Mapper en nøkkel til ipadressen til den noden som for øyeblikket er ansvarlig for nøkkelen Leverer et API for Lookup Å bli med i og forlate nettverket Sende notify når mappingen mellom noder og nøkler endres Lag 3 DHT Storage Manager 10
6 DHT detaljer Storage Manager Overlay Routing Provider Leverer så god ytelse at den ikke blir flaskehalsen i systemet. I PIER brukes en main memory storage manager. Leverer et API for Store(key, item) Retrieve(key) -> item Remove (key) Lag 3 DHT Storage Manager 11 DHT detaljer Provider Binder routing layer og storage manager sammen og tilbyr et interface til applikasjoner for begge Hvert objekt har et Namespace identifiserer applikasjonen den tilhører resourceid gir en semantisk mening til objektet eller primærnøkkel instanceid Overlay Routing tilfeldig tall satt av applikasjonen (skiller objekter med likt navnerom og resourceid, noe som kan oppstå dersom objektet ikke er lagret på primærnøkkel) API get(namespace, resourceid) -> item put(namespace,resouceid, instanceid, item, lifetime) renew(namespace,resourceid, instanceid,item, lifetime) -> bool multicast(namespace, resourceid, item) lscan(namespace) -> iterator newdata(namespace) -> item Lag 3 DHT Provider Storage Manager 12
7 Query Processor Støtter samtidig utførelse av operatorer som kan bli pipelinet Støtter seleksjon, projeksjon, gruppering, agreggering og distribuert join 13 Basert på eksisterende læreboklærdom om parallell join. To tabeller, R og S Lagret i henholdsvis navnerom N R og N S PIER lager midlertidige tabeller i navnerommet N Q 14
8 Symmetrisk Hash Join Hver node i N R og N S utfører en scan i sitt lokale navnerom for å finne alle R og S-tupler Hvert tuppel som tilfredstiller lokale seleksjonspredikater legges til N Q. I parallell på hver node Verdiene for for joinattributtene konkateneres slik at de danner resourceid (primærnøkkel) Matchende noder legges til og sendes oppover til den initierende prosessen 15 Fetch Matches Variant av Symmetrisk Hash Join Brukes når den ene tabellen, S, allerede er hashet på join-attributt(ene). N R scannes, og for hver R-tuppel sendes et getkall for å finne sammenfallende S-verdi. 16
9 Symmetrisk Semi-Join Forsøk på å redusere kommunikasjon (og båndbredde!) Projiserer bare ResourceID og join-nøklene Utfører en Symmetrisk Hash Join på resultatet Utfører deretter en Fetch Matches Join for å få hele tuppelet fra tabellen 17 Bloom Joins Bloomfiltre benyttes for å hente ut bare den de viktige delene av identifikatoren, og sparer båndbredde: Bloomfiltre opprettes for hvert fragment av S og R som finnes hos en node Filtrene publiseres i et temporært navnerom, før de blir multicastet til alle noder som har den motsatte tabellen Noden skanner sitt tilsvarende fragment, men rehasher kun de tuplene som matcher Bloomfilteret. 18
10 (1) Simulering over noder Ble testet på Full Mesh og Transit Stub-topologi Full Mesh topologi: Alle endepunkter kan nå alle andre direkte Ideal Enkel å simulere Transit Stub topologi: Typisk Internett Hierarkisk Vanskeligere å simulere Ingen stor forskjell ble funnet -> Full Mesh.. 19 (2) Transit stub Vs Full Mesh 20
11 (3) Mye avhenger av den underliggende DHT PIER skalerer bra så lenge antall noder er stort nok til å hindre network cognestion. Hver joinalgoritme ble testet med Uendelig båndbredde Begrenset båndbredde Tiden det tok til å motta det siste tuppelet ble valgt som metrikk 21 (4) Uendelig båndbredde Symmetrisk Hash Join raskest Begrenset båndbredde, høy selektivitetsfaktor Fetch Matches-join Symmetrisk Semi-Join Begrenset båndbredde, lav selektivitetsfaktor Symmetrisk Semi-join Bloom-join 22
12 (5) Fixed båndbredde -10Mbs SHJ bruker mest båndbredde rehashing av begge tabeller FM bruker omtrent konstant båndbredde- S-tuppelet må uansett hentes og evalueres, uansett hvor selektiv predikatet er I SSJ overfører den andre joinoperasjonen tuplene i S og R som matcher Trafikken øker linært med selektiviteten av S BF er god på lav selektivtet minsker rehashing av R Mange R-tupler har ikke noen S-tupler å joine med. 23
Peer-to-Peer systemer
Peer-to-Peer systemer Bakgrunn Oversikt Taksonomi Applikasjonsområder Modeller Mats Thoresens diplom 2003 1 2 Hva er Peer-to-Peer? Peer node i et nettverk Noder i en arkitektur kommuniserer og deler ressurser
DetaljerDBS18 - Strategier for Query-prosessering
Side 1 for Databaser DBS18 - Strategier for Query-prosessering søndag 22. mai 2016 13.03 Pensum 18.1-18.4, side 655-674, unntatt 18.4.4 og 18.4.5 En spørring som blir skrevet i et høynivå-språk, må bli
DetaljerParallelle og distribuerte databaser Del I
UNIVERSITETET I OSLO Parallelle og distribuerte databaser Del I Institutt for Informatikk INF3100 7.4.2014 Ellen Munthe-Kaas 1 Parallellberegninger Database på én storskala parallellmaskin: Utnytter parallelliteten
DetaljerDatabasesystemer, oversikt
Databasesystemer, oversikt Evgenij Thorstensen V18 Evgenij Thorstensen Databasesystemer, oversikt V18 1 / 23 Kurset Databasesystemer og databaser. Databaser er abstrakte objekter (datastrukturer, spørrespråk).
DetaljerPopulærvitenskapelig foredrag Peer-2-peer: fra Napster til TOR
IN1020 - Introduksjon til datateknologi Populærvitenskapelig foredrag 08.11.2017 Peer-2-peer: fra Napster til TOR Håkon Kvale Stensland & Andreas Petlund Introduksjon til Peer-to-Peer Forskjellige nettverksarkitekturer
DetaljerParallelle og distribuerte databaser
UNIVERSITETET I OSLO Parallelle og distribuerte databaser Institutt for Informatikk INF3100 11.4.2013 Ellen Munthe-Kaas 1 Parallellberegninger Database på én storskala parallellmaskin: Utnytter parallelliteten
DetaljerAd-hoc / selvkonfigurerende sensornettverk. Knut Øvsthus, PhD Professor Høgskolen i Bergen
Ad-hoc / selvkonfigurerende sensornettverk Knut Øvsthus, PhD Professor Høgskolen i Bergen Agenda Introduksjon Hvorfor kommer sensornett nå? Arbeid ved FFI CWIN Arbeid ved HiB Veien videre Moore s lov Dobling
DetaljerEffektiv eksekvering av spørsmål
UNIVERSITETET I OSLO Effektiv eksekvering av spørsmål Spørsmålshåndtering Modell for kostnadsberegning Kostnad for basisoperasjoner Implementasjonsalgoritmer Institutt for Informatikk INF3100 6.4.2016
DetaljerMaps og Hashing. INF Algoritmer og datastrukturer. Map - ADT. Map vs Array
Maps og Hashing INF0 - Algoritmer og datastrukturer HØSTEN 00 Institutt for informatikk, Universitetet i Oslo INF0, forelesning : Maps og Hashing Map - Abstrakt Data Type (kapittel.) Hash-funksjoner (kapittel..)
DetaljerMaps og Hashing. INF Algoritmer og datastrukturer. Map - ADT. Map vs Array
Maps og Hashing INF0 - Algoritmer og datastrukturer HØSTEN 00 Institutt for informatikk, Universitetet i Oslo INF0, forelesning : Maps og Hashing Map - Abstrakt Data Type Hash-funksjoner hashcode Kollisjonshåndtering
DetaljerINF Algoritmer og datastrukturer
INF2220 - Algoritmer og datastrukturer HØSTEN 2009 Institutt for informatikk, Universitetet i Oslo INF2220, forelesning 3: Maps og Hashing Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning 3 1 / 25 Maps
DetaljerEffektiv eksekvering av spørsmål
UNIVERSITETET I OSLO Effektiv eksekvering av spørsmål Basert på foiler av Hector Garcia-Molina, Ragnar Normann Oversikt Spørsmålshåndtering Modell for kostnadsberegning Kostnad for basis-operasjoner Implementasjons-algoritmer
Detaljer... HASHING. Hashing. Hashtabeller. hash(x)
HASHING Hashing Hashtabeller (kapittel.) Hash-funksjoner (kapittel.) Kollisjonshåndtering Åpen hashing (kapittel.) Lukket hashing (kapittel.) Anta at en bilforhandler har ulike modeller han ønsker å lagre
DetaljerEffektiv eksekvering av spørsmål
UNIVERSITETET I OSLO Effektiv eksekvering av spørsmål Spørsmålshåndtering Modell for kostnadsberegning Kostnad for basisoperasjoner Implementasjonsalgoritmer Institutt for Informatikk INF3100 23.3.2015
DetaljerEffektiv eksekvering av spørsmål
UNIVERSITETET I OSLO Effektiv eksekvering av spørsmål Spørsmålshåndtering Modell for kostnadsberegning Kostnad for basisoperasjoner Implementasjonsalgoritmer Institutt for Informatikk INF3100 V18 Evgenij
DetaljerFakultet for informasjonsteknologi, Kontinuasjonsløsning på SIF8037 Distribuerte systemer og ytelsesvurdering (Distribuerte systemer kun)
Side 1 av 5 NTNU Norges teknisk naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Kontinuasjonsløsning
DetaljerKapittel 5 Nettverkslaget
Kapittel 5 Nettverkslaget I dette kapitlet ser vi nærmere på: Nettverkslaget IP-protokollen Format Fragmentering IP-adresser Rutere Hierarkisk ruting og ruteaggregering Autonome soner 1 Nettverkslaget
DetaljerSpørsmålskompilering del 1
UNIVERSITETET I OSLO Spørsmålskompilering del 1 Parsering Logiske spørreplaner uttrykt i relasjonsalgebra Optimalisering ved hjelp av algebraiske lover Institutt for Informatikk INF3100 - V18 - Evgenij
DetaljerSpørsmålskompilering del 1
UNIVERSITETET I OSLO Spørsmålskompilering del 1 Parsering Logiske spørreplaner uttrykt i relasjonsalgebra Optimalisering ved hjelp av algebraiske lover Institutt for Informatikk INF3100-11.4.2016 - Ellen
DetaljerSpørsmålskompilering del 2
UNIVERSITETET I OSLO Spørsmålskompilering del 2 Estimere størrelsen på mellomresultater Vurdere fysiske spørreplaner Institutt for Informatikk INF3100 V18 Evgenij Thorstensen 1 Overblikk For å vurdere
DetaljerParallelle og distribuerte databaser
UNIVERSITETET IOSLO Parallelle og distribuerte databaser Institutt for Informatikk INF3100 28.3.2011 Ellen Munthe-Kaas 1 Parallellberegninger Database på én storskala parallellmaskin: Utnytter parallelliteten
DetaljerHashing. INF Algoritmer og datastrukturer HASHING. Hashtabeller
Hashing INF2220 - Algoritmer og datastrukturer HØSTEN 200 Institutt for informatikk, Universitetet i Oslo INF2220, forelesning : Hashing Hashtabeller (kapittel.) Hash-funksjoner (kapittel.2) Kollisjonshåndtering
DetaljerFakultet for informasjonsteknologi, Løsning på eksamen i TDT4190 Distribuerte systemer Torsdag 9. juni 2005, 0900 1300
Side 1 av 10 NTNU Norges teknisk naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Løsning på eksamen i
DetaljerUNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk. INF Ragnar Normann
UNIVERSITETET I OSLO RELASJONSALGEBRA Regning med relasjoner Institutt for Informatikk 1 Relasjonsalgebraen definerer en mengde av operasjoner på relasjoner gir oss et språk til å beskrive spørsmål om
DetaljerEffektiv eksekvering av spørsmål
UNIVERSITETET I OSLO Effektiv eksekvering av spørsmål Spørsmålshåndtering Modell for kostnadsberegning Kostnad for basisoperasjoner Implementasjonsalgoritmer Institutt for Informatikk INF3100 21.3.2014
DetaljerINF2220: Forelesning 3. Map og hashing Abstrakte datatyper (kapittel 3.1) Map (kapittel 4.8) Hashing (kapittel 5)
INF2220: Forelesning 3 Map og hashing Abstrakte datatyper (kapittel 3.1) Map (kapittel 4.8) Hashing (kapittel 5) Map og hashing Ett minutt for deg selv: Hva vet du om maps/dictionarys og hashing fra tidligere?
DetaljerLars Vidar Magnusson. October 11, Lars Vidar Magnusson () Forelesning i Operativsystemer October 11, / 28
Tråder Lars Vidar Magnusson October 11, 2011 Lars Vidar Magnusson () Forelesning i Operativsystemer 09.09.2011 October 11, 2011 1 / 28 Oversikt Tråder 1 Tråder Introduksjon Multithreading Prosesser og
DetaljerINF2220: Forelesning 3
INF2220: Forelesning 3 Map og hashing Abstrakte datatyper (kapittel 3.1) Map (kapittel 4.8) Hashing (kapittel 5) ABSTRAKTE DATATYPER 2 Abstrakte datatyper En ADT består av: Et sett med objekter. Spesifikasjon
DetaljerDatabaser. Relasjonsmodellen 1 Læreboka: Kap. 2 Relasjonsmodellen Faglærere: Tore Mallaug, Kjell Toft Hansen
Databaser Relasjonsmodellen 1 Læreboka: Kap. 2 Relasjonsmodellen Faglærere: Tore Mallaug, Kjell Toft Hansen Tema for dagen Relasjonsmodellen Hvorfor relasjoner? Fra ER diagram til relasjoner 22.09.2008
DetaljerFakultet for informasjonsteknologi, Løsning på kontinuasjonseksamen i TDT4190 Distribuerte systemer 19. august 2006,
Side 1 av 8 NTNU Norges teknisk-naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Løsning på kontinuasjonseksamen
DetaljerFakultet for informasjonsteknologi, Løsning på kontinuasjonseksamen i TDT4190 / SIF8042 Distribuerte systemer August 2005, 0900 1300
Side 1 av 11 NTNU Norges teknisk naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Løsning på kontinuasjonseksamen
DetaljerLøsningsforslag for Eksamensoppgave i TDT4190 Distribuerte systemer
Institutt for datateknikk og informasjonsvitenskap Løsningsforslag for Eksamensoppgave i TDT4190 Distribuerte systemer Faglig kontakt under eksamen: Jon Olav Hauglid Tlf.: 93 80 58 51 Eksamensdato: Onsdag
DetaljerINF1020 Algoritmer og datastrukturer
Dagens plan Hashing Hashtabeller Hash-funksjoner Kollisjonshåndtering Åpen hashing (kap. 5.3) Lukket hashing (kap. 5.4) Rehashing (kap. 5.5) Sortering ut fra en hashing-ide (side 66-68) Bøttesortering
DetaljerSQL: Systemaspekter. Evgenij Thorstensen V18. Evgenij Thorstensen SQL: Systemaspekter V18 1 / 21
SQL: Systemaspekter Evgenij Thorstensen V18 Evgenij Thorstensen SQL: Systemaspekter V18 1 / 21 Oversikt Hvordan et DBMS er organisert (med psql som eksempel) Trelagsarkitektur og impedance mismatch Databasetilgangsmåter
DetaljerParallelle og distribuerte databaser del II
UNIVERSITETET I OSLO Parallelle og distribuerte databaser del II Paxos consensus Paxos commit Databaser i peer-to-peer-systemer (P2P) Databaser i mobile ad-hoc-nettverk (MANET) Institutt for Informatikk
DetaljerSpørsmålskompilering del 2
UNIVERSITETET I OSLO Spørsmålskompilering del 2 Estimere størrelsen på mellomresultater Vurdere fysiske spørreplaner Institutt for Informatikk INF3100-7.4.2015 - Ellen Munthe-Kaas 1 Oversikt: Fra spørring
DetaljerPlan for dagen. Vprg 4. Dagens tema - filbehandling! Strømmer. Klassen FilLeser.java. Tekstfiler
Plan for dagen Vprg 4 LC191D Videregående programmering Høgskolen i Sør-Trøndelag Avdeling for informatikk og e-læring Anette Wrålsen Del: Intro til tekstfiler Del II: Mer om tekstfiler, Scanner-klassen
DetaljerFakultet for informasjonsteknologi, Løsning på kontinuasjon i TDT4190 Distribuerte systemer Onsdag 4. august 2004, 0900 1300
Side 1 av 9 NTNU Norges teknisk naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Løsning på kontinuasjon
DetaljerINF1010 Hashing. Marit Nybakken 8. mars 2004
INF1010 Hashing Marit Nybakken marnybak@ifi.uio.no 8. mars 2004 Til nå har vi trodd at en HashMap var en mystisk uendelig stor samleeske der vi på magisk vis kan putte inn objekter og ta ut objekter ved
DetaljerHistorisk tidslinje. Resource Description Framework (RDF) Web Ontology Language (OWL) Object-Role Modeling (ORM) Entity Relationship Model (ER)
Historisk tidslinje Natural Language Information Analysis Method (NIAM) 1960 1970 Object-Role Modeling (ORM) Entity Relationship Model (ER) 1980 Unified Modeling Language (UML) 1990 Resource Description
DetaljerJini. Overblikk. Gruppe 1: Odd-Wiking Rahlff, Arnor Solberg og Finn Haukebøe
Jini Gruppe 1: Odd-Wiking Rahlff, Arnor Solberg og Finn Haukebøe Overblikk Hvorfor Jini? (Motivasjon) Kort historikk Hva er Jini? Arkitektur Essensielle Egenskaper Styrker & Svakheter Jini vs. CORBA Jini
DetaljerRelasjonsalgebraen. Algebra
Relasjonsalgebraen Definerer en mengde av operasjoner på relasjoner Gir oss et språk til å beskrive spørsmål om innholdet i relasjonene Språket er prosedyralt: Vi sier hvordan svaret skal beregnes. Alternativet
DetaljerINF1300 Introduksjon til databaser
UNIVERSITETET I OSLO INF1300 Introduksjon til databaser Dagens tema: Relasjonsalgebraen Oversettelse av select-from-where til relasjonsalgebra SQL: union, snitt, differanse, kartesisk produkt INF1300 22.10.2007
DetaljerADDML. Archival Data Description Markup Language. Generell del. Versjon PA 0.07 Sist oppdatert: TPD. ADDML_8_2.doc 03/03/2011 1(12)
ADDML Archival Data Description Markup Language Generell del Versjon PA 0.07 Sist oppdatert: 2010-09-16 TPD ADDML_8_2.doc 03/03/2011 1(12) Innledning... 4 Mål... 4 Historie... 4 Hvordan benytte ADDML...
DetaljerParallelle og distribuerte databaser del II
UNIVERSITETET I OSLO Parallelle og distribuerte databaser del II Paxos consensus Paxos commit Databaser i peer-to-peer-systemer (P2P) Databaser i mobile ad-hoc-nettverk (MANET) Institutt for Informatikk
DetaljerForelesning Oppsummering
IN1020 - Introduksjon til datateknologi Forelesning 23.11.2018 Oppsummering Håkon Kvale Stensland & Andreas Petlund Nettverksdelen - Pensum Relevante kapitler fra boka (se pensumliste) Alt presentert på
DetaljerUNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk. INF Ellen Munthe-Kaas
UNIVERSITETET I OSLO RELASJONSALGEBRA Regning med relasjoner Institutt for Informatikk 1 Relasjonsalgebraen definerer en mengde av operasjoner på relasjoner gir oss et språk til å beskrive spørsmål om
DetaljerUNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk. INF Ellen Munthe-Kaas 1
UNIVERSITETET I OSLO RELASJONSALGEBRA Regning med relasjoner Institutt for Informatikk INF3100-8.2.2010 Ellen Munthe-Kaas 1 Relasjonsalgebraen definerer en mengde av operasjoner på relasjoner gir oss et
DetaljerKjørehjelperen Testdokumentasjon
2013 Kjørehjelperen Testdokumentasjon Høgskolen i Oslo og Akershus Henrik Hermansen og Lars Smeby Gruppe 8 26.05.2013 Forord Dette dokumentet tar for seg to forskjellige ting. Først forklares det hvordan
DetaljerParallelle og distribuerte databaser del I
UNIVERSITETET I OSLO Parallelle og distribuerte databaser del I Databaser på parallellmaskiner; map-reduce Distribuerte databaser Distribusjonsmodeller (sharding, replikering) Distribuerte transaksjoner:
DetaljerForelesning 3 DAS - Systemtabeller, indekser, distribuerte systemer m.m. - Tom Heine Nätt/Edgar Bostrøm
Forelesning 3 DAS - Systemtabeller, indekser, distribuerte systemer m.m. - Tom Heine Nätt/Edgar Bostrøm Systemtabeller Alt er tabeller og SQL I MySQL: Databasen mysql F.eks SET SQL_LOG_BIN=0; SELECT @@SQL_LOG_BIN
DetaljerINF1300 Relasjonsalgebra og SQL, mengder og bager. Lysark for forelesning v. 2.1
INF1300 Relasjonsalgebra og SQL, mengder og bager. Lysark for forelesning v. 2.1 Dagens temaer Relasjonsalgebraen Renavning Algebra Heltallsalgebra Klassisk relasjonsalgebra Mengdeoperatorer Union Snitt
DetaljerFakultet for informasjonsteknologi,
Side 1 av 9 NTNU Norges teknisk naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Løsning på SIF8037 Distribuerte
DetaljerGenerelt om permanent lagring og filsystemer
Generelt om permanent lagring og filsystemer Filsystem Den delen av OS som kontrollerer hvordan data lagres på og hentes frem fra permanente media Data deles opp i individuelle deler, filer, som får hvert
DetaljerEMC. Neste generasjon datalagring. Roger Samdal Technology Consultant EMC Norge. Copyright 2009 EMC Corporation. All rights reserved.
EMC Neste generasjon datalagring Roger Samdal Technology Consultant EMC Norge 1 Storagetrender 2009-2010 Teknologier Solid State Drives 8Gbps Fibre Channel 10Gbps iscsi 6Gbps SAS 2.0 FCoE Smartere lagring
DetaljerUNIVERSITETET RELASJONSALGEBRA. Regning g med relasjoner. Institutt for Informatikk. INF Ellen Munthe-Kaas 1
UNIVERSITETET IOSLO RELASJONSALGEBRA Regning g med relasjoner Institutt for Informatikk INF3100-7.2.2011 Ellen Munthe-Kaas 1 Relasjonsalgebraen definerer en mengde av operasjoner på relasjoner gir oss
DetaljerGraphQL. Hva, hvorfor, hvordan
GraphQL Hva, hvorfor, hvordan Dag Olav Prestegarden BouvetOne Nord, 4. mai 2017 Ikke dette Eller dette Men dette Noen problemer med web-apier i dag GraphQL som løsning Features ved GraphQL Agenda Skjemadefinisjon
DetaljerNaming og trading INF5040. Foreleser: Olav Lysne. Ifi/UiO 1
Naming og trading INF5040 Foreleser: Olav Lysne Ifi/UiO 1 To design spørsmål Navngiving ressursdeling krever globale lokasjonsuavhengige navn på ressurser og objekter hvordan konstruere navngivingsskjema
DetaljerParallelle og distribuerte databaser del III
UNIVERSITETET I OSLO Parallelle og distribuerte databaser del III NoSQL og alternative datamodeller Institutt for Informatikk INF3100 20.4.2015 Ellen Munthe-Kaas 1 NoSQL NoSQL er et paraplybegrep som omfatter
DetaljerNett og tjenestekvalitet
1 Nett og tjenestekvalitet 2 Telenorstopp http://www.tu.no/it/2011/06/16/derfor-stoppet-mobilnettet 3 Telematikk Information security System architecture Systems engineering Systems Validation Dependability
DetaljerDokumentasjon av XML strukturer for ByggSøk
Dokumentasjon av XML strukturer for ByggSøk 28. februar 2003 Per Thomas Jahr Innhold 1 Oversikt over skjemaer...1 2 Valg mellom import og include...2 3 Enkoding...2 4 Navnerom...2 5 Regler for navngiving
DetaljerINF-MAT5370. Grafer og datastrukturer
INF-MAT5370 Grafer og datastrukturer Øyvind Hjelle oyvindhj@simula.no, +47 67 82 82 75 Simula Research Laboratory, www.simula.no August 3, 2009 Innhold Kort om grafer Topologiske operatorer og operasjoner,
DetaljerSpørsmålskompilering
UNIVERSITETET I OSLO Spørsmålskompilering Parsering Logiske spørreplaner uttrykt i relasjonsalgebra Optimalisering ved hjelp av algebraiske lover Estimere størrelsen på mellomresultater Vurdere fysiske
DetaljerNettlaget. Nettlagets oppgaver
Ruting og Pakke- svitsjing Mål Oversikt over hvor ruting passer inn i Internett arkitekturen Prinsippene for vanlige ruting protokoller Styrker og svakheter Disposisjon primæroppgavene til nettlaget datagram
DetaljerOpprinnelig IP-pakke inneholder 4480 Byte data. Dette er inklusiv IPheader. Max nyttelast på EthernetRammen er 1500 oktetter.
2SSJDYHUWLOXNH 2SSJDYH (W,3YGDWDJUDPSnRNWHWWHUVNDOVHQGHVRJPn IUDJPHQWHUHVIRUGLGHWVNDOJMHQQRPHW(WKHUQHWPHGHQ PDNVLPXPQ\WWHODVWSD\ORDGSnRNWHWWHU 9LV7RWDO/HQJWK0RUH)ODJRJ)UDJPHQW2IIVHWIRUKYHUWIUDJPHQW Opprinnelig
DetaljerRepetisjon: Normalformer og SQL
IN2090 databaser og datamodellering Repetisjon: Normalformer og SQL Mathias Stang og Stein Michael Storleer 21. november 2018 1 Agenda Normalformer Funksjonelle avhengigheter Nøkler Finne hvilke normalformer
DetaljerTDT4160 Datamaskiner Grunnkurs 2011. Gunnar Tufte
1 TDT4160 Datamaskiner Grunnkurs 2011 Gunnar Tufte 2 Bussar og busshierarki Tape Optical Bus 3 CPU og buss komunikasjon Tape Optical Bus 4 Buss linjer Bus Adr/data Bit 0 Adr/data Bit 1 Adr/data Bit 2 Adr/data
DetaljerFakultet for informasjonsteknologi,
Side 1 av 5 NTNU Norges teknisk-naturvitenskapelige universitet Fakultet for informasjonsteknologi, matematikk og elektroteknikk Institutt for datateknikk og informasjonsvitenskap Kontaktperson under eksamen:
DetaljerFunksjonalitet og oppbygning av et OS (og litt mer om Linux)
Funksjonalitet og oppbygning av et OS (og litt mer om Linux) Hovedfunksjoner i et OS OS skal sørge for: Styring av maskinvaren Deling av maskinens ressurser Abstraksjon vekk fra detaljer om maskinvaren
DetaljerHashing: Håndtering av kollisjoner
Hashing: Håndtering av kollisjoner Innsetting av dataelement i hashtabell Algoritme: 1. Bruk en hashfunksjon til å beregne hashverdi basert på dataelementets nøkkelverdi 2. Sett inn dataelementet i hashtabellen
DetaljerINF 329: Web-Teknologier. Dataimplementasjon. Fra Kapittel 11 i «Designing Data-Intensive Web Applications» Presentasjonsdato: 17/10/2004
INF 329: Web-Teknologier Dataimplementasjon Fra Kapittel 11 i «Designing Data-Intensive Web Applications» Presentasjonsdato: 17/10/2004 av: Dag Viggo Lokøen (dagvl@ii.uib.no) Kent Inge F. Simonsen (kentis@ii.uib.no)
DetaljerOppsummering. Thomas Lohne Aanes Thomas Amble
Oppsummering Thomas Lohne Aanes Thomas Amble 14.11.04 Kapittel 2: Data Modell Mål: Data som skal brukes av applikasjonen blir spesifisert på en formell og likevel intuitiv måte. Resultat: Vi får et konseptuelt
DetaljerPRODUKTBESKRIVELSE INFRASTRUKTUR. NRDB Sentralisert Node
PRODUKTBESKRIVELSE INFRASTRUKTUR NRDB Sentralisert Node Versjon 3.0 11/10/04 Nasjonal referansedatabase AS 14/10/04 Page 1 of 10 Innholdsfortegnelse 1 INNLEDNING...3 1.1 NUMMERPORTABILITET...3 1.2 VIDERESALG
DetaljerRelasjonsalgebra Kopi av lysark om relasjonsalgebra. Vi går igjennom denne for å lage et matematisk fundament for forståelsen av hvordan
Relasjonsalgebra Kopi av lysark om relasjonsalgebra. Vi går igjennom denne for å lage et matematisk fundament for forståelsen av hvordan select-setningen virker. Temaer som blir tatt inn i SQL-notatet:
DetaljerApplikasjonsutvikling med databaser
Applikasjonsutvikling med databaser Lars Vidar Magnusson October 12, 2011 Lars Vidar Magnusson () Forelesning i DAS 10.10.2011 October 12, 2011 1 / 24 Applikasjonsutvikling med databaser Databaser tilbyr
DetaljerPRODUKTBESKRIVELSE INFRASTRUKTUR. NRDB Internett
PRODUKTBESKRIVELSE INFRASTRUKTUR NRDB Internett Versjon 3.0 11/10/04 Nasjonal referansedatabase AS 15/10/04 Page 1 of 10 Innholdsfortegnelse 1 INNLEDNING...3 1.1 NUMMERPORTABILITET...3 1.2 VIDERESALG TELEFONI...3
DetaljerMulige Master-oppgaver hos Peter C. Ölveczky
11.1.2006 Masteroppgaver 1 Mulige Master-oppgaver hos Peter C. Ölveczky http://heim.ifi.uio.no/ peterol 11.1.2006 Masteroppgaver 2 Peter C. Ölveczky 1. amanuensis ved PMA-gruppen Email: peterol@ifi.uio.no
DetaljerUNIVERSITETET I OSLO SQL. Structured Query Language. (The intergalactic dataspeak) Institutt for Informatikk. INF Ragnar Normann 1
UNIVERSITETET I OSLO SQL Structured Query Language (The intergalactic dataspeak) Institutt for Informatikk INF3100 1.2.2005 Ragnar Normann 1 SQL SQL Structured Query Language er et deklarativt språk for
Detaljer1. Relasjonsmodellen. 1.1. Kommentarer til læreboka
Avdeling for informatikk og e-læring, Høgskolen i Sør-Trøndelag Relasjonsmodellen Tore Mallaug 2.9.2013 Lærestoffet er utviklet for faget Databaser 1. Relasjonsmodellen Resymé: Denne leksjonen gir en kort
Detaljer1. Mer om oppbyning av XML-dokument
Avdeling for informatikk og e-læring, Høgskolen i Sør-Trøndelag Mer om oppbyning av XML-dokument Lene Hoff 2.9.2013 Lærestoffet er utviklet for faget XML Teknologi 1. Mer om oppbyning av XML-dokument Resymé:
DetaljerHva består Internett av?
Hva består Internett av? Hva er et internett? Et internett = et nett av nett Ingen sentral administrasjon eller autoritet. Mange underliggende nett-teknologier og maskin/programvareplatformer. Eksempler:
DetaljerBachelor 2015 048E. Theodor Rove Nordgård, Chris Sonko HIST DRIFT AV DATASYSTEMER
Bachelor 2015 048E Theodor Rove Nordgård, Chris Sonko HIST DRIFT AV DATASYSTEMER 1. Introduksjon Hvem er vi? Vi er to studenter ved Høgskolen i Sør-Trøndelag som i år fullfører vår bachelorgrad i studiet
DetaljerDatabaser. Relasjonsmodellen 2 Læreboka: Kap. 2 Relasjonsmodellen
Databaser Relasjonsmodellen 2 Læreboka: Kap. 2 Relasjonsmodellen Tema for dagen Hva er relasjonsalgebra? Seleksjon Projeksjon Produkt Indre forening Ytterforening Settoperasjoner: union, snitt, differanse
DetaljerUNIVERSITETET. Relasjonsalgebra. INF Ragnhild Kobro Runde
UNIVERSITETET IOSLO Relasjonsalgebra Regning med relasjoner 1 Annen bruk av chasealgoritmen (korrigert lysark) For å vise en FD X Y starter tabellen med to rader som er like for attributtene i X, og ulike
DetaljerINF2810: Funksjonell Programmering. Strømmer og utsatt evaluering
INF2810: Funksjonell Programmering Strømmer og utsatt evaluering Stephan Oepen Universitetet i Oslo 30. mars 2017 Forrige forelesning 2 Mer om (prosedyre)navn, bindinger, og verditilordning Nok en ny abstrakt
DetaljerTDT4300 Datavarehus og datagruvedri3, Våren 2014
TDT4300 Datavarehus og datagruvedri3, Våren 2014 23/1 2014 Trond Aalberg 1 Dagens tema MulAdimensjonale data Dimensjoner og hierarkier revisited Fra modellering Al OLAP implementasjon Vi ser på eksempler
DetaljerVIPR SOFTWARE- DEFINED Storage
VIPR SOFTWARE- DEFINED Storage Virtualiser alt. Ingen kompromisser. Torstein Børresen EMC Norge 1 MILLIARDER AV BRUKERE MILLIONER AV BRUKERE Mobile Cloud Big Data Social Mobile Enheter HUNDREVIS AV MILLIONER
DetaljerPensum: fra boken (H-03)+ forelesninger
Pensum: fra boken (H-03)+ forelesninger unntatt kursorisk tema KAP. 1 KAP. 2 KAP. 3 JAVA I-110 (ikke gjennomgått) OO + ABSTRAKSJON /GENERISK PROGRAMMERING REKURSJON ALGORITME-TIDSANALYSE; O-NOTASJON KAP.
DetaljerINF1300 Relasjonsalgebra. Et matematisk fundament for å forstå SQL-setninger
INF1300 Relasjonsalgebra Et matematisk fundament for å forstå SQL-setninger Innhold Relasjonsalgebraen Operatorene i relasjonsalgebraen Relasjonsalgebratolkning av select-setningen Kostbare operasjoner
DetaljerTjenestebeskrivelse Internett Ruter Innhold
Tjenestebeskrivelse Internett Ruter Innhold Internett Ruter... 2 Enkel brannmur... 2 Dual-stack IPv4 og IPv6... 2 IPv4 NAT... 2 DHCP tildeling av IPv4 adresser i LAN... 2 SLAAC tildeling av IPv6 adresser
DetaljerJava RMI (Remote Method Invocation) Gruppe 9: Ivar Steien Rasmussen Tom Anders Dalseng Andreas Petlund
Java RMI (Remote Method Invocation) Gruppe 9: Ivar Steien Rasmussen Tom Anders Dalseng Andreas Petlund Antagelser og forutsetninger Implementasjonseksemplet kompileres og kjøres på Java SDK 1.4.2 Dokumentasjon
Detaljer6105 Windows Server og datanett
6105 Windows Server og datanett Oppgave a: Installere Active Directory Certificate Services Bruk av kryptering i Windows forutsetter at brukerne får utstedt digitale sertifikater med krypteringsnøkler.
DetaljerINF2810: Funksjonell Programmering. En Scheme-evaluator i Scheme, del 2
INF2810: Funksjonell programmering INF2810: Funksjonell Programmering En Scheme-evaluator i Scheme, del 2 Erik Velldal Universitetet i Oslo 7. mai 2015 Tema Forrige uke SICP 4.1. Structure and interpretation
DetaljerUNIVERSITETET I OSLO RELASJONSALGEBRA. Regning med relasjoner. Institutt for Informatikk INF Ellen Munthe-Kaas
UNIVERSITETET I OSLO RELASJONSALGEBRA Regning med relasjoner Institutt for Informatikk INF3100-2.2.2015 Ellen Munthe-Kaas Relasjonsalgebraen definerer en mengde av operasjoner på relasjoner gir oss et
DetaljerSpørsmålskompilering. Basert på foiler av Hector Garcia-Molina
Spørsmålskompilering Basert på foiler av Hector Garcia-Molina Oversikt: Fra spørring til resultat SQL spørring parsere parseringstre konvertere resultat logiske spørreplaner (LSPer) anvende lover forbedrede
DetaljerA study of different matching heuristics. Hovedfagspresentasjon Jan Kasper Martinsen
A study of different matching heuristics Hovedfagspresentasjon Jan Kasper Martinsen (janma@ifi.uio.no) Terminologi: Graf teori En graf består av et sett med noder Nodene er tilknyttet hverandre ved hjelp
DetaljerINF1300 Introduksjon til databaser
UNIVERSITETET I OSLO INF1300 Introduksjon til databaser Dagens tema: SQL: Outer join Denormalisering og splitting Transaksjoner og ACID-reglene DBMSer en introduksjon til INF3100 INF1300 19.11.2007 Ragnar
Detaljer32 bits. type of service. head. len 16-bit identifier time to live
Ruting i Internett! Det globale internettet består av sammenkoblede Autonomous Systems (AS) : " Stub AS: liten organisasjon " Multihomed AS: stor organisasjon (ingen gjennomgangstrafikk) " Transit AS:
DetaljerUtvikling fra kjernen og ut
Utvikling fra kjernen og ut PHP-arkitektur Brukergrensesnitt! inn ut Dynamisk web-side bygges opp på grunnlag av spørring mot databasen Utviklingsretning Applikasjon Virkelighetsmodell Plattform Bruker
Detaljer