IN1020 - Introduksjon til datateknologi Populærvitenskapelig foredrag 08.11.2017 Peer-2-peer: fra Napster til TOR Håkon Kvale Stensland & Andreas Petlund
Introduksjon til Peer-to-Peer Forskjellige nettverksarkitekturer Styrker og svakheter i forskjellige P2P arkitekturer. Hva var Napster? Hvordan fungerer BitTorrent? Hva er de forskjellige parameterne i et BitTorrent-klient? TOR og The Dark Net.
Klient-Tjener Tradisjonell arkitektur Potensielt store kostnader med å få infrastrukturen skalerbar Kjernenettverk Lokalt nettverk Lokalt nettverk Lokalt nettverk
Distribusjon med CDN Hierarkiske systemer for å distribuere innhold Vanlig å cache populært innhold. Kjerneservere Populære videoer blir lagret nærme sluttbrukerne Videoer som ikke er så populære lagres enten på eller nærme kjerneserveren. Spesielt viktig hvis båndbredden er begrenset. For eksempel: WiFi på fly Lokale servere Endesystemer Regionale servere
Peer-to-Peer (P2P) Ikke en ny ide - en distribuert systemarkitektur Ingen sentralisert kontroll over nettet Typisk mange noder som kan være upålitelige og heterogene Kjernenettverk Lokalt nettverk Lokalt nettverk Lokalt nettverk
Peer-to-Peer På flere måter likt CDN: Endesystemer kan være både klient og tjener Distribuert lagring Innholdet nærmere sluttbruker Begrenset lagring per endesystem Men ulikt på noen punkter: Ingen klare roller på endesystemene Ikke noe hierarkisk forhold Klienter vet nødvendigvis ikke hvor innholdet er Trenger protokoller for å «oppdage innhold» Endesystemer i et P2P nettverk kommer og går
P2P Styrker og svakheter Ideelt til å dele ressurser mellom enheter (peers) Ressurser som dele kan være: CPU (SETI@home, Folding@home osv.) Lagring/harddiskplass (distribuerte databaser, distribuerte hashtabeller) Nettverk/lagring (bittorrent) CPU/lagring/nettverk (Bitcoin) Eller nesten hva som helst Tilgangen/fordelingen av ressurser styres av algoritmer. Robust mot endringer i nettverket av peers 08.11.2017 8
P2P Styrker og svakheter Egner seg dårlig til applikasjoner som er avhengig av lav forsinkelse. Onlinespill med høyt tempo (som First Person Shooters, f.eks. Battlefield ) Om man er avhengig av en viss grad av sentral kontroll. P2P er vanskelig å temme når katta først er sluppet ut av sekken Peers kommer og går Mye redundans og ressurser kreves for å sikre kontinuitet Kan være vanskelig å effektivt indeksere 08.11.2017 og finne igjen elementer 9
P2P Styrker og svakheter Distribuert spilltilstand Synkronisering? 08.11.2017 10
Varianter av P2P-baserte topologier Ren P2P: Alle peers likeverdige Hybrid P2P: Noen sentrale noder som har mer funksjonalitet enn andre sentrale tjenere eller superpeers Kan være valgt fordi: De ikke står bak brannmur og/eller NAT De har mye av en ressurs, f.eks båndbredde, harddiskplass, CPUregnekraft Slike løsninger kan hjelpe til f.eks å få ned forsinkelsen i en P2P-løsning 08.11.2017 11
P2P i forskning P2P ble sett på som en ønsket modell for å demokratisere nettverksbaserte applikasjoner Et hovedproblem: hvordan fordele og indeksere innhold Løsning: Distributed Hash Tables (DHTs) CHORD PASTRY TAPESTRY Kademlia Content Adressable Network (CAN) Distribuerte databaser 08.11.2017 12
Eksempel: Napster Program for deling av filer (musikk) over Internett Arkitektur Sentralisert index (katalog) Distribuert lagring og nedlastning Alle filer lastet ned blir delt Lansert i 1999 P2P aspekter: Endesystemene var også filtjenere
Napster Endesystemet kobler til Napster sin sentrale tjener. Sender over liste med delte filer join central index Napster registrerer brukerinfo, knytter det til en IP adresse og lagrer listen med delte filer...
Napster Endesystemet sender forespørsel til sentralisert tjeneste Napster sjekker databasen central index query answer Returnerer liste med delte filer, som inneholder hvilke IP adresser som har de forskjellige filene...
Napster Endesystemet velger filen, og begynner å ta kontakt direkte for å lase ned filen Maskinene kontaktet hvis tilgjengelige. get file central index...
Napster: Evaluering Skalerbart: Replikasjon av filer: Antall kopier av populære filer stiger. Liten tilgjengelighet for filer som ikke er populære. Ignorerer fullstendig nettverkstopologien. Innholdslokasjon Enkel og sentral søkemekanisme Pålitelighet Ingen avhengighet mellom normale brukere. Sentralisert server er «single-point-of-failure» Ikke «advokat-sikkert», Napster ble stengt i 2001
Eksempel: BitTorrent System for distribuert nedlastning fra Internett Lansert i 2001 av en student fra University of Buffalo Innholdet av blir delt opp i mange segmenter Tracker En sentral kilde til «metadata» om innholdet Ikke standardisert hvordan man skal finne en tracker Protokoll for å overføre innhold er ikke inkludert. Mange forskjellige «klienter» som implementerer BitTorrent.
Segmentnedlasting: BitTorrent Tracker fortellerom peers og antall segmenter du trenger Peer henter innhold i «pullmodus» Peer melder tilgjengelighet for nytt segment til tracker Tracker
BitTorrent Ingen strøm nummer to: Har ikke bidratt nok enda Tracker Mest sjeldne segment først
Ingen strøm nummer to: Har ikke bidratt nok enda BitTorrent Alle noder: Maks to samtidige strømmer inn og ut Tracker
BitTorrent Tracker
BitTorrent Tracker
BitTorrent Tracker
BitTorrent: Evaluering Skalerbart: Stor distribuert lagring av filer Overfører kun segmenter av innhold istedenfor hele filen De som «bidrar» kan laste ned mer Innholdslokasjon: Sentralisert tjener for metadata (.torrent-filer) Pålitelighet: Tracker er i utgangspunktet «single-point-of-failure» Distribuerte trackere er nå implementer i nyere versjoner
Metningskontroll (i TCP) sørger for å dele kapasiteten over nettverket likt meldom TCPforbindelsene. men for nedlasting (som bittorrent), vil man gjerne at overføringen skal skje i bakgrunnen. Dvs. ikke stjele kapasitet fra annen trafikk, som f.eks spill eller video streaming. Less-than-best-effort (LBE) metningskontroll Bittorrent bruker en slik LBE metningskontroll, kalt Low Extra Delay Background Transport (LEDBAT) LEDBAT bruker RTT-målinger til å forsøke å finne ut om det er en økende kø over flaskehalsen i forbindelsen. Minsker senderaten så fort den merker at den konkurrerer med andre strømmer. 08.11.2017 26
En titt på utorrent (bittorrentklient) 08.11.2017 27
The Onion Router (TOR) Nettverk av maskiner (peers) donert som routere i TOR Trafikk krypteres og videresendes gjennom flere routere Krever en spesiell nettleser som kobler til nettverket. 08.11.2017 28
Hvordan virker TOR 08.11.2017 29 Figur hentet fra https://www.torproject.org/about/overview.html.en
Hvordan virker TOR 08.11.2017 30 Figur hentet fra https://www.torproject.org/about/overview.html.en
Hvordan virker TOR Flere lag med kryptering beskytter metadata Hver router vet bare hvem de har fått pakken fra, og neste router i kjeden. Siste hopp er ikke kryptert (for vanlige tjenere) Kan sette opp en tjener til å koble til kryptert, da blir innholdet beskyttet ende-tilende. 08.11.2017 31 Figur hentet fra https://www.torproject.org/about/overview.html.en
Hvordan virker TOR 08.11.2017 32 Figur hentet fra https://www.torproject.org/about/overview.html.en
En titt på TOR 08.11.2017 33
Noen relaterte begreper: The Onion Router (TOR) The Dark Web beskyttet av kryptering og tåkelegging (som TOR or I2P) The Deep Web beskyttet av login eller skjult fra søkemotorer på annet vis. 08.11.2017 34
Honeypots, phishing og ZeroDay Hvordan avdekke kriminelle TOR-brukere (noen eksempler) Prisen for et zerodayangrep? USD 50.000 USD 1.500.000 1 Nylig eksempel: Politiet satte opp falske kriminelle distribusjonssider i Australia 2 Tjeneren avslørte seg da den tok kontakt for å laste et profilbilde uten å gå via TOR 2 Statistisk analyse av pakker som går inn og ut av nettverket. Forutsetter kontroll over begge endepunkter Pakkestørrelser, avstand mellom forespørsler, antall pakker pr. forespørsel osv. 08.11.2017 35 1) https://www.cyberscoop.com/zero-day-vulns-are-rarer-and-more-expensive-than-ever/ 2) https://www.vg.no/spesial/2017/undercover-darkweb/
Ressurser Peer-to-Peer: Building Secure, Scalable, and Manageable Networks: Dana Moore, John Hebeler: 9780072192841: Amazon.com: Books P2P Networking and Applications (Morgan Kaufmann Series in Networking (Hardcover)): John Buford, Heather Yu, Eng Keong Lua: 9780123742148: Amazon.com: Books https://github.com/kgryte/awesome-peer-to-peer https://en.wikipedia.org/wiki/bittorrent 08.11.2017 36