INF1020 Algoritmer og datastrukturer

Transkript

1 Dagens plan Hashing Hashtabeller Hash-funksjoner Kollisjonshåndtering Åpen hashing (kap. 5.3) Lukket hashing (kap. 5.4) Rehashing (kap. 5.5) Sortering ut fra en hashing-ide (side 66-68) Bøttesortering Radix-sortering Ark 1 av 21 Forelesning

2 HASHING Anta at en bilforhandler har 50 ulike modeller han ønsker å lagre data om. Hvis hver modell har et entydig nummer mellom 0 og 49 kan vi enkelt lagre dataene i en array som er 50 lang. Hva hvis numrene ligger mellom 0 og ? Array som er lang: sløsing med plass! Array som er 50 lang: søking tar lineær tid... Forelesning Ark 2 av 21

3 Hashtabeller ADTen hashtabell tilbyr innsetting, sletting og søking med konstant gjennomsnittstid. Men: operasjoner som finnminste og skrivsortert har ingen garantier. Brukes gjerne når vi først og fremst ønsker et raskt svar på om et gitt element finnes i datastrukturen eller ikke. Eksempler: kompilatorer (Er variabel y deklarert?) stavekontroller (Finnes ord x i ordlista?) spill (Har jeg allerede vurdert denne stillingen via en annen trekkrekkefølge?) Forelesning Ark 3 av 21

4 Ideen i hashing er å lagre elementene i en array (hashtabell), og la verdien til elementet x (eller en del av x, kalt nøkkelen til x) bestemme plasseringen (indeksen) til x i hashtabellen. x hash(x) Egenskaper til en god hash-funksjon: Rask å beregne Kan gi alle mulige verdier fra 0 til tablesize 1. Gir en god fordeling utover tabellindeksene. Forelesning Ark 4 av 21

5 Det teoretiske ideal Vi kan tenke oss følgende perfekte situasjon: n elementer tabell med n plasser hash-funksjon slik at den er lett (rask) å beregne forskjellige nøkkelverdier gir forskjellige indekser Eksempel Hvis modellene er nummerert 0, 1 000, 2 000,..., , kan data om modell i lagres på indeks i/1 000 i en tabell som er 50 stor. Problem Hva hvis modell får nytt nummer 3 999? Forelesning Ark 5 av 21

6 Den praktiske virkelighet Vanligvis vil vi ikke finne noen perfekt hashfunksjon. Men vi ønsker at hash-funksjonen skal gi en så jevn fordeling som mulig. Temaer Hvordan velge hash-funksjon? ofte er nøklene strenger Hvordan håndtere kollisjoner? Hvor stor bør hashtabellen være? størrelsen er en del av ADTen! Forelesning Ark 6 av 21

7 Hash-funksjoner For heltall: key mod tablesize Gir jevn fordeling for tilfeldige tall. Pass på at ikke nøklene har spesielle egenskaper: Hvis tablesize = 10, og alle nøklene slutter på 0, vil alle elementene havne på samme indeks! Huskeregel: La alltid tabellstørrelsen være et primtall. Forelesning Ark 7 av 21

8 Strenger som nøkler Vanlig strategi: ta utgangspunkt i ascii/unicode-verdiene til hver bokstav og gjør noe lurt. Funksjon 1 Summer verdiene til hver bokstav. public static int hash1(string key, int tablesize) { int hashval = 0; for (int i = 0; i < key.length(); i++) { hashval += key.charat(i); } } return (hashval % tablesize); Fordel: Enkel å implementere og beregne. Ulempe: Dårlig fordeling hvis tabellstørrelsen er stor. Forelesning Ark 8 av 21

9 Funksjon 2 Bruk bare de tre første bokstavene og vekt disse. public static int hash2(string key, int tablesize) { } return (key.charat(0) + 27 * key.charat(1) * key.charat(2)) % tablesize; Fordel: Grei fordeling for tilfeldige strenger. Ulempe: Vanlig språk er ikke tilfeldig! Forelesning Ark 9 av 21

10 Funksjon 3 keysize 1 i=0 key[keysize i 1] 37 i public static int hash3(string key, int tablesize) { int hashval = 0; for (int i = 0; i < key.length(); i++) { hashval = 37 * hashval + key.charat(i); } } hashval = hashval % tablesize; if (hashval < 0) { hashval += tablesize; return hashval; Fordel: Enkel og relativt rask å beregne. Stort sett bra nok fordeling. Ulempe: Beregningen tar lang tid for lange nøkler. Forelesning Ark 10 av 21

11 Et instruktivt eksempel Input: 0, 1, 4, 9, 16, 25, 36, 49, 64, 81 Hash-funksjon: hash(x, tablesize) = x Hva hvis hash-funksjonen hadde vært hash(x, tablesize) =xmodtablesize istedenfor? Forelesning Ark 11 av 21

12 Kollisjonshåndtering Hva gjør vi hvis to elementer hashes til den samme indeksen? Åpen hashing: Elementer med samme hashverdi samles i en liste (eller annen passende struktur). Lukket hashing: Dersom en indeks er opptatt, prøver vi en annen indeks inntil vi finner en som er ledig. Det finnes flere strategier for å velge hvilken annen indeks vi skal prøve. Forelesning Ark 12 av 21

13 Åpen hashing ( Separate chaining ) Vi forventer at hash-funksjonen er god, slik at alle listene blir korte. Vi definerer load-faktoren, λ, til en hashtabell til å være antall elementer i tabellen i forhold til tabellstørrelsen. For åpen hashing ønsker vi λ 1.0. Forelesning Ark 13 av 21

14 Lukket hashing åpen adressering Prøver alternative indekser h 0 (x), h 1 (x), h 2 (x),... inntil vi finner en som er ledig. h i er gitt ved: h i (x) =(hash(x)+ f(i)) mod tablesize og slik at f (0) =0. Merk at vi trenger en større tabell enn for åpen hashing generelt ønsker vi her λ < 0.5. Skal se på tre mulige strategier (valg av f ): Lineær prøving Kvadratisk prøving Dobbel hashing Forelesning Ark 14 av 21

15 Lineær prøving Velger f til å være en lineær funksjon av i, typisk f (i) =i. Input: 89, 18, 49, 58, 69 Hash-funksjon: hash(x, tablesize) =xmodtablesize Forelesning Ark 15 av 21

16 Kvadratisk prøving Velger f til å være en kvadratisk funksjon av i, typisk f (i) =i 2. Input: 89, 18, 49, 58, 69 Hash-funksjon: hash(x, tablesize) =xmodtablesize Forelesning Ark 16 av 21

17 Dobbel hashing Bruker en ny hash-funksjon for å løse kollisjonene, typisk f (i) =i hash 2 (x), med hash 2 (x) =R (xmodr)hvor R er et primtall mindre enn tablesize. Input: 89, 18, 49, 58, 69 Andre hash-funksjon: hash 2 (x) =7 (xmod7) Forelesning Ark 17 av 21

18 Rehashing Hvis tabellen blir for full, begynner operasjonene å ta veldig lang tid. Mulig løsning: Lag en ny hashtabell som er omtrent dobbelt så stor (men fortsatt primtall!). Gå gjennom hvert element i den opprinnelige tabellen, beregn den nye hash-verdien og sett inn på rett plass i den nye hashtabellen. Dette er en dyr operasjon, O(n), men opptrer relativt sjelden (må ha hatt n/2 innsettinger siden forrige rehashing). Forelesning Ark 18 av 21

19 Hash-funksjoner: oppsummering Må (i hvert fall teoretisk) kunne gi alle mulige verdier fra 0 til tablesize 1. Må gi en god fordeling utover tabellindeksene. Tenk på hva slags data som skal brukes til nøkler. Fødselsår kan gi god fordeling i persondatabaser, men ikke for en skoleklasse! Forelesning Ark 19 av 21

20 Radix-sortering Bøtte-sortering Hvis vi har N heltall fra 0 til M-1 kan disse sorteres som følger: 1. Opprett en heltallsarray antall[m], initialisert til For hver A i i input, øk antall[a i ]med en. 3. Etter at all inputen er lest, gå gjennom arrayen og skriv ut en representasjon av den sorterte listen. Denne algoritmen tar O(M + N) tid. Hvis M og N er omtrent like store, blir bøttesortering O(N). Generalisering: Radix-sortering Forelesning Ark 20 av 21

21 Eksempel: 10 heltall i intervallet 0 til , 8, 216, 512, 27, 729, 0, 1, 343, 125 Ide: Sorter etter minst signifikante siffer, deretter det nest minste signifikante siffer og så videre Forelesning Ark 21 av 21