Generelle Tips. INF Algoritmer og datastrukturer. Åpen og Lukket Hashing. Hashfunksjoner. Du blir bedømt etter hva du viser at du kan

Transkript

1 Generelle Tips INF lgoritmer og datastrukturer HØSTEN 2009 Institutt for informatikk, Universitetet i Oslo Du blir bedømt etter hva du viser at du kan Du må begrunne svar Du må ikke skrive av bøker eller foiler INF2220, forelesning 13: Eksamensgjennomgang Gjør de enkleste oppgavene først Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning 13 1 / 1 Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning 13 2 / 1 Hashfunksjoner Åpen og Lukket Hashing Finn to svakheter ved hashfunksjonen gitt under. int hashfunc ( String s, int t a b l e S i z e ){ int hashvalue =0; for ( int i = 0; i < s. length ( ) ; i ++){ hashvalue += 7 ( int ) s. chart ( i ) ; return hashvalue % t a b l e S i z e ; Forklart kort problemene som kan oppstå ved sletting av elementer når en bruker lukket hashing (åpen adressering). En kan ende opp med å måtte traversere hele hashtabellen på leiting etter elementer, fordi en tom tabell-celle betyr ikke nødvendigvis at ingenting har hashet til denne verdien. 1. Funksjonen er kommutativ dvs. hashfunc( abc ) == hashfunc( acb ) 2. Funksjonen gir alt for lave verdier, en ganger bare int verdi med 7 Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning 13 3 / 1 Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning 13 4 / 1

2 Todeling av elementer Todeling av elementer Hvor mange ganger kan en dele tallet N i to før en får en verdi som er mindre eller lik 1? Begrunn svaret. log 2 (N) siden dette er revers funksjonen til 2 N, dvs. log 2 (2 N ) = N 2 (log 2(N)) = N Dvs. 2 N = {1, 2, 4, 8, 16, 32,.. dobler 1, og log 2 (N) sier hvor mange ganger vi kan halvere N før vi er tilbake til 1. En kan evt. sette opp ligning og løse denne N 2 x 1 (1) N 2 x (2) log 2 (N) log 2 (2 x ) (3) log 2 (N) x log 2 (2) (4) log 2 (N) x (5) Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning 13 5 / 1 Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning 13 6 / 1 Binærheap Boyer Moore nta at en binærheap har N elementer, og høyde M. Hvor mange elementer må vi sette inn i heapen for at vi med med sikkerhet kan si at den vil få høyde M + 1? Begrunn svaret. HINT: Hvor mange noder er det på nederste nivå i et komplett binærtre, sammenlignet med resten av treet? Minst N, siden siste nivå i et komplett binærtre innholder like mange noder som resten av treet + 1, dvs. worst-case tilfelle er når nederste nivå i treet bare har 1 node, da vil N - 1 nye noder fylle opp siste nivå, og N vil gi oss en node på neste nivå. Boyer Moore bruker en int-array som kalles bad-character-shift som har lengde 256, hvorfor er denne av lengde 256? Og hva inneholder den? bad-character-shift.length 256 fordi vi antar at bokstavene våre er 8-bit characters, (2 8 = 256) vi lager en shift-verdi for alle mulige characters i nålen dvs. hvor langt vi kan flytte nålen fram basert på missmatch i siste element, siden vi matcher bakfra. Boyer Moore vil ikke fungere for UTF-8 dersom spesielle tegn blir brukt, og vil aldri fungere for UTF-16, eller andre tegnsett som bruker mer enn 8-bits enkoding, selv om det fins spesielle versjoner av Boyer Moore for disse.. Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning 13 7 / 1 Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning 13 8 / 1

3 Huffmankoding Når vi komprimerer en fil med Huffmankoding, så teller vi opp antall forekomster av hver bokstav i filen, hvorfor gjør vi det? Forklar kort hvordan dette brukes til å generere Huffman koden. 1. Grunnen til at vi teller opp forekomster er fordi vi vil bruke den korteste bit-sekvensen til å lagre den bokstaven som forekommer oftest. 2. Vi bygger et binærtre av alle forekomstene, der vi slår sammen noder basert på frekvens. de nodene som forekommer oftest vil havne høyest opp i binætreet (og sånn sett få kortest binær-representasjon) mens de som opptrer sjelden vil få lengre sekvenser. Huffmankoding Når vi komprimerer en fil med Huffmankoding så lagrer vi binær-sekvensene som representerer bokstavene uten noe form for skilletegn. Binær-sekvensene er ofte av forskjellig lengde, hvordan kan vi vite når et tegn slutter og når neste begynner? Bitsekvensene som brukes har unik start, fordi de alle er løvnoder i et binætre, dvs. det fins ikke to bit-sekvenser med samme start hvor den ene er lenger enn den andre. sånne binærtre bli kalt TRIES, dvs. binætre som kun har verdier i løvnodene. Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning 13 9 / 1 Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1 Topologisk Sortering F Rekursive etterfølgere nta at nodene i grafen gitt over er representert ved denne klassen: public c l a s s Node{ E char id ; Set<Node> c h i l d r e n ; D B C Node( char id ){ t h i s. id = id ; c h i l d r e n = new HashSet<Node >(); Skriv to lovlige topologiske sorteringer av nodene. Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1 void reachable ( Set<Node> set ){ // TODO void addchild (Node n){ c h i l d r e n. add (n ) ; Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1

4 Rekursive etterfølgere Implementer funksjonen reachable som legger alle elementene (Nodene) som kan nås fra kall-noden, i mengden Set<Node> set. Sykler Dersom grafen vår inneholder sykler/løkker vil ikke funksjonen reachable nødvendigvis terminere. Modifiser funksjonen slik at rekursjonen stopper dersom vi kommer til et element som allerede fins i mengden. void reachable ( Set<Node> set ){ set. add ( t h i s ) ; for (Node n : c h i l d r e n ){ n. reachable ( set ) ; void reachable ( Set<Node> set ){ i f ( set. contains ( t h i s )){ return ; set. add ( t h i s ) ; for (Node n : c h i l d r e n ){ n. reachable ( set ) ; Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1 Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1 Fritekst søk Denne oppgaven omhandler et fritekst søk og bygging av en revers-indeks. En revers-indeks er en datastruktur der du ut ifra et søkeord, kan finne ut hvilke artikler dette ordet forekommer. Fritekst søk Det blir også gitt et eksempel på hvordan et søk kan implementeres når en har en revers-indeks. void search ( String word ){ LinkedList <String > l i s t ; Map<String, LinkedList <String >> index = new HashMap<String, LinkedList <String >>(); / mapping f r a : ord > l i s t e r av artikkelnavn / i f ( index. containskey ( word )){ System. out. p r i n t l n ( fant : +word ) ; l i s t = index. get ( word ) ; for ( String a r t i c l e : l i s t ){ System. out. p r i n t l n ( a r t i c l e ) ; e l s e { System. out. p r i n t l n ( fant ikke : +word ) ; Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1 Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1

5 Fritekst søk - implementer indexrticle Dere kan anta at artikler på forhånd er blitt konvertert fra sitt originale format (pdf,ps,doc,html...) til String arrayer. Du kan også anta at HashMapen index (se over) er global i klassen denne metoden implementeres. Du skal nå implementere følgende metode for å legge en ny artikkel inn i indeksen. void i n d e x r t i c l e ( String [ ] articlewords, String articlename ){ / implementer metoden / Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1 Fritekst søk - implementer indexrticle void i n d e x r t i c l e ( String [ ] articlewords, String articlename ){ LinkedList <String > l i s t ; for ( String word : articlewords ){ i f ( index. containskey ( word )){ l i s t = index. get ( word ) ; i f (! l i s t. contains ( articlename )){ l i s t. add ( articlename ) ; e l s e { l i s t = new LinkedList <String >(); l i s t. add ( articlename ) ; index. put (word, l i s t ) ; Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1 Fritekst søk - sletting av artikler Fritekst søk - sletting av artikler Vi er også interessert i å kunne slette artikler fra indeksen vår, implementer metoden med signaturen under, som sletter en artikkel fra indeksen. void removerticle ( String articlename ){ LinkedList <String > l i s t ; Set<String > keys = index. keyset ( ) ; void removerticle ( String articlename ){ / implementer metoden / for ( String key : keys ){ l i s t = index. get ( key ) ; i f ( l i s t. contains ( articlename )){ / optional / l i s t. remove ( articlename ) ; / optional / Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1 Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1

6 Fritekst søk - kompleksitet nta at vår indeks (HashMap) har hashet alle ord i indeksen til forskjellige verdier, dvs. kompleksiteten av å finne et ord i HashMapen (index) er lik 1. nta også at vi har M forskjellige ord i indeksen vår, dvs. index. keyset ( ). s i z e () == M nta at vi har indeksert N forskjellige artikler, dvs. vi kan få returnert maksimalt N artikler når vi søker på et ord. Hva blir da worst-case kompleksiteten av å slette en artikkel fra indeksen? O(N, M) = N M Vi har M nøkler, alle disse kan gi oss lister med N elementer, og vi må leite i hele listen etter vår artikkel, dvs. vi må leite i lister som er maksimalt N lange, M ganger. Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1 Fritekst søk - kompleksitet Vi prøver å forbedre indeksen vår ved å bytte ut datastrukturen artiklene ligger i (listen), vi velger å legge artiklene våre i et rød-sort tree i steden for en liste, dvs. vi legger artikkelnavnene våre i et balansert binærtre. Map<String, TreeSet<String >> index = new HashMap<String, TreeSet<String >>(); / mapping f r a : ord > balanserte bin tre av artikkelnavn / O(N, M) = M log 2 (N) Her er da har vi fortsatt M nøkler, men å finne artikkelen vår i disse balanserte binærtreene har en maksimal kompleksitet på log 2 (N) Bjarne Holen (Ifi, UiO) INF2220 H2009, forelesning / 1