Tutorial su c4.5: es/c4.5/tutorial.html

Transkript

1 C4.5: Algorithms for machine learning

2 C4.5: Algorithms for machine learning Apprendimento di alberi decisionali c4.5 [Qui93b,Qui96] Evoluzione di ID3, altro sistema del medesimo autore, J.R. Quinlan Ispirato ad uno dei primi sistemi di questo genere, CLS (Concept Learning Systems) di E.B. Hunt Lo sviluppo del software è cessato, in favore di C5.0, ma rimane uno dei punti di riferimento nella propria classe di algoritmi. Ultima release: 8.0 Algoritmo scritto in C per Unix: disponibile su: Tutorial su c4.5: es/c4.5/tutorial.html

3 Costruzione dell'albero: algoritmo base Algoritmo base, usato in CLS T: insieme degli esempi (training set) {C 1,C 2,...,C k }: insieme delle classi; Considera l insieme T: if T contiene uno o più esempi, tutti appartenenti alla medesima classe then singola foglia con etichetta la classe if T contiene casi che appartengono a più classi then partizionamento di T in piu sottoinsiemi secondo un test su un attributo: nodo associato al test, con un sottoalbero per ogni possibile risultato del test stesso richiama l algoritmo su ogni ramo/sottoinsieme

4 Condizioni di terminazione In realtà, C4.5 si ferma se: T contiene uno o più esempi, tutti appartenenti alla medesima classe singola foglia con etichetta la classe T non contiene nessun esempio (insieme vuoto) singola foglia con etichetta la classe piu frequente nell insieme padre Nessun test riesce a generare almeno due insiemi con 2*MINOBJ esempi singola foglia con etichetta la classe più frequente (alcuni esempi saranno mal classificati) Altre condizioni...

5 Esempio: golf Istanze: giornate libere Concetti: giornata adatta a giocare a golf e giornata non adatta a giocare a golf Descrizione degli esempi: linguaggio attributo-valore outlook, con valori {sunny,overcast,rain} temperature, con valori numerici humidity, con valori numerici windy, con valori {true, false}

6 Golf: training set No Outlook Temp ( F) Humid (%) Windy Class D1 sunny T Play D2 sunny T Don't Play D3 sunny F Don't Play D4 sunny F Don't Play D5 sunny F Play D6 overcast T Play D7 overcast F Play D8 overcast T Play D9 overcast F Play D10 rain T Don't Play D11 rain T Don't Play D12 rain F Play D13 rain F Play D14 rain F Play

7 Golf: un possibile albero di decisione Outlook sunny rain overcast Humidity 75 Windy true false true false Play Don t Play Don t Play

8 All opera! 1. Effettuare il login su linux 2. Scaricare il software C4.5 dal sito del corso 3. Aprire un terminale (Start->System->Terminal) 4. Portarsi nella cartella dove avete scaricato C Eseguire chmod +x c4.5

9 Come si usa? C4.5 viene invocato da riga di comando con: c4.5 -f<filestem> <filestem> è un prefisso che identifica il job ; il programma si aspetta di trovare almeno due files: <filestem>.names: gli attributi degli esempi e le classi <filestem>.data: con il training set Dal sito del corso, scaricate l'esempio golf (è un archivio zip) Estraetene il contenuto nella cartella con C4.5

10 golf.names Play, Don't Play. CLASSI outlook: sunny, overcast, rain. temperature: continuous. humidity: continuous. windy: true, false. ATTRIBUTI A VALORI DISCRETI ATTRIBUTI A VALORI CONTINUI Un attributo discreto può essere definito anche con: attribute_name: discrete n

11 golf.data sunny, 85, 85, false, Don't Play sunny, 80, 90, true, Don't Play overcast, 83, 78, false, Play rain, 70, 96, false, Play rain, 68, 80, false, Play rain, 65, 70, true, Don't Play overcast, 64, 65, true, Play sunny, 72, 95, false, Don't Play sunny, 69, 70, false, Play rain, 75, 80, false, Play sunny, 75, 70, true, Play overcast, 72, 90, true, Play overcast, 81, 75, false, Play rain, 71, 80, true, Don't Play Ogni riga è un esempio La classe è riportata in fondo Ora provate ad eseguire: c4.5 -fgolf

12 Output (1) C4.5 [release 8] decision tree generator Wed May 14 22:00: Options: File stem <golf> Read 14 cases (4 attributes) from golf.data PREAMBOLO

13 Output (2) Decision Tree: outlook = overcast: Play (4.0) outlook = sunny: humidity <= 75 : Play (2.0) humidity > 75 : Don't Play (3.0) outlook = rain: windy = true: Don't Play (2.0) windy = false: Play (3.0) Questo è l'albero decisionale che conosciamo... Tree saved

14 Output (3) Evaluation on training data (14 items): Before Pruning After Pruning Size Errors Size Errors Estimate 8 0( 0.0%) 8 0( 0.0%) (38.5%) <<... e questi sono I risultati della valutazione del classificatore sul training set: nessun errore è commesso Notate che due nuovi files sono comparsi: golf.unpruned e golf.tree

15 Scelta del test Fin qui C4.5 è un algoritmo greedy: ad ogni passo viene scelto il test migliore secondo un criterio euristico In particolare C4.5 assegna a ciascun test un punteggio basato su risultati di teoria dell'informazione. In particolare dovreste sapere che: info T ) gain(x) = info(t) - info X (T) k freq( C, T ) freq( C = j = log 1 T T, T j j ) ( 2 n Ti info X ( T ) = info( T j = T 1 i )

16 Scelta del test Ma che vuol dire? Quella che segue è la quantità di informazione (in bit) associata ad un evento con probabilità freq(c_j, T)/ T info C, T ) = log ( j 2, T ) L'entropia di un insieme di eventi è semplicemente il valore atteso di tali quantità di informazione freq( C k freq( C j, T ) freq( C j, T ) info( T ) = j = log 1 2 T T L'entropia è una misura di quanto le probabilità siano simili, vale a dire di quanto la frequenza di occorrenza delle varie classi in un training set sia uniforme T j

17 Entropia Entropia p+

18 Scelta del test Invece la quantità n Ti info X ( T ) = info ( T j = T 1 i E' semplicemente la somma pesata dell'entropia dei vari insiemi in cui un certo test X divide il training set. Quindi il guadagno: gain(x) = info(t) - info X (T) ) Indica quanto un certo test X rende la distribuzione delle classi DISUNIFORMI

19 Back in action... Provate ad eseguire: c4.5 -fgolf -v2 -vn indica il livello di verbosità dell'output (N = 0, 1, 2, 3) Subito dopo il preambolo potete vedere come per ciascun sottoinsieme C4.5 calcoli il gain. Per esempio per l'intero test set: 14 items, total weight 14.0 Att outlook inf 1.577, gain Att temperature no gain Att humidity no gain Att windy inf 0.985, gain average gain best attribute outlook inf gain val 0.156

20 Back in action... Guardate anche cosa succede con c4.5 -fgolf -v3 Notate che si riesce a capire bene come C4.5 si comporta con gli attributi continui....e se guardate proprio bene dovreste anche accorgervi che c è qualcosa che non torna ;-)

21 Qual è il problema? In realtà fino a questo punto abbiamo barato. C4.5 Infatti non usa davvero il guadagno in entropia (gain) come euristica, ma qualcosa di appena più complesso: gain_ratio(x) = gain(x)/split_info(x) Dove: split n Ti Ti ( T ) = = log j 1 T T _ infox 2 Questo perché l'entropia e basta favorirebbe attributi che frammentano molto il data set. Nell'output split_info è indicato come inf e gain ratio come val.

22 ESERCIZIO 1 Fate una copia di golf.names e golf.data In golf.names aggiungete un nuovo attributo: day: discrete 31 In golf.data assegnate per il nuovo attributo i valori: 1,2,6,8,10,11,12,20,27,1,2,6,20,27 Cosa succede? Eseguite: c4.5 -f<nuovofile> -v2 E poi (-g fa utilizzare il gain come euristica): c4.5 -f<nuovofile> -v2

23 ESERCIZIO 2 Dovreste sapere che C4.5 può gestire anche attributi non specificati, indicati nel training set con? Provate a ripetere l'esempio dato a lezione. Sosituite l'esempio: Outlook=overcast, Temperature=72, Humidity=90, Windy=True Con: Outlook=?, Temperature=72, Humidity=90, Windy=True Guardate come variano guadagno, split_info e come l'esempio con un attributo ignoto viene suddiviso tra i vari branch. Suggerimento: qui l opzione -v3 vi dà una bella mano...

24 Test set L'abero decisionale generato può essere valutato anche su un numero di esempi sconosciuti: il test set Il test set deve essere contenuto in un file di nome <filestem>.test Il suo formato è lo stesso del training set Scaricate dal sito l'esempio labor nogotiation ed estraetene il contenuto nella cartella con C4.5 Provate ad invocare poi: c4.5 -flabor-neg -u

25 Test set (output) Evaluation on test data (17 items): Before Pruning After Pruning Size Errors Size Errors Estimate 11 4(23.5%) 7 3(17.6%) (17.4%) << (a) (b) <-classified as (a): class good 2 4 (b): class bad L'albero viene valutato anche sul test set. Un visione d'insieme dei casi classificati in modo corretto ed erroneo è data nella confusion matrix

26 Pruning Notate che eseguendo: c4.5 -flabor-neg -u C4.5 stampa non uno ma DUE alberi decisionali. Il secondo è detto: Simplified Decision Tree: wage increase first year <= 2.5 : bad (11.3/2.8) wage increase first year > 2.5 : statutory holidays > 10 : good (21.2/1.3) statutory holidays <= 10 : wage increase first year <= 4 : bad (4.5/1.7) wage increase first year > 4 : good (3.0/1.1)

27 Error Based Pruning (1) c4.5 utilizza una tecnica chiamata error-based pruning Prima di salvarlo, l'algoritmo tenta di semplificare l'albero Per ogni foglia C4.5 stima una probabilità di classificazione erronea su esempi sconosciuti basandosi su alcune considerazioni statistiche Per ogni nodo la probabilità di errore è la somma di quella dei sottonodi/foglie

28 Error Based Pruning (2) Ad ogni nodo: Se la stima di errore può essere diminuita sostituendo quel nodo con una foglia, C4.5 lo fa Se la stima di errore può essere diminuita sostituendo quel nodo con il suo ramo più pesante, C4.5 lo fa Si ottiene così un albero più piccolo, più semplice da decifrare e sperabilmente con prestazioni superiori su casi sconosciuti Provate ad eseguire: c4.5 -flabor-neg -v1

29 ESERCIZI Un repository di problemi di machine learning è disponibile al link: I formati dei files non sono necessariamente quelli di C4.5. Alcuni esempi sono disponibili sul sito del corso: per questi i file di dati (training set e test set) sono in formato C4.5, i file dei nomi... beh: quello è compito vostro! Provate a preparare un file di nomi e vedere che alberi vengono appresi Cosa succede modificando se modifichiamo il training set (vedi prossima slide)?

30 ESERCIZI Un po di idee... Cosa succede aggiungendo del rumore (un po di esempi senza senso) al training set? Come cambia l albero? Come cambiano le sue performance sul test set? Cosa succede aggiungendo uno o più attributi non significativi al training set? Come cambia l albero?