INF2820 Datalingvistikk V Gang 24.4 Jan Tore Lønning

Transkript

1 INF2820 Datalingvistikk V Gang 24.4 Jan Tore Lønning

2 I dag: Tekstklassfisering To eksempler fra NLTK: Navn Filmanmeldelser, sentiment analysis Eksperimentering Evaluering Naive Bayes, hovedprinsipper Litt om sentiment analysis 2

3 Tekstklassifisering Kap. 6 Naive Bayes Classification and Sentiment I Jurafsky og Martin, 3.ed. (bare på nett foreløpig) Ikke seksjon 6.9 Statistical significance testing Vil også bruke noen slides derfra Kap 6 Learning to classify text I NLTK-boka Ikke seksjon 6.4 Decision trees Ikke 6.6 Maximum entropy classifier Bruke implementasjonen 21. april

4 Supervised classification A given set of classes, S={s 1, s 2,, s k } A well defined class of objects, O A classifier maps objects in O to classes in S Some features f 1, f 2,, f n For each feature: a set of possible values V 1, V 2,, V n The set of feature vectors: V= V 1 V 2 V n Each object in O is represented by some member of V: Written (v 1, v 2,, v n ), or (f 1 =v 1, f 2 =v 2,, f n =v n ) A classifier,, can be considered a mapping from V to S

5 Classification 5

6 NLTK-eksempel 1 In [2]: def gender_features(word):...: return{'last letter': word[-1]} In [3]: gender_features('shrek') Out[3]: {'last letter': 'k'} In [4]: from nltk.corpus import names In [5]: labeled_names = ([(name, 'male') for name in names.words('male.txt')] + [(name, 'female') for name in names.words('female.txt')]) 6

7 NLTK-eksempel 1, forts. In [6]: import random In [8]: random.shuffle(labeled_names) Bruk samme splitt gjennom flere eksperimenter for sammenlikning. Kan bety: splitt før uttrekning av trekk In [9]: featuresets = [(gender_features(n), gender) for (n, gender) in labeled_names] In [10]: train_set, test_set = featuresets[500:], featuresets[:500] 7

8 NLTK-eksempel 1, forts. In [11]: classifier = nltk.naivebayesclassifier.train(train_set) In [12]: classifier.classify(gender_features('neo')) Out[12]: 'male' In [13]: classifier.classify(gender_features('ada')) Out[13]: 'female' In [31]: print(nltk.classify.accuracy(classifier, test_set)) 0.79 Hvorfor får jeg 0.79 og boka 0.75? 8

9 I eksempelet A given set of classes, S={s 1, s 2,, s k } = { male, female } A well defined class of objects, O = { Ada, Albert, } = alle strenger av bokstaver Some features f 1, f 2,, f n, bare f 1 som er last_letter For each feature: a set of possible values V 1, V 2,, V n V 1 ={a, b, c,., z} The set of feature vectors: V= V 1 V 2 V n Each object in O is represented by some member of V: Written (v 1, v 2,, v n ), or (eks u ) (f 1 =v 1, f 2 =v 2,, f n =v n ) (eks last_letter : u ) A classifier,, can be considered a mapping from V to S

10 NLTK-eksempel 2 In [56]: def gender_features2(name):...: features = {}...: features["first_letter"] = name[0].lower()...: features["last_letter"] = name[-1].lower()...: for letter in 'abcdefghijklmnopqrstuvwxyz':...: features["count({})".format(letter)] = name.lower().count(letter)...: features["has({})".format(letter)] = (letter in name.lower())...: return features In [59]: featuresets2 = [(gender_features2(n), gender) for (n, gender) in labeled_names] In [60]: train_set2, test_set2 = featuresets2[500:], featuresets2[:500] In [61]: classifier2 = nltk.naivebayesclassifier.train(train_set2) In [62]: print(nltk.classify.accuracy(classifier2, test_set2))

11 Sammenlikning av features NLTK-boka trykt utgave gender_features (gf1) gir acc gender_features2 (gf2) gir acc Dette tyder på Flere trekk ikke alltid best Fare for at gender_features2 is overfitting : Tilpasser seg for mye til treningssettet Nettutgaven: gf1_acc: 0.77, gf2_acc: Vi: gf1_acc: 0.79, gf2_acc: april

12 Et mer komplisert bilde 10 eksperimenter viser et mer komplisert bilde Ikke trekk forhastede konklusjoner fra små forskjeller Variasjon Statistikk kan si noe om når forskjeller er store nok Accuracy: Exp.no gf1 gf april

13 NLTK-bokas forbedring def feat_suff_1_2(word): return {'suffix1': word[-1], 'suffix2': word[-2:]} Exp.no gf1 gf2 feat_suff_1_

14 Merk forskjellen def feat_suff_1_2(word): return {'suffix1': word[-1], 'suffix2': word[-2:]} =/= def feat_two_last(word): return {'suffix1': word[-1], 'suffix2': word[-2]} Accuracy: Exp.no f_suff_1_2 f_two_las april

15 I dag: Tekstklassfisering To eksempler fra NLTK: Navn Filmanmeldelser, sentiment analysis Eksperimentering Evaluering Naive Bayes, hovedprinsipper Litt om sentiment analysis 15

16 Movie reviews 1 > from nltk.corpus import movie_reviews > documents = [(list(movie_reviews.words(fileid)), category) for category in movie_reviews.categories() for fileid in movie_reviews.fileids(category)] > random.shuffle(documents) > all_words = nltk.freqdist(w.lower() for w in movie_reviews.words()) > word_features = [w for (w,_) in all_words.most_common(2000)] > wrong_features = list(all_words)[:2000] #feil_i_boka 21. april

17 Movie reviews 2 > def document_features(word_features, document): document_words = set(document) features = {} for word in word_features: features['contains({})'.format(word)] = (word in document_words) #True or False return features > featuresets = [(document_features(word_features, d), c) for (d,c) in documents] > train_set, test_set = featuresets[100:], featuresets[:100] > classifier = nltk.naivebayesclassifier.train(train_set) > print(nltk.classify.accuracy(classifier, test_set)) april

18 Movie reviews 3 Egenskaper To klasser: neg, pos Trekk ( features ): De 2000 mest frekvente ord i korpus Verdier: True/False Teller ikke antall forekomster Alle trekk som ikke er i dokumentet (= de fleste), får verdien False Kommentarer Strengt tatt bør trekk bare bestemmes av treningskorpus: (Her gir det ikke stor forskjell for resultatene) (ga 0.85 her!) Feil i boka (nettet) word_features Interessant å eksperimenter med trekk mm. 18

19 I dag: Tekstklassfisering To eksempler fra NLTK: Navn Filmanmeldelser, sentiment analysis Eksperimentering Evaluering Naive Bayes, hovedprinsipper Litt om sentiment analysis 19

20 Eksperimentelt oppsett Tren på Training Set Bruk Dev(-Test) Set for gjentatt testing i utviklingsfasen Spar Test Set til endelig testing Unngå overlæring 20

21 Fremgangsmåte 1. Tren klassifikator på treningssettet 2. Test den på utviklingssettet (dev-set) 3. (Ikke første runde:) Sammenlikn med tidligere var dette bedre? 4. Feilanalyse: Studer hvilke feil den gjør på dev-sett 5. Gjør endringer til klassifikatoren 6. Gjenta fra (1) ================== Når du er fornøyd, test på testsett (ingen vei tilbake) 21

22 Cross-validation Små testsett gir stor variasjon i resultatene En metode for å få større testsett er å bruke n- fold kryssvalidering: Del materialet inn i n like store deler (f.eks. n = 10) Foreta n mange eksperimenter: I eksperiment m, bruk del m som testsett og de n-1 andre delene som treningssett Dette gir n mange resultater: Vi kan ta gjennomsnittet av dem Vi kan se på variasjonen mellom resultatene: Dette sier noe om hvor sikre resultatene er statistikk! 22

23 Hvis vi både vil gjøre feilanalyse (se på feilene) of bruke kryssvalidering: Ta til side endelig testsett Bruke kryssvalidering for devsettene. 21. april

24 I dag: Tekstklassfisering To eksempler fra NLTK: Navn Filmanmeldelser, sentiment analysis Eksperimentering Evaluering Naive Bayes, hovedprinsipper Litt om sentiment analysis 24

25 Evalueringsmål: accuracy Hva vil det si at accuracy er 0.81? Av et testsett på 500 gjør klassifikatoren riktig 500*0,81 = 405 ganger og tar feil 500*0,19 = 95 ganger Et godt mål hvis: Klassene er like viktige Omtrent like store Gjelder for Navn: kvinne/mann Filmanmeldelse: pos/neg 25

26 Men For noen oppgaver er ikke klassene like viktige: Verre om et viktig brev havner i spamboksen enn om vi får et spambrev i vanlig post For noen oppgaver er det stor forskjell på størrelsene 26

27 Informasjonsgjenfinning Tradisjonell informasjonsgjenfinning ( information retrieval ), f.eks. bibliotek: Du er interessert i å finne de 5 dokumentene som handler om et fenomen ut av dokumenter. Systemet leverer 5 dokumenter. Alle er irrelevante. Nøyaktighet ( accuracy ) = / = 0,9999 Men uinteressant Fokusere i stedet på De dokumentene som systemet skal finne De dokumentene det finner Mindre interessant: De dokumentene som ikke er relevante 27

28 Confusion -matrise Vær nøye med hva som er kolonner og hva som er søyler: 21. april 2017 NLTKs ConfusionMatrix snur rundt på dette 28

29 Evalueringsmål Class ifier Is in C Yes NO Yes tp fp No fn tn Accuracy: (tp+tn)/n Precision:tp/(tp+fp) Recall (gjenfinning): tp/(tp+fn) F-score kombinerer recall og precision F 1 er harmonic mean Generell form for en 01 bestemmer vektlegging av P vs R 29

30 Flere klasser Accuracy: Presisjon, gjenfinning of f-score kan vi regne ut for hver klasse, jfr. figur 21. april

31 I dag: Tekstklassfisering To eksempler fra NLTK: Navn Filmanmeldelser, sentiment analysis Eksperimentering Evaluering Naive Bayes, hovedprinsipper Litt om sentiment analysis 31

32 Naive Bayes sannsynlighetsbasert Et objekt v (vektor) Finn sannsynligheten for hver klasse,,, Et tall mellom 0 og 1 Summen av dem er 1 Velg klassen som har størst sannsynlighet i symboler arg max P sm f1 v1, f2 v2,..., s m S f n v n 32

33 Naive Bayes: Model 33 Bayes formel For lite data, har kanskje ikke sett Vi antar en forenklende betingelse (som ikke er helt riktig) Satt sammen, skal vi velge klassen n i m i i m S s n n m S s s v f P s P v f v f v f s P m m ) ( arg max,...,, arg max n n m m n n n n m v f v f v f P s P s v f v f v f P v f v f v f s P,...,, ) (,...,,,...,, n i m i i m n n s v f P s v f v f v f P ,...,, f n v n v f v f,...,,

34 Naive Bayes, Trening1 Hvordan finner vi hva som er mest sannsynlig? Maximum Likelihood på treningsdata ˆ C( s, o) Ps m m C( o) her er C(s m, o) antall forekomster av objekter o i klassen s m Eksempel 855 positive og 1045 negative anmeldelser Da er, 34

35 Naive Bayes (Bernoulli): Trening 2 Maximum Likelihood ˆ C( fi vi, Pf v s i i m C( s m s ) m ) Her er C(f i =v i, s m ) antall treningsobjekter v hvor objektet v tilhører klassen s m og trekket f i har verdien v i C(s m ) antall objekter i klassen s m Dette er standardmetode for Naïve Bayes, Også kalt Bernoullii-varianten (0/1, False/True) Brukes i NLTK J&M, 3.ed. presenterer en annen variant kalt Multinomial NB 35

36 I dag: Tekstklassfisering To eksempler fra NLTK: Navn Filmanmeldelser, sentiment analysis Eksperimentering Evaluering Naive Bayes, hovedprinsipper Litt om sentiment analysis 36

37 Negasjon This isn t a bad film I quite enjoied it. Nobody could dislike this film. Det som er innenfor en negasjon spiller ikke samme rolle som ellers. Ideelt: Finne alle negerende uttrykk (not, isn t, nothing, ) Finne deres rekkevidde J&M: frem til nærmeste skilletegn Finne ut hva vi skal gjøre med dem J&M: lage nye ord: NOT_bad, NOT_film, NOT_dislike 37

38 (Spesielt for film He plays a boring professor Følger ikke at filmen er boring abberline, a widower, has prophetic dreams he unsuccessfully tries to quell with copious amounts of absinthe and opium. Følger ikke at filmen unsuccessfully Viser noe av utilstrekkeligheten med ordbaserte metoder.) 38

39 Sentiment -leksikon Med lite treningsdata kan det være hjelp i et sentiment -leksikon: lister med positivt og negativt ladete ord. NLTK (Hu and Liu s opinion lexicon ): from nltk.corpus import opinion_lexicon opinion_lexicon.words() opinion_lexicon.positive() opinion_lexicon.negative() Hvordan kan vi bruke dette? 39

40 Om to uker, 8.5 Mer om Naive Bayes Flere eksempler på bruk 40