Do you believe in topic models?

Transkript

1 Do you believe in topic models? Evaluering av topic modeller // Beate Sildnes

2 Agenda Hva er topic modeller? Hva bruker vi topic modeller til? Hva er en god topic modell? Evalueringsmetoder «Eye balling» Human judgement Intrinsic metrics

3 Topic modeling

4 Hva brukes topic modeller til? Innsikt Verktøy for å utforske tekstdata Avdekke tema/trender Finne lignende tekster Tekstklassifisering/tagging Utlede variabler Utlede datastrukturer/ontologier

5 Anvendelser vi diskuterer i NAV Mye tekstdata Stillingsutlysninger CVer Servicehenvendelser Brukerundersøkelser Saksbehandleres notater Arbeidsområdet Anbefale lignende stillinger/kandidater Matchingalgoritme mellom stilling og CV En mer representativ kategorisering av stillingsannonser enn predefinerte kategorier (bransje, yrkeskode etc.)? Annet Få oversiktsbilde over svar fra spørreundersøkelse Få innsikt i hvilke tema som går igjen i serviceklager

6 Hva forventer vi av en god topic modell?

7 Resultatene fra en topic modell må tolkes TOP 6 WORDS TOPICS russia market use post pipeline child water clinton 1 russian cancer drug comment dakota school study campaign 2 putin product health facebook police police health hillary 3 nato bank company news water family toxic 4 missile study report video rock when flint podesta 5 nuclear report medical result protester people tea wikileaks

8 Evalueringsmetoder «Eye balling» Human judgement Intrinsic metrics

9 «Eye balling» Topp N ord pr. topic Mest typiske tekst pr. topic Intuisjon og domenekunnskap Visualiseringer

10 pyldavis

11 Human Judgement Word intrusion {dog, cat, horse, apple, pig, cow} {cat, airport, yarn, horse, security, tomorrow}

12 Human Judgement Topic intrusion TRUMP SUPPORTER GOT NUTS On MSNBC Reporter Covering Anti-Trump Rioters A Trump supporter wearing a Trump/Pence t-shirt let it fly on a reporter from MSNBC because of his one sided reporting and the demonizing of Trump. This is one brave woman! New Yorkers have had enough clinton hillary campaign trump foundation bill pay president god church people abortion christian marriage father christians syria war al us syrian isis terrorist attack

13 Intrinsic measures Kvantitative måltall: Perplexity/predictive likelihood Coherence measures UCI UMass C_v Bruk: Hyperparametertuning Sammeligne modeller

14 Oppsummert Evaluering av topic modeller er vanskelig Det finnes ikke noen universell definisjon på hva som er bra Som regel lurt med en blanding av kvantitative og kvalitative metoder

15 Videre diskusjon Hva er best practice for evaluering av topic modeller? Hvordan sikrer man seg mot å overtolke? Hvor viktig er andre aspekter enn tolkbarhet, for eksempel stabilitet? Hvor stor rolle spiller dataprep for modellens kvalitet? (Fjerning av. stoppord, stemming/lemmatisering, n-gram vs. kun enkeltord) Finnes det tommelfingerregler for hvor mye data som trengs? Kanskje en modell ikke er god eller dårlig? Kan være god på visse tekster, men dårlig på andre?

16 Referanser og anbefalt lesning Artikler: Reading Tea Leaves, Chang et. al. link Exploring the Space of Topic Coherence Measures, Röder et. al. link LDAVis: A method for visualizing and interpreting topic, Sievert et. al. link Notebook: Evaluating Topic models, Matti Lyra. link Bloggpost: Using data science to build a taxonomy for GOV.UK link

17