Maskinlæring og nevrale nettverk

Transkript

1 Maskinlæring og nevrale nettverk En innføring Sven Haadem Unify AI, phd matematikk/statistikk UiO 1

2 Kan vi si noe om fremtiden og i så fall hva? A priori og a posteriori viten Emperi - problemet med induksjon Falsifisering Statistikk Deterministisk/stokastisk verden Frekventist Bayesiansk 2

3 Klassisk kunstig intelligens Hardkodede regler - Good Old-Fashioned AI (GOFAI) Er symbolsk: Bruker symboler og logikk for å beskrive hardkodete regler. Booles proposisjons-logikk Freges predikativ-logikk 3

4 Maskinlæring Connectionism En tilnærming som begynte på 50 tallet. Har fått kraftig fotfeste siste 10 år takket være utvikling i algoritmer og maskinvare. Bygger på kunstige nevrale nettverk. Er sub-symbolsk Legemlig kognisjon Intelligens uten intern representasjon. 4

5 Hva slags type kunstig intelligens kan vi lage og hvordan teste den Sterk AI Det Kinesiske rom argumentet (Sears) Svak AI Turing test 5

6 Hva ønsker vi å oppnå? Gitt et trenings-datasett hvor x er det vi måler og y er det vi ønsker å predikere ved en funksjon f av x. Da vil vi minimere avstanden mellom f (x) og y, hvor avstanden er målt ved en taps funksjon: ( ) eksempel L(y, f (x)) = (f (x) y) 2 Dermed har vi problmet min argl(y, f (x)) f 6

7 Enkel modell Y predikeres ved en lineær modell f (x) = β 0 + β 1 x. Hvor vi bruker minste kvadrats tap: L (y, f (x)) = (y f (x)) 2 = (y β 0 β 1 x) 2. Da har vi problemet: min arg β 0,β 1 (y β 0 β 1 x) 2 7

8 Enkel modell For hele datasettet har vi da totalt tap: N (y i β 0 β 1 x i ) 2. i=1 8

9 Enkel linear regresjon Ti variabler: alder kjønn kroppmasseindeks gjennomsnittlig blodtrykk seks blodserummålinger for n = 442 diabetespasienter samt nivå ett år etter første måling. For enkelhet bruker vi bare alder: (progresjon 1 år etter første prøve) = (alder justert). 9

10 Datasettet 10

11 Predikert 11

12 Naiv klassifisering Hva om vi prøver å predikere en klasse tilhørighet og ikke en kontinuerlig verdi? Kan ikke bruke lineær regresjon naivt. Eksempel: Prøv å predikere Iris blomstertype utifra lengde på spedal. To typer Iris: 1 og 0. Type = 0, 2 + 0, 1 (lengde på spedal). 12

13 Logistisk regresjon Vi må transformere den lineære predikasjonen til å ligge mellom 0 og 1: P(Type = 0 X = x) = exp(β 0 + β 1 x) 1 + exp(β 0 + β 1 x) 1 P(Type = 1 X = x) = 1 + exp(β 0 + β 1 x) Grunnet formen på støyet i denne modellen kan vi ikke minimere kvadrat funksjonen til tapet. Vi er nødt til å bruke maksimum likelihood. Denne metoden vil vi se igjen i nevrale nettverk. 13

14 Klassifisering 14

15 Datavisualisering av to klasser med data 15

16 Klassifisering 16

17 Overtilpasning Problem med avanserte metoder og store data mengder er overtilpasning. Løsninger: Trenings-sett og validerings-sett K-fold validering Legg till tilfeldig støy (dropout) Straff modeller med mange variabler (AIC, BIC) 17

18 La oss lage noen modeller av dataene og beregne modellenes nøyaktighet på usett data. Vi 1. Skiller ut en valideringsdatasettet. 2. Setter opp for bruk av 10-fold kryssvalidering. 3. Bygger 5 forskjellige modeller for å forutsi arter fra blomster målinger 4. Velger så den beste modellen. 18

19 Suksess-mål Precision: Recall: Accuracy: F1 Score. Rangerings korrelasjonsmål. ROC. sp sp + fp sp sp + fn sp + sn sp + sn + fp + fn 19

20 Flere modell-typer Logistic Regression (LR). Linear Discriminant Analysis (LDA). k-nearest Neighbors (KNN). Classification and Regression Trees (CART). Gaussian Naive Bayes (NB). Support Vector Machines (SVM). 20

21 k-nearest Neighbors (KNN) Veldig enkel og effektiv metode ved lave dimensjoner. Tar snittet av de k-nærmeste naboene f (x) = 1 k x i N k (x) y i. Hvor N k (x) er de k nærmeste naboene til x. 21

22 Support vector machines (SVM) Istedenfor kvadratet bruker vi nå absolutt verdien som tapsfunskjon L (y, f (x)) = y f (x) La oss slippe noen datapunkter over grensen mellom klassene y f (x) ɛ, if y f (x) > ɛ L (y, f (x)) = 0, if y f (x) ɛ 22

23 Enesmble Ofte kan mange enkle modeller sammen gi bedre resultat enn en avansert. Bagging Boosting Bøtte med modeller Bayesiansk parameter gjenomsnitt Bayesiansk modell kombinering Stacking Klassifisering og regresjons trær (CART) bruker ofte bagging eller boosting. 23

24 Klassifiserings trær 24

25 Online trening La nå X være en vektor (eller matrise) av observerte. Vi ønsker da å minimere (Y βx ) 2 med hensyn på β. Løsningen er gitt ved β = (XX T ) 1 XY 25

26 Bratteste nedstigning Vi ønsker og oppdatere vår parameter β for hvert nytt datapunkt uten å gjøre alle beregningene på nytt. Kan da bruke bratteste nedstigning: For vår taps-funksjon β n = β n 1 + µ n L(β n 1 ) L (y, f (x)) = (y f (x)) 2 = (y β 0 β 1 x) 2. får vi β n = β n 1 µ ( XX T β n 1 XY ) 26

27 Stokastisk approksimasjon Vi vil helst slippe å beregne XX T for hele datasettet, vi vet det ikke på forhånd. Bruk approksimasjon β n = β n 1 + µ n L(β n 1, y n, x n ) For vår taps-funksjon L (y, f (x)) = (y f (x)) 2 = (y β 0 β 1 x) 2. får vi β n = β n 1 + µ n x n (y n x n β n 1 ) 27

28 Konveks optimalisering Hva om taps-funksjonen L(y, f (x)) ikke er konveks? 28

29 Tidsserier ARMA State Space Kalmanfilter Partikkelfilter VARMA Rekurente nevrale nettverk (Deep Learning) 29

30 Grafiske modeller og nettverk 30

31 Sigmoid aktiverings funksjon Se på klassifiserings funksjonen vi brukte: 31

32 Perceptron 32

33 Nevrale nettverk 33

34 Trening av nevrale nettverk 34

35 Trening av nevrale nettverk 35

36 Trening av nevrale nettverk 36

37 Trening av nevrale nettverk 37

38 Trening av nevrale nettverk 38

39 Trening av nevrale nettverk 39

40 Trening av nevrale nettverk 40

41 Trening av nevrale nettverk 41

42 Trening av nevrale nettverk 42

43 Convolutional nevrale nettverk (CNN) Ofte brukt til å kategorisere objekter i bilder. Les først bilde i RGB form: 43

44 Convolutional nevrale nettverk (CNN) Kjør filter (kernel) over bildet. Trekk ut viktig informasjon: 44

45 Hvilken informasjon trekker kernelene ut Orginalt bilde: Hva kernelene velger ut: 45

46 Økosystem Python SQL og NO-SQL Sparks pipelines 46

47 Kan vi lage beviste maskiner? Materialistisk syn Framvoksende når det blir komplekst nok Eksisterer ikke - en illusjon (Daniell Dennett) Bevissthet utvikles - Bicameral Mind (Julian Jaynes -Westworld) Bevissthet er en indre fokus - Global Workspace Theory Hjernen ser seg selv - Hoffstaders strange loops Bevissthet er en ikke-materiell egenskap Bevissthet er en egenskap ved alle partikler - Integrated information theory (Tononi) En maskin kan aldri bli bevist En maskin kan tiltrekke seg bevissthet Gödel s ufullstendighets teorem 47

48 Trengs det bevissthet for å tenke intelligent? Bevissthet er et nivå som overkjører lavere bevisstheter, uten den er ikke virkelig intelligente maskiner mulig. Nei. 48

49 Vi har sett: Fundamentet til maskinlæring. Enkle modeller Linear regresjon Logistisk regresjon k-nearest Neighbors (KNN). Avanserte metoder Ensembling Klassifisering og regresjons trær (CART). Support Vector Machines (SVM). Nevrale nettverk og Deep Learning Håndtering av overtilpasning Mål for suksess Økosystem for maskinlæring 49

50 Uttrekk fra klassisk datasett 50

51 Begrenset binært datasett 51

52 Python eksempel x = tf. placeholder (tf.float32, [None, 784], name="x-in") true_y = tf. placeholder (tf.float32, [None, 10], name="y-in") keep_prob = tf. placeholder (" float ") x_image = tf. reshape (x,[ -1,28,28,1]) hidden_1 = slim. conv2d ( x_image,5,[5,5]) pool_1 = slim. max_pool2d ( hidden_1,[2,2]) hidden_2 = slim. conv2d ( pool_1,5,[5,5]) pool_2 = slim. max_pool2d ( hidden_2,[2,2]) hidden_3 = slim. conv2d ( pool_2,20,[5,5]) hidden_3 = slim. dropout (hidden_3, keep_prob ) out_y = slim. fully_connected (slim. flatten ( hidden_3 ),10, activation_fn =tf.nn. softmax ) cross_entropy = -tf. reduce_sum ( true_y *tf.log ( out_y )) correct_prediction = tf. equal (tf. argmax (out_y,1), tf. argmax (true_y,1)) accuracy = tf. reduce_mean (tf.cast ( correct_prediction, " float ")) train_step = tf. train. AdamOptimizer (1e -4). minimize ( cross_entropy ) 52

53 Overtilpasning - løsning Del opp treningssettet i trening- og validerings-sett X_train, X_test, y_train, y_test = train_test_split (X, Y) regr = linear_model. LogisticRegression () regr. fit ( X_train, y_train ) 53