Litt mer om maskinlæring. Oppsummering. Prognoser for ikke så fjern fremtid. ITSLP /04/2008 Erik Velldal

Transkript

1 Litt mer om maskinlæring. Oppsummering. Prognoser for ikke så fjern fremtid. ITSLP /04/2008 Erik Velldal

2 Avveining mellom tre viktige faktorer Modellen av treningsdataene bør være generell nok til å gi gode resultater også på nye data. Modellen generaliserer typisk bedre jo mer treningsdata vi har. Men, modellens evne til å generalisere er også avhengig av dens grad av sensitivitet og fleksibilitet. Reguleres av graden av kompleksitet. Mengde treningsdata Modellens generalitet Modellens kompleksitet Handler om antall mulige parametere i modellen og dermed modellens uttrykkskraft. For mye: tilpasser seg treningsdataene for mye (high variance) For lite: klarer ikke tilpasse seg treningsdataene (high bias) Kjent som bias-variance tradeoff.

3 (om generalitet, -eksempel til forrige slide.) Vi har en robot som skal lære seg konseptet SPORT. Effekten av treningsdata La oss si vi trener på noen få dokumenter om curling. Fotballstoff vil fort ende opp som falske negativer. Lav kompleksitet (high bias, low variance) Eneste trekk er om ordet «kamp» forekommer eller ikke. Lite tilpasning: Uansett hvilke dokumenter vi trener på får vi ca samme klassifikator (såkalt underfitting). Mange nyhetssaker vil ende opp som falske positiver, mange sportssaker blir falske negativer. Høy kompleksitet (low bias, high variance) Vi har svært mange trekk som perfekt beskriver hvert enkelt dokument i treningsdataene ned til minste detalj. For mye tilpasning, for lite generalitet (såkalt overfitting).

4 Kunnskapsproblemet i en ny form Vi har tidligere sett hvordan GOFAI (good old fashioned AI) ofte har blitt kritisert for at intelligensen ligger hos programmereren og ikke i programmet. Noe av det viktigste er å finne en god representasjon av problemet. Innenfor PDP og ML legger man vekt på at programmene lærer selv. Programmereren håndkoder ikke reglene. Men, gode representasjoner er minst like viktig innen PDP og ML. Og det er programmereren som må definere hvilke trekk som skal brukes for å representere input-dataene for nettverket eller modellen. Læringsalgoritmen er på mange måter bare et skall: Vi trenger ekspertise innen det relevante fagområdet for å definere attributter og representasjoner.

5 Kunnskap = data Også en annen form for «kunnskapsproblem» innen ML: Modellen er aldri bedre enn dataene våre. Å skaffe tilstrekkelig treningsdata kan være vanskelig: kvalitet kvantitet Treningsdata er en knapp ressurs: Eksterne årsaker: Kostbart (i termer av tid, penger og manuell innsats). personvern opphavsrettigheter Interne årsaker: Dataknapphet er ofte en iboende egenskap ved fenomenet vi ønsker å lære (jfr. produktivitet i språk)

6 Skritt videre for ML Vi har snakket om skillet mellom supervised (veiledet) og unsupervised (ikke-veiledet) læring. Trenger bedre metoder for såkalt co-training og selfsupervised learning: Metoder for å kombinere veiledet og ikke-veildet læring, samt la programmet selv definere sine egne treningsdata. Inkrementell og kumulativ læring. De fleste ML-metoder er basert på en endelig læringsperiode. Vi trenger bedre støtte for Pågående læring over tid, og læring av tiltagende kompleks kunnskap som bygger videre på det modellen allerede har lært.

7 Skritt videre for ML Sammenslåing av ulike modaliteter for læring Lyd, berøring, syn, språkforståelse.. Integrering av sansning og læring. Mer helhetlig læringsteori som omfatter både maskiner og dyr (menneske inkludert). Bedre toveis utveksling av ideer mellom statistisk læringsteori og felt som psykologi, biologi, nevrovitenskap, osv.

8 Og nå over til noe helt annet I det som gjenstår av timen skal vi først ta en stikkordsmessig oppsummering av de viktigste punktene vi har gått igjennom i ITSLP1100. Mot slutten skal vi så ta en rask titt på noen av de mere spenstige spådommene for hvor AI-forskningen vil ende i løpet av de nærmeste årene.

9 Tidlig AI Historikk Grov skisse over evolusjonen av den moderne datamaskin Fra Babbage til von Neumann og «general purpose storedprogram computers» Nøkkelpersoner for etableringen av AI som felt A. Turing, J. McCarthy og Dartmouthkonferansen, etc Klassiske AI-programmer Eliza, Parry, Shrdlu, GPS, Mycin, Deep Blue, CYC.. Chatbots, problemløsere og mikroverdener, ekspertsystemer, spillprogrammer, kunnskapsbaser.. Turingtesten

10 Symbolske systemer Symbolmanipulering Syntaktiske operasjoner på strukturerte symbolske representasjoner Komposisjonalitet Rekursivitet Turingmaskiner og universelle symbolsystemer Multippel realiserbarhet (multiple realizability) Symbolsystemhypotesen SSH og SSSH Language of thought (Zenon Pylyshyn, Jerry Fodor) (S)SSH er en tese om en type prosess (tenkning = symbolmanipulering), ikke arkitektur eller fysisk implementering.

11 Symbolske systemer Problemer og kritikk Intelligent programmering vs intelligente programmer Kunnskapsproblemet Rammeproblemet Skalerbarhet Searle og Det Kinesiske Rommet...

12 Logikk og bergenbarhet Syntaksmaskiner og syntaktiske kalkyler Logiske utsagn og sannhetsverdier Konnektiver, kvantorer, predikater, variabler.. Gyldighet og sannhet Gödel og ufullstendighetsteoremet For ethvert konsistent formelt system kan det konstrueres sanne påstander som ikke kan bevises innen systemet selv. Entscheidungsproblem Finnes ikke noen algoritme som gitt en beskrivelse av et formelt språk kan avgjøre om vilkårlige påstander i dette språket er sanne eller gale. Church (λ-kalkyle og rekursive funksjoner) og Turing (turingmaskiner) beviste samtidig og uavhengig at dette ikke er avgjørbart. Jf. stoppeproblemet for turingmaskiner.

13 Datalingvistikk / NLP Språkteknologi Maskinoversettelse, språkforståelse, dialog-systemer, talegjenkjenning, grammatikkontroll, osv Formell grammatikk og velformethet Regulære og kontekstfrie språk Unifikasjonsbaserte grammatikker Mange nivåer: Fonologi, morfologi, syntaks, semantikk og pragmatikk Tvetydighet (ambiguity) på alle nivåer! Regelbaserte og empiriske metoder

14 Determinisme og fri vilje Bereitschaftspotenzial (Kornhuber, Deecke, og Libet) Universell determinisme og Laplaces demon Hard vs Soft determinisme Compatibilists vs incompatibilists Ansvar, moral og etikk Tilfeldigheter og frie valg «nil preference situations» Libertarianisme og kontra-kausal frihet Forutsigbarhet (Jf. Copeland: predictivism) Stokastiske og deterministiske systemer, og relasjonen til forutsigbarhet. Argumentene knyttet til kvanteteori og kaosteori

15 Bevissthet Ulike nivåer og perspektiver «Våken», selv-overvåking, fenomenologisk, osv.. The mind / body problem Dualisme Fysikalisme Reduksjonisme Emergente egenskaper og superveniens Kvalia Nagels flaggermus Jacksons fargeforsker Fysikalismens betydning for AI

16 Bevissthet Lateralisering Broca og Wernickes forsøk med afasi-pasienter Sperry og Gazzanigas forsøk på epilepsi-pasienter Split-brain-eksperimentene Sier også noe om rasjonalisering av egen atferd; fabrikerte forklaringer kan gi en illusjon av fri vilje. Konsekvenser for den eksperimentelle verdien av introspeksjon.

17 «Wetware» Nevroner Grunnleggende virkemåte og arkitektur Soma, akson, dendritter og synapser. Inngående og utgående signaler, grenseverdier, og aksjonspotensial. Grunnleggende forskjeller mellom biologiske nevroner og datamaskiner (type von Neumann) Hastighet / responstid, parallell vs sekvensiell prosessering, desentralisert kontroll vs sentralisert kontroll (CPU), distribuert largring (jf. Lashleys rotteforsøk!), assosiativt minne vs. oppslag på adresse, «graceful degradation», osv..

18 Konneksjonisme / PDP I stedet for å se på tenkning som på formelle operasjoner på strukturerte symboler (computationalism), fokuserer man på komplekse sammenkoblinger av enkle noder i nettverk. Sub-symbolsk. Kunnskapen ligger i forbindelsene i nettverket, ikke kodet som eksplisitte regler. Fokus på generelle og automatiserte mekanismer for læring og selvorganisering McCulloch-Pitts-nevroner Logiske operasjoner Kunstige Nevrale Nettverk (ANN)

19 Konneksjonisme / PDP Rosenblatts perceptron-nevroner Sansning (perception) av omverden implementert ved å representere data som attributt-vektorer med egenskaper kodet som numeriske verdier. «Hebbian learning»: læring gjennom å justere forbindelsen mellom nervonene. McClelland og Rumelhart Demonstrerte et nevralt nettverk som lærte seg å bøye sterke / svake verb

20 PDP og SSH Ulike perspektiver på mentale prosesser. Forholdet mellom symbolmanipulatorer og ANN ANN som algoritmisk beregnbart system Simuleringsargumenter Church-Turing-tesen Ethvert algoritmisk beregnbart system kan simuleres av et universelt symbolsystem (Uvisst om våre mentale prosesser kan sies å være algoritmisk bergenbare.)

21 Maskinlæring Data-drevne metoder for automatisk tilegning av kunnskap Basert på statistisk læringsteori ANN bare en av mange metoder innen ML Klassifikasjon, filtrering, disamibuering, identifikasjon, kontroll, analyse, etc Spesielt anvendbart i relasjon til dynamiske domener og komplekse problemer forbundet med usikkerhet eller ikkeeksakte løsninger

22 Maskinlæring Veiledet og ikke-veiledet læring F.eks to typer av kategorisering: Klassifikasjon vs klyngeanalyse Treningsdata Vektorrom-modeller. Geometrisk tolkning av attributtvektorene. The bias-variance-tradeoff Regulering av kompleksitet og generalitet Kunnskapsproblemet innen ML Fra dagens forelesning. Prognoser og spekulasjoner for nær fremtid: Generaliserte versjoner av Moores lov og aksellerende eksponensiell utvikling mot teknologisk singulariet, trans- og posthumansime (Kurzweil, Vinge, et. al.).

23 Moores Lov Basert på en observasjon av Gordon E. Moore i 1965: Antall komponenter som kostnadseffektivt kunne plasseres på en integrert krets (microchip) hadde fordoblet seg årlig siden første prototypen Eksponensiell økning. Mange ulike tolkninger av «loven». I dag gjelder den mest vanlige en forventet fordobling i prosessorkraft ca hver 18. måned. Mange andre egenskaper ved digital elektronikk kan også la seg beskrive av Moores lov (minne, oppløsning, osv) Enkelte argumenterer for at den beskriver en generell tendens i (nyere vestlig) teknologisk og sosial utvikling.

24 Moores lov generalisert Ray Kurzweil går lenger enn de fleste. Mener Moores lov er en instans av en mer generell tendens som beskriver en akselererende eksponentiell utvikling. Mener å finne belegg for at loven har historisk gyldighet for alle teknologiske gjennombrudd i den menneskelige sivilisasjon (steinøkser, språk, tall, osv)....og mer generelt for evolusjonen av stadig mere komplekse former for liv. Spår at denne trenden vil føre til s.k teknologisk singularitet.

25 Singularitet Statistikeren og krypotgrafen I. J. Good (kollega av Turing) skrev allerede i 1965 om en potensiell «eksplosjon av intelligens» der «ultraintelligente» maskiner rekursivt designer seg selv og etterlater menneskene i bakevja. Vernor Vinge var den første som refererte til dette potensielle punktet i utviklingen som «singulariteten». Analogi til singularitet innen relativitetsteorien: punkter i tidrom der egenskaper blir uendelige (f.eks massetetthet, og dermed gravitasjon, i sorte hull) og moderne fysikk ikke lenger kan anvendes. Argumenterer for at den eksponensielle teknologiske utviklingen vil nå et punkt hvor det ikke lenger er mulig å forutse konsekvensene, og hvor samfunnet vil forandre seg til det ugjenkjennelige. Kurzweil spår at singulariteten vil inntreffe innen år 2045.

26 Singularitet R. Kurzweil, 2001: An analysis of the history of technology shows that technological change is exponential, contrary to the common-sense 'intuitive linear' view. So we won't experience 100 years of progress in the 21st century it will be more like 20,000 years of progress (at today's rate). The 'returns,' such as chip speed and cost-effectiveness, also increase exponentially. There's even exponential growth in the rate of exponential growth. Within a few decades, machine intelligence will surpass human intelligence, leading to the Singularity technological change so rapid and profound it represents a rupture in the fabric of human history. The implications include the merger of biological and nonbiological intelligence, immortal software-based humans, and ultra-high levels of intelligence that expand outward in the universe at the speed of light.

27 Transhumanisme Insipirert bla av AI-visjonærer som Hans Moravec og Raymond Kurzweil (og til en viss grad Marvin Minsky) En fremtidsrettet ideologi preget av ekstrem teknologisk optimisme. Målet er å transcendere våre biologiske begrensninger vha teknologi. Ønsker å benytte nanoteknologi, bioteknologi, kunstig intelligens, osv for å fremskynde evolusjonen. The World Transhumanist Association ble grunnlagt i 1998 og det finnes også en norsk avdeling.

28 Transhumanisme Begrepet brukes også for å beskrive en overgangstilstand («transitory human») til en kommende posthuman epoke: En tid der sammensmeltningen av biologi og teknologi vil ha kommet så langt at vi ikke lenger kan kalles «mennesker» utfra dagens betydning av ordet. Kyborger. Når kan en slik tilstand sies å være nådd? Steven Pinker har sammenliknet spørsmålet med paradokset om Theseus skip.

29 (xkcd.com) 29