INF INF1820. Lectio secunda INF1820. Arne Skjærholt. Lectio secunda

Transkript

1 Arne Skjærholt Lectio secunda Arne Skjærholt Lectio secunda

2 Python/NLTK En del grunner til at vi foretrekker Python over Java For det første er NLTK i Python, ikke Java Det er en ganske viktig grunn =) Dessuten kan Java være et litt slitsomt språk å jobbe i Vi har valgt å bruke NLTK fordi det er en pakke som lar oss fokusere på det som er interessant i dette faget: selve datalingvistikken I stedet for å bruke fire måneder på å implementere én eller to av tingene vi snakker om kan vi se litt på de fleste interessante problemene

3 Fundamentale problemer Filosofiske Noen filosofiske grunnlagsproblemer

4 Fundamentale problemer Filosofiske Turingtesten ble foreslått av Alan Turing (en annen person alle burde kjenne til), som en måte å teste om en påstått kunstig intelligens faktisk er intelligent Testen foregår ved at en mennesklig dommer snakker med to partnere: maskinen og et annet menneske Hvis dommeren ikke klarer å skille maskinen fra mennesket, har den bestått testen Siden dataprogrammer har bestått testen, og kunstig intelligens fortsatt ikke er en realitet, må vi vel kanskje si at testen ikke fungerer helt som intendert, selv om grunnideen er god

5 Fundamentale problemer Filosofiske Du tar en person som ikke kan kinesisk, og putter han i en boks Han får beskjeder skrevet på kinesisk inn, og ved hjelp av en kjempestor bok som forklarer hvordan han skal svare, skriver han beskjeder som kommer ut av boksen Fra utsiden fremstår dermed boksen som om den forstår kinesisk, selv om mannen ikke forstår noen ting Searle mener dette beviser at kunstig intelligens ikke er mulig

6 Fundamentale problemer Filosofiske? Både Turingtesten og Chinese room strever med samme fundamentale problem: Hva betyr det egentlig å tenke? Og hva skjer egentlig i vår hjerne når vi tenker? Her støter vi på Moravecs paradoks igjen Problemer som krever at vi tenker oss om er egentlig ikke så vanskelige å beskrive, men ting som skjer av seg selv er nesten umulige å beskrive Begge disse problemstillingene (Turingtesten og Chinese room) er viktige i bevissthetsfilosofien?

7 Fundamentale problemer Lingvistiske Noen lingvistiske grunnlagsproblemer, hvor de fleste egentlig har med tvetydighet å gjøre De fleste er på I:SK-programmet, som tross alt er en bachelorgrad i tvetydighet

8 Fundamentale problemer Lingvistiske Ordklassetvetydighet Her kan flies være både verb og substantiv (flyr og fluer) og like kan være sammenligner og verb (som og liker) Å automatisk avgjøre denne typen problemer er det PoS-tagging/automatisk morfologisk analyse handler om, som vi skal se på i de neste fem-seks forelesningene

9 Fundamentale problemer Lingvistiske Syntaktisk tvetydighet - liten, pen skole - liten pike, pen skole - liten, pen pike - ganske liten skole - ganske liten pike Denne typen problemer skal vi se på i den andre delen av kurset, hvor vi skal drive med parsing og syntaks

10 Fundamentale problemer Lingvistiske Dette er ekstremt vanskelig Avhenger av ganske fundamentale semantiske egenskaper ved ordene i setningen, som i seg selv er relativt vanskelige å beskrive i datalingvistikk

11 Emprisme vs rasjonalisme Regler vs data Konflikten (eller spenningen) mellom regelbasert og datadrevet NLP bunner ut i en dypere filosofisk problemstilling: empirisme eller rasjonalisme? Regler vs data

12 Emprisme vs rasjonalisme Rasjonalisme Rasjonalisme bruker fornu en som en viktig kilde til informasjon En viktig rasjonalist var Descartes (jeg tenker altså er jeg er selve utgangspunktet for hasn filosofi) I og med at fornu en er så viktig blir introspeksjon et viktig verktøy, særlig når det kommer til språk Dette er lett å tenke at introspeksjon fungere bra for å finne ut av språk, siden alle behersker sitt eget morsmål, men erfaringsmessig fungerer det dårligere enn man tror Alle som har prøvd å forklare reglene bak et fenomen til en med norsk som andrespråk vet hvor vanskelig det faktisk er Chomsky og tradisjonen etter ham er sterkt rasjonalistiske Rasjonalisme

13 Emprisme vs rasjonalisme Empirisme I motsetning til rasjonalistene, mener empirikerne at den beste kilden til kunnskap er erfaring Dette gjør at observasjon blir en meget viktig metode Moperne datadrevne metoder er klart empiriske (og en av de viktigste konferansene i det feltet heter Empirical Methods in NLP) Selvfølgelig: Mellomposisjoner finnes For eksempel LFG og HPSG, som begge er regelbaserte, teoretiske rammeverk, men som også baserer seg på korpora for å forsikre seg om at grammatikkene er i overensstemmelse med virkeligheten Empirisme

14 Kilder til empiri Korpora Korpora Antageligvis den viktigste kilden til språklig empiri vi har i dag Korpora

15 Kilder til empiri Korpora The/at Fulton/np-tl County/nn-tl Grand/jj-tl Jury/nn-tl said/vbd Friday/nr Brown corpus Et representativt utvalg av Amerikansk tekst fra million ord The/at Fulton/np-tl County/nn-tl Grand/jj-tl Jury/nn-tl said/vbd Friday/nr

16 NNP Pierre NP NNP Vinken,, NP CD 61 NP ADJP NNS years JJ old,, MD will VB join DT the NP VP NN board IN as S DT a PP VP NP JJ nonexecutive NN director NNP Nov NP CD Kilder til empiri Korpora S NP VP Penn Treebank og Wall Street Journal, også 1M ord Meget viktig i datalingvistisk sammenheng! NP, ADJP, MD VP NNP NNP, NP JJ, will VB NP PP NP Pierre Vinken CD NNS old join DT NN IN NP NNP CD 61 years the board as DT JJ NN Nov 29 a nonexecutive director

17 Kilder til empiri Korpora Gigaword Google n-gram Skikkelig store korpora Gigaword er akkurat det det høres ut som, Google n-gram er 100GB med data Gigaword Google n-gram

18 Kilder til empiri Korpora Europarl Et parallellkorpus: Stortingsforhandlinger (det som blir sagt i parlamentet) fra EU-parlamentet, oversatt til alle de offisielle EU-språkene Brukes til maskinoversettelse Europarl

19 Kilder til empiri Korpora NoWaC NoTa NDT Norske korpora NoWaC er Norwegian Web as Corpus, en stor (ca 20GB) samling data fra no-domener som er automatisk ordklassetagget NoTa er norsk talespråkskorpus: 900k ord med transkribert tale NDT (som egentlig bare heter gullkorpuset, eller noe i den retning) er et korpus som blir laget i disse dager, med syntaktisk annotert norsk test Målet er 1M ord NoWaC NoTa NDT

20 Kilder til empiri Korpora Utvalg Et korpus kan nødvendigvis bare inneholde en liten del av alt som blir sagt og skrevet på et språk (selv ikke i Nordkorea kan man samle inn absolutt alt) Spørsmålet blir da hva man skal inkludere i korpuset, og hvilke kriterier man skal bruke for å velge tekster Språk varierer langs mange akser Skal vi ha med både tekst og tale? Hva med forskjellige dialekter? Tekster fra 50-tallet vil også være annerledes fra tekster fra 2000-tallet, hva gjør vi da? Sosial status påvirker også språkbruken Skal vi ha med tekst fra alle sosiale lag, eller er ikke det så farlig? Sjanger påvirker også Skal vi bare ha avistekst, eller romaner også? Poesi, e-post, kronikker? Hva så med fordelingen Skal vi dele inn etter ikke-lingvistiske faktorer, som at det bor fler mennesker i Oslo, eller etter lingvistiske fakta? Utvalg

21 Kilder til empiri Nevrolingvistikk Hjerneforskning er en annen viktig kilde til kunnskap om språk og hvordan vi behandler det

22 Kilder til empiri Nevrolingvistikk Afasi Afasi er en gruppe lidelser som påvirker språkevnen De to vanligste typene er Brocas og Wernickes afasi Brocas afasi kommer av skader på Brocas område, i på forsiden av venstre hjernehalvdel omtrent Pasienter med Brocas afasi har store problemer med syntaks og funksjonsord og sliter med bøyning Pasienter med Wernickes afasi har skader på Wernickes område, på baksiden av venstre halvdel, og har motsatt problem De har god intonasjon og bygger korrekte setninger, men setningene er nonsens Dette viser to ting: funksjonsord og innholdsord behandles av forskjellige hjernehalvdeler, og funksjonsordene behandles på samme sted som setningsbygning Afasi

23 Kilder til empiri Nevrolingvistikk Autonomi Språket er også til dels selvstendig fra andre mentale egenskaper Det finnes for eksempel personer med sterke psykiske utviklingshemminger som fortsatt behersker språk veldig godt Men det er også eksempler på tilfeller der det tilsynelatende er en korrelasjon mellom ikke-lingvistiske evner og språk For eksempel kan det se ut som deler av syntaksen henger sammen med enkelte motoriske evner, særlig planlegging av bevegelser Autonomi

24 Kilder til empiri Nevrolingvistikk I begynnelsen var ordet? Det er selvfølgelig spennende å spekulere i hvordan språk oppsto Hvor lenge har mennesker snakket? Oppsto språket én gang, veldig tidlig, og alle språk stammer fra det ene språket, eller oppsto språkevnen på flere steder uavhengig av hverandre? Skjedde det gradvis, eller veldig raskt? Dette er så klart veldig interessant spørsmål, men nesten umulig å svare på, siden det er umulig å påvise språk i arkeologiske utgravninger så lenge det ikke er skrevet ned Noen lingvister mener det er legitimt å forske på dette, mens andre mener det er meningsløst I begynnelsen var ordet?