INF INF1820 INF1820. Her kan jeg godt si litt om meg selv. Arne Skjærholt

Transkript

1 NF1820 NF1820 Arne Skjærholt adhyāyaḥ prathamaḥ Her kan jeg godt si litt om meg selv NF1820 Arne Skjærholt adhyāyaḥ prathamaḥ

2 NF1820 Emnet gir en innføring i lingvistisk teori og relaterer denne til språkteknologiske problemområder, metoder og applikasjoner Fokus er på å koble teori til praksis Vi vil ta for oss morfologisk, syntaktisk samt noe semantisk analyse av naturlige språk, formell språkteori og korpusbaserte metoder Studentene vil få et første møte med noen datalingvistiske applikasjonsområder som eksempelvis tokenisering, n-grammodeller, tagging og klassifisering Hovedmålet med faget er å lære bort datalingvistikk: teori og praksis, og noen aktuelle problemstillinger Men for å kunne si noe vettugt om språk er det nødvendig å ha en viss insikt i språk og språkteori også Derfor er også lingvistisk teori en viktig del av pensum Emnet gir en innføring i lingvistisk teori og relaterer denne til språkteknologiske problemområder, metoder og applikasjoner Fokus er på å koble teori til praksis Vi vil ta for oss morfologisk, syntaktisk samt noe semantisk analyse av naturlige språk, formell språkteori og korpusbaserte metoder Studentene vil få et første møte med noen datalingvistiske applikasjonsområder som eksempelvis tokenisering, n-grammodeller, tagging og klassifisering

3 NF1820 Tider Tider Forelesninger: mandag Grupper: U tirsdag (Modula, 2443) U onsdag (Fortress, 3468) Obligdeadline: onsdag Tider Denne forelesningen er fra omtrent 1350 Forelesninger: mandag Grupper: U tirsdag (Modula, 2443) U onsdag (Fortress, 3468) Obligdeadline: onsdag

4 NF1820 Obligatoriske innleveringer Obligatoriske innleveringer 6 innleveringer 1a, 1b; 2a, 2b; 3a, 3c 3 obliger Obligatoriske innleveringer 6 innleveringer 1a, 1b; 2a, 2b; 3a, 3c 3 obliger

5 NF1820 Systemet Systemet 1 innlevering = 100 pt Godkjent: > 100 pt Systemet Forklare obligsystemet Kun 3 dagers utsettelse ved sykdom og egenmelding! Husk å si fra til meg/gruppelærer i god tid, ikke klokka elleve før fristen! 1 innlevering = 100 pt Godkjent: > 100 pt

6 NF1820 Oblig 1 Python Regulære uttrykk Oblig 1 Oblig 1 For det meste er det snakk om Python, men også noe enkel regelbasert språkbehandling gjennom regexer Dette er oblig 1, det vil si de to første innleveringene Python Regulære uttrykk

7 NF1820 Oblig 2 Oblig 2 Litt sannsynligheter Ordklassetagging Korpora Oblig 2 Litt sannsynligheter Ordklassetagging Korpora

8 NF1820 Oblig 3 Oblig 3 Mer sannsynlighet Ordklassetagging med statistiske metoder Regelbasert chunking Grammatikker Semantikk Oblig 3 Mer sannsynlighet Ordklassetagging med statistiske metoder Regelbasert chunking Grammatikker Semantikk

9 NF1820 Fromkin, Rodman, Hyams (2011): An introduction to language (9 utgave) Pensum: ntroduksjon, kap 1 3, 6 Fromkin, Rodman, Hyams (2011): An introduction to language (9 utgave) Pensum: ntroduksjon, kap 1 3, 6

10 NF1820 Bare deler av kap 5 og kap 19 og ut Jurafsky & Martin (2009): Speech and language processing (2 utgave) Pensum: kap 1 5, 12, 19 20, 22 23, 25 Jurafsky & Martin (2009): Speech and language processing (2 utgave) Pensum: kap 1 5, 12, 19 20, 22 23, 25

11 NF1820 Bird, Ewan, Loper (2009): Natural language processing with Python Bird, Ewan, Loper (2009): Natural language processing with Python

12 NF1820 kke pensum, men kke pensum, men How to think like a computer scientist: Learn Python the hard way: kke pensum, men How to think like a computer scientist: Learn Python the hard way:

13 NF1820 kke pensum, men kke pensum, men How to think like a computer scientist: Learn Python the hard way: Helene Uri (2004): Hva er språk? David Crystal (2007): How language works kke pensum, men How to think like a computer scientist: Learn Python the hard way: Helene Uri (2004): Hva er språk? David Crystal (2007): How language works

14 NF1820 Lese Jobbe Spørre Dette er hemmeligheten til suksess kke bare i dette faget, men på universitetet generelt Les pensum pause D'uh Jobb med oppgaver, begynn gjerne på obligen litt før fristen Oppgaver som ikke er obliger er lurt også Still spørsmål på forelesning! Dette faget inneholder mye nytt stoff for mange, kanskje særlig de som allerede kan programmere Hvis jeg bruker et ukjent ord (og det kommer jeg til å gjøre), spør Lese Jobbe Spørre

15 NF1820 lese forstå gråte lese forstå gråte

16 NF1820 Det aller viktigste er i grunnen å snakke sammen Finn et par til som tar faget, jobb med obligene sammen; gå på 100-metern Men universitetet er også en fabrikk som gjør om koffein til forskning

17 NF1820 Lingvistikk Hva er lingvistikk? Historien kan trekkes helt tilbake til antikken (Pāṇini, Hellas, Arabia, Roma), men moderne lingvistikk starter på slutten av 1700-tallet, med William Jones neste Hva er lingvistikk?

18 NF1820 Lingvistikk Sir William Jones ( ), historisk lingvistikk Sanskrit, Latin, Gresk, ndoeuropeisk Meget begavet filolog, advokat og ble sendt til Bengal

19 NF1820 Lingvistikk Jacob Grimm ( ) (halve brødrene Grimm) Junggrammatikerne, Grimms lov

20 NF1820 Lingvistikk Ferdinand de Saussure ( ), strukturalisme Fokus endres fra diakroni (historie) til synkroni (samtidig språk) Språket er en del av et større system (strukturen, dermed strukturalisme) ntroduserte skillet mellom signifiant og signifié; det er ingen nødvendig sammenheng mellom det som betyr noe (feks et ord) og hva det refererer til Altså: ordet bil kunne like godt referert til en blomst; det er ingenting som gjør at bil nødvendigvis må referere til en bil annet en konvensjonen som sier at det gjør det Et par eksempler: pitṛ, far, pére, pater, padre (sanskrit, norsk, fransk, latin, italiensk); abum, av, ab (akkadisk, hebraisk, arabisk) Det arabiske ordet blir abu [ ] status constructus ( far til [ ] )

21 NF1820 Lingvistikk BF Skinner, behaviorisme Hovedpoenget her er at læring skjer ved at et stimulus fremkaller en handling som igjen gir en reaksjon (positiv eller negativ) Handlinger som får positive reaksjoner vil bli foretrukket neste gang samme stimulus forekommer Dette er i stor grad en forkastet teori i lingvistikk, men behaviorismen lever videre i beste velgående i psykologien Skrev Verbal behavior, som ble kritisert av neste

22 NF1820 Lingvistikk Noam Chomsky Chomskys hovedinnvending mot behaviorismen er at det er alt for få språkstimuli i forhold til kompleksiteten av språk, slik at det umulig kan være slik behavioristene mener ting foregår (the impossible hypothesis) Chomsky mener en stor del av menneskets språk er medfødt, og derfor ikke behøver å læres Bare språkspesifikke elementer må læres (nativisme) Blandt annet gjort populær av Steven Pinker i bøkene e language instinct og e blank slate UG nnvendingen her er at dette er en ganske drøy antagelse: e magical hypothesis Men Chomskys kanskje viktigste bidrag var en langt større grad av matematisk formalisme i teoriene

23 NF1820 Lingvistikk Lingvistikk er det vitenskapelige studiet av språk Delt inn i flere nivåer Fonetikk/fonologi: Lydene Rent fysisk, og som systemer (hvilke lyder brukes, hvilkes skilles eller skilles ikke mellom) Morfologi (formlære): Orddannelse, avledning, bøyning Syntaks (sette sammen): Hvordan setter vi sammen ord til setninger? Semantikk: Hva betyr ting Både setninger og ord (leksikalsk semantikk) Pragmatikk: Hvordan bidrar konteksten til mening? Vi kommer til å se mest på morfologi og syntaks, og litt på semantikk

24 NF1820 Lingvistikk Språket er uendelig! Mengden ord er endelig, men alikevel kan vi generere uendelig mange setninger Mekanismen som gjør at språket er rekursjon i syntaksen; nøyaktig hvordan det virker kommer vi tilbake til, men det er forholdsvis lett å se at man alltid kan legge til enda et adjektiv foran et ord, eller legge til enda en relativsetning inni en relativsetning Her er det også en del spennende teoretiske problemer For det første vil ingen setning faktisk være uendelig For det andre er det ikke nødvendigvis slik at vi er i stand til å forstå en setning med ekstremt mange leddsetninger i

25 NF1820 Lingvistikk ngen språk er primitive Språk forandrer seg over tid ngen språk er mer vanskelige enn andre Det vil si: Alle språk kan uttrykke alle ting Sapir-Whorf hypotesen er, for det aller meste, tilbakevist Språk har alltid, og vil alltid, endre seg (de eneste språkene som forblir uendret er de som er døde) Dette vil også si at tanken om forfall er misvisende, og i stor grad bunner det ut i skillet mellom deskriptiv og preskriptiv lingvistikk Alle barn lærer morsmålet sitt, og alle barn lærer det omtrent like fort (enkelte forskjeller, men de har lite å si i det lange løp) Vanskelig eller lette språk gir kun mening i forhold til et språk man allerede kan Kinesisk er ikke vanskeligere enn tysk av natur, men hvis utgangspunktet er norsk er det ganske mye vanskeligere ngen språk er primitive Språk forandrer seg over tid ngen språk er mer vanskelige enn andre

26 NF1820 Datalingvistikk Hva er datalingvistikk? kke fullt så lang tradisjon som lingvistikken (naturlig nok, siden det krever datamaskiner) Starten på soga er på 50-tallet og A Hva er datalingvistikk?

27 NF1820 Datalingvistikk Noam Chomsky, igjen Den høye graden av formalisme i Chomskys teorier gjorde det mulig å anvende dem i datamaskiner

28 NF1820 Datalingvistikk Dette var et viktig moment i A-forskningen fra 50-tallet helt opp til 80-tallet Oppgaven var å uttrykke de riktige reglene med tilstrekkelig nøyaktighet Det store gjennombruddet var stadig bare ti år eller så unna (i 30 år) Problemet var at forskningen traff Moravecs paradoks, formulert på 80-tallet av Moravec, Minsky, mfl: neste

29 NF1820 Datalingvistikk The main lesson of thirty-five years of A research is that the hard problems are easy and the easy problems are hard The mental abilities of a four-year-old that we take for granted recognizing a face, lifting a pencil, walking across a room, answering a question in fact solve some of the hardest engineering problems ever conceived As the new generation of intelligent devices appears, it will be the stock analysts and petrochemical engineers and parole board members who are in danger of being replaced by machines The gardeners, receptionists, and cooks are secure in their jobs for decades to come Steven Pinker, The language instinct er cutting edge forskning fra 2010 (og videoen er 50 ganger normal hastighet) Det hadde gått fortere med en femåring Jamfør Deep Blue; det var i 1997 The main lesson of thirty-five years of A research is that the hard problems are easy and the easy problems are hard The mental abilities of a four-year-old that we take for granted recognizing a face, lifting a pencil, walking across a room, answering a question in fact solve some of the hardest engineering problems ever conceived As the new generation of intelligent devices appears, it will be the stock analysts and petrochemical engineers and parole board members who are in danger of being replaced by machines The gardeners, receptionists, and cooks are secure in their jobs for decades to come Steven Pinker, The language instinct

30 NF1820 Datalingvistikk Regelbaserte systemer er litt som TM

31 NF1820 Datalingvistikk Datadreven NLP er på mange måter en av de første big data -disiplinene Store korpora analyseres og fordøyes, og statistiske metoder brukes for å finne riktig svar

32 NF1820 Datalingvistikk Dessverre er en del av metodene bygget på noe klønete teoretisk fundament, som gir en del fundamentale begrensninger Likevel er disse metodene generelt mer effektive enn de regelbaserte Samtidig er disse metodene generelt lite anvendelige i forhold til teoretisk forskning innenfor lingvistikk; de er ekstremt effektive når det kommer til anvendt bruk, men lite informative for teori Google er de mest fremtredende brukerne av denne typen systemer Hvis det er tid (og det blir det nok?) freeform om dataling og hva jeg driver med