Semantic Web The revenge of metadata? Slide 1 Reproduksjon forbudt uten tillatelse fra Computas AS

Transkript

1 Semantic Web The revenge of metadata? Slide 1 Reproduksjon forbudt uten tillatelse fra Computas AS

2 Tema Tim Berners-Lee står bak ideen bak semantiske webben, en web av interlinked data. Dette foredraget gir en innføring i hva Semantisk Web er, og en innføring i semantisk web teknologi. Det gis en oversikt over ulike anvendelser og prosjekter i Norge og i utlandet, og erfaringer med slike prosjekter. Sentrale spørsmål er om pendelen svingt tilbake fra generiske Google-søk til mer fokus på metadata? Og er det mulig å se at verdene møter hverandre gjennom kombinere løsninger basert på metadata og ustrukturerte tekst-søk. Vi håper også på en god diskusjon rundt disse emnene! Slide 2 Reproduction prohibited without authorization by Computas AS

3 David Norheim M.Sc. datateknikk fra NTH, 1996 Overingeniør i Computas Ansvarlig for Semantisk Web området i Computas og fagleder for Web teknologi. Teknisk prosjektleder og rådigver for søk- og semantikk prosjekter. Leder av Dataforeningens og Norstellas aktivitet innen semantisk interoperabilitet Aktiv i forsningsprosjekter, både i Computas og tidligere for bl.a. EU kommisjonen og UniK Internasjonal erfaring fra forskning og fri programvare i EU kommisjonen, innovasjon norge og egen virksomhet. Slide 3 Reproduction prohibited without authorization by Computas AS

4 Agenda Google - informasjonsjunkiens langer (eller fritekst søk) Metadatas hevn (eller Semantisk Web Visjon) Aktiviteter i Norge Noen utenfor Slide 4 Reproduction prohibited without authorization by Computas AS

5 Google - informasjonsjunkiens langer Google quiz Hvordan vet jeg at treff # ikke er det jeg vil ha? svar: fordi #1 er mer populær Hvorfor tror Google jeg vil vite om bilen Jaguar istedet for dyret? svar: den vet ikke, men du kan legge til flere ord Finner Google alt? svar: nei - kun informasjon som can crawles (ca 1/500) Hvordan vet jeg at Google har det siste? svar: du vet ikke Slide 5 Reproduction prohibited without authorization by Computas AS

6 Dagens Web Informasjon finnes som dokumenter (html, pdf, doc ) De er lenket sammen med URL er (href) Personer navigerer dokumentene med browser Søkemotorer kan crawle etter dokumenter, og fritekst indekserer dem Man kan søke i denne indeksen Slide 6 Reproduction prohibited without authorization by Computas AS

7 Dagens Web Noen problemer kan ikke løses, blant annet 1. Søk på tvers av dokumenter kjenner noen i NOLUG noen som blogger om David er ansatt i Computas semantisk web? 2. Sammenstilling av informasjon computas.com linkedin.com David kjenner Asgeir hva vet vi om David? 3. Semantikkproblemet David blogger om Semantisk Web bibiotek wordpress.com Asgeir jobber ved Deichmanske Deichmann.no Slide 7 Reproduction prohibited without authorization by Computas AS

8 Søk på tvers - problemet Web-fritekstsøk baserer seg på at dokumentene er frittstående entiteter Søkemotorer kan ikke utføre kryss-søk hvor én del av informasjonen finnes i et dokument og en annen del i et annet Henrik Ibsen bodd i norske kommuner De leter etter svaret i ett og samme dokument Dette krever at dokumentene må brytes opp i mindre entiteter, og relasjonene defineres. Slide 8 Reproduction prohibited without authorization by Computas AS

9 Sammenstillings - problemet Hvordan finner jeg ut alt web en vet om meg? David Norheim gir 2160 treff i Google Men Norheim, David gir 84 Og er alle meg? - også en dyrlege i Brummendal Trenger entydige identifikatorer Eller indirkete identifikatorer: , telefonnummer, personnummer, Hva er det egentlig som sies? Må jeg lete gjennom alle 2244? Trenger et format for sammensstilling Slide 9 Reproduction prohibited without authorization by Computas AS

10 Semantikk - problemet Eksplisitt metadata er bare begrenset tilgjenglig på web en, derfor oppstår tvetydighet Nyere søkemotorer forsøker å bøte på begrensingene gjennom ulike IR teknikker Entity Extraction (lokasjoner, personer, organisasjoner, tid ) Paris Hilton (personen) vs. Paris Hilton (hotellet) [PER David Norheim] from [ORG Computas] is having a presentation for [ORG NOLUG] in [LOC Oslo] Regelbasert eller ordliste Noen søkemotorer (f.eks. Google) utvider tradisjonell IR med hypertekst strukturen (pagerank) --- antar alle tenker likt PageRank bruker linkestrukturen til å måle viktigheten til et dokument Vektors-space-model brukes bl.a. av Lucene --- flere relaterte ord angir kontekst Matematisk model for likhet mellom dokumenter (eller dokument og søk) Word sense disambiguation Polysemisk (tre, mus, blink, hatt, bygg, bibliotek ) Clustering teknikker kan gruppere resultatene Slide 10 Reproduction prohibited without authorization by Computas AS Vi trenger mer eksplisitt semantikk

11 Behov Standard for global identifisering (og indirekte identifisering) Representasjon av data som tillater sammenslilling i mindre entiteter enn dokumenter (omtrent som databaser) Spørrespråk som kan spørre på tvers av kilder Lifting; angi eksplisitt metadata i HTML, fra Databaser Eksplisitt semantikk i form av (domene) vokabularer, kategorisering, regler. - Begreper (les: konsepter) og hvordan de forholder seg til hverandre Slide 11 Reproduction prohibited without authorization by Computas AS

12 Hvordan blir løsningene smartere? Application interface Inference engine Query engine RDF store RDF Web-sider, regneark, tabeller, databaser etc. Slide 12 Reproduction prohibited without authorization by Computas AS

13 Visjon Data er koblet til Web på samme måte som dokumenter er i dag. Muliggjør en rekke nye anvendelser Semantikk ~ hva data betyr (interoperable metadata vokabularer, ontologier) Slide 13 Reproduction prohibited without authorization by Computas AS

14 Introduserer Data Web Data koblet, som på web en Utvide dagens web fra å være en sammenkobling av dokumenter til også bli en sammenkobling av data se man tic web [si- man-tik web] - noun A set of formats and languages that find and analyze data on the World Wide Web, allowing consumers and businesses to understand all kinds of useful online information. Slide 14 Reproduction prohibited without authorization by Computas AS

15 Internet -> WWW -> GGG Progress in communications technology has been characterized by a movement from lower to higher levels of abstraction. Tim Berners-Lee Slide 15 Reproduction prohibited without authorization by Computas AS

16 GGG? Hmm, web en estimeres til ca 11.5 milliarder sider (dyp-web en til ca 3 trillioner)* hvor mange tripler blir det? 2005: Antonio Gulli and Alessio Signorini ( ). "The Indexable Web is more than 11.5 billion pages". Slide 16 Reproduction prohibited without authorization by Computas AS

17 Kunnskapsrepresentasjonsspråk som muliggjør beskrivelse av data på tvers av datakilder XML? Egnet til dokument utveksling, ikke til relasjonsmodeller Trenger en grafmodell som reflekterer virkeligheten Og entydighet i hva et attributt betyr Ungå uklarhet i definisjoner For lesbarhet innfører vi navnerom (namespaces) er det samme som foaf:name => alle er enige om hva foaf:name betyr, definisjonen er bestemt av eieren av domenet (xmlns.com) Relasjonsmodellen: Et trippel er et subject-predikat-object tuple der subjekt er ressursen, predikatet spesifiserer relasjonen mellom subjektet og objektet. Flere tripler gir en graf. Standarden heter RDF (resource description framework) og kan representere alle data på tvers av organisasjoner og systemer. Slide 17 Reproduction prohibited without authorization by Computas AS

18 Semantic Web tripler wikipedia amazon Chapter foaf:person Location foaf:company Book AKSIO David Norheim Computas Lysaker geonames Semantic Work Environments Slide 18 Reproduction prohibited without authorization by Computas AS

19 SPARQL Spørrespråk over Semantisk Web datakilder W3C Recommendation i Januar 2008, 15 implementasjoner ved standardisering Målsetningen er å bentte SPARQL som et API over åpne datakilder Åpne datakilder: Wikipedia (dbpedia) CIA Factbook MusicBrainz (ala CDDB) Slide 19 Reproduction prohibited without authorization by Computas AS

20 OWL Web Ontology Language OWL er ontologi-språket for semantisk web Eks. på vokabularer (upper ontologies, generiske ontologier) Personlig nettverk (FOAF), Prosjekter (DOAP), Dokumenter (DC), CV (DOAC) m.m. my:researcher a owl:class ; rdfs:subclassof foaf:person ; rdfs:subclassof [ a owl:restriction ; owl:onproperty doac:education ; owl:hasvalue doac:master. ]. Eks. På domenemodeller (domain ontologies) GeneOntology (life science), ISO15926 part 4 (oljeindustrien), Vin ontologi m.m. Slide 20 Reproduction prohibited without authorization by Computas AS

21 Hva gjøre en teknologi Semantisk Teknologier som muliggjør eksplisitt, utvetydig og delt definisjon av begreper og relasjoner i domene som mennesker og maskiner kan behandle og helst også et globalt identitetssystem og et globalt gjenbrukssystem Slide 21 Reproduction prohibited without authorization by Computas AS

22 The Tree of Knowledge Technologies (Extended with basis from Top Quadrant) W3C Semantic Web ISO Topic Maps CC UN/CEFACT Core Components OMG UML EXPRESS ISO ISO Slide 22 Reproduction prohibited without authorization by Computas AS

23 Semantisk spektrum Slide 23 Reproduction prohibited without authorization by Computas AS

24 Lifting Standarder for å trekke meta-informasjon ut av eksisterende kilder og embedde dem i kilder Databaser Web sider ID3, GRDDL og RDFa Slide 24 Reproduction prohibited without authorization by Computas AS

25 The social web (aka Web 2.0) MIT: Vi er smartere enn meg? Kan våre data bli smartere enn mine data? eller kan våre sammenkoblede data brukes smartere enn mine alene? Slide 25 Reproduction prohibited without authorization by Computas AS

26 Kilder (endpoints for public data) dbpedia Govtrack.us (US congress) DBLP Bibliography Database Revyu.com CIA World Factbook Slide 26 Reproduction prohibited without authorization by Computas AS

27 W3C standardene God tilgang parsere, serialisering Slide 27 Reproduction prohibited without authorization by Computas AS

28 Taksonomi / thesaurus Main Term (MT) Top Term (TT) Broader Terms (BT) TAKSONOMI Narrower Terms (NT) Related Terms (RT) See also (SA) Scope Note (SN) History (H) NonPreferred Term (NP) Used for (UF), See (S) THESAURUS EMNEKART FORMELL ONTOLOGI (OWL) Egendefinerte relasjoner Logiske avgrensede begreper (disjunkt, kardinalitet, alle/universell beskrankning, noen/ekstensensiell beskranktning, ekvivalens ) Logiske definerte relasjoner (symmetri, transitivitet, funksjonell, invers, invers funksjonell) Slide 28 Reproduction prohibited without authorization by Computas AS

29 Slide 29 Reproduction prohibited without authorization by Computas AS

30 Sublima arkitektur Cocoon web framework Portal konfigurering SPARQL transformasjon Søk og navigasjon Admin SPARQL update CQL 2 SPARQL SRU RDF 2 SRU RS Annen SPARQL klient SPARQL dispatcher Lokal SPARQL endpoint Fritekst (Lucene) Ressurs beskrivelser Emner / domene modell Crawler og lenkesjekk SPARQL 2 CQL SRU SRU RS 2 RDF Annet SPARQL endpoint Open search Web Slide 30 Reproduction prohibited without authorization by Computas AS

31 Nærmere om kvalitet og teknisk løsning Rike klienter Multimedia management Slide 31 Reproduction prohibited without authorization by Computas AS

32 Prinsipp sluttbrukerapplikasjon Hyperbolsk-tre navigering i emnetrukturer modellert med semantisk web strukturer Valg medfører søk på ressurser under emnet Ressursers preview vises basert på Apple Cover Flow QuickTime modul for avspilling av video og audio Design detaljer vil bli bestemt sammen med en interaksjonsdesigner. Slide 32 Reproduction prohibited without authorization by Computas AS

33 Slide 33 Reproduction prohibited without authorization by Computas AS

34 Slide 34 Reproduction prohibited without authorization by Computas AS

35 Take-away Fra web av dokumenter til web av data. Tydeliggjør semantikken i et fagområde; herunder identitet, begreper, deres egenskaper og sammenhenger. Arne J. Berre: En slags utvidet Entity Relation modell Slide 35 Reproduction prohibited without authorization by Computas AS

36 Forskningsutfordringer Lifting NLP Ontologi-læring Ontologi alignment Ontologi modellering (beste prakis) Slide 36 Reproduction prohibited without authorization by Computas AS

37 Semantic Hype Curve* ontology alignment semantiske webtjenester probabilistic reasoning context resolving and representation topic map. semantic web interoperability grafisk modellering/ visualisering ontologi-læring utvidet spørrespråk (føderering, oppdatering) naturlig språk analyse (NLP) praktisk ontologi ressonering (OWL 2) ontologi modellering/beste praksis open linked data skalerbare triplestores semantic lifting Flere områder er modne og har kommersielt opptak Noen områder er svært lovende på medium sikt Men ikke forvent kortsiktig resultater fra områder som web tjenester, usikkerhet m.m. kunnskapsrepresentasjon og spørrespråk (RDF, SPARQL) entitets ekstraksjon (lokasjon, person, organisasjon) semantiske søk * Figuren eller analysen er ikke assosiert med Gartner Group. Hype Curve-konseptet brukes kun som en illustrasjon på teknologienes modenhet. Slide 37 Reproduction prohibited without authorization by Computas AS

38 Forskning XXX søknader til forskningsrådet (innen Skattefunn) 220 søknader til EU FP-7 Call 3 (STREPs) Slide 38 Reproduction prohibited without authorization by Computas AS

39 Prosjekter i utlandet Se 26 real-world eksempler (ikke forskning) Slide 39 Reproduction prohibited without authorization by Computas AS

40 Bøker Slide 40 Reproduction prohibited without authorization by Computas AS

41 Anbefalinger Slide 41 Reproduction prohibited without authorization by Computas AS