Analyse (parsing) av XML-dokumenter DOMDocument Dokument Dokument I denne presentasjonen Eksempel1: analysere lokale XML-filer XML - DOM

Transkript

1 [Kurssidene] [ ABI - fagsider bibin ] Michael Preminger (michaelp@hio.no) 27/10-15 I denne presentasjonen Om XML og DOM-pakken OM curl-pakken (ikke dekket i boka) XML - DOM Webprogrammering høsten 2015 DOM er en W3C standard som modellerer XML (og andre typer)-dokumenter, elementer, attributter og andre bestanddeler av XML. DOM gjør det mulig å håndtere XML-dokumenter likt over at spekter av programmeringsspråk. DOM er objekt-orientert, og er derfor implementert i PHP med klasser og objekter. Når man behandler eksisterende XML-dokumenter, slik vi skal gjøre, bygges hele dokumentet inn i datamaskinen som en "trestruktur". Store dokumenter kan derfor være ressurskrevende. DOM - implementasjonen til PHP følger ikke alle gode reglene dere lærte (eks. skjuling av elementer). Typer av Noder DOMNode er grunntypen (superklassen) når det gjelder XML-elementer. Klassene DOMElement, DOMDocument og DOMAttr utvider DOMNode, slik at de har alle metodene DOMNode har, + noen til. Andre objekter DOM-modellen tilbyr også noen andre datatyper som er nødvendig for trebygging av XML-dokumenter: DOMNodeList er viktigst - brukes som returtype til metoder som finner flere noder. Eksempel - en liste av alle barn til en bestemt node. Analyse (parsing) av XML-dokumenter Når vi analyserer et XML-dokument, får vi et dokument-objekt (av type DOMDocument). Dokument-objektet representerer et tre med noder. Nodene kan vi "huke tak i" ved hjelp av metoder. Vi kan, for eksempel starte med Dokument-elementet (rot-elementet), som er et barn til Dokumentobjektet. Så kan vi spasere nedover og "huke tak i" diverse noder (elementer, attributter) enten ved å se på bestemte "slektninger" til en node vi har en referanse til (første barn, neste søsken, foreldrenoden, osv.), eller ved å velge en node basert på et taggnavn eller en annen egenskap. Eksempel1: analysere lokale XML-filer Gitt følgende eksempelfil i Dublin Core xml format : <?xml version="1.0" <metadata xmlns=" xmlns:xsi=" xsi:schemalocation=" /schema.xsd" xmlns:dc=" > <dc:title> UKOLN </dc:title> <dc:description> UKOLN is a national focus of expertise in digital information management. It provides policy, research and awareness services to the UK library, information and cultural heritage communities. UKOLN is based at the University of Bath. </dc:description> <dc:publisher> UKOLN, University of Bath </dc:publisher> <dc:identifier> </dc:identifier> </metadata> 1 of :16 2 of :16

2 Opprett dokumenttreet fra en XML-fil Finne alle barn til et visst element 1. $xmldoc= new DOMDocument(); 2. $xmldoc->load("dom1.xml"); $xmldoc inneholder nå alle nodene i XML-filen Vi starter som oftest ved å hente frem Dokumentelementet og "legge den" i en variabel med et passende navn. 3. $rotelem=$xmldoc->documentelement; Så går gjennom dokumenttreet på forskjellige måter Finne alle elementer med et visst navn (i eksemplet: "title") 4. $nodelisteavtitler = $rotelem->getelementsbytagname("title"); 5. while ($i<$nodelisteavtitler->length) { 6. $tittelelement=$nodelisteavtitler->item($i); 7. print ("<p>".$tittelelement->nodevalue."</p>"); 8. $i++; 9. } 4. $nodelisteavbarn = $rotelem->childnodes; 5. while ($i<$nodelisteavbarn->length) { 6. $barnelement=$nodelisteavbarn->item($i); 7. print ("<p>".$barnelement->tagname."</p>"); 8. $i++; 9. } dc:title dc:description dc:publisher dc:identifier Klassen DOMNode definerer også egenskaper som henter en bestemt node (kan være element, dokument eller attributt). Se linje 5 nedenfor, og anta at vi henter ett av barna, si det andre (med index 1) egenskapen parentnode gir oss "foreldren" til dette elementet, som er metadata-elementet. 5. $barnelement=$nodelisteavbarn->item(1); 6. $foreldreelement=$barneelement->parentnode; 7. print ($foreldreelement->tagname); metadata Legg merke til følgende: Vi anvender objektet $rotelem (av type DOMElement) sin metode getelementbytagname, med argumentet "title". (linje 4) De lages en nodeliste med alle passende elementer, under $rotelem (i vårt tilfelle bare ett, som i nodelisten kan "hukes tak" v. hj. a. objektet $nodelisteavtitler (av type Nodelist) sin metode item med argumentet 0.) Kallet $nodelisteavbarn->item($i) (hvor $i er 0), tilordner tittel-elementet til variabelen $tittelelement. Vi skriver ut verdien i egenskapen nodevalue til tittelelementet vårt. navnerommet "dc:" blir ignorert. Snutten over printer UKOLN 3 of :16 4 of :16

3 Høynivå representasjon av poster Hovedprogrammet og Post-klassen En typisk datamengde: Google-treffliste søkeresultat i bokkatalog hvilketsomhelst databasesøk består av poster med en (mer eller mindre) fast oppbygging Dette kan utnyttes ved representasjon og behandling. I XML-dom sammenheng passer det å la et Post-objekt representere en XML-post. Eksemplet vi ser på er hentet fra en SRU-returfil, men prinsippet er også anvendelig for andre formater. XML-formatet <?xml version="1.0" <zs:searchretrieveresponse xmlns:zs=" [...] <zs:records> <zs:record> <zs:recordschema>info:srw/schema/1/dc-v1.1</zs:recordschema>... <title>pan.</title> <creator>hamsun, Knut, </creator> [...] <type>text</type> <publisher>[wilno]</publisher> <date>1928</date> <language>yid</language> <description>romanized.</description> [...] <zs:recordposition>2</zs:recordposition> </zs:record> <zs:record> [...] <title>pan.</title> (*@\label{sru:title3}@*) <creator>hamsun, Knut, </creator>[...] <type>text</type> <publisher>[new York,</publisher> <date>1919]</date> <language>heb</language> <description>romanized.</description> </zs:recorddata><zs:recordposition>3</zs:recordposition> </zs:record> [...] <zs:record> <zs:recordschema>info:srw/schema/1/dc-v1.1</zs:recordschema> [...] <title>pan,</title> (*@\label{sru:title6}@*) <creator>hamsun, Knut, </creator> <type>text</type> <publisher>[kristiania] A. Cammermeyer</publisher> <date>[1901]</date> <language>nor</language>... <zs:recordposition>6</zs:recordposition> </zs:record> </zs:records></zs:searchretrieveresponse> Det er smart å ha Post-klassen i egen fil (f.eks. Post.php), og den generelle (XML-innlesing og andre fasiliteter) i en annen fil (f.eks. sru_xml.php) Post-klassen Vi starter med å lage en plassholder for DOM-elementet som posten representerer. 1. class Post{ 2. private $element; //DOMelementet med alle postens data 3. public function setelement($e){ 4. $this->element=$e; 5. } 6. public function getelement(){ 7. return $this->element; 8. } Vi husker at DOM-elementet REPRESENTERER innholdet i XML-posten,... og at alle data i XML-posten kan finnes igjen ved behov: med nodelister eller andre DOM-metoder. Hovedprogrammet Vi starter med å leser inn XML-filen til en DOM-representasjon, identifiserer de enkelte postene og samler dem i en nodeliste 1. include "Post.php"; 2. $xmldoc= new DOMDocument(); 3. $xmldoc->load("sru_redigert.xml"); 4. $rotelem=$xmldoc->documentelement; 5. $nodelisteavrecords = $rotelem->getelementsbytagname("record"); Merk at hva et post-element heter er avhengig av ressursen og det konkrete filformatet. i SRU er det <zs:record> i MusicBrainz kan det være <artist>, <release> eller <track>. kompleksiteten og den hierarkiske dybden vil også variere. For hvert av elementene i nodelisten oppretter vi et Post-objekt (linje 10.), og legger EN REFERANSE til DOMelementet inn i objektets $element-variabel (12.). Post-objektene organiseres i en array, $arrayavposter, som vi etablerer på linje 6., pg "pusher" ett og ett Post-objekt inn i på linje of :16 6 of :16

4 6. $arrayavposter=array(); 7. $i=0; 8. while ($i<$nodelisteavrecords->length){ 9. $midlertidigelement=$nodelisteavrecords->item($i); 10. $midlertidigpost=new Post(); 11. // 12. $midlertidigpost->setelement($midlertidigelement); 13. array_push($arrayavposter, $midlertidigpost); 14. $i++; 15. } Kommandoen på linje 12. sørger for at hver post-objekt holder en referanse til sin egen DOM-element av type record. Det betyr at Post-objektet "ser" bare dataene i "sin" DOM-post (rosa område i xml-utskriften ovenfor), og er effektivt separert fra (og uforstyrret av) andre poster resten av DOMpost-behandlingen (visning, oppslag i andre tjenester, og andre typer behandling) kan programmeres som oppførsel i Post-klassen. Så den kan bli ganske stor. Litt mer oppførsel i Post-klassen Vi legger inn en metode som fyller inn forfattern (<creator>er ) i en variabel som kan etterpå presenteres. 1. class Post{ 2. private $element; //DOMelementet med alle postens data [...set og get-metode til $element] 9. private $forfattere; 10. public function setforfattere($f){ 11. $this->forfattere=$f; 12. } 13. public function getforfattere(){ 14. return $this->forfattere; 15. } 16. public function fyllinnforfattere(){ 17. $nodelisteavforfattere=$this->element->getelementsbytagname("creator"); 18. $i=0; 19. $navnene="";//variabel for alle navn til sammen 20. while($i<$nodelisteavforfattere->length){ 21. $midlertidignavn=$nodelisteavforfattere->item($i)->nodevalue; finner fram alle postens creator'er, samler opp deres verdier etter tur ( item($i)->nodevalue på linje 21.), med mellomrom ( ) foran og bak,i samlevariabelen $navnene, og til slutt legger de ferdigoppsamlede navnene i variabelen $forfattere (trenger ikke bruke set-metoden, men gjør det allikevel.). La oss nå anta at vi har skrevet tilsvarende metoder for variablene private $titler, private $beskrivelse og private $sprak, med get, set og fyllinn metoder for alle. Da kan vi skrive en metode tostring() (navnet er ikke tilfeldig valgt) som uttrykker posten som en tekst med linjeskifter mellom elementene, og returnerer tekststrengen slik: 1. class Post{ [... innhold så langt] 27. public function tostring(){ Titler: Pan. Forfattere:Hamsun, Knut, Beskrivelser:Romanized. Språk:heb 28. $retur = "<p>titler: ". $this->gettitler(). "<br/>"; 29. $retur.= "Forfattere: ". $this->getforfattere() "<br/>"; //Operatoren.= legger nytt innhold sist i en eksisterende streng 30. $retur.= "Beskrivelser: ". $this->getbeskrivelser(). "<br/>"; 31. $retur.= "Språk: ". $this->getsprak(). "</p>"; 32. return $retur; 33. } Denne strengen er skrevet med tanke på HTML-utskrift. 22. $navnene=$navnene " $midlertidignavn ";// Legger det nye navnet til de foregående. 23. $i++; 24. } 25. $this->setforfattere($navnene); 26. } Metoden fyllinnforfattere() "går in" i record-elementet ($this->element), 7 of :16 8 of :16

5 Tilbake til Hovedprogrammet Linje 16 og utover går gjennom alle postene og skriver de ut. 6. $arrayavposter=array(); 7. $i=0; 8. while ($i<$nodelisteavrecords->length){ 9. $midlertidigelement=$nodelisteavrecords->item($i); 10. $midlertidigpost=new Post(); 11. // 12. $midlertidigpost->setelement($midlertidigelement); 13. array_push($arrayavposter, $midlertidigpost); 14. $i++; 15. } 16. foreach ($arrayavposter AS $post){ 17. $post->fyllinnforfattere(); 18. $post->fyllinnbeskrivelser(); [...osv. fyllinn kall...] 22. $postutskrift=$post->tostring(); 23. print <<<UTSKRIFT 24. <div>$postutskrift</div> 25.UTSKRIFT; 26. } Nettdokumenter - to tilnærminger ved innlasting SRU - Library of Congress På samme måte som man åpner en fil, går det an å hente et xml-dokument fra nettet, basert på en URL. XML-koden i slike dokumenter kan gjerne genereres dynamisk. Da har vi gjerne et query-uttrykk som en del av URLen (slik vi har i SRU/SRW-protokollen. Følgende er et eksempel på PHP-kode som etablerer kontakt med en Http-tjener og laster ned et XML-dokument. Load utfører en Http forespørsel i bakgrunnen. 1. $cqlurl=" &version=1.1&query=title=%22pan%22+creator=%22hamsun%22 &startrecord=1&maximumrecords=10&recordpacking=xml&recordschema=dc" 2. $xmldoc= new DomDocument(); 3. $xmldoc->load($cqlurl); //HTTP trafikk innbakt i funksjonen load ( Objektet $xmldoc inneholder nå en struktur som representerer XML som er lastet ned som respons på URLen $cqlurl. URLen $cqlurl: - lokasjon + program operation=searchretrieve&version=1.1 parametre query= cql-søk title=%22pan%22 creator=%22hamsun%22 Webinteraksjon med PHP - curl pakka (ikke dekket i boka) PHP-programmer må ofte hente data fra andre nettsteder enn eget. Dette finnes det mange teknikker for, vi ser på curl-pakka. Pakka er meget teknisk og lite intuitiv. Dessverre... Pakka er basert på et "håndtak" (engelsk handle herunder kalt $ch) som er en variabel som kan sammenlignes med et variabel som holder et klasseobjekt ($mappehandtak = new Filmappe() ). 1. $Url=" 2. $ch = curl_init(); // set URL and other appropriate options //For å få resultatet i retur 3. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 4. curl_setopt($ch, CURLOPT_URL, $cqlurl); //Få resultatet i retur 5. $out=curl_exec($ch); 6. print ($out); &startrecord=1&maximumrecords=10&recordpacking=xml&recordschema=dc parametre Av og til passer det å hente teksten (med en curl-forespørsel) først, for så å laste den inn. 1. $cqlurl=" &version=1.1&query=title=%22pan%22+creator=%22hamsun%22 &startrecord=1&maximumrecords=10&recordpacking=xml&recordschema=dc" 2. $ch = curl_init(); // set URL and other appropriate options //For å få resultatet i retur 3. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 4. curl_setopt($ch, CURLOPT_URL, $cqlurl); //Få resultatet i retur 5. $out=curl_exec($ch); 6. $DOMDocument_xmlDoc= new DomDocument(); 7. $DOMDocument_xmlDoc->loadXML($out); 8. $DOMDocument_xmlDoc->normalizeDocument(); 9 of :16 10 of :16

6 Webtjenester Vi har sett at DOM-biblioteket kan åpne et dokument fra nettet Dokumentet kan være en lagret fil, men kan også lages "on the fly". Nedenfor er et eksempel på en webtjeneste. Vi sender en URL med et søkeuttrykk til en tjeneste tjenesten plukker opp uttrykket, konverterer det, spør en database og gjør om resultatet derfra til XML som sendes over nettet. (Det er klientens oppgave å tolke XML-filen.) Eksempel: SRU-tjenesten til Kongressbiblioteket i USA har adressen Den tar imot parametere som følger: operation=searchretrieve version=1.1 query=(dc.creator="hamsun+knut"+and+dc.title=pan") (cql-uttrykk) startrecord=1 maximumrecords=10 recordpacking=xml recordschema=dc query=dc.creator=%22hamsun+knut%22+and+dc.title=%22pan%22&startrecord=1&maximumrecords=10& recordpacking=xml&recordschema=dc Dersom tjenesten skal være brukerstyrt, må programmet ta imot parametre fra en HTML-form og "komponere" CQL-uttrykket basert på disse. XML som kommer tilbake fra serveren tolkes da av klientprogrammet 11 of :16