Kvalitetssikring av data og tjenester Roy H.Mellum Teknologiforum 2016, Gardermoen 2. november 2016
Hvorfor testing og validering? For å bekrefte konformitet. I forhold til et sett med krav En konformitetsklasse For å bebekrefte kompatibilitet med regler/standarder Begrepene conformance og compliance brukes ofte om hverandre En tjeneste som ikke er konform med en standard/spesifikasjon bør ikke tilbys!!
Hva tester og validerer vi mot? Hva vi må Implementere (abstrakte Spesifikasjoner) Geodataloven/ Inspire direktivet Forskrifter/ Implementasjonsregler Implementasjonsregler.. Lovpålagt Hvordan vi bør Implementere (tekniske spesifikasjoner) Tekniske spesifikasjoner Tekniske veiledere
ND Rammeverksdokument Verktøy?
Terminologi
Oversikt mest brukte verktøy Verktøy Tester Merknad Open source FME INSPIRE validator OGC-CITE ETF-Tool Snowflake Spatineo Inspire metadata og Inspire tjenester(-) WFS 2.0, GML 3.2, WMS 1.3, WMTS 1.0 INSPIRE/ELF krav til tjenester, skjemaer og GML encoding Datakvalitet GML(xml) syntaks og semantikk Ytelse, kapasitet og tilgjengelig av tjenester Kan scriptes til å gjøre det meste Ny kraftig forbedret versjon under utvikling Krevende å bruke. Kan kjøres lokalt. Bygges nå inn i Inspire validator. Kan kjøres lokalt Relativt lett å tilpasse, utbyggbar. Bygges nå inn i Inspire validator. God på skjematransformasjon Skybasert løsning. - Div. GIS Hovedsakelig datakvalitet ESRI, 1Spatial, ++ +/- - + + + -
Krav til arkitektur(må) - (Inspire Arena3 prosjekt)
Kvalitet og testing - Ansvar Nivå Tjenester og data Ansvar Anvendelse/bruker Applikasjoner Brukere Norge Digitalt Geonorge Metadata Kontroll/sjekk av data og tjenester Verktøy for testing og validering Kartverkets Geodatakoordinator/ Geonorge team Etatenes/ Partenes tjenester NIBIO tjeneste NGU tjeneste Kommune x tjeneste Tjenesteeier/tilbyder Etatenes/ Partenes data NIBIO data NGU- data Kommune x- data Data eier/tilbyder
Best practice Validering av tjenester og data i en SDI - Erfaringer fra ELF prosjektet www.elfproject.eu
ELF tjenestearkitektur - Kaskader Visningstjenester(WMS) Nedlastingstjenester(WFS 2.0) 15 130 Forutsetter konforme tjenester
ELF - Kvalitet og testing - verktøy Test Validator Tools used Hosted by OGC konformitet Service metadata INSPIRE/ELF krav til tjenester, skjemaer og GML encoding INSPIRE Service capacity & performance INSPIRE Service availability OGC CITE Tester for WFS 2.0, GML 3.2, WMS 1.3, WMTS 1.0 INSPIRE Geoportal Metadata Validator ETF WebApp konfigurert med INSPIRE/ELFspesifikke tester Spatineo Performance monitor Spatineo monitor TEAM Engine, Test NG ETF, SoapUI, BaseX Data kvalitet Various GIS ELF quality tools, Esri, 1Spatial, Snowflake, FME, etc. OGC, kan kjøres lokalt JRC interactive instruments, kan kjøres lokalt Spatineo Spatineo Local tests by NMCA
ETF (ELF test Framework) Flg tester implementert: WMS / INSPIRE View Service tester WFS 2.0 / INSPIRE Download Service tester ATOM feed INSPIRE Download Service tester Noen GML 3.2 tester (syntax, referanser) Open source Web applikasjon Kan også kjøres lokalt En viktig komponent i neste versjon av Inspire validator
ETF Enkel arkitektur Service Data set ETF User Test driver SoapUI BaseX SoapUI test SoapUI test project project BaseX test BaseX test project project
ETF - utviklingsressurser ETF kode: https://github.com/interactiveinstruments?utf8=%e2%9c%93&query=etf Issue tracker: https://github.com/interactive-instruments/etfwebapp/issues Wiki: https://github.com/interactive-instruments/etfwebapp/wiki ETF Test prosjekter: INSPIRE Technical Guidance requirements https://github.com/geonovum/etf-test-projects-inspire ELF extensions to INSPIRE Technical Guidance requirements https://github.com/interactive-instruments/etf-testprojects-elf
Status Hvor er vi? Generelt er dagens verktøy for testing og validering noe uferdige Funksjonalitet Lite brukevennlig feilrapporting OK for metadata Stort sett Ok for visningstjenester Validering av WFS med dagens verktøy ikke godt nok Generell status: ikke bra nok, men ok for oss i ELF som et absolutt minimumsnivå.
Konklusjoner anbefalinger Tjenester som ikke er konforme med standarder og spesifikasjon bør ikke publiseres (skal I prinsippet ikke brukes) Testing og validering er for å hjelpe, ikke straff!! Integrer test og validering av tjenester I produksjonsrutinene Vi må intensivere arbeidet med verktøy for testing og validering av tjenester og data I Norge Digitalt. Tjenestegrenssnitt Formater
Ha en fin dag!