egovmon egovernment Monitoring Prosjekt nr.: Verdikt 183392/S10 Sammenligning av egovmon og norge.no's evalueringer av tilgjengelighet Leveranse nummer D2.1.1 Version: 1.1 (Norsk) Date: 2008-11-25 Authors: Annika Nietzio, Morten Goodwin Olsen, Lasse Berntzen Dissemination Level: Åpen Status: Final License: This work is licensed under the Creative Commons Attribution-ShareAlike License. To view a copy of this license, visit http://creativecommons.org/licenses/by-sa/2.5/ or send a letter to Creative Commons, 543 Howard Street, 5th Floor, San Francisco, California, 94105, USA. This document consists of 13 pages including this cover
Version Control Version Status Date Change Author 0.1 DRAFT 2008-11-11 Initial draft Annika Nietzio 0.2 DRAFT 2008-11-13 Elaboration of chapter 3 Annika Nietzio "Questions & Answers" and 4 "Conclusion" 0.3 DRAFT 2008-11-18 Revision after inspection Annika Nietzio by Morten Goodwin Olsen, Rudolph Brynn, Lasse Bertzen and Ahmed A. A. S. AbouGhonim 0.4 RC 2008-11-20 Update with comments from DIFI/norge.no (Frank Fardal) Annika Nietzio Additional input from Morten Goodwin Olsen 0.5 RC 2008-11-21 Minor updates after Annika Nietzio comments from Lasse Berntzen 0.6 RC 2008-11-23 Translation from English Lasse Berntzen to Norwegian. 0.7 RC 2008-11-24 Minor updates from Morten Goodwin Olsen Annika Nietzio and Morten Goodwin Olsen 1.0 Final 2008-11-25 Final version and pdf Annika Nietzio 1.1 Final 2008-11-26 New URL of egovmon Annika Nietzio online accessibility checker 1
Innholdsfortegnelse 1 Introduksjon...3 1.1 Prosjektet egovmon...3 1.2 Hva dette dokumentet omfatter...3 1.3 Takk til...3 2 En mer detaljert gjennomgang av de to evalueringsmetodene...4 2.1 Hvordan egovmon måler tilgjengelighet?...4 2.2 Hvordan egovmon måler tilgjengelighet?...4 2.3 Sammenligning av testkriterier...5 2.4 Offentliggjøring av resultater...6 3 Spørsmål og svar...6 3.1 Evaluering av tilgjengelighet...6 3.2 Resultater og rangering...7 3.3 Forbedring av ditt eget nettsted...7 4 Konklusjoner...8 5 Bakgrunnsmateriale og referanser...9 6 Vedlegg...10 2
1 Introduksjon 1.1 Prosjektet egovmon Prosjektet egovmon utvikler en prototype av en programvareløsning som gjør det mulig å sammenligne e-forvaltningstjenester i stor skala. Løsningen vil gi både en oppdatert vurdering av hvordan e-forvaltning tas i bruk, med tilgang til forutgående resultater, og tillate refleksjon over utviklingen så langt, sammen med mulighet for å utforske fremtidige trender. egovmon vil vurdere tjenester med utgangspunkt i Tilgjengelighet (universell design) Transparens Effektivitet Virkning Et sett med veldefinerte indikatorer vil bli definert for hvert område, ved bruk av en koherent metode for vurdering. For å utvikle og vedlikeholde rammeverket for måling, vil en åpen, deltagende og inkluderende prosess bli etablert. Evalueringsresultater vil, hvor mulig, bli samlet inn ved bruk av automatiserte verktøy, supplert med brukerundersøkelser og manuelle vurderinger. Alle resultater fra prosjektet blir publisert under en åpen lisens, og all programvare er åpen kildekode. 1.2 Hva dette dokumentet omfatter Den offentlige etaten norge.no gjennomfører kvalitetsvurdering av statlige og kommunale nettsteder i Norge hvert år. Resultatene blir alltid sett på med forventning. Ett av tre kriteriesett som benyttes omhandler tilgjengelighet av nettsteder. Den første prototypen fra egovmon evaluerer også tilgjengelighet av norske offentlige nettsteder. 1 Dette dokumentet presenterer en sammenlikning av de to metodene og forsøker å besvare noen ofte stilte spørsmål. 1.3 Takk til.. Forfatterne vil gjerne takke Frank Fardal fra DIFI/norge.no som har gitt nyttige kommentarer til denne rapporten, og besvart våre spørsmål om metoden benyttet av norge.no. 1 Prosjektet vil senere undersøke transparens, effktivitet og virkning. 3
2 En mer detaljert gjennomgang av de to evalueringsmetodene 2.1 Hvordan egovmon måler tilgjengelighet? egovmon overvåker et nettsteds tilgjengelighet helt automatisk. En robot samler en liste over alle nettsider som er offentlig tilgjengelig på nettstedet (omtrent på samme måte som Google). Hvis deler av nettstedet er passordbeskyttet vil denne delen av nettsted ikke blit tatt med. Dette skjer fordi roboten ikke kan samhandle med passord. Deretter sjekkes opptil 600 sider tilfeldig hentet fra listen. Hvis nettstedet består av færre enn 600 sider, blir alle sjekket. Slik får egovmon en overblikk over situasjonen på nettstedet som helhet. Deretter sjekkes tilgjengelighet av de utvalgte sider. egovmon-verktøyet som måler tilgjengelighet inneholder 23 tester. Resultatet av testene presenteres som en prosentverdi: 0% = ingen tester feilet, 50% = halvparten av testene feilet, 100% alle testene feilet. Merk at dette er motsatt av resultatene fra norge.no, hvor 100% er beste resultat. Til slutt sorteres resultatene inn i fem resultatkategorier. Grenseverdiene er vist i Tabell 1. Bokstav Poengrangering Farge A 0 % B 1 10 % Prosent av tester som gir feil C 11 25 % D 26 50 % E 51 100 % Tabell 1: Terkselverdier for egovmon poengsummer 2.2 Hvordan Norge.no måler tilgjengelighet? Norge.no foretar evalueringer årlig, normalt i september og oktober. Hvert offentlige norske nettsted på nasjonalt, fylkes- og kommunenivå evalueres av en ekspert. I snitt tar evalueringen av et nettsted omtrent en time. Tolv av 34 indikatorer omfatter tilgjengelighet. De fleste testene utføres på to eller tre sider fra nettstedet. Noen ganger gjennomsøkes hele nettstedet for visse elementer (f.eks. tabeller og dokumenter i andre formater). En test som feiler gir null poeng. Det maksimale antall poeng som kan oppnås på hver test ligger mellom to og fem. Den endelige poengsummen gis som prosent av oppnåelig poengsum. Disse prosentverdiene 4
blir knyttet til stjerner som vist i Tabell 2. Terskelverdiene er basert på en Gauss-fordeling for en til fem stjerner, med seks stjerner som et ekstra nivå. norge.no rangering som stjerner 6 stars 80 100 % 5 stars 70 79 % 4 stars 58 69 % 3 stars 43 57 % 2 stars 31 42 % 1 star 0 30 % Tabell 2: norge.no rangering i form av stjernet 2.3 Sammenligning av testkriterier Denne delen av rapporten sammenligner testene som brukes av norge.no og egovmon. Informasjonen her er basert på 2008-utgaven av kriteriesettet som danner grunnlaget for norge.no's evaluering [1] Merk at tilgjengelighet er et av tre sett av kriterier som benyttes av norge.no. egovmon benytter 23 tester, som er direkte avledet fra retningslinjene for tilgjengelig innhold på nett (Web Content Accessibility Guidelines (WCAG) 1.0) [2]. Testene dekker de punktene som er klassifisert som 1. og 2.-prioritet. Punkter med prioritet 3 er ikke inkludert. Testprosedyrene er utviklet av Web Accessibility Benchmarking Cluster (WAB Cluster) og beskrives i Unified Web Evaluation Methodology (UWEM) [3]. UWEM omfatter 140 ulike tester, men de fleste av disse kan ikke automatiseres, siden de er basert på menneskelig dømmekraft. Kriteriene som benyttes av norge.no vedlikeholdes av DIFI (Direktoratet for forvaltning og IKT), og revideres hvert år. Disse inneholder også elementer hentet fra WCAG. I 2008 gjennomfører norge.no 12 tester for tilgjengelighet. 1 test benyttes av både norge.no og egovmon. (1.11) 4 tester dekkes delvis av egovmon (1.1, 1.3, 1.5, 1.9) 3 tester dekkes ikke av egovmon fordi de er knyttet til WCAG sjekkpunkter med prioritet 3 (1.7, 1.8, 1.10) 2 tester dekkes ikke av egovmon fordi de ikke lar seg automatisere (1.4, 1.6) 2 tester dekkes ikke av egovmon fordi de ikke er direkte relatert til WCAG 1.0 (1.2, 1.12) En detaljert sammenligning av testene finnes i Vedlegget. 5
2.4 Offentliggjøring av resultater Norge.no har innført en egen prosedyre for kvalitetssikring. Før resultatene offisielt publiseres, får eierne av nettstedene muligheten til å gjennomgå de foreløpige resultatene. De kan så sende inn tilbakemeldinger og kan klage hvis de mener at resultatet ikke er korrekt. De berørte nettsteder blir så vurdert på nytt, og resultatene kan bli oppdatert. egovmon-prosjektet er fortsatt i en tidlig fase. På nåværende tidspunkt offentliggjøres ikke evalueringsresultatene. Resultatene sendes til deltagende kommuner for internt bruk. I fremtiden vurderer vi å opprette en tilbakemeldingsprosess tilsvarende slik norge.no gjør. Hvis du har kommentarer eller spørsmål vedrørende de data du mottar fra evaluering foretatt av egovmon, vennligst send e-post til maintainer@egovmon.no. 3 Spørsmål og svar 3.1 Evaluering av tilgjengelighet Evalueringen til norge.no blir foretatt av en gruppe eksperter. egovmon bruker en automatisert tilnærming. Begge metoder har sine fordeler og ulemper. Hva er fordelene ved manuell evaluering av tilgjengelighet? Eksperter kan sjekke langt flere aspekter knyttet til tilgjengelighet; inkludert aspekter som ikke kan sjekkes maskinelt. Eksempelvis kan en ekspert vurdere om tekstlige alternativer til bilder og multimediainnhold er dekkende og nyttige. En ekspert kan også vurdere om strukturelle elementer henger sammen med det faktiske innholdet (via overskrifter, lister, sitater, datatabeller). For å sikre at nettstedet kan benyttes kun med tastatur eller med mus og annen støtteteknologi, kan et menneske utforske nettstedets muligheter for interaktivitet. Vanskelige tilfeller kan bedømmes utfra ekspertenes skjønn. Hva er fordelene ved automatisert evaluering av tilgjengelighet? På grunn av høyt detaljeringsnivå, tar en manuell evaluering av tilgjengelighet mer tid og krever mer arbeid enn en automatisert vurdering. Kun et begrenset antall sider kan evalueres av en person. På den annen side kan automatiserte tester håndtere et mye større antall nettsteder og et større antall nettsider for hvert nettsted. Prosessen kan gjennomføres med minimal menneskelig overvåkning. Lav kostnad gir mulighet for oftere oppdaterte vurderinger av nettstedene. Enkeltsider kan sjekkes med umiddelbar tilbakemelding. Du kan selv prøve ut egovmon's tilgjengelighetssjekker på http://accessibility.egovmon.no/. 6
3.2 Resultater og rangering Vi har i underkapittel 2.3 vist at indikatorene som benyttes av norge.no og egovmon er forskjellige. Det er også forskjeller på hvordan enkeltresultater slår ut i den endelige poengsum. Hvordan kan resultatene fra norge.no og egovmon sammenlignes? I sammenligningen er det kun relevant å diskutere tilgjengelighetskriterier til norge.no, siden brukbarhet og innhold ikke vurderes av egovmon. I norge.no, betyr en høyere prosent (poengsum) at tilgjengeligheten er bedre, mens i egovmon er det motsatte tilfelle: en høy poengsum korresponderer med et høyt antall potensielle barrierer, og således dårlig tilgjengelighet. Hvorfor skiller resultatene seg fra hverandre? De to rangeringene er veldig forskjellige med hensyn til antall sider de baseres på. Der hvor norge.no kun sjekker et lavt antall sider på hvert nettsted, sjekker egovmon-verktøyet inntill 600 sider, og vil derfor være i bedre stand til å avdekke problemer relatert til tilgjengelighet. Begge metoder bruker en delmengde av mulige indikatorer for å måle tilgjengelighet. Det er noe overlapp, men de to vektlegger stort sett forskjellige tester. Mitt nettsted greier seg bra i norge.no's vurdering, mens egovmon gir en gjennomsnittelig vurdering, Hvorfor? Dette er situasjonsavhengig. Det finnes ingen generell forklaring. Mulige grunner for forskjeller kan være: egovmon har evaluert flere / forskjellige sider fra nettstedet. Nettstedet har blitt optimert for å få en god vurdering av norge.no. egovmon teller enhver mislykket test. Hvis en indikator angir tilstedeværelse av en barriere, og denne indikatoren er gjentatt flere ganger, vil resultatet bli veldig negativt. egovmon støtte på problemer under evalueringen av nettstedet. 3.3 Forbedring av ditt eget nettsted Norge.no og egovmon har en felles målsetning om å bidra til forbedring av norske offentlige nettsteder. Hvordan kan jeg forbedre min egovmon poengsum? Gjør nettstedet mer tilgjengelig (se neste spørsmål). 7
Hva kan jeg gjøre for å forbedre tilgjengeligheten på mitt nettsted? Ta utgangspunkt i den detaljerte rapporten og forsøk å løse et problem av gangen. Noen problemer kan kreve endringer i arbeidsflyten for innholdsproduksjon (f.eks. lære redaktører å produsere tilgjengelig innhold). Andre problemer må muligens løses av utviklere av portalløsningen (f.eks. endre fra tabeller til fleksibel layout basert på CSS). Den detaljerte rapporten fra egovmon inneholder informasjon om tekniske problemstillinger. De foreløpige rapporter fra norge.no, som sendes ut for kvalitetssikring, inkluderer detaljerte kommentarer om hver indikator. Du kan også få mer tilbakemelding fra en konsulent som arbeider med tilgjengelighet. Og sist, men ikke minst, lytt til brukerne av nettstedet, og gi mulighet for de til å rapportere om problemer de møter. Videre informasjon kan finnes i et brosjyresett publisert av Delta-senteret. Disse brosjyrer dekker oversikt og innholdproduksjon, design og koding, samt anskaffelse og kvalitetskriterier [4]. Vil en forbedret rangering fra egovmon også øke poengsummen fra norge.no? En forbedret rangering fra egovmon kan resultere i en bedre poengsum fra norge.no, men det er ikke nødvendigvis noen direkte sammenheng. Dette gjelder f.eks. forbedringer gjort på sider som ligger på lavere nivåer og derfor ikke sjekkes av norge.no. Uansett, tilgjengeligheten av ditt eget nettsted vil nyte godt av forbedringene. 4 Konklusjoner Tilgjengelighet er en viktig aspekt ved vurdering av nettsteders kvalitet. Spesielt gjelder dette nettsteder som gir tilgang til offentlig informasjon og -tjenester. Målet må være å gi alle innbyggere mulighet til å bruke nettstedet fra sitt eget ståsted og egne preferanser. Universiell utforming (f.eks. validert html-kode, meningsfyllt struktur, konsistent navigasjon, klart språk) er av fordel for alle brukere. Det bør bemerkes at hverken seks stjerner (100% på tilgjengelighetskriteriene) fra norge.no eller grønt resultat (0% barrierer) i egovmon er full garanti for tilgjengelighet. Begge evalueringer dekker kun en liten del av de tester som trengs for å bekrefte tilgjengelighet for et nettsted. Av denne grunn er det nødvendig med ytterligere testing og klare kravspesifikasjoner under design og implementeringsfasene. Når et nettsted har blitt satt i drift, er det absolutt nødvendig å holde et øye med tilgjengelighet mens nettstedet vedlikeholdes og utvides. For eksempel, ved å instruere en redaktører som legger inn nytt innhold om å passe på at bilder og figurer har en alternativ tekstfremstilling, at lenker har beskrivende titler o.s.v. Ideelt sett bør slike ting integreres systemet som håndterer innhold og innholdsproduksjon (portaler, systemer for innholdsadministrasjon). I tillegg kan et panel av brukere identifisere barrierer som igjen kan bidra til bedre tilgjengelighet. 8
egovmon og norge.no deler de samme målsetninger. Vi ønsker å løfte frem universell utforming, fordi dette er av fordel for alle internettbrukere, og vi ønsker å øke oppmerksomheten rundt betydningen av tilgjengelige nettsteder. De sekundære målsetninger varierer noe. Norge.no konsentrerer seg om et lite utvalg indikatorer og gir ekstra poeng for bruk av praktiske løsninger (som mulighet til å velge fontstørrelse, unngå bruk av rammer på nettstedet, bruk av direkte lenker til sentrale elementer) egovmon gjør først og fremst en teknisk vurdering hvorvidt nettstedet følger WCAG 1.0. egovmon prøver å identifisere så mange barrierer som mulig. Slik kan resultatet fra egovmon støtte både innholdsprodusenter og utviklere som arbeider med å forbedre nettstedet. Ved å trekke inn resultatene fra begge tilnærminger kan nettstedeiere identifisere områder som har størst forbedringspotensiale. Det ligger an til nærmere samarbeid mellom norge.no og egovmon i fremtiden.den nye utgaven av retningslinjene for tilgjengelighet av innhold på nettsteder (WCAG 2.0) er nesten sluttført. Retningslinjene forventes å bli en W3C anbefaling (en standard) i desember 2008. Generelt sett vil nettsteder som er tilgjengelige i forhold til WCAG 1.0 også være tilgjengelige i forhold til WCAG 2.0. De nye retningslinjene er uavhengige av teknologi. Det vil bli flere muligheter til design og implementering av tilgjengelige nettsteder. Nye indikatorer vil være nødvendige for å vurdere nye teknikker og identifisere gode eksempler på bruk. Norge.no og egovmon planlegger å håndtere disse utfordringene sammen; muligens ved å integrere automatisert evaluering som del av datainnsamlingen til norge.no. 5 Bakgrunnsmateriale og referanser 1: Norge.no, Kriteriesett 2008, 2008, http://www.norge.no/kvalitet/kvalitet2008/kriteriesett.asp 2: W3C, Web Content Accessibility Guidelines 1.0, 1999, http://www.w3.org/tr/wcag10/ 3: Web Accessibility Benchmarking Cluster, D-WAB4 Unified Web Evaluation Methodology (UWEM 1.2), 2007 4: Deltasenteret, Tilgjengelige nettsteder, 2006, http://www.shdir.no/deltasenteret/universell_utforming/ikt/internett/ 9
6 Vedlegg Tabell 3 og Tabell 4 sammenligner kriteriene og hvordan testene utført av norge.no og egovmon henger sammen. norge.no egovmon comment 1.1 Har nettstedet alternativ bildetekst (alt-tekst)? 1.2 Er innholdet tilgjengelig når farger ikke vises? 1.3 Er dokumenter publisert i formatene PDF eller ODF? 1.4 Er datatabeller korrekt kodet på nettstedet? 1.5 Er rammer laget på en måte som reduserer ulempene? 1.6 Er meny og søk tilgjengelig uten ekstra utvidelser i nettleseren? 1.7 Er det tilstrekkelig kontrast på nettstedet? 1.8 Har nettstedet lenker direkte til sentrale elementer? 1.9 Har nettstedet brukt CSS for å skille form og innhold? 1.10 Er språk korrekt kodet på nettstedet? 1.11 Er HTML korrekt kodet på nettstedet? 1.12 Kan man endre skriftstørrelsen på nettstedet? Delvis dekket av 1.1_HTML_01. Ikke dekket. Dekkes av statistikk over ulike dokumentformater. Ikke dekket. Delvis dekket av 12.1_HTML_01. Ikke dekket. Om alternativ tekst er dekkende kan ikke detekteres automatisk. Denne testen ligger utenfor WCAG 1.0. Den er heller ikke i tråd med WCAG 2.0 (G183). Ikke relatert til WCAG 1.0, tilgjengelighet av andre dokumentformater sjekkes ikke Automatiske tester kan ikke skille mellom tabeller som benyttes for layout og tabeller som benyttes til data. Om tittel er dekkende kan ikke vurderes automatisk. Javascript and Flash dekkes ikke av egovmon. Ikke dekket. CP 2.2 har prioritet 3 in WCAG 1.0. Ikke dekket. Delvis dekket av 3.2_CSS_01. CP 13.6 har prioritet 3 in WCAG 1.0. egovmon sjekker om CSS har blitt brukt, men kan ikke identifisere datatabeller. Ikke dekket. CP 4.3 har prioritet 3 in WCAG 1.0. 3.2_HTML_02 Ikke dekket. Forskjell: egovmon teller hver feil, norge.no tolererer opptil fem valideringsfeil. egovmon kan ikke automatisk sjekke om nettstedet støtter økning av skriftstørrelse. Tabell 3: Hvordan norge.no indikatorer relateres til egovmon tester for tilgjengelighet? 10
egovmon norge.no 1.1_HTML_01 Inneholder nettstedet alternativ tekst for bilder? 1.1 1.1_HTML_06 Unngår nettstedet bruk av det ikke-standardiserte elementet embed. 3.2_HTML_01 Har nettstedets sider korrekt dokumenttypedeklarasjon? 3.2_HTML_02 Er nettstedets HTML-kode korrekt? 1.11 3.5_HTML_03 Har nettstedets sider en fornuftig struktur på overskrifter? 3.6_HTML_03 Er lister korrekt satt opp? (marked up / flere alt) 6.4_HTML_01 Kan nettstedet brukes uten bruk av mus? 7.2_HTML_01 7.3_HTML_01 Unngår nettstedet bruk av blinkende tekst (blinkende elementer)? Unngår nettstedet bruk av tekst som beveger seg (marquee elementer)? 7.4_HTML_01 Unngår nettstedet automatiske sideoppdateringer? 7.5_HTML_01 Unngår nettstedet omdirigering til andre nettsteder? 9.1_HTML_01 11.1_HTML_01 Unngår nettstedet bruk av tjener-side bilkdekart (image maps)? Bruker nettstedet siste versjon av W3C-teknologi(er) (X)HTML? 11.2_HTML_01 Bruker nettstedet ikke utdaterte HTML elementer? 1.11 11.2_HTML_02 Bruker nettstedet ikke utdaterte HTML attributer? 1.11 12.1_HTML_01 Er rammer utstyrt med titler? 1.5 12.3_HTML_01 Har grupper av felt tilhørende beskrivende tekst? 12.3_HTML_04 Er optgroups utstyrt med ledetekster? 12.4_HTML_01 Er skjemaelementer utstyrt med id? 12.4_HTML_02 Er skjemaelementer utstyrt med ledetekster? 13.1_HTML_01 Er lenketekster unike og beskrivende? 3.2_CSS_01 Er nettstedets CSS kode korrekt? 7.2_CSS_02 Unngår nettstedet bruk av blinkende tekst (ved bruk av CSS)? Tabell 4: Hvordan egovmon tester for tilgjengelighet relateres til norge.no indikatorer? 11