Kristin Skeide Fuglerud Stein Erik Skotkjerra Till Halbach Testing av tilgjengelighet på web metoder, hjelpemidler og verktøy Testdagen ODIN 2015-09-23 1/46
2/46
Metoder (v. Kristin Skeide Fuglerud) 3/46
Universell utforming (uu) Forskrift for uu av IKT: Med universell utforming menes at utforming eller tilrettelegging av hovedløsningen i IKT er slik at virksomhetens alminnelige funksjon kan benyttes av flest mulig. FN s definisjon (2006): "'Universal design' means the design of products, environments, programmes and services to be usable by all people, to the greatest extent possible, without the need for adaptation or specialized design. 'Universal design' shall not exclude assistive devices for particular groups of persons with disabilities where this is needed. 4/46
Forskriften krever WCAG som igjen krever kompatibilitet med hjelpemidler 5/46
Eksempler på kompenserende teknologi Sansetap: Skjermlesere og skjermforstørrere; bedre kontraster; haptiske (følbare) varsler; visuelle markeringer av lyder Bevegelseshemming: Spesialmus, pedaler og brytere; Øyestyring/ skjermtastatur; Munnstyring Kognisjon: Retteprogram; Forenkling av informasjon, Illustrasjoner; Audio, syntetisk tale, lyder; Omgivelseskontroll; Påminning, Foto: istock 2015 6/46 steg-for-steg instruksjoner
Hovedmål IKT-løsninger som kan brukes av flest mulig, inkludert personer med nedsatt funksjonsevne Oppnås gjennom A) Teknisk tilgjengelighet (en forutsetning) istock 2014 B) God brukskvalitet 7/46
Testmetoder for teknisk tilgjengelighet Testing av teknisk tilgjengelighet WCAG Med IKT-hjelpemidler Andre tekniske tester (ARIA, CSS osv.) 8/46
Testmetoder for brukskvalitet Eksperttesting Heuristics/guidelines, personas, walkthrough osv. Brukertesting Inkluderer personer med nedsatt funksjonsevne Atferdsstatistikk Spørreskjema, logger osv. 9/46
Andel avdekkede bruksproblemer Omfattende brukertesting: 100% (utgangspunkt) Ekspertsjekk av WCAG 2: Mellom 33% og 50% sammenliknet med brukertesting [1,2,3] Verktøysjekk av WCAG 2: Mellom 23% og 50% sammenliknet med ekspertsjekk [4] Achecker, SortSite, TotalValidator, TAW, Deque, AMP 10/46
Andel bruksproblemer, forts. 100% Alle tilgjengelighetsfeil Best case Worst case 80% 60% 100% 40% 50% 20% 25% 33% 0% 8% Brukertesting Ekspertsjekk 11/46 Verktøysjekk
Oppsummert: Kombinér testmetoder 1. Teknisk tilgjengelighet 2. Eksperttesting 3. Brukertesting med personer med nedsatt funksjonsevne: Utnytt «kanarifugleffekten» 12/46
Oppsummering, forts. Flere runder med mindre tester Luk bort flest mulig tilgjengelighetsproblemer før brukertesting 13/46
NS 11040 Universell utforming brukermedvirkning og IKT Tips om hvordan involvere personer med nedsatt funksjonsevne 14/46
Hjelpemidler (v. Stein Erik Skotkjerra) 15/46
Samspill og grensesnitt Hjelpemidler Bruker Nettleser Webløsning 16/46
Forskriftens krav til nettløsninger: WCAG 2.0-retningslinjene WCAG er bygd opp av fire prinsipper 1. Mulig å oppfatte 2. Mulig å betjene 3. Forståelig 4. Robust Prinsippene understøttes av 12 retningslinjer 17/46
Kompatibilitet en utfordring Skjermlesere Cobra Jaws Window Eyes Supernova NVDA Zoomtext Voiceover (ios) Talkback (Android)... Nettlesere Internet Explorer Chrome Firefox Safari... 18/46
Kompatibilitet, forts. Skjermlesere Cobra Jaws Window Eyes Supernova NVDA Zoomtext Voiceover (ios) Talkback (Android)... Ugh! Så mye testing er umulig! Trenger å vite hvilke versjoner og kombinasjoner som er mest brukt! Nettlesere Internet Explorer Chrome Firefox Safari... Et utall versjoner og kombinasjoner! 19/46
Undersøkelse om skjermlesere og -forstørrere 20/46
Statistikk om skjermlesere og -forstørrere 21/46
Noen glimt fra undersøkelsen 63 Respondenter Internet Explorer: 75% Firefox: 40% Safari: 37% Chrome: 32% Mer enn 79% bruker to eller flere nettlesere 22/46
Hvilke hjelpemidler skal vi teste? Avhenger av målgruppen Brukere av hjelpemiddelprogramvare har ofte eldre program- og maskinvare enn andre Mange har flere ulike skjermlesere til ulike behov Test et bredt utvalg dersom alle skal med Test et mindre utvalg for å sikre kompatibilitet kun med nyere versjoner 23/46
Eksempler JAWS - Internet Explorer Supernova - Internet Explorer NVDA - Firefox VoiceOver - Safari Window Eyes - Firefox 24/46
Andre grunner til å teste Kompatibilitet med hjelpemidler gir... 1. sikkerhet for at løsningen kan brukes av flest mulig 2. kvalitetssikring av kode 3. fordeler for brukere uten hjelpemidler også 4. løsninger som er teknologiuavhengige 5. løsninger som er mobilvennlige 25/46
Verktøy (v. Till Halbach) 26/46
Oversikt Mål Oppfylle uu-forskriften / WCAG 2 Rimelig, overkommelig Hvilke verktøy kan vi bruke til hva, og hvordan? 27/46
På nettet http://iktforalle.no/ accessibility-checker-evaluation/ 28/46
Fremgangsmåte 12 Sjekkere 20 000+ tekniske tester 15 nettsider 3 eksperttestere (høst 2014) 29/46
Fremgangsmåte, forts. Funksjonalitet / fullstendighet Riktighet Brukskvalitet 30/46
And the Oscar goes to... Ingen 31/46
Amandaen går til... SortSite (v. Powermapper) 32/46
Funn 33/46
Funn, forts. Ikke fullstendig Mangler Ufullstendig støtte Store forskjeller Hastighet, flerdokumentstesting, rapportering, enkelt å bruke,... 34/46
Funn, forts. For lite automasjon: mange potensielle feil Lav nøyaktighet Ikke alle påståtte feil er virkelig feil Langt fra «alle» feil blir funnet Dokumentasjon med potensial for forbedring Hva testes og hvordan 35/46
Eksempel menneske vs. maskin 1 Nettsted, 64 tester Av alle feil på dette nettstedet fant.. Menneske: 92% TVP: 14% Wave: 17% FAE: 19% 36/46 Noble0, CC-BY-SA-3.0
Eksempel, forts. 37/46
Anbefalinger Bruk flere sjekkere Kryssverifisér resultatene Involvér tilgjengelighetseksperter Kjør brukertesting for fasiten 38/46
Andre tilgjengelighetssjekkere W3C-liste http://www.w3.org/wai/er/tools/ Usabilitygeek http://usabilitygeek.com/10-free-web-based-website-accessibility-evaluation-tools/... 39/46
Oppsummering 40/46
41/46
Stor takk! Wojtek Lyszkiewicz, Unicus Ingvar Tjøstheim, Norsk Regnesentral EU Commission og FutureID-prosjektet Deltasenterets UnIKT-program NAV 42/46
Samarbeid Innovasjonsprosjekter Forsknings- og utviklingsprosjekter Rådgivning ++ 43/46
Kontakt Kristin Skeide Fuglerud, Till Halbach Norsk Regnesentral kristin.fuglerud@nr.no, till.halbach@nr.no Nyhetsbrevet: http://weba.im/nyttomuu Stein Erik Skotkjerra Vision2Access ses@v2a.dk 44/46
Referanser 1. Rømen, D. & Svanæs, D. (2010). Validating WCAG 1.0 and WCAG 2.0 through Usability Testing with Disabled Users. Unitech 2010, Oslo (Norway), pp. 168-189: Tapir Academic Publishers 2. Power, C., Freire, A. P., Petrie, H. & Swallow, D. (2012). Guidelines are only half of the story: accessibility problems encountered by blind users on the web. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Austin, Texas, USA, pp. 433-442. 2207736: ACM 3. Vigo, M., Brown, J. & Conway, V. (2013). Benchmarking web accessibility evaluation tools: measuring the harm of sole reliance on automated tests. Proceedings of the 10th International CrossDisciplinary Conference on Web Accessibility, Rio de Janeiro, Brazil, pp. 1-10. 2461124: ACM 4. Brajnik, G., Yesilada, Y. & Harper, S. (2012). Is accessibility conformance an elusive property? A study of validity and reliability of WCAG 2.0. ACM Trans. Access. Comput., 4 (2): 1-28 45/46
Onlineressurser om tilgjengelighetstesting, brukskvalitet og uu W3C: Accessibility Testing. http://www.w3.org/wiki/accessibility_testing University of Cambridge: Inclusive Design Toolkit. http://www.inclusivedesigntoolkit.com/ Magnusson, C., Rassmus-Gröhn, K., Tollmar, K. & Deaner, E. (2009): HaptiMap: Haptic, Audio and Visual Interfaces for Maps and LocationBased Services. http://www.english.certec.lth.se/haptics/papers/haptimap_d12.pdf Maguire, M. C. (1998): Respect user-centred requirements handbook. HUSAT Research Institute. http://www.scs.ryerson.ca/~cps613/references/usabilityengineering /User-Centred%20Requirements%20Handbook/contents.htm Usabilitynet.org: http://www.usabilitynet.org/tools/methods.htm 46/46