Brukerevaluering: Innbyggerundersøkelsen

Brukerevaluering: Innbyggerundersøkelsen Rapport Versjon 1.0 13.01.14 1/60

2/60 www.inmeta.no

Versjon Endret dato Endret av Beskrivelse 0.1 21.11-13 Runar Normark Opprettet dokumentet 0.2 6.12-13 Runar Normark Skrev metodedel 0.3 13.12-13 Runar Normark Flere vedlegg 0.9 03.01-14 Runar Normark Ferdigstilling 1.0 13-01-14 Runar Normark Ferdig 3/60

Innhold Sammendrag... 7 1 Introduksjon og mål... 8 1.1 Hensikt, formål... 9 1.2 Problemstillinger... 9 1.3 Om rapporten... 9 2 Metode... 11 2.1 Testdeltakere... 11 2.2 Testoppsett... 11 2.3 Testdesign... 12 2.4 Ekspertevaluering... 13 3 Testresultater... 14 3.1 Navigasjon... 14 3.2 Struktur... 23 3.3 Innhold... 24 3.4 Mobile enheter... 27 3.5 Kjennskap... 29 3.6 Tilgjengelighet... 30 4 Anbefalinger... 32 4.1 Navigasjon... 32 4.2 Struktur... 33 4.3 Innhold... 33 4.4 Mobile enheter... 34 4.5 Kjennskap... 34 4.6 Tilgjengelighet... 34 Vedlegg... 36 Vedlegg A: Nettstedet på testdagen... 36 Vedlegg B: Testdeltagere... 39 4/60

Vedlegg C: Introduksjon til testdeltagere... 41 Vedlegg D: Pre-spørreundersøkelse... 42 Vedlegg E: Testoppgaver... 43 Vedlegg F: Post-spørreundersøkelse... 46 Vedlegg G: Testdata... 47 Vedlegg H: Anbefalinger til videre utvikling... 54 5/60

www.inmeta.no 6/60

Sammendrag Brukerevalueringen ga en del svar på hvordan navigasjonen funger og om brukere forstår det som formidles på nettstedet. Brukere klarer å utføre tre av fire oppgaver på nettstedet. Nærmere bestemt klarte testdeltakerne å løse 73% av oppgavene, enten uten vansker eller med noe vansker. Uerfarne klarte halvparten av oppgaven. Eksperter klarte 8 av 10 oppgaver. Det var utfordringer knyttet til å finne frem til nettstedet, med hovedmenyen på difi.no, og lokalmenyen på innbyggerundersøkelsen. Her anbefaler vi å jobbe med søket, kollapse hovedmenyen på difi.no, forbedre lokalmeny, evt. vurdere å trekke ut Innbyggerundersøkelsen som eget nettsted. Andre navigasjonselementer som navigasjon i grafer fungerte, men også her kan det gjøres grep. Den største utfordringen var likevel å gi brukerne oversikt over muligheter og innhold i Innbyggerundersøkelsen. Inndelingen mellom innbygger-del og bruker-del er en utfordring. Vi ser at det for mange tar tid å fatte denne inndelingen. En anbefaling er å vurdere temainndeling i stedet. Det virker mer nærliggende å velge tjeneste først snarere enn datagrunnlag (innbygger eller bruker). Når det er sagt oppleves innholdet som svært nyttig. Det å kommunisere statistikk kan være en komplisert affære. Innbyggerundersøkelsen lykkes langt med å få til dette. De interaktive grafene fungerer og testdeltakerne verdsetter disse. Innholdet i innbyggerdelen bør også presenteres i interaktive grafer. Og kutt ned tekster. Det viktigste først. 7/60

1 Introduksjon og mål Nettsidene difi.no/innbyggerundersokelsen viser hvor fornøyde innbyggere og brukere er med sin kommune og med de store tjenestene/virksomhetene i forvaltningen. Undersøkelsen skal gi politikere, regjering, departementer og etater, fylkeskommuner og kommuner oversikt og kunnskap de kan bruke både i planlegging og prioritering av kvalitets- og utviklingsarbeid i virksomhetene. Undersøkelsen er gjennomført to ganger. En ny undersøkelsen skal gjennomføres og presenteres våren 2015. Difi ønsker å videreutvikle nettstedet og brukerevalueringen er et ledd i dette arbeidet. Figur 1: www.difi.no/innbyggerundersokelsen ved tidspunkt for brukerundersøkelsen 8/60

1.1 Hensikt, formål Formålet med brukerevalueringen er å indentifisere hvor brukere opplever utfordringer og hvor det er størst potensiale for forbedring. Dette gjelder både på pc/mac og på mobile løsninger. Resultatene skal gi viktige innspill til videreutviklingen av nettstedet. 1.2 Problemstillinger Mer konkret skal brukerevalueringen gi svar på om navigasjonen fungerer og om brukerne forstår det som formidles på nettsidene. Følgende problemstillinger ble belyst: Navigasjon Finner brukerne frem? Fungerer de ulike navigasjonselementene? Struktur Er nettstedet strukturert på en intuitiv måte? Forstår brukerne forskjellen mellom brukere og innbyggere? Innhold Forstår brukerne det som formidles på nettsidene? Forstår brukerne figurer og lignende? Mobile enheter Fungerer nettstedet på mobil og nettbrett? Er det spesielle utfordringer knyttet til mobil og nettbrett? Kjennskap Kjenner brukerne til Innbyggerundersøkelsen? Tilgjengelighet: Fungerer nettstedet også for brukere med for brukere med nedsatt funksjonsevne? 1.3 Om rapporten Rapporten består av denne introduksjonen, en metode-del, testresultater og anbefalinger. I testresultatene redegjør vi for funn og observasjoner i brukertesten, samt 9/60

våre ekspertvurderinger og anbefalinger knyttet til det aktuelle resultatet. Vi skiller våre vurderinger og anbefalinger fra konkrete funn ved å ramme dem inn slik: Ekspertevaluering: Vurdering 1. Vurdering 2. Anbefaling: à Anbefaling 1. à Anbefaling 2. Rapportens siste del oppsummerer anbefalingene. 10/60

2 Metode Inmeta brukertestet nettstedet og gjennomførte en enkel ekspertevaluering. Vedlegg A viser slik nettstedet slik det fremstod på PC, nettbrett og smarttelefon. 2.1 Testdeltakere I alt deltok 12 testdeltagere i brukertesten. Et generelt krav var at testdeltakerne skulle ha en viss interesse for eller erfaring med kvalitet av offentlige tjenester. Vi testet 4 brukergrupper: Ansatte i offentlig forvaltning, forskere, studenter, og journalister. I tillegg deltok to personer som var svaksynte. Deltakerne ble rekruttert av Norstat. Som kompensasjon mottok deltakerne et gavekort på 500 kr hver. Vedlegg B beskriver brukergruppene og deltagerprofilene. 2.2 Testoppsett Brukertesten ble gjennomført 10. og 12. desember 2013 i Inmeta interaktivs testlokaler. Testdeltakerne benyttet en bærbar pc med Windows 8 og nettleseren Chrome versjon 31. For å teste nettsidene på nettbrett og mobil, ble henholdsvis ipad 3 og iphone 5 11/60

benyttet. I begge tilfeller testet de med nettleseren Safari. Den ene svaksynte benyttet seg av zoomfunksjonen (Magnify) i Windows. Den andre deltageren benyttet sin egen PC og nettleser med forstørrelse. Alle testene ble tatt opp med lyd, skjermbilde, samt video av mobil/nettbrett. Dette ble samlet og senere analysert ved hjelp av testapplikasjonen Morae (http:// www.techsmith.com/morae.asp). Testleder var tilstede sammen med testpersonen under testingen. Observatør og representanter fra Difi fulgte brukertestingen i et annet rom med tilgang til lyd, skjermbilde og video av testdeltakere (figur 2). Figur 2: Fysisk testoppsett. 2.3 Testdesign Brukertestingen ble gjennomført med en og en deltaker av gangen. Det var satt av 45-50 minutter per testdeltaker og fulgte følgende mønster: 12/60

Velkommen, møte observatørene Introduksjon (vedlegg C) Innledende spørsmål (vedlegg D) Testoppgaver (vedlegg E) Avsluttende spørsmål (vedlegg F) Oppsummering, gavekort, og takk for deltagelsen sammen med observatørene Under testen skåret observatør testdeltakernes løsning av oppgavene. Både observatør og representanter fra Difi noterte observasjoner underveis (se vedlegg G: Testdata). 2.4 Ekspertevaluering En brukertest og en ekspertevaluering vil ofte vise samme resultater. I stedet for å gjenta de samme resultatene, lister vi i hovedsak ut vurderinger som ikke ble avdekket i under brukertesten. 13/60

3 Testresultater I det følgende går vi gjennom løsningen av oppgavene, testdeltakernes egenevaluering, samt observasjoner vi gjorde underveis (se vedlegg G). Vi spurte også testdeltakerne hvordan de syntes det var å løse oppgavene på nettstedet. Deres egenevaluering tilsa at det var gjennomsnittlig litt lett å utføre oppgavene i testen på nettstedet. Snittet var 3,67 på en skala fra 1 til 5 der 1 er svært vanskelig og 5 er svært lett. Ser vi på selve løsningen av oppgavene så klarte testdeltakerne å utføre tre av fire oppgaver. Nærmere bestemt klarte de 73% av oppgavene (enten uten vansker, eller med noe vansker). Vi ser også at de som vurderer seg som mindre erfarne på web kun klarer 51% av oppgavene (Tabell 1). Tabell 1. Løsning av opppgaver og erfaring på web. Erfaring med web Antall (N) * Suksessrate Nybegynnere, gjennomsnittlige 3 51% Erfarne, eksperter 9 81% Alle 12 73% * Andel oppgaver løst med noe problemer eller uten problemer. Disse resultatene indikerer at erfaring med web spiller inn på hvordan de løser oppgavene. Figur G.1 i Vedlegg G viser resultatene per oppgave for alle testpersonene. 3.1 Navigasjon Nettstedet har en hovednavigasjon. I tillegg har Innbyggerundersøkelsen sin egen navigasjon (heretter kalt lokalnavigasjon). I deler av nettstedet, dvs. Brukerdelen, kan brukeren drille seg opp og ned i datamaterialet ved å trykke på grafer. Videre har nettstedet også en relatert meny som ligger til høyre på mange av sidene. Brukeren kan også støtte seg på en brødsmulesti. 14/60

I testdeltakernes egenevaluering så kommer det frem at at nettstedet var gjennomsnittlig litt lett med å navigere i. Gjennomsnittet på 3,5 på en skala fra 1-5. Søk Vi testet om brukerne fant frem til innbyggerundersøkelsen fra forsiden til difi.no (oppgave 3). Dette viste seg å være vanskelig. Alle benyttet søk på siden for å finne frem til Innbyggerundersøkelsen. Topptreffet her var en nyhetsartikkel om Innbyggerundersøkelsen. 7 av 12 trodde dette var forsiden til Innbyggerundersøkelsen. Figur 3: Søk på innbyggerundersøkelsen på difi.no viser aktuell undersøkelse på 3. plass. 15/60

Figur 4: 7 av 12 klikket seg inn på toppsøket; en artikkel om Innbyggerundersøkelsen, og trodde de var på Innbyggerundersøkelsen. Flere sa at de ville søkt på Google. Det er ikke så dumt da Innbyggerundersøkelsen, og ikke artikkelen, er topptreff. En av deltagerne forsøkte også å søke etter barnehager. Resultatene fra 2010 kom opp da, men ikke for 2013. Ekspertevaluering: Søkeresultater er ikke optimalt prioritert (feil rekkefølge). Søk viser treff i Innbyggerundersøkelsen 2010, men ikke Innbyggerundersøkelsen 2013. Søk mangler filtreringsmuligheter (innhold, dokumenter, nettsted). Anbefaling: à Gjør om artikkelsiden så den ligner mindre på innbyggerundersøkelsen. à Prioriter søkeresultat. Innbyggerundersøkelsen bør komme som topptreff. à Gjør undersider søkbare og vises som treff i søkeresultater. à Grupper søkeresultat ut fra type (dokument, nettsted/del av nettsted som Innbyggerundersøkelsen). 16/60

Hovedmenyen Et problem med hovedmenyen er at den tar mye plass. Det blir mye skrolling, spesielt på mobil, nettbrett og for svaksynte som benytter forstørring i nettleseren. Figur 5: Hovedmenyen slik den ser ut når bruker kommer til Innbyggerundersøkelsen. 17/60

F. eks. så trykket en av deltakerne på mobil gjentatte ganger på Innbyggerundersøkelsen i hovedmenyen slik at han gikk i loop. Nå føler jeg meg hjelpesløs.jeg mister oversikt testdeltager på mobil Topmenyen er så stor så man må skrolle over mange ganger svaksynt testdeltager Jeg savner fra starten av en klar forståelse av hvordan dette er bygget opp. Se også virker også tilfeldig, ikke kategorisert. Poenget er jo at nå sitter vi å leter når søket har failet og da må vi navigere oss frem. Sint epost neste. testdeltager på nettbrett Ekspertevaluering: Hovedmenyen tar mye plass og fokus bort fra innholdet. Det er vanskelig å finne frem til Innbyggerundersøkelsen i hovedmenyen på difi.no. Anbefaling: à Gjør hovedmenyen mindre, f. eks. kollaps à Vurder seksjonsnavnene i hovedmeny (difi.no) Lokalmeny Videre testet vi lokalmenyen (figur 6 og 7). Figur 6: Lokalmeny på forsiden til Innbyggerundersøkelsen. 18/60

Figur 7: Lokalmeny på undersider. Her er brukerdelen valgt. Testdeltakerne fikk oppgaver der de måtte bruke lokalmenyen for å navigere mellom ulike deler av innbyggerundersøkelsen: Navigere til brukerdelen (oppgave 4, 11) Navigere til innbyggerdelen (oppgave 9, 15) Navigere til spørreskjema (oppgave 8) Navigere til rådata (oppgave 14) De fleste testdeltakerne klarte å benyttet lokalmenyen. Derimot fungerte venstresiden i menyen dårligere. Kun 5 av 12 klarte dette i oppgave 9. Dette kan ha noe med flere forhold å gjøre. For det første kan rekkefølge spille inn: Rekkefølgeeffekt: fasit på tidligere oppgaver ligger under hva mener brukerne Ordskyen under Hva mener brukerne trekker mer oppmerksomhet. Flere trykket også på f. eks. Barnehage enda dette ikke var en link Innholdet/løsning på oppgavene som gjelder innbyggerdel ligger mer skjult på siden sammenlignet med brukerdelen. Jeg fant stikkord på barnehage, så det var fort gjort å velge det. Så datt jeg litt ut, for jeg forventet å finne barnehage som overskrift testdeltager PC Ekspertevaluering: Vanskelig å vite hva som er link og ikke link. Forskjellen mellom delene kan bli enda tydeligere. Anbefaling: à Balanser menyen. Nå har høyreside for mye vekt à Gjør todelingen av nettstedet tydeligere (dersom denne skal opprettholdes) à Navn på tjenester bør linke direkte til tjenesten. 19/60

Navigasjon i grafer I brukerdelen har brukerne mulighet til å drille seg ned i datamaterialet ved å trykke på søylene i grafene. Oppgave 5 og 6 fanget opp dette. Samtlige trykket på tittelen på de respektive søylene. De fleste oppdaget etterhvert at det gikk å trykke på søylene for å drille seg inn. Tror jeg ville brukt tid på å forstå at søylene var klikkbare. Alt-tekst hadde hjulpet, eller link i teksten foran så man ser tydelig at det er separate lenker, ville vært en tydeliggjøring. Svaksynt testdeltaker Det er også noe forvirrende at grafer under innbyggerdel ikke er trykkbare, mens grafer i brukerdel er det. Ekspertevaluering: Vanskelig å treffe søyler Tydeliggjøre at en driller ned og opp i et datamateriale. Anbefaling: à Legg til link på søyletitler à Alternativ tekst på søyler som inviterer til trykking à Større flater som er trykkbare à Erstatt dagens tool-tip med invitasjon til å se hva som ligger bak tallene Ikoner i grafer Grafene har to ikoner, ett for å skrive ut og ett for å drille opp/gå tilbake i grafen. 7 av 12 trykket på utskrifts-ikonet. Når det er sagt så kommenterte mange ikonet; at det er bedre med en illustrasjon av en skriver eller et nedlastingsikon. Det tok jo ikke mange sekundene før jeg skjønte det, så det tenker jeg er ganske greit Veldig flott at man kan velge format og direkte til print. Skjønner at det skal illustrere options, men alle options går jo i retning av å printe eller bruke det, så kanskje en illustrasjon av en skriver eller no, så blir det ett hakk tydligere. Testdeltager Tilbakeknappen ble lite brukt. Funksjonen til tilbakeknappen er å drille opp i materialet. I stedet benyttet de tilbake-knappen i nettleseren, eller de fortsatte til det neste de skulle gjøre. 20/60

Ekspertevaluering: Tydeliggjøre at en driller ned og opp i et datamateriale. Ikoner ikke selvforklarende. Anbefaling: à Vurder å erstatte tilbake med ikon, tekst som indikerer bevegelse opp (drillup). à Vurder ikon for utskrift eller deling Relatert meny (Se også) Oppgave 16 tok for seg relatert meny, det vil si elementet med overskriften Se også (figur 8). Figur 8: Relatert meny. Se også fungerte. Alle benyttet denne for å løse oppgaven. Noe benyttet også denne for å finne frem til de enkelte tjenestene i tidligere oppgaver. Det kan bety to ting: For det første er brukerne vant til et slikt element og noe de leter i når de ikke finner innhold annet sted. For det andre kan det være lurt å trekke frem tjenestene ytterligere. Se også virker også tilfeldig, ikke kategorisert. testdeltaker 21/60

Ekspertevaluering: Vanskelig å skanne. Vurder om deler av dette skal inn i innholdselementet. Anbefaling: à Rydd opp à Legg viktig innhold i innholdselementet, f. eks. De enkelte tjenestene Brødsmule Usikker på hvor mange som bruker denne, støtter seg på denne. Dette er i og for seg vanlig. Vi observerte at en av deltakerne benyttet denne. Anbefaling: à Behold brødsmulesti da den støtter hvor brukeren er. Trekkspillmeny For å løse oppgave 13 trengte brukeren å ekspandere en trekkspillmeny (figur 9). Dette fungerte, og så å si alle klarte dette. Figur 9: Trekkspillmeny. 22/60

Anbefaling: à Trekkspillmeny fungerer som navigasjonselement. 3.2 Struktur Er nettstedets struktur intuitiv? Det er vanskelig å finne frem til Innbyggerundersøkelsen ved hjelp av hovedmenyen. Testdeltakerne formidlet at det ikke er logisk å lete under noen av toppnivåene, heller ikke Ledelse og organisering. Flere av brukerne uttrykte at de ikke hadde oversikt over nettstedet og en forståelse over hvordan nettstedet er bygget opp. Jeg er vant med begrepet bruker. Rent intuitivt ville jeg ikke skilt på innbygger og bruker. Det er selvsagt en vanesak hvis man først har funnet det en gang - Testdeltager Ekspertevaluering: Tar litt tid å få oversikt over nettstedets oppbygging Forvirrende at de to ulike delene har forskjellig struktur Anbefaling: à Gi en bedre oversikt over nettstedet, innhold og inndeling. à Bruk samme struktur på begge deler (dersom inndelingen opprettholdes) Forstår testdeltakerne forskjellen mellom brukere og innbyggere? Vi spurte brukerne til slutt (spørsmål 17) om forskjellen mellom bruker og innbygger. Dette klarte de fleste å svare på, enten det var fra eget hode eller de fikk dette bekreftet fra nettstedet. I testen hadde vi oppgaver som krevde at de byttet fra en del til en annen. Dette var det flere som hadde problemer med og denne inndelingen kunne virke forvirrende. Etter hvert lærte mange at det var en forskjell mellom delene. Generelt så ble brukerdelen bedre mottatt enn innbyggerdelen. En tilbakemelding fra testdeltakerne var at de savnet utlistingen av tjenestene under innbyggerdelen. Innbyggerdelen er statisk, mens brukerdelen tillater mer interaksjon med brukerne. 23/60

Grafene i brukerdel er pent fremstilt grafen i innbyggerdel er liten og vanskelig lesbar testdeltaker og om innbyggerdelen: Jeg synes at dette blir presentert i en slags artikkelform som kan være spennende å lese og kikke på, men hvis jeg skulle gå inn og spesifikt finne informasjon så ville jeg antagelig lett andre steder. testdeltaker Ekspertevaluering: Tar litt tid å få oversikt over nettstedets oppbygging Forvirrende at de to ulike delene har forskjellig struktur Anbefaling: à Vurder temainndeling i stedet for skillet mellom innbygger og bruker. à Alternativt må nettstedets oppbygging kommuniseres tydeligere. 3.3 Innhold I deltakernes egenvurdering av deres forståelse av innholdet, så vurderte de at det gjennomsnittlig litt lett å forstå innholdet på nettstedet. Snittet var på 3,75 på en skala fra 1-5. Vi ba også deltakerne vurdere nytten til nettstedet og om de ville anbefale nettstedet til andre. Her var resultatene positive. Så å si alle vurderte nettstedet som nyttig eller svært nyttig (10 av 12 stykker, gjennomsnitt på 4,17 på en skala fra 1-5). De sa også at det var sannsynlig at de ville anbefale nettstedet til andre (gjennomsnitt på 4 på en skala fra 1-5). Forståelse av grafer Oppgave 4, 5, 6, 11 (brukerdel). Innbyggerdel oppgave 9, 10. Mange testdeltagere leste intuitivt grafer og tall i prosent. Men de som hadde kjennskap med statistikk fra før av, så nærmere på tallene og forstod at det var snakk om gjennomsnitt/snittskår. Mange uttalte uansett prosent når de refererte til tallene, selv om de hadde forstått det som snittskår. På Innbyggerdelen er det oppgitt tall i prosent, indekserte tall og gjennomsnittskåre, så det kan være lett å blande sammen måleenhetene. 24/60

Det ble bemerket at det kun var ordet kritisk som står som aksetittel, og kan misforstås. Mange testdeltakere synes det var forvirrende at grafene på innbyggerdel og brukerdel ikke samsvarte. Jeg er skikkelig dårlig på statistikk og sånn, så jeg skjønner ikke hva det er jeg ser engang. ( ) Kanskje at det er 82% som er fornøyd med barnehagen sin, siden den er grønn. Testdeltaker Kritisk 0-100. Det er faktisk litt uvisst på om man er 100% kritisk. Men intuitivt tenker jeg at de er 82% fornøyd eller at de har en score på 82 av 100 i fornøydhet. Testdeltaker Det står jo ikke hvor langt det går da, grafen. Men det kan hende det forsvinner siden jeg forstørrer opp skjermen. Testdeltaker, svaksynt (Ref. Lese av grafen med forstørret skjerm) Her kunne man kanskje hatt noen smiley er eller no sånt for de som ikke kan statistikk. Testdeltaker Ekspertevaluering: For liten forskjell mellom klikkbare og ikke-klikkbare grafer. Skalaene ikke selv-forklarende Anbefaling: à Tydeligjør måleenhet. à Tydeliggjør skalaen, ordet kritisk under x-aksen kan mistolkes. Forståelse av sti-analyse/faktorer som påvirker tilfredshet Faktoranalyse og sti-analyse er i utgangspunktet en komplisert øvelse. En av oppgavene fanget opp dette, oppgave 12. For å løse denne måtte brukeren forstå at det ikke nødvendigvis er faktoren med lavest skåre som det lønner seg å gjøre noe med (figur 10). Under halvparten forstod dette. 25/60

Figur 10: Sti-analyse og faktorer som påvirker tilfredshet. Det logiske svaret er å forbedre det som svikter mest. Testdeltaker Jeg ville tro at dette er de som har svart på undersøkelsen og hva som har stor betydning for dem. Testdeltaker 26/60

I utgangspunktet er dette ganske bra resultat. Dersom noe skal gjøres ytterligere så kan en jobbe mer med tekstene. F. eks. kan en være enda mer eksplisitt og skrive ut Stor betydning for tilfredshet osv. i overskriftene og vurdere å bytte rekkefølge på tabell og tekst. Ekspertevaluering: Det tar litt tid å forstå betydningen av Stor betydning osv. Anbefaling: à Skriv ut overskrifter. à Tenk omvendt pyramide. Tabell først, tekst etterpå. Forståelse av endring Vi spurte testdeltakerne om hvilket område det har vært størst tilbakegang i folks oppfatning av offentlige tjenester og myndigheter (oppgave 15). 7 av 12 klarte dette. Dette var en slags lete oppgave, og mange husket å ha sett graf eller figur med sammenligning med 2010. Litt over halvparten fant tilbake til figuren. De som fant fant figuren klarte å se at det var -13 tilbake, men det var forvirring om hva tallene betød. Noen svarte prosent og andre så det var indekserte tall. Jeg så en sånn sammenligning her i sted. Hvor ble det av den da? ( ) Den var en sånn kjekk graf fra 2010, men nå mistet jeg den igjen. Testdeltaker Da tenker jeg at jeg så en slags samlesak i stad. Så da klikker jeg meg tilbake til forsiden og hva mener innbyggerne. Først tenker jeg at de er minst fornøyd med Omsorg. Men her står det størst endring. Det ser ut som de er minst fornøyd med Håndtering av store ulykker og katastrofer. Testdeltaker 3.4 Mobile enheter Vi fant ingen forskjeller i løsningen på oppgaver på mobile enheter, det vil si mobiltelefon og nettbrett, og PC. Derimot virker det som det var vanskeligere å oppdage at søyler i grafene var klikkbare. Videre var også noen av søylene små og vanskelig å treffe med en pekefinger. 27/60

www.inmeta.no Figur 11: Grafer med søyler som er vanskelig å treffe på nettbrett. En deltaker uttrykte dette ved følgende sitat: Det var mye lettere å gå inn den veien da! Testdeltaker (Ref å gå via De enkelte tjenester vs graf) 28/60

Figur 12: www.difi.no/innbyggerundersokelsen på iphone 5. Som nevnt under Hovedmenyen så er denne ekstra problematisk på mobil. Det ble mye skrolling Noen av brukerne hang seg også opp i hovedmenyen, og ble gående i sirkel der de trykket gjentagende ganger på Innbyggerundersøkelsen i hovedmenyen. 3.5 Kjennskap Vi undersøkte kjennskap til Innbyggerundersøkelsen ved å spørre deltakerne om hvor de ville gå får å finne informasjon om kvalitet i offentlige tjenester (oppgave 1) og vi spurte dem direkte (oppgave 2) 29/60

Vi spurte testdeltakerene hvor de ville gått for å finne ut om kvalitet på offentlige tjenester på nett. Flere svarte SSB, de yngre svarte diskusjonsforum, Google og sosiale medier. Atekst/retriever, akademiske undersøkelser, Forbrukerrådet, Norsk gallup, offentlige etater og departementer ble også nevnt. På spørsmålet om de kjente til Innbyggerundersøkelsen svarte samtlige nei, med unntak av to som hadde hørt om det, men ikke visste hva det var. De fleste hadde hørt om Difi, men få hadde inngående kjennskap. 3.6 Tilgjengelighet Vi hadde to svaksynte til testing som benyttet seg av zoom i nettleseren. Her er noen observasjoner og kommentarer fra deres testing: Mangler alt-tekst Fargene har dårlig kontrast; hvit, rosa, lilla. For mye skrolling før innhold (ref hovedmeny) Vanskelig å se hvor lang grafen er Vanskelig å se hva grafene betyr (tekst som forklarer snittskår.. er liten og tekst forsvinner ut av skjermbildet på forstørret skjerm) Mye tekst. Burde vært bedre indeksert, så man lettere kan hoppe nedover. Tydelige temainnganger i toppen Mye innhold i bilder som ikke er tilgjengelig for Ctrl + F Igjen da så tenker jeg at en grafikk er en enkelt lenke, når jeg har gjort det en gang og på en måte skjønt at det går an (ref: å klikke på grafikken), tenker jeg at det er en fin måte å gå videre på. Men det er ingen alt-tekst som forteller meg at det skjer, det gjør at jeg ikke nødvendigvis kommer meg videre. - Testdeltaker, svaksynt..dette eneste stedet det treffer som søkemotoren finner (ref: høyre kolonne 1 treff). Jeg tenker at.. for meg sånn som jeg surfer, det har nok en del med måten jeg ser på også, så bruker jeg mye søk internt på sidene. Det at det står barnehage her i grafikken (Ref figur1 innbyggerdel), står så prominent at jeg legger merke til det, men jeg finner det ikke med søket og jeg vet ikke hvor lang tid jeg skal lete videre. Testdeltaker, svaksynt (Ref. å søke seg frem på innbyggerdelen med find-funksjon) 30/60

Ekspertevaluering: Nettstedet kan bli bedre til å følge generelle retningslinjer for kvalitet på nett. Mye viktig innhold er ikke synlig (ref. grafer under innbyggerdel) for skjermlesere. Anbefaling: à Legg til alternative tekster på bilder. à Bedre kontrasten i lokalmeny. à Flytt innhold over i tekst, evt. jobb med alternative tekster. à Følg krav til universell utforming. 31/60

4 Anbefalinger I det følgende oppsummerer vi de viktigste anbefalingene og hva som bør gjøres innenfor de ulike områdene. For mer detaljer, se liste over anbefalinger ligger i vedlegg H. Merk at det er mye som fungerer på nettstedet. Anbefalingene i det følgende fokuserer mer hva som bør endres, enn på hva som bør forbli. Sånn sett kan en få inntrykk av at nettstedet fungerer dårlig, hvilket det ikke gjør, men det er rom for forbedringer. 4.1 Navigasjon Det var noen utfordringer knyttet til navigasjonen. Brukerne hadde problemer med å finne frem til Innbyggerundersøkelsen, og de hadde problemer med noen av navigasjonselementene. Brukerne finner ikke frem Dette er ganske alvorlig og bør gjøres noe med. I hovedsak anbefaler vi å forbedre søket, gjør endringer på artikkel om Innbyggerundersøkelsen, samt å vurdere og endre navngivningen i hovedmenyen. For testdeltakerne var det ikke logisk at Innbyggerundersøkelsen befant seg under Ledelse og Organisering. En kan også vurdere å trekke Innbyggerundersøkelsen ut som eget nettsted. Noen navigasjonselementer fungerer bra, andre ikke Størst utfordringer hadde brukerne med hovedmenyen og lokalmenyen. Hovedmenyen tok for mye plass. På mobil har en også mulighet til å se undersider til valgt seksjon dobbelt. Hovedmenyen må ta mindre plass. Denne trenger ikke være ekspandert. Lokalmenyen fungerer heller ikke tilfredsstillende. En del brukere overser todelingen og trekkes mot høyre side. Her anbefaler vi å gjøre todelingen enda tydeligere, samt balanser menyen bedre. Dette vel og merke om todelingen beholdes (se Struktur her under). Brødsmuler, trekkspillmeny og relatert meny ( Se også ) fungerte i hovedsak bra. Når det gjelder navigasjon i grafer så anbefaler vi å gjøre grafene mer trykkvennlig (større søyler, og linker på søyletitler). Dette sammen med en justering av ikoner vil gjøre at navigasjonen i grafene vil fungerer utmerket. 32/60

4.2 Struktur Det tar litt tid før brukerne forstår Innbyggerundersøkelsens oppbygging, og forskjellen mellom en innbygger og bruker. Det at innbyggerdelen og brukerdelen strukturert forskjellig kan være en av grunnene. Mange forventet en lik struktur her. Nettstedet er kan struktureres mer intuitivt Vi anbefaler å gi en bedre oversikt over innbyggerundersøkelsens oppbygning, hva brukeren kan finne og gjøre. Videre vil vi anbefale så se på om nettstedet heller bør organiseres ut fra tema (barnehager, Nav osv.) først, og deretter datagrunnlag (innbyggeres inntrykk, brukeres erfaringer). Gi også nettstedets brukere flere innganger til innholdet. Det kan være f eks. være ut fra tjenester, sted, tid, endringer m.m. Brukerne oppfatter ikke forskjellen mellom bruker og innbygger Det tar tid for mange brukere å lære seg forskjellen. De grepene vi har anbefalt over kan hjelpe. 4.3 Innhold Svært positivt var at nettstedet oppleves som svært nyttig og testdeltakerne vil anbefale nettstedet til andre. Det er ingen tvil om at innholdet er svært relevant. Når det gjelder forståelsen så kan det å forstå statistikk være en komplisert øvelse. Vi testet forståelse av grafer, faktorer som påvirket tilfredshet, og endring. Brukerne forstår de interaktive grafene De interaktive grafene fungerer bra. Mange svarte i prosent, men de forklarte at dette var grad av tilfredshet, og ikke andel tilfredse så det tok essensen i det grafene kommuniserte. Det er noen detaljer som å kan heve grafene enda mer (se vedlegg H). Sti-analyse er vanskelig Som nevnt, dette er en vanskelig øvelse. Når det er sagt så kan det å skrive ut overskrifter, være endra mer eksplisitt i tekster og presentere tabell først hjelpe. Brukerne forstår endringer Brukerne forstår endringer. Å forstå presentasjonen var ikke noen utfordring. Derimot hadde noen problemer med å finne frem til dette. 33/60

Annet om innhold Interaktivitet ble godt mottatt, mens sider med mye tekst ble mindre godt mottatt. En anbefaling er å gjøre mer av innholdet interaktivt. La brukerne selv få skru av og på datagrunnlag og velge hva som vises. Dette gjelder spesielt innhold som i dag ligger i innbyggerdelen. 4.4 Mobile enheter På mobile enheter støter brukere på mange av de samme problemene som på pc, men det var noe som var spesielt for mobile enheter. Nettstedet fungerer på mobil og nettbrett I det store og hele fungerer nettstedet på mobil og nettbrett, med noen unntak. Utfordring: Gjør grafer mer trykkvennlig På mobil og lesebrett var det imidlertid ekstra vanskelig å navigere i grafene da disse var for smale å klare å treffe. De bør derfor gjøres bredere/enklere å treffe. Utfordring: Fiks hovedmenyen Hovedmenyen tar for mye plass. På mobil så blir det for mye skrolling. Videre så er det faktisk mulig å vise undersider til aktiv seksjonen dobbelt. Dette må ordnes sammen med at vi anbefaler derfor å kollapse hovedmenyen. 4.5 Kjennskap Det var svært få som hadde kjennskap til Innbyggerundersøkelsen. Å bidra til økt kjennskap krever aktiviteter også utenfor nettstedet. Brukerne kjenner ikke til Innbyggerundersøkelsen Det som kan gjøres på nettstedet er å bedre legge forholdene til rette for deling. F. eks. dele spesifikke resultater i sosiale medier eller på e-post. 4.6 Tilgjengelighet De svaksynte gjorde det like bra på oppgaver som andre. De identifiserte derimot noen utfordringer som bør tas tak i. Nettstedet fungerer for brukere med nedsatt funksjonsevne, men det er noen utfordringer 34/60