inf 1510: evaluering teste, prøve, sjekke, verifisere, validere é-valuer: se verdien av design bruk ide ferdig artefakt overta kast tid
hvorfor evaluere? vi lager ting for andre brukskunst hva er det vi vil vite underveis i design-prosessen? klarer brukerne bruke produktet? Vil de det? Vil de kjøpe det? hva og når kan vi teste underveis? (ideer, modeller, prototyper mm) hvor og hvordan skal vi teste? (lab eller naturlige omgivelser) Preece et al kap. 12, 13, 14 og 15
design-prosessen analyse visjon skisser konsept & prototyper spesifikasjon bygge & teste ideer ferdig oppdrag produksjon salg tid
bruk ønske forstå / ta i bruk læring, tilvenning vane kjøp vedlikehold reparasjon søppel gjenvinning kaste tid
bruk ønske vane forstå / ta i bruk mestre, vane forbedre seg læring, tilvenning kjøp oppussing vedlikehold reparasjon 8lbygg, påbygg, modernisering bruk = invitere artifaktet inn i våre gjøremål, vanliggjøre = del av det å gjøre noe: betingelse/forutsetning og kunnskap søppel kaste tid gjenvinning
Echonet Echo Cardiographic Healthcare Online Networking Expertise in Tasmania Toni Robertson Tone Toni Bratteteig Robertson, 16/5 UTS 2011 Sydney, foredrag 12/5 2011 UTS Sydney Interaction Design and Human Practice Lab http://www.research.it.uts.edu.au/idhup/ foredrag Ifi 12/5 2011
ECHONET is aimed at facilitating the sharing of echocardiography expertise for patient diagnosis in Intensive Care Units in Tasmania. The main aim was to investigate potentials of broadband technology for delivery of healthcare services to rural and regional Australia. Tone Toni Bratteteig Robertson, 16/5 UTS 2011 Sydney, foredrag 12/5 2011 - Focus group identify project - Stakeholder interviews what counts as success - Baseline study what clinicians actually wanted (future workshops) - Several design workshops various prototyping issues came up - Clinical trial new info
evaluering er innbakt i designprosessen evaluering er integrert med design & analyse iterativ utvikling ideer visjon skisser spesifikasjon produksjon bruk mm
hva er egentlig evaluering? teste hva i forhold til hva, for hvem hva er det som evalueres? i forhold til hva/hvem: kriterier og mål av hvem: hvem utfører evaluering og hvordan for hvem: hva brukes evalueringen til
hva testes = kriterier og mål for evalueringen at artifaktet virker + blir forstått funksjonalitet (behov) kommunikasjon av funksjonalitet de riktige tingene det vi ønsket riktig resultat: funksjonalitet ift kravspec v/ reviews, inspeksjon.. evalueringskriterier validere og verifisere at artifaktet 1) gjør de riktige tingene og 2) gjør dem riktig avhengig av hvem som evaluerer og hva som evalueres
hvem og hvordan den som har laget artifaktet? den som har bestilt artifaktet? den som skal bruke artifaktet? eksterne? eksperter? evalueringskriterier kostnad omfang tid mål: hva er godt nok? Hvem bestemmer det?
hvordan = metoder analytisk evaluering heuristisk evaluering summativ evaluering formativ evaluering predikerende evaluering kombinasjoner bruker-testing brukbarhets-testing brukbarhets-studier bruker-studier feltstudium brukbarhets-lab kontrollert eksperiment
hvordan = tilnærminger 3 hovedtyper: i lab, i felten, på kontoret gir forskjellig informasjon, foregår på forskjellig tidspunkt i designprosessen i lab: brukbarhetstesting observere og måle funksjonalitet og kommunikasjon av funksjonalitet i felten: feltstudier observere og intervjue i bruk / med brukere på kontoret: analytisk inspeksjoner, reviews heuristisk evaluering (f.eks. Nielsens oppsummering av 249 brukbarhetsproblemer)
tilnærminger 3 hovedtyper: i lab, i felten, på kontoret gir forskjellig informasjon og foregår på forskjellig tidspunkt i design brukbarhetstesting feltstudier analytisk brukere gjør oppgaver naturlig praksis ikke involvert sted kontrollert omgivelse (lab) naturlig hvor som helst når prototype tidlig prototype data kvantitative kvalitative problemer feedback målinger og feil beskrivelser problemer type bruk / anvendelse naturlig praksis ekspert (fra Preece et al)
10 Heuristics for User Interface Design useit.com of Heuristics 5/13/11 3:29 PM Papers and Essays Heuristic Evaluation AskTog: First Principles of Interaction Design List nn/g useit.com jnd.org Search Ten Usability Heuristics by Jakob Nielsen These are ten general principles for user interface design. They are called "heuristics" because they are more in the nature of rules of thumb than specific usability guidelines. Visibility of system status The system should always keep users informed about what is going on, through appropriate feedback within reasonable time. Match between system and the real world The system should speak the users' language, with words, phrases and concepts familiar to the user, rather than system-oriented terms. Follow realworld conventions, making information appear in a natural and logical order. User control and freedom Users often choose system functions by mistake and will need a clearly marked "emergency exit" to leave the unwanted state without having to go through an extended dialogue. Support undo and redo. Consistency and standards Users should not have to wonder whether different words, situations, or actions mean the same thing. Follow platform conventions. Error prevention Even better than good error messages is a careful design which prevents a problem from occurring in the first place. Either eliminate error-prone conditions or check for them and present users with a confirmation option before they commit to the action. Recognition rather than recall Minimize the user's memory load by making objects, actions, and options visible. The user should not have to remember information from one part of the dialogue to another. Instructions for use of the system should be visible or easily retrievable whenever appropriate. Flexibility and efficiency of use Accelerators -- unseen by the novice user -- may often speed up the interaction for the expert user such that the system can cater to both inexperienced and experienced users. Allow users to tailor frequent actions. Aesthetic and minimalist design Dialogues should not contain information which is irrelevant or rarely needed. Every extra unit of information in a dialogue competes with the relevant units of information and diminishes their relative visibility. Help users recognize, diagnose, and recover from errors Error messages should be expressed in plain language (no codes), precisely Interaction Design Solutions for the Real World Interaction Design Section Living Section http://www.useit.com/papers/heuristic/heuristic_list.html 10 Heuristics for User Interface Design Jump to: Anticipation Autonomy Color Blindness Consistency Defaults Efficiency of the User Explorable Interfaces Fitts' Law Human-Interface Objects Latency Reduction Learnability Limit Tradeoffs Metaphors Protect the User's Work Readability Track State Visible Interfaces Updated Findings Translate Search WWW asktog.com AskTog Basics Search Principles The following principles are fundamental to the design and implementation of effective interfaces, whether for traditional GUI environments or the web. Of late, many web applications have reflected a lack of understanding of many of these principles of interaction design, to their great detriment. Because an application or service appears on the web, the principles do not change. If anything, applying these principles become even more important. Belorussian Version: http://www.fatcow.com/edu/designedtogivefitts-be/ Deutsche (German) Version: http://meiert.com/de/publications/translations/asktog.com/firstprinciples/ Italian Version: http://www.10people.net/tutorial/interaction_designask_tog/pricipi_di_interaction_design.html Nederlands (Dutch) Version: http://aifia.org/nl/translations/000187.html Polish Version: http://offline.pl/blog/podstawy-projektowania-interakcji.html Portuguese Version: http://userdesign.org/principios.html Spanish Version: http://galinus.com/es/articulos/principios-diseno-de-interaccion.html Effective interfaces are visually apparent and forgiving, instilling in their users a sense of control. Users quickly see the breadth of their options, grasp how to achieve their goals, and do their work. Effective interfaces do not concern the user with the inner workings of the system. Work is carefully and continuously saved, with full option for the user to undo any activity at any time. Effective applications and services perform a maximum of work, while requiring a minimum of information from users. This work is copyright 2003 by Bruce Tognazzini. Permission to make copies for personal use is granted without reservation, provided this copyright notice remains on the copy. Please contact the author for permission to republish on a web site, to publish in bound form, or to make multiple copies, except that educators and in-house corporate 5/13/11 3:29 PM I originally developed the heuristics for heuristic evaluation in collaboration with Rolf Molich in 1990 [Molich and Nielsen 1990; Nielsen and Molich 1990]. I since refined the heuristics based on a factor analysis of 249 usability problems [Nielsen 1994a] to derive a set of heuristics with maximum explanatory power, resulting in this revised set of heuristics [Nielsen 1994b]. Select Language Powered by NN/g Home Page 1 of 2 indicate the problem, and constructively suggest a solution. Help and documentation Even though it is better if the system can be used without documentation, it may be necessary to provide help and documentation. Any such information should be easy to search, focused on the user's task, list concrete steps to be carried out, and not be too large. About Bruce Tognazzini Google Search First Principles of Interaction Design 5/13/11 3:36 PM http://www.asktog.com/basics/firstprinciples.html Page 1 of 11
Shneiderman's Eight Golden Rules of Interface Design 5/15/11 2:33 PM Shneiderman's "Eight Golden Rules of Interface Design" These rules were obtained from the text Designing the User Interface by Ben Shneiderman. Shneiderman proposed this collection of principles that are derived heuristically from experience and applicable in most interactive systems after being properly refined, extended, and interpreted [9]. To improve the usability of an application it is important to have a well designed interface. Shneiderman's "Eight Golden Rules of Interface Design" are a guide to good interaction design. 1 Strive for consistency. Consistent sequences of actions should be required in similar situations; identical terminology should be used in prompts, menus, and help screens; and consistent commands should be employed throughout. 2 Enable frequent users to use shortcuts. As the frequency of use increases, so do the user's desires to reduce the number of interactions and to increase the pace of interaction. Abbreviations, function keys, hidden commands, and macro facilities are very helpful to an expert user. 3 Offer informative feedback. For every operator action, there should be some system feedback. For frequent and minor actions, the response can be modest, while for infrequent and major actions, the response should be more substantial. 4 Design dialog to yield closure. Sequences of actions should be organized into groups with a beginning, middle, and end. The informative feedback at the completion of a group of actions gives the operators the satisfaction of accomplishment, a sense of relief, the signal to drop contingency plans and options from their minds, and an indication that the way is clear to prepare for the next group of actions. 5 Offer simple error handling. As much as possible, design the system so the user cannot make a serious error. If an error is made, the system should be able to detect the error and offer simple, comprehensible mechanisms for handling the error. 6 Permit easy reversal of actions. This feature relieves anxiety, since the user knows that errors can be undone; it thus encourages exploration of unfamiliar options. The units of reversibility may be a single action, a data entry, or a complete group of actions. 7 Support internal locus of control. Experienced operators strongly desire the sense that they are in charge of the system and that the system responds to their actions. Design the system to make users the initiators of actions rather than the responders. 8 Reduce short-term memory load. The limitation of human information processing in short-term memory requires that displays be kept simple, multiple page displays be consolidated, window-motion frequency be reduced, and sufficient training time be allotted for codes, mnemonics, and sequences of actions. From http://www.cs.utexas.edu/users/almstrum/cs370/elvisino/rules.html http://faculty.washington.edu/jtenenbg/courses/360/f04/sessions/schneidermangoldenrules.html Page 1 of 1
i lab
i felten
DECIDE-rammeverket Determine goals Explore the questions Choose the evaluation approach and methods Identify the practical issues Decide how to deal with ethical issues Evaluate, analyze, interpret and present the data fra Preece et al kap. 13
DECIDE-rammeverket Determine goals Explore the questions målene for evalueringen Choose the evaluation approach visjon, and grensesnitt, methods brukbarhet, effekt, robusthet, pålitelighet... Identify the practical issues hvem skal bruke evalueringen, til hva? Decide how to deal with ethical issues hvilken metode passer? Evaluate, analyze, interpret and present the data fra Preece et al kap. 13
DECIDE-rammeverket Determine goals finn gode spørsmål Explore the questions hvordan kan dette måles? Choose the evaluation approach hva and er methods indikatorer på dette? Identify the practical issues som man spør, får man svar Decide how to deal with ethical issues Evaluate, analyze, interpret and present the data fra Preece et al kap. 13
DECIDE-rammeverket Determine goals Explore the questions Choose the evaluation approach and methods Identify the practical issues tilnærmingen bestemmer metode Decide how to deal with ethical issues feltstudium, brukbarhetstesting Evaluate, analyze, interpret and present the data metode bestemmer hvilke data som samles inn & hvordan de analyses fra Preece et al kap. 13
DECIDE-rammeverket Determine goals Explore the questions velge og finne brukere Choose the evaluation approach and tid methods og ressurser til rådighet Identify the practical issues velge og finne evaluatorer Decide how to deal with ethical issues utstyr til evalueringen Evaluate, analyze, interpret and present the data fra Preece et al kap. 13
DECIDE-rammeverket samtykke-erklæring deltakerne må få informasjon om studien Determine goals og om hvordan dataene behandles Explore the questions og om personvern Choose the evaluation approach og kan avbryte and methods om og når de ønsker Identify the practical issues Decide how to deal with ethical issues Evaluate, analyze, interpret and present the data fra Preece et al kap. 13
DECIDE-rammeverket avhenger av tilnærming og metode husk: reliabilitet / pålitelighet (data repliseres) eller troverdighet Determine goals validitet eller bekreftbarhet (av analyse, tolkning) Explore the questions bias eller systematisk skjevhet Choose the evaluation approach and methods område: generalisering eller overførbarhet Identify the practical issues effekter og konsekvenser, inkludert bærekraft Decide how to deal with ethical issues Evaluate, analyze, interpret and present the data fra Preece et al kap. 13
hvorfor evaluere? vi lager ting for andre brukskunst hva er det vi vil vite underveis i designprosessen? klarer brukerne bruke produktet? Vil de det? Vil de kjøpe det? hva og når kan vi teste underveis? (ideer, modeller, prototyper mm) hvor og hvordan skal vi teste? (lab eller naturlige omgivelser) Preece et al kap. 12, 13, 14 og 15 hva evalueres? i forhold til hva/hvem: kriterier og mål av hvem: hvem utfører evaluering og hvordan for hvem: hva brukes evalueringen til
evaluering av gruppearbeidet (se øvingsoppgave uke 19) leveranser i hht plan? oppdeling og koordinering av arbeidet roller og oppgaver arbeidsoppgaver og ansvar oppleves arbeidsoppgavene jevnt fordelt? Har alle lært noe nytt? kjøreregler (være sen, ikke komme, ikke levere, når er det et problem, sanksjoner) fakta (# timer, # møter, # bidrag)
til eksamen evaluering av prosjekt / arbeid INF1510: evalueringskriterier Nedenfor er en kort beskrivelse av karakterkrav i INF1510. Sluttrapporten, som er en gruppeoppgave, teller 50% av karakteren, utstilling og elevator pitch (også gruppeoppgave) teller 25%, og den individuelle rapporten teller 25%. Dermed vil den individuelle rapporten kunne justere karakteren opp eller ned i forhold til gruppas karakter. undersøkelse designforslag utstilling sluttrapport individuell rapport A C undersøkelse designforslag utstilling sluttrapport Prosjektgruppa har bygget på Sluttproduktet representerer en visjon Sluttproduktet presenteres slik at Fremstillingen er klar, logisk og godt strukturert. egen kunnskap og innhentet mer basert på innsikt både fra bruk og mål og visjon kommuniseres Godt språk. Mål, målgruppe og visjon klart informasjon gjennom egne undersøkelser. teknologi. Løsningen er ny i bruks- tydelig. presentert. Klar tolking av tema. God plan (med Gruppa har brukt flere omgivelsene og utnytter teknologiens Utstillingen er forseggjort og vel milepæler) og hvordan den ble revidert underveis. undersøkelsesmetoder, og muligheter. Den kommuniserer forberedt og levendegjør produktet. Undersøkelsen er veldokumentert: hva ønsket metodene passer til det gruppa visjonen gjennom materialer, En god elevator pitch er gruppa å finne ut, hvilke metoder ble valgt (hvorfor ønsker å få vite. Metodene er funksjon og form. - kort,1-2 min. Muliggjør spørsmål disse), hvordan gikk det hva fant de ut? Hva lærte veldokumentert (både gjennomføring og innsamlede data), og hvordan visjonen har utviklet seg Skisser og prototyper demonstrerer - formidler at gruppa er stolte de om metoden? Gruppa bruker flere metoder og - få, men overbevisende argumenter ser dem i sammenheng. analysen av dataene er godt iterativt og gjennom bruker-dialog og beskrevet. - adresserer riktig publikum Skisser og prototyping er veldokumentert: hvorfor testing. (kommunisere, utforske, samarbeide, lære mer, I analysen er det brukt begreper - vekker interesse fra første stund Minst to forskjellige visjoner har vært evaluere), hvordan (rolle, look-and-feel, implementering), hvilke valg mht. oppløsning og forseg- fra en eller flere gjesteforelesninger, og det er argumentert for - hva er så bra med dette produktet? vurdert og testet. - hva er så bra med denne visjonen? gjorthet ble gjort, hvilke materialer og former egnet at og hvordan begrepene har - god gjennomføring (øvd) seg og hvorfor. Gruppa lager flere prototyper, bidratt positivt til forståelse og - kan høre og respondere på innspill inkludert prototyper av mer enn en visjon. eller løsning. Hele gruppa deltar i presentasjonen Analysen relaterer seg til og bruker et eller flere Gruppa har samarbeidet med fagtermer og teorier fra gjesteforelesningene. brukere om design og gjennom Gruppa bruker flere (mer enn 5) referanser til dette fått ny innsikt i bruksområdet. litteratur og forelesninger i analysen (og i andre deler av rapporten). Sluttproduktet presenteres med en overbevisende elevator pitch og slik at mål og visjon kommuniseres tydelig. Presenterer også ideer, visjoner og løsningsforslag som er forkastet, samt begrunnelser for dette som er basert på undersøkelser og testing. Gruppa viser en selvstendig og kritisk vurdering av eget arbeid, både prosess og produkt. Ekstra informasjon er brukt i evalueringen (f.eks. relevant forskning), og det er brukt relevante referanser. Prosjektgruppa har gjennomført undersøkelser og brukt to undersøkelsesmetoder. Metodevalget er Sluttproduktet representerer en visjon som gruppa kan argumentere for både ut fra bruk og teknologi. Sluttproduktet presenteres greit i utstillingen. Gruppas elevator pitch er Fremstillingen er godt strukturert, og språket er greit. Mål, målgruppe og visjon presentert. Tema er tolket. Plan og milepæler presentert, kommentert.
til eksamen evaluering av prosjekt / arbeid undersøkelse designforslag utstilling sluttrapport individuell rapport - egen kompetanse - undersøkelser av bruk (flere metoder) - analyser - faglige referanser
prosjekt/arbeid undersøkelse designforslag utstilling sluttrapport individuell rapport - visjon fra bruk & teknologi - 2 visjoner - utnytte Arduinos muligheter - prosess-mellomprodukter
prosjekt/arbeid undersøkelse designforslag utstilling sluttrapport individuell rapport - visjon & mål tydelig - forseggjort utstilling - elevator pitch - gruppearbeid
prosjekt/arbeid undersøkelse designforslag utstilling sluttrapport individuell rapport - god framstilling: klar, logisk struktur & godt språk - klar framstilling av prosjektet & prosjektarbeidet - veldokumentert undersøkelse, metodebruk, analyse - veldokumentert designprosess, prototyper, evaluering - analyse basert på data, tester, fagtermer (referanser) - sluttprodukt m. elevator pitch + begrunnelse
prosjekt/arbeid undersøkelse designforslag utstilling sluttrapport individuell rapport - arbeidet: vurder oppdeling, fordeling, roller tiltak? - resultatet: vurder gruppas og ditt bidrag, argumenter - hva lærte du i prosjektet? Hva tar du med til neste gang?
inf 1510: evaluering hva er evaluering? begreper og tilnærminger metoder og modeller underveis i undersøkelses- og analyse-aktiviteter underveis i design som egen aktivitet evaluering av læringsresultater