INF Introduksjon til design, bruk, interaksjon Tangible Interaction

INF1500 - Introduksjon til design, bruk, interaksjon Tangible Interaction 17. november 2015 Institutt for Informatikk, Universitetet i Oslo joshi@ifi.uio.no INF1500 Tangible Interaction 1

Oversikt Tangible Interaction Historisk utvikling Tanken bak Tangible Interaction Hornecker & Buurs rammeverk Tanigble Manipulation (TM) Spatial Interaction (SI) Embodied Facilitation (EF) Expressive Representation (ER) INF1500 Tangible Interaction 2

Nøkkelbegrep fra dagens forelesning Tangible Interaction s. 19 Tanigble Manipulation (TM) s. 19 Spatial Interaction (SI) s. 37 Embodied Facilitation (EF) s. 45 Expressive Representation (ER) s. 48 INF1500 Tangible Interaction 3

INF1500 Tangible Interaction 4

THE ERA OF SCREENS INF1500 Tangible Interaction 6

FIND BOOK PLAN/PREPARE TRAVEL CHECK-IN FLY SHARE THE TRIP THE FLIGHT TRAVEL DOCUMENTS TO THE AIRPORT AT THE GATE WITH ENTERTAINMENT ON SOCIAL MEDIAS INF1500 Tangible Interaction 16

Men design er så mye mer «Human-computer interaction is a discipline concerned with the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding them» (ACM) Vi kan designe løsninger som ikke involverer skjermer og vi kan hvert fall designe løsninger hvor hovedinteraksjonen ikke foregår på skjerm INF1500 Tangible Interaction 18

Tangible Interaction Definisjoner: - Tangible interaction Et paraplybegrep som dekker et sett med design- og forskningstilnærminger Interaksjon med digital informasjon gjennom fysiske omgivelser Multidisiplinært f.eks. HCI og Interaction Design Opprinneling presentert som et alternativt perspektiv som brakte interaksjon tilbake til «den virkelige verden» Blomstret frem på slutten av 90-tallet og begynnelsen av 2000-tallet Står mer her: www.tangibleinteraction.com Eksempel på eksamensrelevant spørsmål: - Hva er Tangible Interaction? INF1500 Tangible Interaction 19

Men det må være mer enn bare kult Tangible interaction har igjen blitt svært relevant med nye strømmer Physical computing og Internet of Things er eksempler på «it»-ord tilknyttet Tangible Interaction Tilnærmingene vi har lært tidligere i INF1500 er fortsatt gyldige, men vi begrenser nå interaksjon og potensielle grensesnitt til den fysiske verden Dere vil kjenne igjen mye i Tangible Interaction fra designprinsipper og interaksjonstyper gjennomgått tidligere i semesteret Og hvorfor er designere som kan noe om Tangible Interaction så høyt verdsatt? Man må ha god kjennskap til BÅDE design og teknisk implementasjon Mer og mer rundt oss handler om «dingser», og Tangible Interaction adresserer blant annet dingser Det er også økt fokus på kroppslig interaksjon, noe som er tett knytte topp mot Tangible Interaction Eksempel på eksamensrelevant spørsmål: - Hvorfor har Tangible Interaction blitt mer populært det siste tiåret? INF1500 Tangible Interaction 21

Tangible Interaction INF1500 Tangible Interaction 22

Anbefalte artikler Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms (Ishii & Ullmer, 1997) Emerging frameworks for tangible user interfaces (Ullmer & Ishii, 2000) Tangible Bits: Beyond Pixels (Ishii, 2008) Getting a Grip on Tangible Interaction: A Framework on Physical Space and Social Interaction (Hornecker & Buur, 2006) A Design Theme for Tangible Interaction: Embodied Facilitation (Hornecker, 2005) INF1500 Tangible Interaction 23

Back in the 90 s Forskningsdomenet HCI handlet hovedsakelig om interaksjon tilknyttet arbeidsstasjoner og arbeidsplassen Bruken av mobiltelefoner var på vei opp Veldig få typer grensesnitt var tilgjengelig for allmenheten All digital interaksjon foregikk hovedsakelig gjennom skjermbaserte grensesnitt Interaksjonen på tvers av systemer var veldig begrenset, og dermed veldig lik Eksempel på eksamensrelevant spørsmål: - Hvordan er utformingen av grensesnitt i dag sammenliknet med for 20 år siden? INF1500 Tangible Interaction 24

Tanken bak Tangible Interaction TTT (Things that think) MIT Media Lab 1995 Formålet var å gjøre digitale «intangible bits» mer tilgjengelige og forståelige Vi ønsket å interagere med mer enn bare skjermen hele verden kan være vårt grensesnitt Koble digitale bits med fysiske objekter og omgivelser (også strukturer, overflater etc.) Mål om å integrere den digitale verden inn i våre hverdagsliv ubiquitous computing, IoT etc. Eksempel på eksamensrelevant spørsmål: - Hva er det som vektlegges i Tangible Interaction? INF1500 Tangible Interaction 25

Tangible bits (Hiroshi Ishii and Brygg Ullmer, 1997) Dual citizenship: bits and atoms Et designperspektiv som kunne nå ut lenger enn GUI-design Ønsket å bringe mer fokus over på potensielt input/output fra/i den fysiske verden «most of these practices are neglected in current HCI design because of the lack of diversity of input/output media, and too much bias towards graphical output at the expense of input from the real world» «It is neither reasonable nor productive to seek categories for tangible interfaces with the same rigor as, say, the ordering of the chemical elements in the periodic table.» INF1500 Tangible Interaction 29

Å koble bits til hverdagslivet Spatial systems Tolke romlig bevegelse og orientering Fokus på bevegelse, hastighet og mønster Constructive systems Elektronisk-instrumenterte artefakter som kan modellere den virkelige verden Fokus på geometri, blokker, ruter, «stackables», belysning etc. Relational systems Tetter gapet mellom utdanning og programmering Fokus på programmerbare objekter (kuler, perler etc.) Unytter fysiske konsepter som innsetting, omorganisering og fjerning Associative systems Fysiske artefakter med digital informasjon Integrerer ikke assosiasjoner inn i stor-skala forhold Emergente design-ideer INF1500 Tangible Interaction 32

Hornecker & Buurs rammeverk Eksempel på eksamensrelevant spørsmål: - Hva er de fire hovedkategoriene i H&Bs rammeverk? Forklar kort hva én av dem går ut på. INF1500 Tangible Interaction 36

Tangible Manipulation (TM) Tangible manipulation refererer til kroppslig interaksjons med fysiske objekter. Lightweight interaction (LI) gir brukeren feedback for hvert steg som er utført og tillater brukeren å fortsette med små skritt. Kan brukere fortsette med små, eksperimentelle skritt? Er det rask tilbakemelding under interaksjonen? Isomorph effects (IE) tillater brukergrensesnittet å være gjenkjennbart. Dette hjelper brukeren med å forstå hva enheten bør og forholdet mellom handling og effekt. Hvor lett er det å forstå forholdet mellom handling og effekt? Tilfører systemet kraftige representasjoner som transformerer problemet? Haptic direct manipulation (HDM) gir brukeren mulighet til å manipulerere fysiske objekter i brukergrensesnittet. Bygger bro mellom fysisk interaksjon og handlinger den trigger. Kan brukere ta på, føle og flytte på de viktige elementene? INF1500 Tangible Interaction 37

Spatial Interaction (SI) Spatial interaction refererer til interaksjon gjennom bevegelse i rom. Dette inkluderer bevegelse av ens kropp i et rom, men også posisjonering av og mot objekter i rommet. Inhabited Space (IS) er et konsept som hjelper oss med å adressere hvorvidt rommet er et meningsfylt rom, og hvorvidt mennesker og objekter møtes og samhandler. Møtes mennesker og objekter? Er det en meningsfylt plass? Configurable Materials (CM) refererer til den meningsfylte omorganiseringen eller bevegelsen av materiale i rommet. Kan være objekter, men også kroppens bevegelse. Gir en omorganisering av objekter (eller din egen kropp) mening? Kan vi konfigurere rommet i det hele tatt og gjøre det interaksjonen mer hensiktsfull? Non-fragmented Visibility (NFV) beskriver hvordan rommet tillater alle å se interaksjonen uten å bryte bildet. Kan alle se hva som skjer og følge de visuelle referansene? Full-Body Interaction (FBI) involverer store og uttrykksfulle bevegelser som har en mening i interaksjonen med et system. Kan også involvere hele kroppen. Kan du bruke hele kroppen? Performative Action (PA) refererer til handlinger eller bevegelser som er brukt med en kommuniserende effekt. Handlingen eller bevegelsen kan trigge en ny handling. Kan du kommunisere noe gjennom din kroppslige bevegelse mens du gjør det du skal gjøre? INF1500 Tangible Interaction 39

Eksempel: Marble answering machine Presentert in 1992 av Durrell Bishop Fungerte som en viktig inspirasjonskilde for Ishii og andre TUI-pioneerer siden «Kun» en demonstrativ prototype Gjør digital informasjon med håndgripelig ved å utvide den på daglige objekter INF1500 Tangible Interaction 44

Embodied Facilitation (EF) Embodied facilitation refererer til hvordan konfigureringen av materiale objekter og rom kan gjøre brukergrensesnittet lettere å forstå og bruke. Embodied constraints (EC) begrenser den tillate oppførselen i brukergrensesnittet, og gjør det dermed lettere å oppfatte og bruke, i tillegg til at det reduserer sjansen for å gjøre noe feil. Gir det fysiske oppsettet brukerne mulighet til å samarbeide lettere ved å diskret begrense deres oppførsel? Multiple access points (MAP) kan gi ulike mennesker tilgang til brukergrensesnittet på ulike måter, og dermed støtte ulike former for oppførsel og interaksjon. Kan alle brukere se hva som foregår og få grep på de sentrale interesseobjektene? Tailored representations (TR) tillater at grensesnittet er skreddersydd mot en spesifikk brukergruppe, kontekst eller situasjon. Det bygges på brukerens erfaring og kompetanse for å invitere dem til interaksjon. Bygger representasjonen på brukernes kompetanse? Snakker den til deres kompetanse og inviterer til bruk? INF1500 Tangible Interaction 45

Expressive Representation (ER) Expressive representation fokuserer på hvordan den digitale funksjonen og data er representert gjennom fysisk interaksjon med objekter. Representational significance (RS) refererer til sammenhengen mellom fysiske og digitale representasjoner, og hvordan brukerne oppfatter dem. Er representasjoner meningsfylte og av betydning over tid? Har fysiske og digitale representasjoner samme styrke og viktighet? Externalization (E) lar brukeren tenke og snakke med og gjennom objekter. Dette kan være en referanse som hjelper brukeren med å huske hvordan man interagerer med et grensesnitt. Kan brukerne tenke og snakke med eller gjennom objekter, og bruke dem som rekvisitter i interaksjon? Perceived coupling (PE) gir en klar link mellom hva du gjør i grensesnittet og hvilken handling det trigger, samt å tilføre en meningsfylt representasjon. Er det en klar link mellom hva du gjør og hva som skjer? Er fysiske og digitale representasjoner knyttet naturlig sammen? INF1500 Tangible Interaction 48

Oppsummering Tangible Interaction vokste ut av en digital skjerm- og bitbasert verden Ønsket var å knytte sammen den digitale verden med den fysiske verden Fortsatt et svært emergent tema (og høyst relevant for både forskning og kommersialisering) Hornecker & Buurs arbeid presenterer et rammeverk for Tangible Interaction 4 temaer med støttende konsepter Fortsatt mye som gjenstår med tanke på spesifikke kontekster og brukergrupper INF1500 Tangible Interaction 50