IN Introduksjon til design, bruk, interaksjon Tangible Interaction

IN1050 - Introduksjon til design, bruk, interaksjon Tangible Interaction 14. november 2017 Institutt for Informatikk, Universitetet i Oslo joshi@ifi.uio.no IN1050 Tangible Interaction 1

Oversikt Tangible Interaction Historisk utvikling Tanken bak Tangible Interaction Hvordan jobber man? IN1050 Tangible Interaction 2

Ukene fremover Gruppe 1 slås sammen med gruppe 4 denne uka (flyttes fra 12 til 14) Mandag 20. november: Siste plenumstime med Julie og Maria Tirsdag 21. november: Forelesningsfri og prøveeksamen legges ut Onsdag 22. november: Felles repetisjonstime med Helle, Ingeborg og Maren (kl. 14, rom C) Mandag 27. november: Eksamensdrilling Tirsdag 28. november: Gjennomgang av prøveeksamen Fredag 1. desember: Eksamen! IN1050 Tangible Interaction 3

Oppfølging i grupper Ta kontakt med oss (in1050-grl@ifi.uio.no) og avtal et tidspunkt Vi finner et tidspunkt hvor vi kan møte dere Ikke vent til siste stund Ting dere kan ta med: Gamle eksamensoppgaver dere har prøveløst Obligatoriske oppgaver, øvelser og tilbakemeldinger fra gruppelærer/retter Ukesoppgaver dere har løst Andre begreper, definisjoner, forklaringer dere er usikre på! IN1050 Tangible Interaction 4

Nøkkelbegrep fra dagens forelesning Tangible Interaction s. 22 IN1050 Tangible Interaction 5

Tangible Interaction IN1050 Tangible Interaction 6

IN1050 Tangible Interaction 7

THE ERA OF SCREENS IN1050 Tangible Interaction 9

FIND BOOK PLAN/PREPARE TRAVEL CHECK-IN FLY SHARE THE TRIP THE FLIGHT TRAVEL DOCUMENTS TO THE AIRPORT AT THE GATE WITH ENTERTAINMENT ON SOCIAL MEDIAS IN1050 Tangible Interaction 19

Men design er så mye mer «Human-computer interaction is a discipline concerned with the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding them» (ACM) Vi kan designe løsninger som ikke involverer skjermer og vi kan hvert fall designe løsninger hvor hovedinteraksjonen ikke foregår på skjerm IN1050 Tangible Interaction 21

Tangible Interaction Definisjoner: - Tangible interaction Et paraplybegrep som dekker et sett med design- og forskningstilnærminger Interaksjon med digital informasjon gjennom fysiske omgivelser Multidisiplinært f.eks. HCI og Interaction Design Opprinneling presentert som et alternativt perspektiv som brakte interaksjon tilbake til «den virkelige verden» Blomstret frem på slutten av 90-tallet og begynnelsen av 2000-tallet Står mer her: www.tangibleinteraction.com Eksempel på eksamensrelevant spørsmål: - Hva er Tangible Interaction? IN1050 Tangible Interaction 22

Men det må være mer enn bare kult Tangible interaction har igjen blitt svært relevant med nye strømmer Physical computing og Internet of Things er eksempler på «it»-ord tilknyttet Tangible Interaction Tilnærmingene vi har lært tidligere i IN1050 er fortsatt gyldige, men vi begrenser nå interaksjon og potensielle grensesnitt til den fysiske verden Dere vil kjenne igjen mye i Tangible Interaction fra designprinsipper og interaksjonstyper gjennomgått tidligere i semesteret Og hvorfor er designere som kan noe om Tangible Interaction så høyt verdsatt? Man må ha god kjennskap til BÅDE design og teknisk implementasjon Mer og mer rundt oss handler om «dingser», og Tangible Interaction adresserer blant annet dingser Det er også økt fokus på kroppslig og fysisk interaksjon, noe som er tett knytte topp mot Tangible Interaction Eksempel på eksamensrelevant spørsmål: - Hvorfor har Tangible Interaction blitt mer populært det siste tiåret? IN1050 Tangible Interaction 24

Back in the 90 s Forskningsdomenet HCI handlet hovedsakelig om interaksjon tilknyttet arbeidsstasjoner og arbeidsplassen Bruken av mobiltelefoner var på vei opp Veldig få typer grensesnitt var tilgjengelig for allmenheten All digital interaksjon foregikk hovedsakelig gjennom skjermbaserte grensesnitt Interaksjonen på tvers av systemer var veldig begrenset, og dermed veldig lik Eksempel på eksamensrelevant spørsmål: - Hvordan er utformingen av grensesnitt i dag sammenliknet med for 20 år siden? IN1050 Tangible Interaction 25

Tanken bak Tangible Interaction TTT (Things that think) MIT Media Lab 1995 Formålet var å gjøre digitale «intangible bits» mer tilgjengelige og forståelige Vi ønsket å interagere med mer enn bare skjermen hele verden kan være vårt grensesnitt Koble digitale bits med fysiske objekter og omgivelser (også strukturer, overflater etc.) Mål om å integrere den digitale verden inn i våre hverdagsliv ubiquitous computing, IoT etc. Eksempel på eksamensrelevant spørsmål: - Hva er det som vektlegges i Tangible Interaction? IN1050 Tangible Interaction 26

Tangible bits (Hiroshi Ishii and Brygg Ullmer, 1997) Dual citizenship: bits and atoms Et designperspektiv som kunne nå ut lenger enn GUI-design Ønsket å bringe mer fokus over på potensielt input/output fra/i den fysiske verden «most of these practices are neglected in current HCI design because of the lack of diversity of input/output media, and too much bias towards graphical output at the expense of input from the real world» «It is neither reasonable nor productive to seek categories for tangible interfaces with the same rigor as, say, the ordering of the chemical elements in the periodic table.» IN1050 Tangible Interaction 30

Eksempel: Marble answering machine Presentert in 1992 av Durrell Bishop Fungerte som en viktig inspirasjonskilde for Ishii og andre TUI-pioneerer siden «Kun» en demonstrativ prototype Gjør digital informasjon med håndgripelig ved å utvide den på daglige objekter IN1050 Tangible Interaction 31

Hornecker & Buurs rammeverk Eksempel på eksamensrelevant spørsmål: - Hva er de fire hovedkategoriene i H&Bs rammeverk? Forklar kort hva én av dem går ut på. IN1050 Tangible Interaction 32

Hvordan går man frem: datainnsamling? En av hovedutfordringene er at vi ofte ikke vet hvilke gester, bevegelser, handlinger etc. som er naturlige i en gitt kontekst og dette kan ofte variere fra bruker til bruker avhengig av kontekst og oppgaver som skal løses Det er derfor ekstra viktig å «se» hva de gjør fremfor å bare lytte til hva de sier at de gjør Som en del av datainnsamlingen studerer man gjerne eksisterende fysiske interaksjoner de (ikke) mestrer, liker og kjenner til Dette kan gjøres f.eks. ved å se på systemer og løsninger de allerede bruker eller har brukt Eksempler på observasjonsmetoder og teknikker: demonstrative intervjuer, bevegelsesanalyse, kroppslige måling etc. Eksempel på eksamensrelevant spørsmål: - Hvordan går man typisk frem med datainnsamling innenfor Tangible Interaction? IN1050 Tangible Interaction 33

Hvordan går man frem: prototyping? Mye av interaksjonen bygger på interaksjon i det fysiske rom: gester, bevegelser, posisjonering, plassering av objekter etc. Det kan være vanskelig for brukere å forestille seg hvilken interaksjon vi ser for oss og hvordan det faktisk utarter seg Det er vanskeligere å bruke analytiske tilnærminger, f.eks. heuristikker, til å forutse brukspraksis så derfor er det fokus på å tidlig prototype med fysiske prototyper fremfor papirskisser og tegninger Tidlige prototyper kan være av papp, foamboard, leire, plast etc., men bør gi brukeren mulighet til å prøve interaksjonen Fokus på å undersøke om input/output-mekanismer er forståelige og om interaksjonen er gjennomførbar IN1050 Tangible Interaction 34

Oppsummering Tangible Interaction vokste ut av en digital skjerm- og bitbasert verden Ønsket var å knytte sammen den digitale verden med den fysiske verden Fortsatt et svært emergent tema (og høyst relevant for både forskning og kommersialisering) Hornecker & Buurs arbeid presenterer et rammeverk for Tangible Interaction: 4 temaer med støttende konsepter Fortsatt mye som gjenstår med tanke på spesifikke kontekster og brukergrupper Krever ofte at vi må passe litt ekstra på under datainnsamling og prototyping slik at man får tak i det «essensielle» IN1050 Tangible Interaction 35

Frivillig ekstralesing IN1050 Tangible Interaction 36

Anbefalte artikler Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms (Ishii & Ullmer, 1997) Emerging frameworks for tangible user interfaces (Ullmer & Ishii, 2000) Tangible Bits: Beyond Pixels (Ishii, 2008) Getting a Grip on Tangible Interaction: A Framework on Physical Space and Social Interaction (Hornecker & Buur, 2006) A Design Theme for Tangible Interaction: Embodied Facilitation (Hornecker, 2005) IN1050 Tangible Interaction 37

Å koble bits til hverdagslivet Spatial systems Tolke romlig bevegelse og orientering Fokus på bevegelse, hastighet og mønster Constructive systems Elektronisk-instrumenterte artefakter som kan modellere den virkelige verden Fokus på geometri, blokker, ruter, «stackables», belysning etc. Relational systems Tetter gapet mellom utdanning og programmering Fokus på programmerbare objekter (kuler, perler etc.) Unytter fysiske konsepter som innsetting, omorganisering og fjerning Associative systems Fysiske artefakter med digital informasjon Integrerer ikke assosiasjoner inn i stor-skala forhold Emergente design-ideer IN1050 Tangible Interaction 40

Tangible Manipulation (TM) Tangible manipulation refererer til kroppslig interaksjons med fysiske objekter. Lightweight interaction (LI) gir brukeren feedback for hvert steg som er utført og tillater brukeren å fortsette med små skritt. Kan brukere fortsette med små, eksperimentelle skritt? Er det rask tilbakemelding under interaksjonen? Isomorph effects (IE) tillater brukergrensesnittet å være gjenkjennbart. Dette hjelper brukeren med å forstå hva enheten bør og forholdet mellom handling og effekt. Hvor lett er det å forstå forholdet mellom handling og effekt? Tilfører systemet kraftige representasjoner som transformerer problemet? Haptic direct manipulation (HDM) gir brukeren mulighet til å manipulere fysiske objekter i brukergrensesnittet. Bygger bro mellom fysisk interaksjon og handlinger den trigger. Kan brukere ta på, føle og flytte på de viktige elementene? IN1050 Tangible Interaction 44

Spatial Interaction (SI) Spatial interaction refererer til interaksjon gjennom bevegelse i rom. Dette inkluderer bevegelse av ens kropp i et rom, men også posisjonering av og mot objekter i rommet. Inhabited Space (IS) er et konsept som hjelper oss med å adressere hvorvidt rommet er et meningsfylt rom, og hvorvidt mennesker og objekter møtes og samhandler. Møtes mennesker og objekter? Er det en meningsfylt plass? Configurable Materials (CM) refererer til den meningsfylte omorganiseringen eller bevegelsen av materiale i rommet. Kan være objekter, men også kroppens bevegelse. Gir en omorganisering av objekter (eller din egen kropp) mening? Kan vi konfigurere rommet i det hele tatt og gjøre det interaksjonen mer hensiktsfull? Non-fragmented Visibility (NFV) beskriver hvordan rommet tillater alle å se interaksjonen uten å bryte bildet. Kan alle se hva som skjer og følge de visuelle referansene? Full-Body Interaction (FBI) involverer store og uttrykksfulle bevegelser som har en mening i interaksjonen med et system. Kan også involvere hele kroppen. Kan du bruke hele kroppen? Performative Action (PA) refererer til handlinger eller bevegelser som er brukt med en kommuniserende effekt. Handlingen eller bevegelsen kan trigge en ny handling. Kan du kommunisere noe gjennom din kroppslige bevegelse mens du gjør det du skal gjøre? IN1050 Tangible Interaction 45

Embodied Facilitation (EF) Embodied facilitation refererer til hvordan konfigureringen av materiale objekter og rom kan gjøre brukergrensesnittet lettere å forstå og bruke. Embodied constraints (EC) begrenser den tillate oppførselen i brukergrensesnittet, og gjør det dermed lettere å oppfatte og bruke, i tillegg til at det reduserer sjansen for å gjøre noe feil. Gir det fysiske oppsettet brukerne mulighet til å samarbeide lettere ved å diskret begrense deres oppførsel? Multiple access points (MAP) kan gi ulike mennesker tilgang til brukergrensesnittet på ulike måter, og dermed støtte ulike former for oppførsel og interaksjon. Kan alle brukere se hva som foregår og få grep på de sentrale interesseobjektene? Tailored representations (TR) tillater at grensesnittet er skreddersydd mot en spesifikk brukergruppe, kontekst eller situasjon. Det bygges på brukerens erfaring og kompetanse for å invitere dem til interaksjon. Bygger representasjonen på brukernes kompetanse? Snakker den til deres kompetanse og inviterer til bruk? IN1050 Tangible Interaction 46

Expressive Representation (ER) Expressive representation fokuserer på hvordan den digitale funksjonen og data er representert gjennom fysisk interaksjon med objekter. Representational significance (RS) refererer til sammenhengen mellom fysiske og digitale representasjoner, og hvordan brukerne oppfatter dem. Er representasjoner meningsfylte og av betydning over tid? Har fysiske og digitale representasjoner samme styrke og viktighet? Externalization (E) lar brukeren tenke og snakke med og gjennom objekter. Dette kan være en referanse som hjelper brukeren med å huske hvordan man interagerer med et grensesnitt. Kan brukerne tenke og snakke med eller gjennom objekter, og bruke dem som rekvisitter i interaksjon? Perceived coupling (PE) gir en klar link mellom hva du gjør i grensesnittet og hvilken handling det trigger, samt å tilføre en meningsfylt representasjon. Er det en klar link mellom hva du gjør og hva som skjer? Er fysiske og digitale representasjoner knyttet naturlig sammen? IN1050 Tangible Interaction 47