Forskning og utvikling på HiG, Fargelaboratoriet; hvordan bransjen kan gjøre nytte av det? Peter Nussbaum PDF & Fargestyrings konferanse Håndverkeren Kurs- og Konferansesenter Oslo 15. mai 2014 1 Agenda Hvem vi er - Hva vi gjør Forsknings- og formidlingsaktiviteter ColourPlay «Daltonisme» Spektral avbildning/reproduksjon 2 Utvikling av avdeling for informatikk og medieteknikk Grafisk Ingenjør BSc mediedesign BSc mediemanagement BSc medieproduksjon BSc Webutvikling MSc CIMET Ph.d.- program in computer science MSc Interaction Design Dual Degree Master Degree in Printing and Media Technology in collaboration with SCUT in China MSc medieteknologi MSc applied computer Science Colourlab Colour and visual computing laboratory 1986 2001 2002 2011 2014 Tid 3
The Norwegian Colour and Visual Computing Laboratory Etablert ved HiG i 2001 for å dekke fargestyringsbehov i grafisk industri Forskningsgruppe ved Avdeling for informatikk og medieteknikk 5 fast ansatte 8 kontrakt baserte ansatte 11 PhD studenter Grunnleggende og anvendt forskning innen fargevitenskap og bildebehandling. Fokus, hvor farger og bilder møtes i en digital verden: digital farge bildebehandling. 4 The Norwegian Colour and Visual Computing Laboratory Utdanning Undervisning og prosjekter for media bachelors and informatikk/media Master. CIMET (Colour in Informatics and Media Technology) MACS (Master Applied Computer Science) Forskning Regional Forskningsfond Innlandet Strategisk Høyskole Projekt (SHP) finansiert fra Norsk Forksningsråd EU - midler f.eks. Horizon 2020 Internasjonal, nasjonal, og regional samarbeid med industri og akademi. 5 Forskningsprosjekter Gående forskningsprosjekter: Søknader under behandling: SHP: HyPerCept Color and Quality in Higher Dimensions Bedre bildekvalitet for synshemmede Bildeteknologi for helse, sikkerhet og kunst: Funksjonell bildekvalitet Fargekvalitet i bildereproduksjonsutstyr - verdiskaping i bildeindustrien (7 PhD og 1 post-doc) Marie Curie Initial Training Networks (ITN): Colour Printing 7.0 Next Generation Multi-Channel Printing (CP7.0) (7 PhD og 2 post-doc) SHP: Imaging for Health Prosjektet omfatter hele helse bildebehandling prosessen; fra bildeopptak, behandling og analyse av dem, og visualiseringen av bildene (4 PhD og 4 post-doc). Horizon 2020: ApPEARS Innovative Training Networks (ITN), Appearance Printing, European Advanced Research School ApPEARS 8 prosjektmedlemmer og 7 partnerorganisasjoner fra industri og akademia (14 PhD) 6
ColourPlay 7 Utviklingsprosjekt: ColourPlay Problem Innsamling av forskningsdata i kontrollerte omgivelser er: tidskrevende og ofte ikke spennende for observatøren, observatørene er ofte fra samme gruppe, og det er vanskelig å rekruttere mange observatører. Forskning har vist store forskjeller mellom observatører for fargemiksing. Fremdeles ikke full forståelse for hvordan vi oppfatter farger. Mål Bedre forståelsen av hvordan mennesker oppfatter farger. Utvikle et verktøy for å samle inn forskningsdata. Prosjektet er finansiert av Regionale Forskningsfond Innlandet. 8 ColourPlay Hvordan tiltrekke seg øbservatører? Spillifisering: anvender spill-mekanismer og spill-elementer i en sammenheng som ikke har noe med spill å gjøre. Motiverer brukere, bidrar til læring, øker brukerens engasjement, økt datakvalitet. Designe et spill hvor man samtidig kan samle inn forskningsdata. Må være engasjerende og spennende, uansett alder. Tiltrekke oppmerksomhet, robust. Samarbeidspartnere HiG og Vitensenteret Innlandet Gjøvik. Ved HiG: Fargelaboratoriet og spillaboratoriet. 9
ColourPlay Oppsett - Philips hue Lyspærer hvor man kan endre farge. Stemninglys: farger hentet ut fra bilder av soloppganger, alpefjell med snø, ferieidyll i Hellas. 10 ColourPlay: Eksperiment oppsett Oppsett Playstation Move Brukerne kan kontrollere lysene ved hjelp av en PS3 Move kontroll. Følges ved hjelp et kamera. Bevegelse opp/ned for å endre farge. Kontrollen er laget for å brukes av barn, og tåler «røff» bruk. Andre muligheter: Lag egen favoritt farge Identifisering av fargeblinde Hukommelsesfarger Fargenavn 11 ColourPlay Prototype 12
ColourPlay 13 ColourPlay 14 «Daltonisme» 15
Hva er farge? Farge er en sensasjon dannet av en kombinasjon av en belysning, et objekt og en mottaker (Detektor). Det finnes ingen "farger" i det elektromagnetiske spekteret - bare bølger. Source Belysning Object Objekt Detector Mottaker Detektor 16 Fotoreseptorene Nervefibre Retina Tapper Staver S-tapper M-tapper L-tapper Fordelingsmønster av tappene i retina Staver 17 Normalt fargesyn: Trikromater Normalt fargesyn med 3 forskjellige typer tapper (L-, M- og S- tappene) som alle er følsomme for store deler av det synlige spektrum. Relativ sensitivitet Bølgelengde, nm Image Billmeyer and Saltzman 2001 Avvik trikromat (engl. Anomalous trichromatism): Alle tre typer tapper er tilgjengelig, men noe variasjon i følsomhet for en av dem, noe som resulterer i en mindre fargespekter. Relativ spektral følsomhet fra L-, M- og S-tappene. 18
Variasjon i fargesyn Original (venstre) og tilsvarende fargeblindhet simulering (høyre) Normal fargesyn røde bær (venstre) og fargeblindhet simulering røde bær (høyre) 19 Defekt fargesyn «Daltonisme» eller Fargeblindhet er en arvelig tilstand der øyet ikke klarer å skille mellom ulike bølgelengdene i lyset. Fargeblindhet ligger i X-kromosomet. Menn har ett X-kromosom kvinnen har to. For at en kvinne skal være fargeblind kreves det at begge X-kromosomene er defekte; kvinner er derfor sjelden fargeblinde. Ca. 8% av den mannelige og 0,45% av den kvinnelige befolkningen har defekt fargesyn. 20 Defekt fargesyn: Monokromater Stavmonokromat har kun en type reseptorer, nemlig staver. Kun ett synspigment (rhodopsin). Kan skille mellom lyse og mørke toner men har ikke kromatisk fargesyn. For stavmonochromaten forholder deg seg omtrent som for en normaltseende som har rent stavsyn om natten (veldig sjelden). Tappemonochromat her derimot to forskjellige typer reseptorer, men bare en type tapp i tillegg til stavene. Gir et rudimentært fargesyn (veldig sjelden). 21
Defekt fargesyn: Dikromater De aller fleste personer med fargesyndefekt har 2 intakte tappetyper i tillegg til stavene. Mest vanlig er rød-grønn blindhet, som skyldes at den ene eller den andre av L- og M-tappetypene mangler eller ikke fungerer normalt. Protanopi = L-tappene mangler (1% av populasjon, Westland) Deuteranopi = M-tappene mangler (1.5% av populasjon, Westland) S-tappene antas å være som hos normale. Mer spesielt defekt: Tritanopi = S-tappene mangler (gul-blå fargedefekt) 22 Fargesyn test Ishihara fargesynstest er en test for rødgrønn fargesynsdefekt. Testen består av fargede plater som inneholder små fargede prikker som danner et mønster eller et tall som er synlig for mennesker med normalt fargesyn, men usynlig eller vanskelig å se for mennesker som har en rød-grønn defekt. http://en.wikipedia.org/wiki/color_perception_test En person med normalt fargesyn vil i dagslys se tallet "74", mens rød-grønn fargesvake vanligvis ser tallet 21. Merk at fargene på plata er noe forvrengt i forhold til originalen pga. manglende fargestyring og belysningen. 23 Fargesyn test Farnsworth-Munsell 100 Hue Colour Vision Test Farnsworth-Munsell 100 hue test er standard fargesyn test basert på fargetone (hue) diskriminering, også kalt «arrangement test». Målet med testen er å legge fargeprikker i riktig rekkefølge. Den brukes til å oppdage områder av redusert fargesyn samt å kvantifisere fargediskrimineringsevne (inkludert personer med normalt fargesyn). Den vanligste formen for «Farnsworth-Munsell 100 Hue Colour Vision Test» inneholder 4 forskjellige rader av lignende fargenyanser, som hver inneholder 25 forskjellige varianter av hver fargetone. 24
Forskningsprosjekt Problem Mennesker med redusert fargesyn kan ikke skille mellom bestemt fargerinformasjon. Målet med forskning Gjør fargeforskjeller synlig til de som normalt ikke kan se disse forskjellene, dvs. mennesker med redusert fargesyn. For eksempel ved å øke farge- eller lyshetskontrast til bestemte fargene. Testing av eksisterende metoder/teknikk Utvikling av nye metoder/algoritmer Psychometric scaling metoder 25 Daltonizing Algorithm John Dalton (1766-1844) «Daltonisme» har vært brukt i mange språk for å betegne fargeblindhet. Daltonisering (engl. Daltonizing algoritme) er en digital bildebehandlings teknikk som kan gjøre bildinformasjon mer fremtredende for mennesker med redusert fargesyn uten å forvrenge fargebalansen til en uakseptabel grad. 26 27
Daltonasering med korrigering i lyshet 28 Original bilde (venstre) og simulering (høyre) for hvordan en deuteranopes (M-tappene mangler) opplever bildet (by Brettel/ Viénot). 29 Daltonasering med korrigering i fargetone 30
Applikasjon: Forbedre fargediskriminering for mennesker med redusert fargesyn for apps, nettlesere, skrivere, kameraer osv. Adaptive colour management! 31 WANTED Colorblind observers for experiments! Fargeblinde observatører som hjelper oss med eksperimenter for forbedring av digitale og trykte bildinformasjon for fargeblinde mennesker. To Ph.D. studenter forsker med forbedring av digitale og trykte bilder på mobile enheter, skjermer og geografiske kart. Du kan også delta hvis du ikke er fargeblind, men ønsker en detaljert farge test av fargesyn. Er du interessert? Anne (anne.kvitle@hig.no) and Thomas (thomass@hig.no) 32 Spektral avbildning 33
RGB og spektral avbildning Original Oi i RGB kamera RGB avbildning K= 3 Hyperspektral kamera K> 10 Hyperspektral avbildning 34 Sammenligning mellom RGB-bilde og hyperspektral dataterning (cube) Blue Green Red Wavelength Intensity y UV y NIR Reflectance Wavelength nm UV Wavelength nm NIR x x Dataterning (cube) er et tredimensjonalt dataset av et to-dimensjonalt bilde på hver bølgelengde fra UV til NIR. Den nederste høyre er refleksjon kurve (spektral signatur) av en piksel i bildet. RGB fargebildet har bare tre bilde-kanaler, representerer røde, grønne og blå bølgelengder. Den nedre venstre er intensitetskurven av en piksel i RGB-bildet. 35 Spektral avbildning Hyperspektral kamera Hyperspektral avbildning Original Oi i K> 10 En hyperspektral avbildning er avbildning med over hundre fargekanaler. Hvert kanal (bilde) representerer et område av det elektromagnetiske spektrum, og er også kjent som et spektralbånd. Disse "bilder" blir så kombinert og danner en tredimensjonal hyperspektral dataterning (cube) for behandling og analyse. Cuben gir verdifull informasjon om farger, lag og unike detaljer i maleriet. 36
Spektral avbildning teknikk Spredt Spectrum Near Infrared Diffraksjonsgitter Spectral Band Samlere/ Sensor Optisk enhet med linser Innkommende lys Filter hjul, diffraksjonsgitter, Liquid Crystal Tuneable Filter, prisme, CFA based 37 Kulturminner (Cultural Heritage) Multi-spectral imaging of van Gogh s paintings at the National Gallery of Art, Washington Multi-spectral imaging of Mona- Lisa at the Musée du Louvre, France And many more. 38 Motivasjon for spektral avbildning Spektral avbildning er til stor nytte for å restaurere kunstverk, rekonstruksjon av opprinnelige farger og høykvalitets reproduksjon. En nøyaktig digital kopi for kunst bevaring (art conservation). Overvåking av endring eller skade på malerier, som digital dokumentasjon motstår forringelse bedre enn fotografier. Digital bildebehandling kan bidra til å oppdage f.eks malerienes historie. Avslører flere fargelag eller restaureringsforsøk. Avslører forfalskning. Ny mulighet for pigment identifikasjon (Krever ikke fjerning av malerier/objekter > heller ikke i kontakt med overflaten). 39
Vårt bidrag! 40 Digitalisering av Skrik (1893) ved hjelp av en hyperspektral skanner K= 160 Eksempel på en hyperspektral avbildning på tvers det Synlig-Nær Infrared (VNIR) spektralområdet (Visible-Near Infrared [VNIR]: 160 bands, 414.6 992.5 nm, 3.6 nm interval) 41 Pigment identifikasjon Konservator / reparatør ønsker å vite de fysiske egenskapene av pigmenter: For dokumentasjon For historisk studie For autentisitet For restaurering, etc. Tradisjonelt invasiv metode: å ta fysisk prøve fra maleri > ødeleggende. Non-invasiv teknikk? Med konvesjonell fotografi > metameriproblemer. Hyperspektral avbildning gir informasjon om fysisk karakteristikk. 42
External Pigment Database Pigment eksempler i forskjellige konsentrasjon Tilsvarende pigment spektrum 43 Spektral bilde klassifisering 44 Visualiseringsmetoder Biblioteket med belysningens Relativ spektralfordeling Band Selection approaches Transformation approaches: PCA - Principal Component Analysis ICA Independent Component Analysis http://research.ng-london.org.uk/scientific/spd/ 45
46 46 And some hidden information RGB photographic image by Hasselblad (Source: The National Museum, Oslo) SWIR_IC4 47 48
Wordings in The Scream 49 Spektral reproduksjon 50 Vanlig (metamerisk) reproduksjon system Original RGB Input profil Linearization Colour correction Chromatic adaptation RGB kamera Output profil Profile connection space CIEXYZ/CIELAB for CIE 1931 Standard Observer + Illuminant CIE D50 CMYK skriver Reproduksjon After Philipp Urban, Technische Universität Darmstadt, March 2013 CMYK Linearization Colorimetric gamut mapping Colorimetric separation Ink limitation Chromatic adaptation 51
Vanlig (metamerisk) reproduksjon system After Philipp Urban, Technische Universität Darmstadt, March 2013 r XYZ (r) = XYZ(r ) r RGB Justert for én type belysning CMYK Fargestyring i henhold til ICC-standarden er brukt med hell i mange bildebehandlingsprogrammer over hele verden. For spesifikke anvendelser, hvor betraktningsforholdene er ukjent eller stadig under endring, for eksempel kunst reproduksjon, prøvetrykk eller svært nøyaktig industriell fargekommunikasjon, vanlig (metamerisk) reproduksjons systemer er ikke tilstrekkelig. Årsakene er systematiske problemer knyttet til utstyret, belysning- og observatør metameri, noe som er direkte relatert til informasjonens tap ved bruk av trichromatic utstyr og en tredimensjonal profil koblingspunkt (Profile Connection Space). 52 Begrensninger til en typisk metamerisk arbeidsflyt Original Reproduction Match for same Illuminant Original Reproduction Mismatch for different Illuminant After Philipp Urban, Technische Universität Darmstadt, March 2013 I en metamerisk arbeidsflyt er ikke nok informasjon tilgjengelig for å kunne velge en separasjon på en slik måte at reproduksjon (trykket) matcher originalen under flere belysninger. 53 Hva må endres? r Signal Processing Den grunnleggende forskjellen i den spektrale arbeidsflyten i forhold til den metameriske arbeidsflyten er behandlingen av mange fler-dimensjonale signaler. Det krever helt forskjellige algoritmer for karakterisering, separasjon eller fargeromtilpasning (gamut mapping). After Philipp Urban, Technische Universität Darmstadt, March 2013 54
Hvordan bransjen kan gjøre nytte av det? Publikasjoner Alle våre publikasjoner (papers) er GRATIS tilgjengelig under http://colorlab.no/publications Workshop Colourlab Workshop #1/2014: Color deficiency (8. May and 19.May 2014) GRATIS Colourlab Workshop #2/2014: Colour, Light and Imaging (20. May 2014) GRATIS Avgangsutstilling 21 BSc mediedesign studenter viser frem 210 designarbeider Fredag 6. juni fra 11.00-19.00, formell åpning kl. 12.00 Lørdag 7. juni fra kl. 10.00-15.00. Mer informasjon på avgangsutstilling.no Symposium Gjøvik Color Imaging Symposium 2015 (CVCS2015) september 2015 Studentprosjekt BSc og MSC studentprosjekter innen teknologi og innovasjon Eksperiment Trenger obsørver som er «fargeblind» for eksperimenter som bidrar til forbedring av digitale og trykte bildinformasjon for fargeblinde mennesker. 55 Takk! Takk til: Thomas Simon Sony George Aditya Sole Shida Beigpour Philipp Urban peter.nussbaum@hig.no 56 References Peter nussbaum, (2010) Colour Measurement and Print Quality Assessment in a Colour Managed Printing Workflow. PhD thesis University of Oslo and Gjøvik University College. Marius Pedersen, (2011) Image quality metrics for the evaluation of printing workflows. PhD thesis University of Oslo and Gjøvik University College. Philipp Urban, (2013) Spectral-based Image Reproduction Workflow, From Capture to Print, Institute of Printing Science and Technology, Technische Universität Darmstadt, Germany. Hardeberg, Jon Y.; George, Sony; Deger, Ferdinand;, Ivar Baarstad; Palacios, Julio Ernesto Hernandez & Løke, Trond (2013) Hyperspectral image capture and analysis of The Scream painted by Edvard Munch in 1893. MUNCH150 Conference, Oslo, Norway. Slavuj Radovan; Nussbaum Peter and Hardeberg Jon Yngve, (2013) Review and analysis of spectral characterization models and halftoning for multi-channel printing. iarigai, Chemnitz, Germany. Billmeyer and Saltzman, (2000) Principles of Color Technology, Third Edition, Roy S. Berns, John Wiley & Sons, Inc. 57