Multimodale tekster og multisensorisk lesing: fenomenologiske og nevrovitenskapelige perspektiver på lesing i ulike grensesnitt

Multimodale tekster og multisensorisk lesing: fenomenologiske og nevrovitenskapelige perspektiver på lesing i ulike grensesnitt Anne Mangen, førsteamanuensis, Universitetet i Stavanger I: Smidt, J., Seip Tønnessen, E. & Aamotsbakken, B. (red.) (2011): Tekst og tegn: Lesing, skriving og multimodalitet i skole og samfunn. Trondheim: Tapir Akademisk Forlag. ISBN: 9788251928427 (ss. 63-80) Innledning: lesing, teknologier og affordanser I takt og i tråd med den teknologiske utviklingen er det blitt et mantra i dagens forskning at lesing ikke lenger bare er lesing av statisk, skriftbasert, svart tekst på hvitt papir i en bok. Lesing er i stadig større grad lesing av multimodale eller sammensatte tekster som består av mange andre representasjonsmodi enn skriftlig, trykt tekst. Tekstbegrepet må dermed oppgraderes og nyanseres for å kunne gjenspeile det nye medielandskapet. Dette har nyere leseforskning i stor grad tatt konsekvensen av, med blant annet økt oppmerksomhet rundt modale affordanser. Imidlertid er det andre og vel så viktige endringer som følger av en ny medieøkologi og nye lesemedier, som så langt har vært gjenstand for langt mindre oppmerksomhet i forskningslitteraturen. Framveksten av digitale lesemedier medfører at vi i dag leser med, på og ved hjelp av mange flere medier eller tekniske plattformer enn for bare noen tiår siden. Disse mediene, for eksempel bærbare eller stasjonære PC-er, e-bøker (lesebrett/leseplater), og mobiltelefoner, har alle sine klart definerte ergonomiske affordanser vi gjør andre ting med en PC enn med en trykt bok når vi leser, og disse affordansene vil ha innvirkning på leseprosessen, på ulike måter og i ulik grad. I leseforskning generelt, og kanskje spesielt i pedagogisk orientert leseforskning, retter man imidlertid liten oppmerksomhet mot hvilken rolle selve lesemediet og dette mediets grensesnitt spiller for lesingen. Både i forskningslitteratur og i pedagogiske sammenhenger betraktes lesing som en overveiende kognitiv og visuell prosess, der de materielle, ergonomiske og tekniske aspekter ved mediet eller teknologien i liten grad belyses eller problematiseres. I det følgende vil jeg se nærmere på de ergonomiske, multisensoriske, fenomenologiske og kroppslige aspektene ved lesing. Jeg vil forsøke å vise hvorfor de hører hjemme i en forståelse av hva lesing er i dag, og jeg presenterer noen teoretiske refleksjoner rundt hvordan leseforskningen kan suppleres og 1

nyanseres for i større grad å kunne favne disse dimensjonene. Trenger vi en ny definisjon av lesing? Vanligvis forbinder vi lesing med avkoding, forståelse og fortolkning av skriftlige representasjoner, og det er noe vi primært forholder oss til visuelt og kognitivt. Men dersom vi reflekterer litt over hva vi faktisk gjør når vi leser med digitale teknologier, vil vi kunne slå fast at lesing er mer enn en visuell og kognitiv tilegnelse av skriftlig tekst. Generelt kan vi si at lesing er en ferdighet, prosess og opplevelse som alltid involverer følgende tre komponenter: en leser, en tekst og et medium (en teknologi/teknologisk plattform; et redskap). Det er, og har alltid vært, nær sammenheng mellom lesing og de mediene og redskapene vi bruker til å lese med og på. Som lesemedium har imidlertid det trykte mediet vært nærmest enerådende så lenge at vi både som lesere og leseforskere har blitt blinde for den mulige rollen selve mediet eller leseplattformen kan spille for lesingen. I løpet av noen tiår har tekster, kommunikasjon og lesing «diffundert» til en rekke ulike teknologier og lese- og skriveplattformer, de aller fleste digitale. Vi leser i dag på, i og med flere medier og teknologier enn noen gang tidligere i lesingens historie. I denne nye medieøkologien har norsk og nordisk lese- og literacy-forskning særlig lagt vekt på en nyansering av tekstbegrepet, ved stadig økt oppmerksomhet rundt multimodale tekster. I lys av dagens mangfoldige medielandskap med en stor grad av differensiering av leseredskaper, hver med sine ergonomiske affordanser, bør imidlertid også de to øvrige komponentene i lesing altså leser og medium etter mitt syn nyanseres tilsvarende. Leseren kan ikke lenger reduseres til et par øyne og ører og en tilhørende kognitiv kapasitet. Som lesere er vi handlende og tenkende mennesker med både hjerne og kropp, og med et sanseapparat som omfatter mer enn syn og hørsel. Dette får vidtrekkende implikasjoner for hvordan vi forstår lesing: hjerne og kropp virker sammen og spiller begge en rolle når vi leser. Lesing foregår altså ikke bare i hjernen men den foregår selvsagt også der, i kombinasjon med resten av kroppen og sansemodalitetene for øvrig. Når vi leser, bruker vi det samme sansemotoriske apparatet med tilhørende nevrofysiologiske og -psykologiske disposisjoner og kryssmodale integreringsmekanismer mellom de ulike sansemodalitetene vi bruker i våre øvrige handlinger og aktiviteter. Med utgangspunkt i og henvisning til innsikter fra fenomenologi og forskning innen psykologi og kognitive vitenskaper om hvordan vi som mennesker tenker om, forstår og erfarer ting og opplevelser, vil jeg foreslå en redefinisjon av lesing, bestående av to ledd. For det første kan lesing defineres som en multisensorisk prosess der vi bruker hele vårt 2

sanseapparat i en tilegnelse av multimodale tekster. 1 For det andre bør en definisjon av lesing i dag etter min mening også innbefatte en nyansering og presisering av det mediet og det grensesnittet vi forholder oss til. Dermed kan lesing defineres som en multisensorisk, sansemotorisk, kognitiv og fenomenologisk opplevelse av (multimodale) tekstkonfigurasjoner implementert i et lesemedium med bestemte ergonomiske affordanser. Når vi leser, aktiverer vi i ulik grad og på ulike måter alle sansemodalitetene vi som mennesker er utstyrt med. Særlig framtredende, og tilsvarende oversett i forskningslitteraturen, er kanskje i hvor stor grad og på hvilke måter vi bruker hendene mens vi leser (Mangen, 2008). Margaret Mackey (2007) er en av få literacy-forskere som problematiserer på hvilken måte taktile 2 og haptiske 3 aspekter spiller en rolle under lesing. I sin studie av hvordan unge lesere leser og opplever fortellinger som formidles i henholdsvis trykt bok og på CD-ROM, oppdager Mackey hvor viktig nettopp hendene synes å være for leseopplevelsen: The readings of a picture book highlighted the important role of hands-on engagement: how the readers used their hands was surprisingly important. Tactile demands change from one format to another, and it was intriguing to compare the readings of a print picture book with the readings of a story-telling CD-ROM and a CD-ROM encyclopedia. The simple question of one hand or two or even one hand and four appeared to be much more important than I had ever anticipated. (Mackey, 2007, p. 15: 15) Som Mackey videre påpeker, er det vanskelig å finne forskningslitteratur og studier av lesing og literacy som befatter seg med hendenes rolle. Hvis taktile og haptiske aspekter ved lesing i det hele tatt er berørt, er det som oftest i forbindelse med Braille (blindeskrift). Dersom vi definerer lesing som en multisensorisk prosess og tar høyde for at de ulike mediene vi bruker når vi leser, har ulike ergonomiske grensesnitt, blir den typen spørsmål også svært aktuelle innen en generell lesing- og literacy-kontekst: We need to ask whether the activity of the hands is simply a superficial accompaniment of our current arrangements of reading, whether the role of the hands is confined to the aesthetics of the tactile elements of reading, or whether the use of the hands engages the brain in ways that 1 2 3 Som bl.a. Kress påpeker alle tekster er i en forstand multimodale: No message ever appears in one mode. Written language inevitably involves the medium of typography, or of handwriting, and the medium of layout. Further, writing has to appear on or with a medium paper, stone, textile, a rockface, a marble slab. The medium with which language appears adds to its meaning [...]. (Kress, 1982, p. 163) Taktilitet betegner den passive følesansen, og avgrenses til hvordan vi sanser og opplever omgivelsene gjennom (hud)berøring. Det å føle vind eller temperatur mot huden er eksempler på passive taktile opplevelser, som ikke (nødvendigvis) involverer den kinestetiske modaliteten. Haptikk betegner hvordan vi sanser og opplever omgivelsene gjennom både berøring og aktiv utforskning vha. hender og fingre. Den kalles ofte en kombinatorisk sans, fordi den kombinerer den taktile ( passiv sanseerfaring vha. hudberøring) og den kinestetiske sansen ( aktiv sanseerfaring vha. mobilitet og sansemotorikk). 3

play a constitutive role in the reading process. (2007, p. 112: 112) Her går ikke Mackey lenger enn å stille seg dette i mine øyne både relevante og svært betimelige spørsmålet, men ser det som sin oppgave å «tease out the implications of asking such a question at all.» (2007, p. 112: 112) Som det vil framgå nedenfor, er kroppens og deriblant hendenes rolle i kognisjon, språk og intellektuelle prosesser både kjente og grunnleggende problemstillinger innen psykologi, nevrovitenskap og fenomenologi. Denne artikkelen vil se på hva det kan innebære for literacy- og leseforskningen å ta Mackeys spørsmål på alvor. Hva betyr en slik rekonseptualisering og «korporealisering» (kroppsliggjøring) både av leseren og av lesing for vår forståelse av lesing som en ferdighet vi på mange måter forbinder med det å være menneske? Hva kan dagens diffusjon av leseplattformer ha å si for de kommende generasjoners utvikling av grunnleggende leseferdigheter? Og sist, men ikke minst: I lys av dagens medieøkologi, hvordan er vi som lese- og literacy-forskere rustet til å videreutvikle teoretisk kunnskap om og modeller av både normal og avvikende leseutvikling på ulike nivåer, som i sin tur kan danne grunnlag for pedagogiske redskaper til bruk i både grunnleggende og viderekommen leseopplæring? Dagens mangfoldige og differensierte medielandskap gir oss en gyllen anledning til å reflektere over og problematisere hvilken rolle det ergonomiske grensesnittet 4 spiller i lesing. I det følgende skal jeg sette søkelyset på hvordan forskning på lesing i større grad vil kunne ta høyde for disse aspektene dersom man går langt mer tverrvitenskapelig til verks enn hva som er tilfellet i dag, både innen nordisk og internasjonal leseforskning. Særlig vil jeg argumentere for relevansen av disipliner som (kognitiv) nevrovitenskap og fenomenologi, og for et teoretisk paradigme som i de senere år har bidratt til å forsone blant annet disse to tilsynelatende lite kompatible tilnærmingene, nemlig det paradigmet som kalles «embodied cognition». 5 «Gammel» leseforskning i møte med nye tekstteknologier og leseplattformer I det øyeblikket vi tar i bruk nye teknologier og redskaper for å lese, skrive, kommunisere og uttrykke oss, legger vi gjerne bedre merke til hvordan disse nye mediene eller redskapene på 4 5 Ergonomisk grensesnitt skal forstås som de tekniske og fysiske affordansene (dvs. bruks- og interaksjonsmulighetene) som ulike medier og teknologier byr leseren og som er en del av leserens sansemotoriske, kognitive, perseptuelle og fenomenologiske interaksjon med leseplattformen. Embodied cognition betegner et tverrvitenskapelig teoretisk paradigme innen bl.a. psykologi, filosofi, biologi, og nevro- og kognisjonsvitenskap. Paradigmet ser tenkning og kognisjon som grunnleggende kroppslig forankret, og legger vekt på hvordan sansemotorikk spiller en sentral rolle i kognitive prosesser på ulike nivåer (se for eksempel Shapiro, 2010; Thompson, 2007; Varela, Thompson, & Rosch, 1991). 4

ulike måter er forskjellige fra de vi kjenner. Teknologiene, og deres affordanser det vi med en fellesbetegnelse kan kalle lesingens og skrivingens grensesnitt kommer tydeligere til syne og kan dermed gjøre oss oppmerksomme på aspekter ved lese- og skriveprosessen som vi ikke tidligere har reflektert over. Skriveforsker Christina Haas (1996) sier det slik: Different writing technologies set up radically different spatial, tactile, visual, and even temporal relations between the writer s material body and his or her material text. (1996: 226) Haas forsker på hvordan ulike redskaper og teknologier innvirker på skriving. Hun peker blant annet på hvordan man innen skriveforskningen i forsvinnende liten grad har problematisert teknologiens rolle, og at man heller har forsket på skriving som om selve skriveredskapet var helt uten betydning. Dette kaller hun «the transparent technology myth»: The «technology is transparent» myth sees writing as writing, its essential nature unaffected by the mode of production and presentation. The most serious drawback to the transparent technology assumption is that it encourages an overly positive, whole-hearted acceptance of computer technology without any consideration of possible negative effects of that technology. Viewing technology as transparent encourages a belief that writers can use computer technology without being shaped by it, and therefore discourages any examination of how technology shapes discourse and how it, in turn, is shaped by discourse. (1996, p. 22: 22) Det er nærliggende å trekke paralleller til leseforskningen og dette til tross for at flere framtredende forskere i lang tid har etterlyst nettopp en vektlegging av andre og hittil underteoretiserte forhold ved lesing og literacy, som for eksempel det materielle aspektet og sansemodalitetenes betydning. Denne «teknologiens usynlighet» kan nok i hvert fall delvis tilskrives de teoretiske paradigmene som dominerer den pedagogisk orienterte leseforskningen i dag, nemlig det sosiokulturelle og det kognitive (i den senere tid forsøkt syntetisert i et «sosiokognitivt» paradigme). På den ene siden er det sosiokulturelle paradigmet lite interessert i individuelle sansemotoriske og kognitive aspekter ved lesing. På den andre siden gjør det kognitive paradigmet det vanskelig å studere samspillet mellom sansemotorikk, persepsjon og kognisjon, og problematiserer og fokuserer i liten grad på hvilken rolle de fysiske/materielle egenskapene ved teknologien kan spille for lesing på ulike nivåer. Denne «myten» får derfor den etter min mening uheldige konsekvens at mange grunnleggende spørsmål om ulike teknologiers innvirkning på våre måter å lese på, står i fare for å forbli ubesvarte. Som nevnt har enkelte sentrale lese- og literacy-forskere pekt på behovet for en teoretisk-metodisk nytenkning i tråd med den teknologiske utviklingen. Jeg vil i det følgende trekke fram to eksempler det første fra forskning på leseforståelse, det andre fra semiotisk 5

orientert literacy-forskning. I artikkelen «Text Comprehension: A Retrospective, Perspective, and Prospective» (2009) tar leseforskerne Emily Fox og Patricia Alexander for seg noen av de nye utfordringene som teknologien byr på for forskning på lesing generelt, og på leseforståelse spesielt. I lys av den teknologiske utviklingen påpeker de det potensielt problematiske ved at eksisterende teorier om lesing og leseforståelse er basert på trykte, narrative (lineære) tekster. Selv om disse teoriene på langt nær har utspilt sin rolle, er det verdt å merke seg hvordan det empiriske grunnlaget for teoriene, altså tekstene, i løpet av de siste årene har forandret seg radikalt. Trykte, narrative og overveiende lineære tekster er i økende grad erstattet av digitale, ikke-lineære hypertekster som i utstrakt grad inkluderer andre typer tegn enn skriftspråklig tekst, slik som lyd/musikk, bilder og animasjoner. Tekstlandskapet i dag er med andre ord svært annerledes enn for bare få år siden, noe som nødvendigvis må få konsekvenser for hvordan vi leser og forstår tekster, og for hvordan vi definerer forståelse generelt, og leseforståelse spesielt. I lys av slike endringer stiller Fox og Alexander en rekke betimelige spørsmål: Is it conceivable that the forms of text in postindustrial societies would be so markedly transformed in the past century, that the theoretical orientations toward reading could be so dramatically altered, the outcomes of reading so varied, or the character of reading instruction so repeatedly reformed, all without a concomitant shift in our understanding of what it means to comprehend? (2009, p. 227: 227) Både lesing, teorier om lesing og pedagogisk tilrettelegging av leseopplæring har i lang tid vært knyttet til trykte tekster på papir. Som Alberto Manguel påpeker, har boka som leseteknologi vist seg å være det hittil mest levedyktige formatet i lesingens historie (Manguel, 1996). Nå utfordres imidlertid bokas enerådende posisjon for alvor av digitale teknologier. Det hevdes stadig (særlig blant journalister og teknologiutviklere) at e-boka nå endelig står foran sitt definitive gjennombrudd, både når det gjelder fritidslesing (av f.eks. romaner) og lesing i undervisnings- og utdanningssammenheng. 6 Dersom man går den empiriske forskningen på bruk, lesing og vurdering av e-bøker nærmere etter i sømmene, kan det imidlertid virke som om et slikt gjennombrudd fortsatt er et stykke unna (Clark, Goodwin, Samuelson, & Coker, 2008; Dearnley & McKnight, 2001; Hernon, Hopper, Leach, Saunders, & Jane, 2007; Landoni & Hanlon, 2006; Pattuelli & Rabina, 2010; Shelburne, 2009; R. Wilson, 2003; Woody, Daniel, & Baker, 2010; Young, 2006). Men uansett vil et slikt 6 Noen videregående skoler i Vestfold har hatt forsøk med å erstatte trykte lærebøker med leseplater ( Horten videregående først ute med digitale bøker, http://www.vfk.no/) og ved Universitetet i Oslo får studenter på utvalgte emner på masterstudiet i geologi utdelt hver sin ipad med all pensumlitteraturen på ved semesterstart ( Prøver ut ipad-studier, Aftenposten morgen 15.09.2010). 6

(kommende) teknologisk paradigmeskifte innebære at vi må tenke mer nyansert om lesing, både som prosess og som ferdighet. Teoriene våre må oppgraderes for å gjenspeile de til dels radikale endringene som finner sted når lesingen tar veien fra papir til skjerm, og pedagogikken må oppdateres for å kunne ta i bruk de nye leseteknologiene på mest mulig hensiktsmessig måte. Ad hoc-tilpasninger av eksisterende modeler og teorier er ifølge Fox og Alexander ikke tilstrekkelig: What is required is not an expansion of existing models but rather a fundamental reconceptualization of the nature of text comprehension. (2009, p. 232: 232). Skjematisk og veldig forenklet uttrykt kan kanskje utviklingen fra et behavioristisk til et kognitivt, sosiokulturelt eller sosiokognitivt paradigme innen den pedagogisk orienterte leseforskningen sies å representere en slik ad hoc-tilpasning, der siste skudd på stammen sosiokognitiv teori er et forsøk på å forene de to tradisjonene og tilnærmingene som dominerer i dag, nemlig sosiokulturell teori og det kognitive paradigmet (se for eksempel Bråten, 2002). Den andre eksponenten for noe jeg anser som en utilstrekkelig ad hoc-teoretisering omkring lesing i nye teknologier, er Gunther Kress. I en book som er blitt sentral for mye av multimodalitetsforskningen, Literacy in the New Media Age (2003), hevder han med rette at «[t]he by now very extensive work in the area of literacy practices (and literacy events) needs to be complemented by work on the affordances and potentialities of the stuff, the material, which is involved in the practices.» (2003: 13; min uth.) Kress peker på nødvendigheten av å studere nettopp de mulighetene og begrensningene som ligger i selve redskapene som brukes til kommunikasjon og meningsskaping. Redskaper forstår han imidlertid som semiotiske ressurser, slik som f.eks. tekst, bilde og lyd. Han legger vekt på hvordan disse ressursene for meningsskaping legger ulike premisser og føringer for hva som kan uttrykkes og kommuniseres, og dermed for hvordan denne kommunikasjonen blir lest og forstått. I den forbindelse etterlyser han en nytenkning rundt disse ressursene, en tenkning som retter oppmerksomheten mot ressursenes materielle aspekt: We need a quite new way of thinking about resources, their use and the users, and we need a new theory of meaning and meaning-making, a new theory of semiosis. For that, both speech and writing need to be discussed in terms of their materiality, as much as in terms of their cultural shaping [...]. We need to attend to the very materiality of the resources, the material stuff that we use for making meaning. (2003: 32) Kress skriver mer om de endrete rammevilkårene for skriving enn for lesing, og hovedpoenget er at skjermen har overtatt for boksiden som paradigmet for skriving og framstilling av (multimodal) tekst, og at framstilling i større grad skjer på bildets enn på den 7

verbalspråklige tekstens premisser. Kress opptatthet av materielle aspekter ved lesing og skriving til tross; han er overveiende opptatt av formdimensjonen og meningsaspektet. Lesing og skriving forstås i overveiende grad som (audio)visuelle prosesser; andre sansemodaliteter synes for Kress primært å tilhøre en «utvidet» forståelse av lesing, slik som lesing av blindeskrift og lesing av kroppsspråk: New forms of reading [...] have consequences for the relations between makers and re-makers of meaning. In this it is important to focus on materiality, on the materiality of the bodily senses that are engaged in reading hearing (as in speech), sight (as in reading and viewing), touch (as in Braille) and on the materiality of the means for making the representations that are to be 'read' graphic stuff such as letters or ideograms, sounds as in speech, movement as in gesture. (2003: 140) Etter min oppfatning er dette en like reduktiv tilnærming til og forståelse av lesing, skriving og literacy som den lingvistiske og «tekst»-orienterte (i den smale betydningen av begrepet) som Kress selv kritiserer. Jeg vil påstå at så lenge vi forblir på form-/innholdssiden av (den multimodale) teksten og primært befatter oss med kognitive aspekter ved lesing som en utelukkende mental, intellektuell prosess, vil vi ikke komme særlig nærmere en forståelse av lesing og literacy i dagens mediesamfunn. Det vi trenger, er en tverrvitenskapelig og teoretisk fundert rekonseptualisering av grunnleggende begreper og modeller. Digitale teknologier fører til ontologisk endrete rammebetingelser for lesing. Trykte tekster uansett hvor multimodale de er har en permanens og utstrekning i tid og rom, og en absolutt og utvetydig begynnelse og slutt. Dette betyr at leseren med sikkerhet kan slå fast når han eller hun har lest hele teksten, eller hvor mye som til enhver tid gjenstår. Den konkrete, sanselige tilgangen til dokumentet som helhet er både taktilt, haptisk og visuelt fundert: Leseren kan både kjenne tekstens lengde i form av antall sider og samtidig se hvor lang den er. Til forskjell har ikke digitale tekster en slik fysisk, taktil permanens og utstrekning. Det at en tekstkonfigurasjon er digital, innebærer per definisjon at dens visuelle manifestasjon er basert på underliggende algoritmer og koder. Det vi ser på skjermen, er til enhver tid et midlertidig display av latent dynamiske konfigurasjoner. I digitale teknologier finnes det ikke en fysisk, romlig og temporal kontingens (dvs. pålitelig, naturgitt sammenheng) mellom det fysiske mediet (PC-en; e-boka) og den konfigurasjonen som presenteres. De psyko-ergonomiske affordansene i trykte og digitale medier er dermed forskjellige, og dette får implikasjoner for vår opplevelse av tekstene de implementerer (Mangen, 2006, 2010; Morineau, Blanche, Tobin, & Gueguen, 2005). I likhet med Fox og Alexander (2009) etterlyser jeg derfor en mer grunnleggende 8

teoretisk nytenkning rundt hvordan vi definerer lesing både som prosess, ferdighet og opplevelse. Å utvide den teoretisk-metodiske porteføljen fra å bestå overveiende av tegn-, tekst- og diskursorienterte disipliner, supplert med sosiokulturell teori og kognitivt orienterte disipliner, fører i liten grad til rekonseptualisering, fordi en slik ad hoc-tilpasning kun i begrenset omfang problematiserer grunnleggende ontologiske og epistemologiske forutsetninger som ligger til grunn for teoriene og modellene. Dersom vi har som mål å forstå hvordan og i hvor stor grad digitale teknologier som PC, Kindle, ipad og mobiltelefon kan innvirke på lesing som prosess og ferdighet, er verken den tekst-, diskurs- og/eller semiotisk orienterte multimodalitetsforskningen eller den sosiokulturelt orienterte literacy-forskningen etter min mening spesielt fruktbare tilnærminger. For det første kan ikke et slikt forskningsspørsmål studeres ved å forholde seg utelukkende til tekstensinnholds- eller formside uansett hvor multimodale, interaktive og komplekse disse måtte være. For det andre vil, som nevnt, det sosiokulturelle perspektivet vektlegge kontekstuelle og situasjonelle aspekter som gjør det vanskelig om ikke umulig (og som oftest også uinteressant) å studere kognitive aspekter ved for eksempel samspillet mellom persepsjon og sansemotorikk under lesing. Som leseforskere bør vi i dag etter min mening forholde oss til totaliteten og samspillet mellom tekstkonfigurasjon (forstått som form/struktur/layout og innhold/mening; på tegn-/tekst-/diskursnivå), og implementeringen av denne konfigurasjonen i et leseredskap eller lesemedium, samt de ergonomiske affordansene som tilligger og defineres av dette mediet/redskapet. Innsikter og teorier fra tilgrensende fag og disipliner som film-, musikk- og medievitenskap samt studier av grensesnitt og ergonomisk design, melder seg som relevante «støttedisipliner» for lese- og literacy-forskningen. Videre mener jeg at våre begreper om og forståelse av «leseren» bør oppgraderes og nyanseres. Her har vi mer å hente dersom vi skuer utover grensene for humanistiske og samfunnsvitenskapelige fag og i retning naturvitenskapen og de eksperimentelle disiplinene. En forståelse av lesing og av leseren med bakgrunn i «embodied cognition»-paradigmet vil kunne konseptualisere lesing som en prosess som integrerer sansemotorikk og kognisjon, der de kognitive og perseptuelle prosessene er grunnleggende forankret i det menneskelige sansemotoriske apparatet. Leseren er, som nevnt, alltid og på én og samme tid både intellekt, tenkning, sanseopplevelser og motoriske handlinger. Dermed blir lesing alltid en multisensorisk, perseptuell, kognitiv og sansemotorisk aktivitet og prosess der ergonomiske aspekter spiller en rolle. For bedre å kunne forstå betydningen av disse «nye» aspektene ved lesing, og hvilke pedagogiske implikasjoner de kan ha (på kort og lang sikt), ser det ut til at vi er henvist til å lete utenfor de konvensjonelle 9

paradigmene innen lese- og multimodalitetsforskningen. Mitt forslag er å se til henholdsvis fenomenologi og nevrovitenskap, med utgangspunkt i hvordan sentrale aspekter ved disse tilnærmingene forenes i «embodied cognition»-paradigmet (jf. note over). «Embodied», multisensorisk lesing i et nevrofenomenologisk perspektiv Spiller kroppen en rolle i lesingen? Det skulle være åpenbart nå at dette for meg er et retorisk spørsmål. Kroppen og særlig hendene våre og øye-hånd-koordinasjonen har alltid spilt en sentral og helt uunnværlig rolle i menneskelige læringsprosesser, men dette er bare delvis nedfelt i pedagogisk teori og praksis (som f.eks. Steiner- og Montessori-pedagogikken). I begynneropplæring i lesing og skriving fokuseres det på hvordan taktil og haptisk innlæring av for eksempel bokstaver kan være fordelaktig (cf. for eks. Haugstad, 2006; Mangen & Velay, 2010), men sansemotorikkens betydning for lesing og skriving er så å si fraværende i lese-, skrive- og literacy-forskning utover disse avgrensede kontekstene (cf. for eks. Ochsner, 1990). Måten vi utforsker våre omgivelser på, og de objektene, redskapene og tingene vi befatter oss med ved hjelp av hendene, er helt grunnleggende byggesteiner i menneskets kognitive og språklige utvikling (cf. for eks. Corballis, 2002; Greenfield, 1991; Hatwell, Streri, & Gentaz, 2003; Sheets-Johnstone, 2000; F. R. Wilson, 1998). I disipliner som eksperimentell psykologi og nevrovitenskap, og i en fenomenologisk tilnærming til menneskelig erfaring og bevissthet, er den kroppslige dimensjonen i kognisjon, sanseerfaring og bevissthet både innlysende og grunnleggende. I det sentrale verket Phenomenology of Perception (1962 [1945]) beskriver Maurice Merleau-Ponty den fenomenologiske kroppens betydning for læring på denne måten: It is the body that 'catches' [ ] 'and 'comprehends' movement. The acquisition of a habit is indeed the grasping of a significance, but it is the motor grasping a motor significance. [ ] If habit is neither a form of knowledge nor any involuntary action, then what is it? It is a knowledge in the hands, which is forthcoming only when bodily effort is made, and cannot be formulated in detachment from that effort. (Merleau-Ponty, 1962 [1945], p. 143; 144) Merleau-Pontys eksempel her er å lære seg å skrive på skrivemaskin, men en fenomenologisk forståelse innebærer at kroppen er utgangspunkt og forutsetning for all menneskelig erfaring og bevissthet. For Merleau-Ponty er all persepsjon i sitt vesen kroppslig, og den menneskelige persepsjon manifesterer seg som et aspekt ved nettopp vår kroppslige væren. Kropp og verden 10

er så å si to sider av samme sak; bevissthet er «væren-i-verden-rettet-mot-tingene», gjennom og ved hjelp av kroppen som «intermediary» (Carman, 2008). En fenomenologisk tilnærming til menneskelig erfaring framhever nettopp det dynamiske og gjensidige samspillet mellom sansemotorikk (bevegelse) og multisensorisk persepsjon. Vi sanser omgivelsene med og gjennom en kropp som er sansemotorisk og perseptuelt innrettet mot ting i vår livsverden: The object which presents itself to the gaze or the touch arouses a certain motor intention which aims not at movement of one s own body, but at the thing itself from which they are, as it were, suspended. [ ] The sensory properties of a thing together constitute one and the same thing, just as my gaze, my touch and all my other senses are together the powers of one and the same body integrated into one and the same action. (Merleau-Ponty, 1962 [1945]: 317) Videre framheves det holistiske og multisensoriske ved sansing og persepsjon innen både nevrovitenskap og fenomenologi førstnevnte på en typisk «bottom up», analytisk måte: Perception is fundamentally a multisensory phenomenon. There can be no doubt that our senses are designed to function in concert and that our brains are organized to use the information they derive from their various sensory channels cooperatively in order to enhance the probability that objects and events will be detected rapidly, identified correctly, and responded to appropriately. Thus, even those experiences that at first may appear to be modality-specific are most likely to have been influenced by activity in other sensory modalities, despite our lack of awareness of such interactions. Indeed, mounting evidence now suggests that we are rarely aware of the full extent of these multisensory contributions to our perception. (Calvert, Spence, & Stein, 2004) Fra et «top-down» fenomenologisk perspektiv beskriver Merleau-Ponty tilsvarende hvordan sansemodalitetene kommuniserer seg imellom på bakgrunn av og i samspill med ting i våre omgivelser, slik at«[o]ne sees the hardness and brittleness of glass, and when, with a tinkling sound, it breaks, this sound is conveyed by the visible glass.» (1962 [1945]: 229) Parallellene mellom en fenomenologisk og en nevrovitenskapelig forståelse av persepsjon og sansing kommer klart til uttrykk i det følgende, der fenomenolog Don Ihde beskriver det han kaller «full human perception»: [it is] always multidimensional and synthetic. In short, we never just see something, but always experience it within the complex of sensory fields. [ ] The monosensory is an abstraction although useful and possible to forefront and simply does not occur in the experience of the lived body (corps vécu). (1999: 160; 171) På samme måte kan vi si at vi når vi leser alltid ikke bare ser bokstaver og bilder og tegn med øynene, men opplever den multimodale tekstkonfigurasjonen i et sansemotorisk «felt», der lesemediets ergonomiske grensesnitt spiller en viktig rolle. Og i denne prosessen er det av 11

spesiell betydning hvordan vi helt konkret fysisk håndterer dette mediet. Det utgjør en forskjell om vi holder teksten/dokumentet i hånda, slik vi vanligvis gjør med boka, eller om vi leser noe uten å håndtere teksten/dokumentet direkte, slik det som oftest er med PC-er som står på et bord. Dette har blant annet sammenheng med en helt grunnleggende nevrofysiologisk disposisjon som er nedfelt i oss helt fra fødselen av, nemlig øye håndkoordinasjonen: The human nervous system has a special control mechanism for the coordination of the hand with the focusing muscles of the eye. Among the first things a baby learns is to focus on objects in its hands. The nerves and muscles that control focusing connect the hand and the eye directly. Therefore, it will always be much easier to read something that is held in the hand than something that just lies on the table. (Strassmann, 1985: 171) Når vi leser noe på en (stasjonær) PC-skjerm, skjer det visuelle «output» på et annet spatiotemporalt sted enn der våre sansemotoriske «input» håndteringen av tastatur, datamus etc. finner sted (Mangen, 2010). Oppmerksomheten vår er dermed splittet, og den naturgitte sammenhengen mellom sansemotorikk og persepsjon er brutt. Forskning innen bl.a. kognitiv og eksperimentell psykologi tyder på at en slik splitting av oppmerksomheten kan ha negativ innvirkning på kognitive funksjoner på ulike nivåer, som f.eks. gjenkalling av informasjon eller forståelse av tekst (Kerr & Symons, 2006; Morineau, et al., 2005; Wästlund, 2007). Når det gjelder øye hånd-koordinasjonen og forholdet mellom sansemotorisk input og perseptuelt output, forholder ting seg annerledes med en e-bok eller leseplate sammenliknet med en PC. En årsak til at mange spår at e-boka vil gjøre papirboka overflødig, er nettopp e-bokas haptiske affordanser det at vi holder den i hendene på en måte som ligner måten vi holder en trykt bok på. Imidlertid har leseren også i e-boka kun tilgang til tekstens helhet visuelt og ikke taktilt/haptisk, slik som tilfellet er med den trykte boka. Studier tyder på at dette kan bidra til at mange fortsatt er skeptiske til å skulle erstatte den trykte boka med e-boka (Clark, et al., 2008; Pattuelli & Rabina, 2010; Shepperd, Grace, & Koch, 2008; R. Wilson, 2003; Woody, et al., 2010). Empiriske studier av lesing i henholdsvis e-bok og trykt bok vil forhåpentligvis kunne gi oss noen antydninger om hvordan og i hvor stor grad forskjellen i ergonomiske affordanser mellom disse mediene har konsekvenser for ulike aspekter ved lesing. «Reading practices, and the understanding of what reading is,» sier Kress, «develop in the constant interaction between what there is to read and the socially located reader and their human nature» (2003: 140). Etter min mening kan lese- og literacy-forskere med fordel ta mer høyde for nettopp «human nature» enn det som er til fellet i dag. Vi bør kunne balansere lesing og literacy som sosialt situerte praksiser med en tilnærming til disse ferdighetene som i 12

større grad trekker veksler på hva vi etter hvert vet om det sansemotoriske og kognitive samspillet mellom kropp og hjerne, og våre omgivelser. Bare på den måten kan vi ha forhåpninger om å kunne utvikle et gunstig(ere) vitenskapelig klima som vil kunne være mottakelig for og interessert i en lese- og literacy-forskning som er genuint tverrvitenskapelig og åpen for sentrale innsikter fra relevante, men hittil marginaliserte disipliner. Litteraturliste Bråten, I. (2002). Læring: i sosialt, kognitivt og sosialt-kognitivt perspektiv. Oslo: Cappelen akademisk forlag. Calvert, G. A., Spence, C., & Stein, B. E. (2004). The handbook of multisensory processes. Cambridge, Mass.: MIT Press. Carman, T. (2008). Merleau-Ponty. London: Routledge. Clark, D. T., Goodwin, S. P., Samuelson, T., & Coker, C. (2008). A qualitative assessment of the Kindle e-book reader: results from initial focus groups. Performance Measurement and Metrics, 9(2), 118-129. Corballis, M. C. (2002). From hand to mouth: The origins of language. Princeton, N.J.: Princeton University Press. Dearnley, J., & McKnight, C. (2001). The revolution starts next week: the findings of two studies considering electronic books. Information Services & Use, 21(2), 65. Fox, E., & Alexander, P. A. (2009). Text comprehension: A retrospective, perspective, and prospective. In G. G. Duffy & S. E. Israel (Eds.), Handbook of research on reading comprehension (pp. 227-239). New York: Routledge. Greenfield, P. M. (1991). Language, tools and brain: The ontogeny and phylogeny of hierarchically organized sequential behavior. Behavioral and Brain Sciences, 14, 531-595. Haas, C. (1996). Writing technology: Studies on the materiality of literacy. Mahwah, N.J.: L. Erlbaum Associates. Hatwell, Y., Streri, A., & Gentaz, E. (Eds.). (2003). Touching for knowing (Vol. 53). Amsterdam/Philadelphia: John Benjamins. Haugstad, O. (2006). Pedagogisk-metodiske tilnærmingsmåter og håndskriving som metode i begynnerlesingen. Spesialpedagogikk, 10. Hernon, P., Hopper, R., Leach, M. R., Saunders, L. L., & Jane, Z. (2007). E-book Use by Students: Undergraduates in Economics, Literature, and Nursing. Journal of Academic Librarianship, 33(1), 3-13. Ihde, D. (1999). Expanding hermeneutics: Visualism in science. Evanston, Ill.: Northwestern University Press. Kerr, M. A., & Symons, S. E. (2006). Computerized presentation of text: Effects on children s reading of informational material. Reading and Writing, 19(1), 1-19. Kress, G. (1982). Learning to write. London: Routledge & K. Paul. Kress, G. (2003). Literacy in the new media age. London & New York: Routledge. Landoni, M., & Hanlon, G. (2006). E-book reading groups: Interacting with e-books in public libraries. The Electronic Library, 25(5), 599-612. Mackey, M. (2007). Literacies across media: Playing the text (Second ed.). London & New York: Routledge. 13

Mangen, A. (2006). New narrative pleasures? A cognitive-phenomenological study of the experience of reading digital narrative fictions. Norwegian University of Science and Technology, Faculty of Arts, Department of Art and Media Studies, Trondheim. Mangen, A. (2008). Hypertext fiction reading: Haptics and immersion. Journal of research in reading, 31(4), 404-419. Mangen, A. (2010). Point and click: Theoretical and phenomenological reflections on the digitization of early childhood education. Contemporary Issues in Early Childhood, 11(4). Mangen, A., & Velay, J.-L. (2010). Digitizing literacy: reflections on the haptics of writing. In M. H. Zadeh (Ed.), Advances in Haptics. Vienna: IN-TECH web. Manguel, A. (1996). A history of reading. London: HarperCollins. Merleau-Ponty, M. (1962 [1945]). Phenomenology of perception. London: Routledge. Morineau, T., Blanche, C., Tobin, L., & Gueguen, N. (2005). The emergence of the contextual role of the e-book in cognitive processes through an ecological and functional analysis. International Journal of Human-Computer Studies, 62(3), 329-348. Ochsner, R. (1990). Physical eloquence and the biology of writing. New York: SUNY Press. Pattuelli, M. C., & Rabina, D. (2010). Forms, effects, function: LIS students' attitudes towards portable e-book readers. Aslib Proceedings: New Information Perspectives, 62(3), 228-244. Shapiro, L. A. (2010). Embodied cognition. New York: Routledge. Sheets-Johnstone, M. (2000). The primacy of movement. Philadelphia: John Benjamins. Shelburne, W. A. (2009). E-book usage in an academic library: User attitudes and behavior. Library Collections, Acquisitions, & Technical Services, 33, 59-72. Shepperd, J. A., Grace, J. L., & Koch, E. J. (2008). Evaluating the electronic textbook: Is it time to dispense with the paper text? Teaching of Psychology, 35, 2-5. Strassmann, P. A. (1985). Information payoff: The transformation of work in the electronic age. New York & London: Free Press; Collier Macmillan. Thompson, E. (2007). Mind in life: Biology, phenomenology, and the sciences of mind. Cambridge, Mass.: Harvard University Press. Varela, F. J., Thompson, E., & Rosch, E. (1991). The embodied mind: Cognitive science and human experience. Cambridge, Mass.: MIT Press. Wilson, F. R. (1998). The hand: How its use shapes the brain, language, and human culture (1st ed.). New York: Pantheon Books. Wilson, R. (2003). Ebook readers in higher education. Educational Technology & Society, 6(4), 8-17. Woody, W. D., Daniel, D. B., & Baker, C. A. (2010). E-books or textbooks: Students prefer textbooks. Computers & Education, 55, 945-948. Wästlund, E. (2007). Experimental studies of human-computer interaction: Working memory and mental workload in complex cognition. Göteborg: Department of Psychology, Gothenburg University. Young, J. R. (2006). Even with improved screens, e-book devices not ready for college. Chronicle of Higher Education, 53(17), A33-A34. Elektroniske ressurser (dato for nedlastning: 15.11. 2010) Gulvik, G. (2007). Horten videregående først ute med digitalebøker, http://www.vfk.no/ Nipen, K. (2010). Prøver ut ipad-studier, Aftenposten morgen 15.9. 14