Tegn og tekst. \yvind og ]se N{rb}? Læreboka kapittel 2. Institutt for informatikk Gerhard Skagestein 30. august 2006.

Transkript

1 Tegn og tekst \yvind og ]se N{rb}? Læreboka kapittel IN-tekst-

2 Om tegn og glyfer Tegn et bakenforliggende begrep for bestemte strektegninger på papir, skjerm, steintavler... Glyf t tegn kan vises fram med ulike glyfer:... se neste lysark et heter tegn! Karakterer får man på skolen! Kontrollkode/kontrolltegn Tegn som ikke vises fram i form av en glyf, men som brukes til å styre eller påvirke fremvisningsenheten eller dataoverføringen ksempel: SII-koden (udible bell) får fremvisningsenheten til å gi lyd fra seg IN-tekst-

3 t representert tegn kan vises på flere måter Godt prinsipp: Skill representasjon fra fremvisning ( rendering ) tegnrepresentasjon (kode) lager/ hukommelse ( memory )?? a a a a α a a a glyfer IN-tekst-

4 Tegnkoder og kodetabeller Kode Noe som representerer noe annet kodepunkt ksempel: Heksadesimal notasjon, se neste lysark SII-koden = x x representerer tegnet x Kodepunkt x t tegns numeriske verdi Kodetabell ksempel: x er kodepunktet for i SII Kodetabell n ordnet liste av koder og hva de representerer Koding ( ncoding ). Oppsett av en kodetabell. Kodingsprinsipp brukt i forbindelse med dataoverføring IN-tekst-

5 ra binær til heksadesimal og vice versa ra binær til heksadesimal Grupper de binære sifrene og (bakfra) rstatt hver gruppe med det tilsvarende heksadesimale sifferet ksempel: = x ra heksadesimal til binær ruk tabellen motsatt vei binær siffergruppe heksadesimalt siffer IN-tekst-

6 Viktige avgjørelser ved oppsett av kodetabeller ast eller variabelt antall biter per tegn? Hvor mange biter per tegn? Hvilke tegn skal representeres? orskjellige tegn eller samme tegn med ulike glyfer? Hvilket bitmønster for hvert enkelt tegn? Sorteringsrekkefølge? ( collating sequence ) Kompatibilitet med eldre/andre representasjoner? Hvordan oppnå robusthet mot de mest alvorlige feilene? Og så bør man oppnå enighet individuelle standarder har liten verdi IN-tekst-

7 ast eller variabelt antall biter? ast antall er enklere å håndtere ved lagring og overføring (maskinvaren kan behandle flere biter på en gang) Variabelt antall er interessant for manuelle systemer (som Morse) og i situasjoner der vi ønsker å spare plass eller overføre færre biter. Moderne representasjoner bruker både fast og variabelt antall biter for hvert tegn Vanlig brukte antall biter: biter, = mulige kombinasjoner audot, Murray, IT biter, = mulige kombinasjoner ILT, I biter, = mulige kombinasjoner SII, ISO, TSI GSM. biter, = mulige kombinasjoner SII bit, I, ISO biter, = mulige kombinasjoner Unicode UT- (uten surr.) () biter, = mulige kombinasjoner Unicode UT- IN-tekst-

8 audot kodetabell ( ) LTRS undef LTRS X IGS undef LTRS., -biters kode ulike koder To plan LTRS og IGS statusavhengig koding å kontrolltegn É I O U Y IGS J G Z S T W V L K M & O IGS : ;!? ' L ( ) H L H = Hvordan lese en kodetabell se neste lysark R Q Z P - / % IN-tekst-

9 Hvordan lese en kodetabell Legg sammen for åfåkodepunktet undef LTRS Representativ glyf for tegnet X É Z I S IN-tekst-

10 audot - sendeenhet Kodetabellen utformet med tanke på håndens ergonomi LTRS none IV V both IGS none IV V both none undef IGS LTRS L none undef IGS LTRS L I J K I. ( II G X M II, ) I II É H Z L I II & H : = III I S R III ; - III I O T Q III I! / III II U W Z III II O? III II I Y V P III II I ' % IN-tekst-

11 scape-prinsippet t escape-symbol signaliserer at de etterfølgende representasjonene skal tolkes på en alternativ måte enten fram til et avsluttende escape-symbol eller et bestemt antall representasjoner (vanligvis én) Med escape-prinsippet kan omfanget av tegnsettet utvides utover hva antall bitposisjoner i utgangspunktet tillater ksempel: scape-symbolparet IGS og LTRS i audot utvider omfanget av tegnsettet nesten til det dobbelte en største ulempen er at man ikke kan gå inn et tilfeldig sted i tekstrepresentasjonen og se hvilket tegn som står der llikevel er escape-prinsippet mye brukt IN-tekst-

12 Murray kodetabell ( ) LTRS blank L T Z L IGS blank L. / ygger på audot W undef Optimalisert med tanke på færrest mulig mekaniske bevegelser i apparatene LTRS S I U R H Y P Q O LTRS ' R? orløper til IT International Telegraph lphabeth no. (se neste lysark) R J N K G IGS M X V L - ( IGS. ) L IN-tekst-

13 IT International Telegraph lphabet ( ) LTRS blank L space T Z L W H IGS blank L - space + ) undef S Y ' ygger på Murray I P (blå koder endret) U Q I bruk i telegraftjenesten helt opp til våre dager! R R J O G IGS R WRU L? undef IGS N M.. X undef / V = K LTRS ( LRTS IN-tekst-

14 -biters tegn kodetabell ( [ K L ) - Mange ulike varianter til og med på samme maskintype ksempel her: UNIVs -bits ILT kodetabell ] # Δ space M N O P Q + < = > & Ofte bygd på ILT R $ (en US-rmy standard) S * Meget utbredt på -tallets datamaskiner T U ( % Gir rom for Z,, noen spesialtegn V : ; Ikke små bokstaver, ingen nasjonale tegn (Æ, Ø, Å) G H I W X Y?!, /. Tall og bokstaver systematisk plassert J Z \ IN-tekst-

15 SII ( ) SII merican Standard ode for Information Interchange -biters kode tegn Meget gjennomtenkt standard brukes den dag i dag, og er inkludert i nyere standarder Gir rom for Z, a z,, mange spesialtegn... men ikke for internasjonale tegn (æ, ø, å) se IN-tekst-

16 IN-tekst- SII kodetabell ( ) L o _ O? / US SI ~ n ^ N >. RS SO } m ] M = - GS R l \ L <, S { k [ K ; + S VT z j Z J : * SU L y i Y I ) M HT x h X H ( N S w g W G ' T L v f V & SYN K u e U % NK NQ t d T $ OT s c S # TX r b R STX q a Q! SOH p ` space L NUL

17 NUL (Null): No character Hva betyr kontrolltegnene? L (ell): Used to control an alarm or attention device. S (ack Space): Indicates the movement of the printing mechanism or display cursor one position backwards. HT (Horizontal Tab): Indicates the movement of the printing mechanism or display cursor forward to the next preassigned tab or stopping position. L (Line eed): Indicates movement of the printing mechanism or display cursor to the next line. R (arriage Return): Indicates movement of the printing mechanism or display cursor to the starting position of the same line. S (scape): Intended to provide code extension in that it gives a specified number of contiguous following characters an alternate meaning. SP (Space): nonprinting character used to separate words, or to move the printing mechanism or display cursor forward by one position. L (elete): Used to obliterate unwanted characters (for example, on paper tape by punching a hole in every bit position). se også IN-tekst-

18 ISO - kodetabell NUL SOH L P Q ` a p q STX R b r ygger på SII, men [ \ ] { } er ofret til fordel for ÆØÅæøå Lignende tilpasninger er gjort i tilsvarende standarder for andre språkmiljøer TX OT NQ K L S HT L VT NK SYN T N M SU S S # $ % & ' ( ) * +, : ; < G H I J K L S T U V W X Y Z Æ Ø c d e f g h i j k l s t u v w x y z æ ø R GS - = M Å m å SO RS. > N ^ n ~ SI US /? O _ o L IN-tekst-

19 biter: xtended SII og ISO ( ) -: Latin lphabet No. (Vest-uropa) -: Latin lphabet No. (slavisk, albansk, ungarsk, romansk) se -: Latin lphabet No. (esperanto, maltesisk, gallisk) -: Latin/yrillic lphabet -: Latin/rabic lphabet -: Latin/Modern Greek lphabet -: Latin/Hebrew lphabet -: Latin lphabet No. (moderne tyrkisk) -: Latin lphabet No. (islandsk, grønlandsk, baltisk, nordsamisk) -: Latin lphabet No. (keltisk) -: Latin lphabet No. () (modernisert -, med euro-tegn) IN-tekst-

20 IN-tekst- L ~ } { z y x w v u t s r q p - «ª no break space ¾ ½ ¼» º ¹ µ ³ ² ± Ï Î Í Ì Ë Ê É È Ç Æ Å Ä Ã Â Á À ß Þ Ý Ü Û Ú Ù Ø Ö Õ Ô Ó Ò Ñ Ð ï î í ì ë ê é è ç æ å ä ã â á à ÿ o _ O? / US SI þ n ^ N >. RS SO ý m ] M = - GS R ü l \ L <, S û k [ K ; + S VT ú j Z J : * SU L ù i Y I ) M HT ø h X H ( N S g W G ' T L ö f V & SYN K õ e U % NK NQ ô d T $ OT ó c S # TX ò b R STX ñ a Q! SOH ð ` space L NUL undefined ISO - (Latin-) kodetabell

21 IN-tekst- L ~ } { z y x w v u t s r q p - «ª š Š no break space Ÿ œ Œ» º ¹ ž µ Ž ³ ² ± Ï Î Í Ì Ë Ê É È Ç Æ Å Ä Ã Â Á À ß Þ Ý Ü Û Ú Ù Ø Ö Õ Ô Ó Ò Ñ Ð ï î í ì ë ê é è ç æ å ä ã â á à ÿ o _ O? / US SI þ n ^ N >. RS SO ý m ] M = - GS R ü l \ L <, S û k [ K ; + S VT ú j Z J : * SU L ù i Y I ) M HT ø h X H ( N S g W G ' T L ö f V & SYN K õ e U % NK NQ ô d T $ OT ó c S # TX ò b R STX ñ a Q! SOH ð ` space L NUL undefined ISO - (Latin-) kodetabell ISO - modernisert

22 biter produsentspesifikke varianter IMs I ( ---) Microsoft Windows-: ISO - pluss tegn Macintosh MacRoman ncoding esignere av Ps, Macs og UNIX programvare har valgt ulike måter for representasjon av linjeskift : Ps: x pluss x (R pluss L) Macs: x UNIX: x ette gjør filoverføring tricky! IN-tekst-

23 IN-tekst- Windows kodetabell L ~ } { z y x w v u t s r q p undef Ž undef Œ Š ˆ ƒ undef Ÿ ž undef œ š undef - «ª no break space ¾ ½ ¼» º ¹ µ ³ ² ± Ï Î Í Ì Ë Ê É È Ç Æ Å Ä Ã Â Á À ß Þ Ý Ü Û Ú Ù Ø Ö Õ Ô Ó Ò Ñ Ð ï î í ì ë ê é è ç æ å ä ã â á à ÿ o _ O? / US SI þ n ^ N >. RS SO ý m ] M = - GS R ü l \ L <, S û k [ K ; + S VT ú j Z J : * SU L ù i Y I ) M HT ø h X H ( N S g W G ' T L ö f V & SYN K õ e U % NK NQ ô d T $ OT ó c S # TX ò b R STX ñ a Q! SOH ð ` space L NUL ygger på ISO -

24 Tegnsett for mobiltelefon - SMS Short Message Services SMS -bit tegnsett TSI GSM. variant av SII, tillater ca tegn i en melding -bit tegnsett Unicode UT- se lysark tekst-, tillater ca tegn pr melding -bit tegnsett for binære data (PU-meldinger) Protocol description unit TSI: uropean Telecommunications Standards Institute IN-tekst-

25 IN-tekst- TSI GSM. kodetabell for SMS S ) } S ( { S Λ ^ S > ] S = ~ S / \ S < [ S L S e pluss disse escape - sekvensene à o $ O? / É å ü n Ü N >. undef Å ñ m Ñ M = - æ R ö l Ö L <, Æ ø ä k Ä K ; + S Ø z j Z J : * Ξ L y i Y I ) Θ Ç x h X H ( Σ ò w g W G ' Ψ ì v f V & Π ù u e U % Ω é t d T Λ è s c S # Γ r b R Φ $ q a Q! _ p P space

26 en endelige løsning? Unicode og ISO biter, med mulighet for tegn Tegnsettet er delt opp i plan med = tegn i hvert plan Plan : MP asic Multilingual Plane U+ to U+ Plan : SMP Supplementary Multilingual Plane historiske språk (f. eks. egyptiske hieroglyfer), musikk Plan : SIP Supplementary Ideographic Plane sjeldne kinesiske tegn I Unicode skriver vi U+ istedenfor x Plan : SPP Supplementary Special Purpose Plane tag characters MP asic Multilingual Plane se IN-tekst-

27 Unicode databasen Unicode-konsortiet vedlikeholder en database som inneholder alle vedtatte tegn og deres kodepunkter Vedtatte tegn med kodepunkter skal aldri endres or hvert tegn finnes en representativ glyf kodepunktet se et navn klassifisering skriveretning et er plass til bitmønstre, herav private. bitmønstre er ennå ikke brukt I MP er det plass til bitmønstre. bitmønstre er brukt for kinesiske ideografer, bitmønstre for surrogatpar, bitmønstre er private. bitmønstre er ennå ikke brukt IN-tekst-

28 Unicode kompatibilitet med SII og ISO ørste tegn identisk med SII ørste tegn identisk med ISO - IN-tekst-

29 Men hva er nå egentlig et tegn? Noen eksempler: Norsk: aa (f.eks. i navn) oppfattes som å Spansk: ll (eks. Mallorca) oppfattes som j r ö ett tegn, eller o med tødler? r ½ ett tegn, eller tre? Ligaturer: ae æ, ij ij to eller ett tegn? r bokstaven Å og enheten Å to forskjellige tegn? Kontroversielt tema: Unifisering av JK (tegnsettet brukt I kinesisk, japansk og koreansk) IN-tekst-

30 Kombinerende tegnsekvenser I Unicode finnes mange tegnsekvenser som vises som en eneste, sammensatt glyf. ksempel: t tegn med diakritiske merker (se neste lysark) representeres som et basistegn etterfulgt av ett eller flere kombinasjonstegn som gir de diakritiske merkene ksempel: Ö representeres ved hjelp av de to tegnene O og, dvs. U+ og U+ or å være kompatibel med SII og ISO - finnes det også såkalte forhåndssammensatte ( precomposed ) tegn, der basistegn og kombinasjonstegn oppfattes som ett tegn ksempel: Ö kan også representeres direkte som forhåndssammensatt tegn, dvs. U+ Samme tekst kan altså representeres på flere måter! IN-tekst-

31 ksempler på diakritiske merker acute accent armstrong or ring above breve ˇ caron/háček ˇ cedilla circumflex ˆ diaresis/umlaut double acute accent grave accent ` macron ogonek basistegn diakritisk merke ç IN-tekst-

32 Tegn med endret utseende r ² i teksten x² et spesielt tegn U+ = ², eller er det det vanlige tegnet U+ = som har vært gjenstand for en egnet formatering? r ½ et spesielt tegn U+ = ½, eller er det de tre tegnene U+ =, U+ = / og U+ = som har vært gjenstand for en egnet formatering? Unicode omfatter ikke kontrolltegn for formatering. Hovedprinsippet er derfor at spesielle glyf-varianter representeres som egne tegn. Unicode inneholder imidlertid mekanismer for å kunne normalisere til basistegnene (kompatibilitetsdekomposisjon) Samme tekst kan altså representeres på flere måter! IN-tekst-

33 Unicode normalisering or å kunne sammenlikne tekster, bør de være normalisert til samme form en vanligste normaliseringsformen (form ): rstatte forhåndssammensatte tegn med basistegn pluss kombinasjonstegn La tegn med endret utseende stå urørt ndre former kan imidlertid være nyttige i spesielle tilfeller IN-tekst-

34 Koding av tegnstrømmer Hvordan sende og lagre en sekvens av Unicode-tegn? Ulike formater, kalt UT Unicode Transformation ormats (Unicode) eller US Universal haracter Set (ISO ) UT- = US-: Sender og lagrer alle tegn som -biters representasjoner (lite brukt) UT- = US-: Sender og lagrer alle tegn i MP som -biters representasjoner bruker surrogatpar for tegn utenfor MP UT- = US-: Sender og lagrer tegn som,, eller -biters representasjoner Tegn i SII sendes som -biters representasjoner med bitmønsteret x x. UT- er identisk med SII med en ekstra ledende for tegn definert i SII! IN-tekst-

35 Unicode UT- øy til ledende -biter opp til biter foran representasjonen av kodepunktet ksempler: Hva er representasjonen for i UT-? Kodepunktet for er U+ = UT- representasjonen for er = x Hva er representasjonen for Ø i UT-? Kodepunktet for Ø = U+ = UT- representasjonen for Ø er = x IN-tekst-

36 Unicode UT- Med biter kan kodepunktene i MP representeres direkte e planene over MP adresseres med surrogatpar fra MP Surrogatpar itmønstre i MP som fungerer som halvtegn av -biters tegn ørste halvdel (high surrogate): U+ U+ Siste halvdel (low surrogate): U+ U+ Peker til et kodepunkt S utenfor MP ved hjelp av følgende algoritme (se også neste lysark): S = (high x) * x + (low x) + x Gir indirekte tilgang til = ekstra tegn ut fra MP rukes ikke for noe annet, og tar derfor plass som ellers kunne vært brukt for vanlige tegn i MP Unicode UT- har altså tegn med variabel lengde, men lengden kan fastslås ut fra bitmønsteret IN-tekst-

37 S = (high x) * x + (low x) + x High surrogate : xx xxxx xxxx Low surrogate : xx xxxx xxxx biter som er det som trengs for de planene over MP High surrogate : xx xxxx xxxx Low surrogate : xx xxxx xxxx xxxx xxxx xxxx xxxx xxxx + = x xxxx xxxx xxxx xxxx xxxx IN-tekst-

38 Unicode UT- Surrogat-par - eksempel Hva er representasjonen for Linear i Unicode UT-? Kodepunktet for er U+ Trekker fra x (dvs. MP) : x x = x = Setter inn i surrogatparene: High surrogate = = x Low surrogate = = x IN-tekst-

39 nslig motorvogn = + SII-kode Motorvogn i tog begynner alltid med et antall er-biter etterfulgt av en ntall er-biter i motorvognen = antall vogner i toget Vognene begynner alltid med isse bitmønstrene brukes ikke for vanlige tegn i UT- Unicode UT- biter xxxxxxx biter xxxxx xxxxxx xxxx xxx biter xxxxxx SII med en ekstra ledende er kompatibel med UT- xxxxxx biter xxxxxx xxxxxx xxxxxx IN-tekst-

40 Unicode UT- eksempler Hva er representasjonen for i Unicode UT-? Kodepunktet for er U+ = ligger i SII-settet og det holder med motorvognen : UT--representasjonen for er x Hva er representasjonen for Ø i Unicode UT-? Kodepunktet for Ø er U+ = Trenger et tog med plass til minst biter da trenger vi to bytes: biter xxxxx xxxxxx Setter inn for x: = x x UT--representasjonen for Ø er altså x IN-tekst-

41 Veletablerte Unicode delmengder mbisiøst å skulle håndtere over tegn! Vi kommer langt med delmengder: WGL (Windows Glyph List) tegn fra MS-OS, Windows, Mac uropeiske US-delmengder MS-: tegn unionen av ISO -,,,,,, MS-: tegn supermengde av MS- med latin/gresk/kyrillisk/armensk/georgisk pluss matematiske tegn MS-: tegn supermengde av MS- og WGL Lignende delmengder for sia se IN-tekst-

42 ig endian vs. Little endian I representasjoner som krever mer enn én byte, finnes det to mulige rekkefølger av bytene: Starte med den mest signifikante ( ig endian ) Starte med den minst signifikante ( Little/small endian ) ksempel: UT- ig endian for er x UT- Little endian for er x egge muligheter blir brukt i praksis, og dette kan gi problemer når data overføres fra et maskinmiljø til et annet! UT- har ikke dette problemet, siden maskinmiljøet her ser bare enkeltbyter IN-tekst-

43 yte order mark (OM) t yte order mark (OM) er tegnet Zero width no-breake space med kodepunkt i begynnelsen av en Unicode-fil. Siden det ikke finnes noe tegn med kodepunkt, kan OM brukes til å finne filformatet (UT-, UT-, UT- og ig eller Small endian) se tabellen. Koding UT-, big-endian UT-, little-endian UT-, big-endian UT-, little-endian UT- OM-bitmønster x x x x x IN-tekst-

44 Plain vs. fancy tekst Unicode-standarden omfatter bare plain text : Tekst uten typografiske virkemidler som bestemt skrifttype og skriftstørrelse, fet skrift, kursiv, bestemt linjeavstand, innrykk osv. ancy tekst er Unicodes betegnelse på tekst med slike typografiske virkemidler. isse må legges inn i teksten i form av formatteringskommandoer til fremvisningsenheten. ancy tekst er temaet for neste forelesning! IN-tekst-