Pensum? Digitalisering m.m. Bygger på: Maartmann-Moe: Multimedia fra 1997 Kursorisk Mest som bakgrunnsstoff! Merk at mye av stoffet er vinklet i forhold til en tid hvor det var snakk om å digitalisere analoge kilder både lyd og bilder/video Situasjonen i dag er jo at vi oftest har en digital kilde i utgangspunktet. Dette illustrerer igjen hvor raskt utviklingen går innen feltet! NB! Noe tall og opplysninger i denne presentasjonen er ikke justert i hht. dagens standard Lyd Lyd er analog d.v.s. kontinuerlige svingninger i luft som fanges opp av øret og derfra oppfattes av hjernen som lyd all lyd er altså i utgangspunktet analog, men vi kan representere lydbølgene digitalt lagring, overføring osv. kan imidlertid skje som digital lyd Lyd Kapasitetsproblem lyd av CD-kvalitet opptar ca. 170KB pr sekund d.v.s 8-9 sek. med lyd på en diskett for få år siden var det uvanlig med harddisker over 100MB i dag koster en svært rask maskin under 10000 kr, med en harddisk på rundt 50GB Lyd Digitalisering av lyd sampling oppløsning plassbehov lineær pulskodemodulasjon (PCM) Differential Pulse Code Modulation (DPCM) Adaptive Differrential PCM (ADPCM) kompresjon og kvalitet Digitalisering av lyd Sampling analog lyd kan representeres ved en kontinuerlig kurve, der høyden på kurven angir lydstyrke, mens avstanden mellom bølgetoppene angir frekvens: kraftig lyd = store utslag høy(frekvent) lyd = tette bølgetopper sampling = måling av lydkurven et visst antall ganger pr. sekund
Sampling Sampling 6 5 4 3 7 5 0101 4-bit Samplingsfrekvens som det vil framgå av figuren, vil kvaliteten på den digitaliserte lyden være sterkt avhengig av antall målinger pr. sek. Den såkalte Nyquist-grensen angir at samplingsfrekvensen må være mer enn det dobbelte av den høyeste frekvensen en ønsker å representere CD-lyd: 44100 Hz, Tale: 11000Hz Sampling Oppløsning ved siden av samplingsfrekvensen er det den såkalte oppløsningen som er viktig for kvaliteten av digitalisert lyd oppløsningen angir antall bit som er avsatt til å representere hvert sampel for CD snakker vi om 16 bits oppløsning for hver kanal, mens det i vår figur bare opereres med 4 bit. Plassbehov Plassbehovet gis direkte av representasjonen: CD-lyd: 44100 målinger X 16 bit X 2 kanaler = 1411200 bit = 172 kb pr sek. Tale (mono): 8000 X 8 = 64000 bit = ca. 8 kb pr. sek. Lineær digitalisering PCM, pulskodemodulasjon digitaliseringsmetoden som vi nå har sett på, gjengir hvert sampel fullt ut uten noen form for komprimering kvaliteten blir god, men plassbehovet stort Kompresjon av digital lyd DPCM, Differential Pulse Code Modulation i motsetning til PCM som altså representerer hvert sample fullt ut, representeres her bare forskjellen fra forrige sample. dette er en prediktiv teknikk som bygger på en antakelse om at et sampel er svært likt det forrige. Denne forskjellen er ofte et mindre tall enn hele samplet, og kan derfor representeres på mindre plass
Kompresjon av digital lyd Kompresjon av digital lyd ADPCM, Adaptive Differential PCM som DPCM, men her kan selve skalaen justeres dynamisk d.v.s. at ved små endringer i lydkurven vil hvert trinn på skalaen uttrykke små forskjeller ved kraftige endringer i lyden vil trinnene i ADPCM-skalaen angi større forskjeller tale kan f.eks. representeres på 4 bit/sampel Kompresjon og kvalitet digital støy er forferdelig... er analog signalet Fjernsynssystemer Kassettsystemer Kodingsformater Datamonitoren er i utgangspunktet analog kan kodes digitalt, men digitalisert video av god kvalitet krever 20 MB pr. sekund!!! for å kunne bruke digital video på en fornuftig måte, må den komprimeres. Dette skal vi se på senere. datamaskinen kan også arbeide med analog video - til f.eks. å styre videoplater signalet CCD-brikke genererer et analogt signal ved hjelp av 300000-800000 lysfølsomme elementer Skanning bildet bygges opp av en sensor som sveiper over bildet i et spesielt mønster horisontal sync./vertikal sync. Interlace videobildet bygges opp av to halvbilder: først skannes linje 1, 3, 5, 7, og deretter 2, 4, 6, 8.. bildet (frame) settes altså sammen av to halvbilder (field) for at øyet ikke skal oppfatte flimmer, må bildet friskes opp 50 ganger i sekundet. TV-systemet klarer ikke det, derfor bare halve bildet av gangen
Oppløsning i videosignalet horisontal oppløsning forteller hvor mange vertikale svart-hvit linjer som kan atskilles i bildet (VHS ca. 250) vertikal oppløsning er bestemt av antall horisontale linjer bildet er bygd opp av (525-625) Fjernsynssystemer PAL (Phase Alternation Line) brukes i Vest- Europa (minus Frankrike). 25 bilder (=50 halvbilder)/sek. 575 synlige linjer. NTSC (National Television Systems Committee) brukes i Nord-Amerika, Australia og Japan. 30 bilder/sek. 525 linjer SECAM (Seguence à Couleur avec Memoire) brukes i Frankrike og Øst-Europa. 25/625 Kassettsystemer VHS: en vinner... Super-VHS: bedre kvalitet... 8: en del brukt Hi8: forbedret kvalitet 2000 og Beta finnes så si ikke lenger... Kodingsformater Composite video: all bildeinformasjon er kodet sammen i ett signal som blir separert ved avspilling S-video: Super-VHS og Hi8. Svart-hvitt og fargekomponent er atskilt Komponentvideo: profesjonell RGB: rødt, grønt og blått er kodet adskilt Skjermsignalet på en datamonitor datamonitoren har bedre oppløsning enn TV, og bruker ikke interlace fordi bildene på en dataskjerm ofte har en struktur som vil føre til flimring ved interlace oppløsningen måles i punkter, f.eks. 640x480 skjermen tegnes fullt ut 60-100 ganger pr. sekund Plassbehovet Raster- og vektorbilder Prinsipper for kompresjon JPEG - kompresjon av stillbilder MPEG - kompresjon av video Programvarebasert digital video
Plassbehovet skal en datamaskin arbeide med selve videosignalet, må det digitaliseres problemet er bare at ett sekund video svarer til en datamengde på 20 MB! løsningen er komprimering Raster- og vektorbilder et rasterbilde er delt opp i punkter, der hvert punkt har en viss farge et vektorisert bilde består av linjer (rette eller krumme), og der kodingen inneholder informasjon om start, slutt, linjetykkelse osv. (brukes i karttegninger, DAK, animasjon m.m.) vi skal konsentrere oss om rasterbilder 0 1 0 0 1 0 0 0 Bilde 1... Bilde 2... Pixel: bildeelement (Picture Element) vi har en matrise på 4x4 pixels 1 representere svart, 0 står for hvitt representasjonen blir da: 1000 0000 0000 0000 neste bilde kodes: 0100 0000 0000 0000 har vi 1000x1000 bildeelementer blir dette en uøkonomisk måte å kode bildene på løsning: <1,1> skifter til 0, <1,2> skifter til 1 Kompresjon ved å beskrive endringer fra et bilde til det neste i en video med 25 bilder/sek vil endringene være forholdsvis beskjedne Kompresjon ved å fjerne overflødig informasjon Reversible/ikke-reversible teknikker
JPEG (Joint Photographics Experts Group) JPEG er laget for stillbilder, og gir en typisk kompresjonsfaktor på 25:1 et fargebilde i 24-bits representasjon som typisk vil være på ca. 3 MB, komprimeres til 120 kb! MPEG (Moving Picture Experts Group) bygger på JPEG, men benytter seg av bevegelsesaspektet i video der et bilde ofte er mye likt det forrige med jevne mellomrom representeres et bilde fullt ut, mens etterfølgende komprimeres kraftig... store maskinressurser for å kode, mindre for å dekode Animasjon og grafikk Stikkord: 2D, 3D modellering skyggelegging kameraposisjon jfr. de siste avansert tegnefilmene fra USA les mer s. 67-77 videodisk analoge Optiske medier digitale WORM overskrivbare Lagringskapasitet CD-plate: 650 MB = 250000 A4-sider, 74 min. med CD-lyd, 20 timer med tale eller 3000 fargebilder av høy kvalitet andre formater kan ha opptil flere GB på hver side Kontinuerlig datastrøm tid er en viktig datatype i en multimediasammenheng en CD kan gi en kontinuerlig datastrøm bestående av flere komponenter: video, lyd, data...
Utskiftbarhet alle optiske lagringsmedier er utskiftbare - som disketter dette gjør at man kan ha enorme datamengder for hånden (for en overkommelig pris) Sikkerhet og langtidslagring i motsetning til magnetiske medier som lett blir uleselige etter noen år, er de fleste optiske platene garantert i flere tiår. tåler bedre temperatursvingninger, støv og fuktighet ingen sjanse for disk-krasj Laser som penn og øye ved skriving har laseren så høy intensitet at den varmer opp punkter på plata. Dette føre til forandringer i plata og påvirker dens refelksjonsegenskaper ved lesing er strålen svakere, men nok til å registrere hvordan plata reflekterer lyset grovt sett: mye refleksjon=1, lite refleksjon=0 WORM-teknikk Write Once Read Many Høy reflektivitet Lav reflektivitet...brenning Høy r. Lav r....ny legering Overskrivbare plater, magneto-optikk ulike teknikker anvendt på spesielle jordmetaller stikkord 1: oppvarming, magnetisme, polarisert lys stikkord 2: oppvarming, krystallinsk, amorf Stikkord: standardisering erfaringer fra bl.a. den bitre striden om ulike videoformater, var en viktig grunn til at de største selskapene gikk sammen om å utvikle en standard
CDens fysiske egenskaper felles for alle CD-varianter en plate av plast med humper i belagt med et reflekterende belegg og et beskyttende lag ytterst et skifte i reflektivitet tolkes som 1, mens samme reflektivitet tolkes som 0 diameter på 120 mm, 1,2 mm tykk, 15 mm hull Sektorer en fysisk sektor er på 2352 byte (2048 til disp.) overføringsrate på 75 sektorer pr. sek. sektoradresse: min:sek:sektornummer (0-74) sektorene ligger i et spiralformet spor som lese innenfra alle CD -varianter er fysisk like, evt. forskjeller ligger i selve tolkningen av informasjonen CAV og CLV CDen roterer ikke med samme hastighet, den opererer med såkalt Constant Linear Velocity (CLV). D.v.s. at platen dreier raskest når det leses innerst CLV gir stor datatetthet, men treg framhenting CAV (Constant Angular Velocity) finner vi bl.a. på tradisjonelle harddisker og disketter CAV gir mindre kapasitet med raskere framhenting CD-DA (Digital Audio) vanlig lyd-cd 74 minutter stereolyd innerst ligger en innholdsliste med opplysninger om hvor hvert spor begynner dette leser og lagrer CD-spilleren før den begynner avspillingen CD-ROM inneholder en filkatalog som alle system med en CD-ROM-driver kan lese men det betyr ikke at alle kan bruke innholdet i en fil den sene aksesstiden (opprinnelig 150 kb/sek) har sitt utgangspunkt i lyd-cden i dag er det vanlig med 4-6 ganger denne hastigheten Produksjon av CD-ROM 1) Utvalg av data 2) Tilrettelegging for CD-ROM 3) Premastering 4) Mastering og pressing 5) Distribusjon og salg
CD-ROM-XA (Extended Architecture) en utvidelse av CD-ROM-standarden når det gjelder lyd, bilder og grafikk DVI (Digital Interaktiv) IBM og Intel muligheten for å vise full video fra CD ved hjelp av avanserte kompresjonsteknikker (100:1) et spesielt kort som ligger i PCen og DVI er derfor rettet mot PC-markedet CD-i (Compact Disc Interactive) skulle opprinnelig kombinere lyd, stillbilder og grafikk, men kan nå utvides med Full Motion er beregnet på en spesiell maskin rettet mot hjemmemarkedet Photo-CD til lagring av fotografier opptil 100 bilder med fem forskjellige oppløsninger film og plate leveres til fotohandleren for påfylling muligheter for framvisning på TV med CD-ROM- XA og riktig programvare CD MPEG video høykvalitets stillbilder lyd med MPEG-kort og CD-ROM kan vi få video på PCen? CD Plus en vanlig CD-spiller for lyd kan ikke skille lydspor fra f.eks. data og video: den spiller alt... CD Plus-formatet er definert slik at lyd-cden skal gjenkjenne lydsporene, mens en CD-ROM spiller også kan spille f.eks. video CD -singler vil da kunne inneholde både lyd og video...
Interaktiv video CD-R (Recordable) overskrivbar CD-ROM CD-brennere kan fås kjøpt fra ca. 1000kr platens egenskaper Plattformer for bruk av interaktiv video Produksjon Interaktiv video Interaktiv video platens egenskaper analog plate (lengden på groper tolkes) Philips 1972 (LaserVision) høy kvalitet, stor kapasitet (55000 bilder, 30 min video) hvert bilde (frame) kan adresseres styres med fjernkontroll, strekpenn, datamaskin store mengder ressurs-plater, opplæringsprog. Plattform 1: Styring av videoplata Skjerm TV abcdef.. RS-232 disk PC Interaktiv video Interaktiv video Plattform 2: Overlay og genlock Plattform 3: Digitalisering av video Skjerm Skjerm abcdef.. abcdef.. disk RS-232 PC m/overlay disk RS-232 PC m/digitaliseringskort
Interaktiv video Produksjon Tre viktige ting: Design, design og design, sitat fra folkene bak LaserAtlas Møre og Romsdal Opphavsrett... Etterord (2004) Til tross for at tall/opplysninger er forsøkt korrigert år om annet framstår mye av stoffet som historisk På den annen side vil man i gruppeundervisningen ta opp mer aktuelle problemstillinger gjerne knyttet til prosjekt som gjør mye bruk av lyd, video, animasjon