Utfordringer til mellomvare: Multimedia

Transkript

1 Utfordringer til mellomvare: Multimedia INF 5040 høst 2003 foreleser: Frank Eliassen SRL & Ifi/UiO 1 Utfording fra multimedia til middleware Støtte for multimedia Programmeringsmodell og systemstøtte for kontinuerlige media strømmer (enkle og sammensatte) QoS forvaltning (management) statisk og dynamisk Synkronisering i sann tid intra- og inter-synkronisering gruppekommunikasjon programmeringsmodell (grupper) QoS forvaltning av grupper gruppemedlemmer med ulike QoS krav ( ing ) SRL & Ifi/UiO 2

2 Betydning for mellomvare Generelle bilde for konvensjonell mellomvare... Understøtter IKKE kontinuerlige media Tillater IKKE forvaltning av tjenestekvalitet Tillater IKKE sanntidssynkronisering Støtter IKKE multimedia gruppekommunikasjon => Behov for forskning på dette området SRL & Ifi/UiO 3 Noen av dagens løsninger CORBA A/V Streams Komponentrammeverk MS DirectShow Java Media Framework Internet streaming QuickTime RealNetworks Windows Media Player Fullstendig nedlasting før avspilling Napster SRL & Ifi/UiO 4

3 Noe relevant forskning Real-time mellomvare RT CORBA/TAO Utvidede mellomvareplattformer Dimma, ReTINA (Jonathan), Sumo Adapsjon og QoS management QuO, Agilos, Quasar, DJINN, Adapt, MULTE Komponentrammeverk Gibbs s rammeverk, VuSystem, CMT, Mash, TOAST & OpenORB, Infopipes SRL & Ifi/UiO 5 CORBA Control and Management of A/V Streams CORBA Kun støtte for diskret interaksjon CORBA A/V streams: OMG s svar på dette Om spesifikasjonen Produsert av OMG Telecoms Domain task Force Se ftp://ftp.omg.org/pub/docs/formal/ pdf Krever ikke endring av CORBA Dvs holder seg innenfor nåværende CORBA rammeverk SRL & Ifi/UiO 6

4 CORBA A/V Streams Flow Source Stream Adaptor Stream I.f. Ctrl Object Adaptor Ctrl & Mgnt ORB Core Stream I.f. Ctrl Object Adaptor Flow Sink Stream Adaptor Symboler: Gr.snitt spesifisert i standarden Standard for etablering og kontroll av strømmer Støtter flere transportprotokoller SFP (Simple Flow Protocol) over TCP, UDP, ATM socket interface Støtter forskjellige typer kilder og sluk for strømmer SRL & Ifi/UiO 7 Vurdering av CORBA A/V streams ORB brukes kun til forvaltning(management) Dataflyt på separat socket-basert forbindelse (utenfor ORBen) Ikke noe eksplisitt rammeverk for implementering av QoS management funksjoner => åpner opp for proprietære og inkompatible implementasjoner av QoS management => kan ikke garantere interoperabilitet mhp QoS management funksjoner SRL & Ifi/UiO 8

5 Komponentbasert løsning Direct Show Microsoft s multimedia toolkit Del av en suite programvare (DirectDraw, Direct3D, DirectSound) Viktige punkter Konstruert på toppen av COM (men ikke DCOM) Applikasjoner struktureres som en graf Type-sjekking SRL & Ifi/UiO 9 Typisk graf Fil/URL source MPEG splitter MPEG video decompression transform MPEG audio decompression Video renderer Audio renderer SRL & Ifi/UiO 10

6 Java Media Framework (JMF) Bean basert media fangst, lagring, strømmer, konferanser, kontroll av prosessering, aksess til mediainnhold i strømmene, visning, plug-in arkitektur for applikasjonsspesifikk prosessering ikke distribuert (men kan lese RTP strømmer fra nettverk) Media prosesseringsmodell: Input Process Output Fangst Les fra fil Motta fra nettverk Applisér effekter Komprimér/dekomprimér Visning/presentér Skriv til fil Send til nettverk Konvertér mellom format SRL & Ifi/UiO 11 Internet streaming Basert på komprimering Audio: GSM(13Kbps), G.729 (8Kbps), mange prorietære teknikker Video: H.261 og H.263 mest popoulære, mange proprietære teknikker Audio streaming Nett-radio (komprimert audio: 10Kbps (størrelsesorden)) MP3: nær CD-kvalitet (komprimerer 700 Kbps til 128 Kbps) Ressurskrevende likevel: benytter ikke multi-cast Video streaming Populære public domain verktøy er Vic og Vat IETF protokoller RTP: standard for innkapsling av audio og video-segmenter RTSP: standard for bruker-interaktivitet Mange proprietære teknikker for jitter-fjerning SRL & Ifi/UiO 12

7 Streaming via nett-leser Basert på helper application : media player dekomprimering Fjerning av jitter Feilretting (rekonstruksjon av tapte pakker - FEC) Web browser media player SRL & Ifi/UiO 13 Naiv implementasjon av audio streaming Web-server med audio-filer Web browser media player (1) HTTP-request/response for audio/video fil (2) audio/video fil Web-server SRL & Ifi/UiO 14

8 Web-server sender audio/video direkte til mediaspilleren Web-server med audio-filer Web-server Web browser (1) HTTP-request/response for meta-fil (2) Meta-fil media player (3) HTTP-request/response for audio/video fil SRL & Ifi/UiO 15 Streaming server Proprietære (RealNetworks, Microsoft) public-domain : f.eks. RTP/RTSP baserte Web-server (1) HTTP-request/response for presentasjonsbeskrivelse Web browser streaming-server (2) presentasjonsbeskrivelse media player (3) Streaming av audio/video fil (f.eks. RTP/RTSP) SRL & Ifi/UiO 16

9 Oppsummering Eksisterende plattformer og standarder adresserer typisk ikke krav fra multimedia, men det finnes et betydelig antall FoU prosjekter innen dette. området Internet-streaming Mange proprietære teknikker og protokoller Internet-standarder finnes på noen områder (RTP/RTSP/ ) Er det behov for en ny tilnærming? SRL & Ifi/UiO 17