Utfordringer til mellomvare: Multimedia IN-ODP høst 2001 foreleser: Frank Eliassen SRL & Ifi/UiO 1 Utfording fra multimedia til middleware ÿ Støtte for multimedia ÿ Programmeringsmodell og systemstøtte for kontinuerlige media strømmer (enkle og sammensatte) ÿ QoS forvaltning (management) ÿ statiskogdynamisk ÿsynkronisering i sann tid ÿ intra- og inter-synkronisering ÿ gruppekommunikasjon ÿ programmeringsmodell (grupper) ÿ QoS forvaltning av grupper gruppemedlemmer med ulike QoS krav ( filtering ) SRL & Ifi/UiO 2 IN-ODP høst 2001 1
Betydning for mellomvare ÿgenerelle bilde for mellomvare... ÿunderstøtter IKKE kontinuerlige media ÿtillater IKKE forvaltning av tjenestekvalitet ÿtillater IKKE sanntidssynkronisering ÿstøtter IKKE multimedia gruppekommunikasjon => Behov for forskning på dette området SRL & Ifi/UiO 3 Noe relevant forskning ÿ Real-time mellomvare ÿ RT CORBA/TAO ÿ Utvidede mellomvareplattformer ÿ Dimma, ReTINA (Jonathan), Sumo ÿ Adapsjon og QoS management ÿ QuO, Agilos, Quasar, DJINN, Adapt, MULTE ÿ Tjener-arkitekturer ÿ IMA MSS (and PREMO), CORBA A/V Streams ÿ Komponentrammeverk ÿ Gibbs s rammeverk, VuSystem, CMT, Mash, MS DirectShow, Java Media Framework, TOAST & OpenORB SRL & Ifi/UiO 4 IN-ODP høst 2001 2
Real-time CORBA: oversikt Client IDL stubs End-to-End Priority Propagation in args Obj operation() Ref out args + return Global scheduling service Object (servant) IDL skel Thread Pools explicit binding Portable Object Adapter ORB Core Portable Priorities GIOP Protocol properties OS kernel I/O subsystem Network adapter network OS kernel I/O subsystem Network adapter ÿ Adderer QoS til CORBA ÿ Del av CORBA 2.4 ÿ Policies & mekanismer for ressurs- konfiguerering/ kontroll ÿ Prosessor ressurser ÿ Thread pools, ÿ prioritetsmodell, ÿ portable prioriteter ÿ Kommunikasjon ressurser ÿ Protokoll policies, ÿ eksplisitte bindinger ÿ Memory ressurser ÿ Request køer etter: Schmidt&Kuhns, 2000 SRL & Ifi/UiO 5 TAO: en RT-CORBA implementasjon ÿtao: En fritt tilgjengelig, open-source implementasjon av Real-time CORBA spesifikasjonen www.cs.wustl.edu/~schmidt/tao.html ÿinkluderer mange optimaliseringer: ÿeffektive & forutsigbare POAer ÿeffektive & forutsigbare stubs og skeletons ÿeffektive & forutsigbare memory management ÿbrukt i mange virkelige systemer SRL & Ifi/UiO 6 IN-ODP høst 2001 3
Kan RT-CORBA/TAO støtte multimedia-applikasjoner? ÿ Tilbyr mange av de tjenestene det er behov for mhp å støtte distribuerte multimedia applikasjoner ÿ Men, det er noen spørsmål ÿ Målet er ikke multimedia, men statisk konfigurerte real-time applikasjoner ( embedded systems ) Multimedia applikasjoner krever en mer dynamisk tilnærming? ÿ Ingen abstraksjoner for kontinuerlige media ÿ Dynamisk QoS management?? Har dog mange funksjoner for statisk QoS management (QoS API med adgangskontroll) ÿ TAO har seinere blitt utvidet med støtte for CORBA A/V streams (neste tema) SRL & Ifi/UiO 7 CORBA Control and Management of A/V Streams ÿcorba ÿkun støtte for diskret interaksjon ÿcorba A/V streams: OMG s svar på dette ÿom spesifikasjonen ÿprodusert av OMG Telecoms Domain task Force ÿse ftp://ftp.omg.org/pub/docs/formal/98-07-12.pdf ÿkrever ikke endring av CORBA ÿdvs holder seg innenfor nåværende CORBA rammeverk SRL & Ifi/UiO 8 IN-ODP høst 2001 4
CORBA A/V Streams Flow Source Stream Adaptor Stream I.f. Ctrl Object Adaptor Ctrl & Mgnt ORB Core Stream I.f. Ctrl Object Adaptor Flow Sink Stream Adaptor Symboler: Gr.snitt spesifisert i standarden ÿ Standard for etablering og kontroll av strømmer ÿ Støtter flere transportprotokoller ÿ SFP (Simple Flow Protocol) over TCP, UDP, ATM socket interface ÿ Støtter forskjellige typer kilder og sluk for strømmer SRL & Ifi/UiO 9 Vurdering av CORBA A/V streams ÿorb brukes kun til forvaltning(management) ÿdataflyt på separat socket-basert forbindelse (utenfor ORBen) ÿikke noe eksplisitt rammeverk for implementering av QoS management funksjoner => åpner opp for proprietære og inkompatible implementasjoner av QoS management => kan ikke garantere interoperabilitet mhp QoS management funksjoner SRL & Ifi/UiO 10 IN-ODP høst 2001 5
Multimedia System Services ÿinternational Multimedia association (IMA) Multimedia Systems Services (MSS) ÿåpen arkitektur for å aksessere multimedia tjenester ÿbasert direkte på CORBA Jfr OMG A/V streams SRL & Ifi/UiO 11 MSS arkitekturen ÿ Spesialiserer CORBA ved å definere nye objektklasser ÿ Viktigste nye objektklasser ÿ virtual devices ÿ virtual connections ÿ groups ÿþýüûú stream Virtual connection stream format format stream port Virtual device Media stream port Virtual device SRL & Ifi/UiO 12 IN-ODP høst 2001 6
Vurdering av MSS ÿmss tilbyr mange av de tjenestene det er behov for mhp å støtte distribuerte multimedia applikasjoner ÿtilsvarende svakheter som for OMG CORBA A/V streams... SRL & Ifi/UiO 13 Komponentbasert løsning ÿdirect Show ÿmicrosoft s multimedia toolkit ÿdel av en suite programvare (DirectDraw, Direct3D, DirectSound) ÿviktige punkter ÿ Konstruert på toppen av COM (men ikke DCOM) ÿ Applikasjoner struktureres som en filtergraf ÿ Type-sjekking SRL & Ifi/UiO 14 IN-ODP høst 2001 7
Typisk filtergraf Fil/URL source filter MPEG splitter filter MPEG video decompression transform filter MPEG audio decompression filter Video renderer filter Audio renderer filter SRL & Ifi/UiO 15 Java Media Framework (JMF) ÿ Bean basert ÿ media fangst, lagring, strømmer, konferanser, kontroll av prosessering, aksess til mediainnhold i strømmene, visning, plug-in arkitektur for applikasjonsspesifikk prosessering ÿ ikke distribuert (men kan lese RTP strømmer fra nettverk) ÿ Media prosesseringsmodell: Input Process Output Fangst Les fra fil Motta fra nettverk Applisér effekter Komprimér/dekomprimér Konvertér mellom format Visning/presentér Skriv til fil Send til nettverk SRL & Ifi/UiO 16 IN-ODP høst 2001 8
Provokativt utsagn # 1. Kommunikasjon er en førsteklasses entitet C.F. Birman s communication as an abstract data type [Middleware 2000] kilde: Blair, 2001 SRL & Ifi/UiO 17 Provokativt utsagn # 2. Alle mediatyper er like Kontinuerlige media er ikke en tjeneste! kilde: Blair, 2001 SRL & Ifi/UiO 18 IN-ODP høst 2001 9
Provokativt utsagn # 3. Mellomvareplattformer burde være mye mer åpne jfr. mellomvare som en svart boks. kilde: Blair, 2001 SRL & Ifi/UiO 19 Oppsummering ÿeksisterende plattformer og standarder adresserer typisk ikke krav fra multi media, men. det finnes et betydelig antall FoU prosjekter innen dette området ÿer det behov for en ny tilnærming? ÿ(mer om forskningsprototyper neste gang) SRL & Ifi/UiO 20 IN-ODP høst 2001 10