Mellomvare for distribuert multimedia og mobilitet

Transkript

1 Mellomvare for distribuert multimedia og mobilitet INF 5040 høst 2004 foreleser: Frank Eliassen SRL & Ifi/UiO 1 Litteratur! Gordon Blair, Jean-Bernard Stefani, Distributed Processing and Multimedia, Addison-Wesley 1997, Part I! (fokus på kap 2.2 og 3.2)! Tom Fitzpatrick, Gordon S. Blair, Geoff Coulson, Nigel Davies and Philippe Robin, Supporting Adaptive Multimedia Applications through Open Bindings (se kurssiden: Pensum)! Blair, Coulson, Robin, Papathomas: An architecture for next generation middleware (se kurssiden: Pensum) SRL & Ifi/UiO 2 INF5040 høst 2004 Frank Eliassen 1

2 Utfording for multimedia middleware (M3W)! Støtte for multimedia! Programmeringsmodell og systemstøtte for kontinuerlige media strømmer (enkle og sammensatte)! QoS forvaltning (management)! statisk og dynamisk! Synkronisering i sann tid! intra- og inter-synkronisering! gruppekommunikasjon! programmeringsmodell (grupper)! QoS forvaltning av grupper gruppemedlemmer med ulike QoS krav ( filtering ) SRL & Ifi/UiO 3 Betydning for mellomvare!generelle bilde for konvensjonell mellomvare...!understøtter IKKE kontinuerlige media!tillater IKKE forvaltning av tjenestekvalitet!tillater IKKE sanntidssynkronisering!støtter IKKE multimedia gruppekommunikasjon => Behov for forskning på dette området SRL & Ifi/UiO 4 INF5040 høst 2004 Frank Eliassen 2

3 Noen av dagens løsninger for multimedia!corba A/V Streams!Komponentrammeverk!MS DirectShow!Java Media Framework!Internet streaming!quicktime!realnetworks!windows Media Player!Fullstendig nedlasting før avspilling!napster SRL & Ifi/UiO 5 Internet streaming! Basert på komprimering! Audio: GSM(13Kbps), G.729 (8Kbps), mange prorietære teknikker! Video: H.261 og H.263 mest popoulære, mange proprietære teknikker! Audio streaming! Nett-radio (komprimert audio: 10Kbps (størrelsesorden))! MP3: nær CD-kvalitet (komprimerer 700 Kbps til 128 Kbps)! Ressurskrevende likevel: benytter ikke multi-cast! Video streaming! Populære public domain verktøy er Vic og Vat! IETF protokoller RTP: standard for innkapsling av audio og video-segmenter RTSP: standard for bruker-interaktivitet! Mange proprietære teknikker for jitter-fjerning SRL & Ifi/UiO 6 INF5040 høst 2004 Frank Eliassen 3

4 Streaming via nett-leser!basert på helper application : media player!dekomprimering!fjerning av jitter!feilretting (rekonstruksjon av tapte pakker - FEC) Web browser media player SRL & Ifi/UiO 7 Web-server sender audio/video direkte til mediaspilleren!web-server med audio-filer Web-server Web browser (1) HTTP-request/response for meta-fil (2) Meta-fil media player (3) HTTP-request/response for audio/video fil SRL & Ifi/UiO 8 INF5040 høst 2004 Frank Eliassen 4

5 Streaming server! Proprietære (RealNetworks, Microsoft)! public-domain : f.eks. RTP/RTSP baserte Web-server (1) HTTP-request/response for presentasjonsbeskrivelse Web browser streaming-server (2) presentasjonsbeskrivelse media player (3) Streaming av audio/video fil (f.eks. RTP/RTSP) SRL & Ifi/UiO 9 Utfording fra mobilitet til mellomvare! Støtte for heterogene datanett!mobile enheter kan bevege seg mellom ulike teknologidomener med ulike karakteristika mhp bl.a. båndbredde, forsinkelse, og tap!tilpasse seg endring!på operativsystemnivå!i mellomvareplattformen!i applikasjonen SRL & Ifi/UiO 10 INF5040 høst 2004 Frank Eliassen 5

6 Betydning for mellomvare! Mellomvare må tilby en åpen arkitektur som tillater at mellomvaren tilpasses dynamisk til endringer i den operasjonelle omgivelse! Generelle bilde for konvensjonell mellomvare...! Tilbyr generelt en svart-boks arkitektur! Begrenset (ad hoc) åpenhet CORBA: Åpenhet i essens kun uttrykt ved IIOP, POA og interceptors! Tilbyr ikke dynamisk tilpassing => Behov for forskning på dette området SRL & Ifi/UiO 11 Noe relevant forskning! Real-time mellomvare! RT CORBA/TAO! Utvidede mellomvareplattformer! Dimma, ReTINA (Jonathan), Sumo! Adapsjon og QoS management! QuO, Agilos, Quasar, DJINN, Adapt, MULTE, 2K Q! Komponentrammeverk (mange støtter adaptiv QoS):! Gibbs s rammeverk, VuSystem, CMT, Mash, TOAST & OpenORB, Infopipes, QuA SRL & Ifi/UiO 12 INF5040 høst 2004 Frank Eliassen 6

7 Bakgrunn: RM-ODP! Litteratur: Blair & Stefani! Hva er RM-ODP?! ISO/ ITU-T standard for en Reference Model for Open Distributed Processing! Nøkkelbegreper. inkluderer objekt-orientert tilnærming og definisjon av 5 viewpoint språk Enterprise, information, computational, engineering, technology viewpoints! RM-ODP tilbyr en essensiell forutsetning for å støtte mobile applikasjoner! en vel-definert engineering struktur (beskriver hvordan distribusjon er realisert) som åpner opp distribusjons-plattformen (dvs mellomvaren)! RM-ODP tilbyr en arkitektonisk bedre løsning for multimediastøtte og dynamisk tilpassing enn f.eks. CORBA-baserte løsninger SRL & Ifi/UiO 13 ODPs computational model I!Objekter (= komponenter?) som innkapslingsenhet, tilbyr en eller flere grensesnitt (beskrevet vha IDL)! inngående og utgående grensesnitt!qos annoteringer kan assosieres med grensenitt!objekter interagerer gjennom bindinger SRL & Ifi/UiO 14 INF5040 høst 2004 Frank Eliassen 7

8 ODPs computational model II!Tre typer interaksjon mellom objekter:!operasjonelle grensesnitt klient objekter anroper operasjoner i grensesnittene til tjener objekt (jfr. RPC & RMI)!strøm grensesnitt kontinuerlige strømmer av dataflyter mellom produsent og konsument grensesnitt (jfr. multimedia)!signal grensesnitt grensesnitt for å produsere eller konsumere sanntidshendelser SRL & Ifi/UiO 15 ODPs computational model III: Eksplisitte bindinger! Eksplisitte bindinger kan opprettes mellom kompatible grensesnitt (i CORBA: implisitte bindinger)!resulterer i opprettelsen av et bindingsobjekt!tre typer bindinger (operasjonell, strøm, signal)! Statisk QoS forvaltning innkapsles i operasjonen som oppretter bindingsobjektet!(dvs. forhandling, adgangskontroll og ressursreservering)! Dynamisk QoS forvaltningsfunksjoner understøttes gjennom kontrollgrensesnittene til bindingsobjektet!(dvs. monitorering, vedlikehold og kontroll, reforhandling) SRL & Ifi/UiO 16 INF5040 høst 2004 Frank Eliassen 8

9 RM-ODP bindingsobjekt create (IfRef1, IfRef2,QoSreq>) local binding Stream binding factory static QoS management Control interfaces dynamic QoS management O 1 O 2 Stream binding object IfRef1 IfRef2 SRL & Ifi/UiO 17 RM-ODP engineering modell Basic engineering object capsule capsule Basic engineering object method call method return method call method return proxy skeleton dispatcher client binder/locator RR protocol module RMI channel Interceptor server binder/locator RR protocol module SRL & Ifi/UiO 18 INF5040 høst 2004 Frank Eliassen 9

10 Støtte for mobilitet: Løsningen?!Konfigurerbar mellomvare!komponent-baserte mellomvare plattformer jfr DCOM, EJB, CCM!Re-konfigurerbar mellomvare!muliggjør inspeksjon av viktige hendelser!muliggjør adapsjon (tilpassing) Endre adferden til eksisterende komponenter legge til nye komponenter, bytte ut komponenter,... SRL & Ifi/UiO 19 Distribusjonstransparens!Tradisjonelle rolle til mellomvareplattformer!filtrere bort problemer i forb. med distribusjon gjennom selektive transparens funksjoner.!den nye rollen!mellomvare som en informasjonsleverandør i stedet for informasjonsskjuler!mellomvare som en katalysator for adapsjon SRL & Ifi/UiO 20 INF5040 høst 2004 Frank Eliassen 10

11 Eksempel på adapsjon: I kommunikasjonssystemet!endrevalgavprotokoller!rekonfigurer stakken til å passe nye/endrede betingelser i nettverket.!endre protokoll parametre!endre transmisjonsrate, policy for retransmisjon, buffer allokering, pakkestørrelse, etc.!andre optimimaliseringer!optimalisere multicast ved å avbilde til ny nettverksteknologi... SRL & Ifi/UiO 21 Eksempel på adapsjon: I mellomvare!sett inn nytt filter i datastrømmen!f.eks. MPEG komprimering for multimedia!endre. parametre til et filter!f.eks. miks av I-, P- and B-rammer!Andre strategier!bruk pre-fetching eller on-demand caching!endre prioritering/ schedulering av data!sett inn delay-buffer for å redusere jitter SRL & Ifi/UiO 22 INF5040 høst 2004 Frank Eliassen 11

12 Eksempel på adapsjon: På høyere nivå!restrukturer applikasjon!avlast prosessering til fjerne maskiner!bruk av proxy tjenere/filtre.!velge nye tjenester!f.eks. basert på nærhet!endre arbeidsmodus!f.eks. fra RMI til mer asynkron interaksjon SRL & Ifi/UiO 23 Prinsipp QoS overvåking!monitorering Komponent Eksempel: Applikasjon QoS kontrakt Monitor Signal (QoS violation) Signal (e.g. current delay value) Data Komponent Eksempel: binding SRL & Ifi/UiO 24 INF5040 høst 2004 Frank Eliassen 12

13 Prinsipp QoS overvåking og adaptering!monitorering og adapsjon (tilpassing) Adapsjon (increase buffer size) Component Eksempel: Applikasjon Signal (overflow too often) Monitor Signal (buffer overflow) Data Component Eksempel: Buffer SRL & Ifi/UiO 25 Åpen implementasjon!hva er en åpen implementasjon?!et system/en komponent med en åpen implementasjon tilbyr. (minst) to grensesnitt, et basis-nivå grensesnitt til systemets/komponentens funksjonalitet, og et metanivågrensesnitt som avdekker aspekter av hvordan basisnivå grensesnittet er implementert!adapsjon gjennom åpne implementasjoner!meta-nivågrensesnittet tillater endring av aspekter av implementasjonen under kjøretid SRL & Ifi/UiO 26 INF5040 høst 2004 Frank Eliassen 13

14 Åpne bindinger! En binding med en åpen implementasjon! integrerer RM-ODP computational and engineering modellene Eks. på operasjoner: getgraph() addcomponent( ) removecomponent( ) replace( ) localbind( )... setattribute( )... Open binding control interface Component ctrl i/f interface mapping lokal binding indre binding SRL & Ifi/UiO 27 Case: ADAPT prosjektet Lancaster University The main aim of the Adapt Project is to investigate the development of distributed systems support to manage the differing levels of connectivity a mobile user will experience. More specifically, the Adapt Project will investigate the required support for adaptive multimedia applications which are capable of intelligently adapting to QoS fluctuations (e.g. through QoS re-negotiation, media scaling, etc). Tom Fitzpatrick et al, Supporting Adaptive Multimedia Applications through Open Bindings SRL & Ifi/UiO 28 INF5040 høst 2004 Frank Eliassen 14

15 Case: MULTE prosjektet UiT,UiO! Goal:! develop flexible and adaptable middleware that supports a broad range of Quality-of-Service (QoS) requirements of distributed multimedia applications. continuous media streams, enhanced interoperable stream multicast for heterogeneous environments, flexible connection management, and constrained latency high throughput! Approach:! flexible/(re)configurable protocol system (Da CaPo) as basis for new ORB! F. Eliassen, T. Plagemann et al: QoS management in the MULTE-ORB, IEEE distributed systems online, March 2002, articles/dsonline-multe-orb.html SRL & Ifi/UiO 29 Implementasjon av Adapt og MULTE plattformer Applications Extended CORBA API Open Bindings Comms Infrastructure (Da CaPo/Ensemble) Standard CORBA Platform (COOL-ORB) Underlying Operating System (Chorus/Solaris/Windows-NT) SRL & Ifi/UiO 30 INF5040 høst 2004 Frank Eliassen 15

16 Eksempel åpen binding og adapsjon The MPEG encoder component's Control Interface can be used to dynamically change video bitrate, quality etc. RTP Binding Video Source MPEG encoder RTP sender UDP/IP Binding RTP receiver MPEG decoder Video Render Data H.263 encoder An MPEG video encoder component object could be REPLACED by an H.263 encoder for much lower bandwidth operation. Delay buffer A delay buffer object could be inserted between two bound objects in order to counteract the detrimental effects of jitter on video playback. SRL & Ifi/UiO 31 Adapsjon gjennom reflektivitet!fra åpen implementasjon til reflektivitet Reflection = Open Implementation + Causally Connected Self Representation (CCSR) + Completeness!Grensesnittet til meta-nivået (CCSR) kalles gjerne metaobjekt protokollen (MOP) SRL & Ifi/UiO 32 INF5040 høst 2004 Frank Eliassen 16

17 Reflektivt system: begrepsmessig model modification reification A self representation MOP Structural and behavioural model Meta level absorption A system Base level SRL & Ifi/UiO 33 Hvorfor reflektivitet?!støtte for introspeksjon (introspection)!muligheten til å inspisere strukturen eller adferden til et system. F.eks. dynamisk monitorering eller accounting!støtte for adapsjon!dynamisk re-konfigurering (kort tidshorisont) F.eks. endre protokoll konfigurasjon!evolusjon (lang tidshorisont) F.eks. legge til ny multimediatjeneste SRL & Ifi/UiO 34 INF5040 høst 2004 Frank Eliassen 17

18 Eksempel på reflektiv mellomvare: Open-ORBv1 arkitekturen!kombinasjon av:!refleksjon!bruk av refleksjon til å aksessere strukturen og adferden til den. underliggende mellomvareplattformen!mest hensiktsmessige plass for refleksjon?!komponenter!anvender komponent-orientert programmering på basisog metanivå!rm-odp (SUMO) inspirert (multimedia) komponentmodell SRL & Ifi/UiO 35 Open-ORBv1 Arkitekturen: En multi-model tilnærming. SRL & Ifi/UiO 36 INF5040 høst 2004 Frank Eliassen 18

19 Strukturell (structural) refleksjon i Open-ORBv1! Interface meta-model!støtter introspeksjon og adapsjon av den eksterne representasjon av en komponent Required/provided interfaces!architectural meta-model!støtter introspeksjon og adapsjon av den underliggende programvarearkitektur Programvarearkitektur = komponentgraf + arkitektoniske begrensninger SRL & Ifi/UiO 37 Adferdsmessig (behavioural) refleksjon i Open-ORBv1!Interception meta-model!støtter dynamisk innsetting av interceptors rundt komponentgrensesnitt Pre-, post- og wrapper- metoder!resources meta-model!støtter introspeksjon og adapsjon av allokering av ressurser og relatert ressurs forvaltning basert på begreper som tasks og resources SRL & Ifi/UiO 38 INF5040 høst 2004 Frank Eliassen 19

20 QoS forvaltning i OpenORBv1 Monitoring Event Collector Monitor Control Strategy Selectors Strategy Activators Observe behaviour of underlying functional components and generate relevant QoS events. Collect QoS events and report abnormal behaviour to interested parties. Select an appropriate adaptation strategy (i.e. strategy activator) based on feedback from monitors. Implement a particular strategy, e.g. by manipulating component graph. Dynamisk innsetting av management komponenter og binding til eksisterende (protokoll)komponenter Protokollkomponenter adapteres dynamisk til å kunne interagere med management komponenter SRL & Ifi/UiO 39 Eksmpel på QoS forvaltning i OpenORBv1 (OOPP) Interception meta-object Strategy activator Strategy selector Strategy activator Resources meta-object producer binding monitor buffer adder pre-metode til buffer.additem metode. Pre-metoden sjekker buffer og sender evt overflow signal consumer Overflowtoo-often signal overflow signal Signalinterface til buffer adderes dynamisk SRL & Ifi/UiO 40 INF5040 høst 2004 Frank Eliassen 20

21 Oppsummering!Behov for effektiv mellomvare som kan understøtte et vidt spekter av krav inklusive multimedia og mobilitet.!løsningen ligger i mer åpne og adaptive arkitekturer!konfigurerbare!re-konfigurerbare!en rolle for refleksjon? SRL & Ifi/UiO 41 INF5040 høst 2004 Frank Eliassen 21