Bilde- og signalbehandling ved Vingmed Sound AS Sverre Holm Vingmed Sound AS, Forskningsavdelingen, Vollsveien 13 C, 1324 Lysaker og Universitetet i Oslo Firma bakgrunn Vingmed Sound AS utvikler og produserer ultralyd produkter for anvendelser på hjertet. Sykehus i mer enn 40 land bruker i dag Vingmed Sounds Color Flow Mapping (CFM) System ved diagnose av hjertesykdommer. I dag er 136 personer ansatt i Horten og ved forskningsavdelingen på Lysaker og man regner med å produsere ca 600 ultralydinstrumenter i år. Dette plasserer oss blant de fem viktigste leverandørene av ultralydinstrumenter for hjertediagnose i verden. Siden 1986 har Vingmed Sound hatt en årlig vekst i salget på 25%. Dette skyldes særlig suksess i Europa der vi er en av markedslederne. Vingmed Sound eies av Sonotron Holding AG, Sveits, et datterselskap av Diasonics Inc., California, USA. Sonotron står for mesteparten av Vingmed Sounds salgs- og servicepersonale. Vingmed Sounds teknologi og produkter er likevel overveiende norske, og er et resultat av samarbeid mellom medisinsk og teknisk forskning ved Universitetet i Trondheim og Vingmed Sound som industripartner. Dette nære samarbeidet resulterte i den første utviklingen av ultralyd CW (continuous wave) Doppler for kardiologi. Dette ga hjertespesialister den første mulighet for studium av hjertesykdommer uten å måtte gå inn i hjertet, det som kalles ikke-invasiv eller ublodig undersøkelse. tid er mer enn 2000 CFM systemer (inkludert etterfølgende modeller) blitt installert ved sykehus over hele verden. Den siste modellen som ble introdusert er CFM 800, et ultralydsystem som også inkluderer det første integrerte pasientarkiv og -rapporteringssystem. Vingmed Sound har fortsatt å være en av de ledende i å introdusere ny teknologi, og i 1992 introduserte Vingmed som en av de første i verden en multiplan transøsofagus probe. Dette er en probe som kan avbilde hjertet fra baksiden, dvs fra spiserøret, og som har mulighet for stor frihetsgrad i valg av avbildet plan. Som firma har vi definert vår kjernekompetanse til å omfatte akustikk og stråleforming, signal- og bildebehandling og systemarkitektur. I tillegg behersker miljøet kompetanse innenfor probeteknikk, sanntidsprogrammering, brukergrensesnitt og produktintegrasjon. Basis for medisinsk ultralyd Et typisk hjertebilde ser ut som vist nedenfor. Dette bil- Dette gjennombruddet ble godt mottatt over hele verden og i 1982 var Vingmed Sound etablert som en underleverandør av Dopplerteknologi og Dopplerprober. Kvaliteten til Vingmeds Doppler ble en industristandard og det at ultralydutstyret inneholdt Vingmed Doppler ble et salgsargument for mange typer av utstyr. Vingmeds Doppler er siden den tid blitt eksportert til ultralydfirmaer både i USA, Japan og Europa. Vingmeds Dopplerenhet ble etterfulgt av en farge-doppler enhet med samme høye kvalitet, og i 1986 lanserte firmaet sin egen komplette skanner kalt CFM 700. Siden den 2D B-mode bilde av hjertet tatt opp ved siden av brystbeinet (hjertet er sett fra siden).
det viser hjertet sett fra siden, og en ser venstre hjertekammer til venstre, den lukkede aortaklaffen og hovedpulsåren til høyre øverst, og den åpne mitralklaffen og venstre forkammer under til høyre. Hjerteveggene vises som hvitt da disse gir kraftigere ultralydekko enn blodet i kamrene. Disse bildene er som regel enklere å forstå når de vises som en tidssekvens enn bare som stillbilder. Det en umiddelbart kan legge merke til er at det ikke overalt er et klart skille mellom hjerteveggen og blodvolumet i hjertekammeret, noe som vanskeliggjør f.eks automatisk kantdeteksjon. Dette illustrerer noen av de utfordringer en står overfor ved bruk av signal- og bildebehandling i ultralydinstrumentering. Det forrige bildet viser en av de vanligste bildetypene, nemlig B-mode (Brightness mode). Bildet er dannet ved at 100-200 stråler sendes etter hverandre fra proben i forskjellig vinkel. Dermed avsøkes hele sektoren, og mottatt intensitet vises på skjermen. En annen viktig mode er farge- Doppler som er et 2-dimensjonalt bilde som B-mode, men som viser hastighet kodet ved hjelp av farger, ofte rød farge for strøm mot proben og blå farge for strøm vekk fra proben. I tillegg kan informasjon om turbulens, som ofte er en indikasjon på unormal blodstrøm, vises ved grønn farge. Dette bildet overlagres B-mode bildet. M-mode (Motion mode) er en avbildningsmode som taes opp langs en linje i bildet og viser ekkostyrke langs linjen plottet som funksjon av tid. Dette er helt analogt med displayet fra et ekkolodd. Bildet under er et M-mode bilde M-mode bilde av hovedpulsåren og aortaklaffen med ekkostyrke som funksjon av tid. som er tatt langs en linje i forrige bilde som går gjennom aortaklaffen. En ser hovedpulsåren og klaffen inne i denne. Til venstre er klaffen i ferd med å lukkes og hele bildet viser litt over to hjerteslag. Spektral Doppler bilde av lekkasje i aorta, med blodhastighet som funksjon av tid. Spektral Doppler er tatt opp i et lite volum og viser blodhastighet i volumet som funksjon av tid. Bildet i neste spalte viser blodhastighet gjennom aortaklaffen. Den store negative hastigheten som starter på -4 og faller til -3 m/s er en lekkasje gjennom klaffen. Ved hjelp av Bernoullis ligning uttrykt ved hjelp av m/s og mmhg i blod: p 4v 2, kan en estimere at trykkforskjellen over klaffen faller fra 64 til 36 mm kvikksølv, noe som tyder på at lekkasjen er så stor at en får trykkutjevning pga den. Disse fire modene og kombinasjoner av dem har vist seg å være de mest hensiktsmessige for diagnostisering ved hjelp av ultralyd. For å generere disse datatypene består et ultralydinstrument av fem hovedmoduler som vist øverst på neste side. Proben skal både sende og motta akustisk energi og i CW Doppler mode skal den til og med kunne gjøre det samtidig. Den består av mange uavhengige elementer (opp til ca 200) som kan ha bredde ned til 0.1 mm. RF innsamlingsenheten styrer hvert element uavhengig for å oppnå den ønskede avbøyning og fokusering av ultralydstrålen. Denne enheten består av analog og digital elektronikk som kombinerer de mange signalene fra proben til én utgang. Dette gjøres ved hjelp av en stråleformer som dynamisk forsinker de enkelte kanaler i forhold til hverandre og sørger for at ekkosignalene fra hvert enkelt element i proben summeres koherent. Stråleformeren kan betraktes som en signalprosessor som opererer både i tidsdomenet og det romlige domenet. Det er behov for så mye beregningskapasitet at en digital implementering krever kundespesifiserte integrerte kretser. Skanlinje prosessoren gjør signalbehandling i tidsdomenet og trekker ut informasjon fra RF-signalet (Radio Frequency) som er samlet inn. Denne prosessoren er egentlig tredelt: en del for å ta ut B- og M-mode data, en del for farge-doppler og en spektralanalysator for spektral Doppler data. Implementering kan gjøres ved hjelp av et antall signalprosessor brikker koplet sammen. Displaydelen består av en bildeprosessor som transfor-
Probe RF Acquisition Unit Scan-line Processor Image Processor Analog amplifiers Time Gain Control Beamformer Transmitters RF-data Complex Demod. Tissue RF-Proc. Color Flow Proc. Doppler Proc. Scan-line data Compression Scan Conversion Color Mapping Display Unit Image data Dynamic Focusing Weighting Aperture Gain Pulse Repetition Frequency Mode Sequencing Speckle Reduction Spatial Compounding Transmit Level Control Dynamic Grey-scale Transforms Demod. Frequency Compress Bandwidth Reject Speckle Reduction Image Filtering Frequency Compounding Linear (Persistence) Radial Averaging Non-linear Doppler Control Interpolation Fixed Target Canceling Spatial Averaging Temporal Resolution Control Blokkskjema av ultralydinstrument som viser probe, RF-innsamlingsenhet, skanlinje prosessor, displaydel og kontrollenhet. merer skanlinje data til et format som passer en skjerm. Den viktigste operasjonen er skankonvertering som er en omforming fra rektangulært til polart displayformat. I tillegg gjøres også amplitude kompresjon og bildefiltrering, oftest ved hjelp av FIR-filtre. For å styre hele skanneren finnes også en kontrollenhet som er implementert som programvare. Den skal sørge for at alle moduler styres rett og gir optimal uthenting av informasjon fra de svake ultralydsignalene. Mye av et firmas ultralydkompetanse ligger uttrykt i denne delen i form av datamodeller og styringsalgoritmer. Forskningsprosjekter Vingmed Sound har vært og ønsker å være et firma som er helt i front når det gjelder å kombinere teknologi og klinisk kunnskap. Det er viktig for oss å sikre både at vi har nært samarbeid med kliniske miljøer som representerer avanserte brukere, samtidig som vi er på topp når det gjelder å ta i bruk ny teknologi. De siste årene har Vingmed Sound derfor vært involvert i en rekke forskningsprosjekter. De viktigste innenfor signal- og bildebehandling vil bli beskrevet her. Ultralydrelatert mønstergjenkjenning og bildeanalyse Dette er del av et NFR/NTNF brukerstyrt teknologiprogram i bildebehandling og mønstergjenkjenning. Det har to mål: 1. Å forbedre bildekvalitet ved å utvikle bedre metoder for fjerning av speckle og akustisk støy i ultralydbilder. 2. Å utvikle nye metoder for å behandle og visualisere 3D ultralydopptak. Dette prosjektet går på å forbedre eksisterende produkter og å utvikle nye metoder for neste generasjons ultralydinstrumenter. Prosjektet er et samarbeid med Institutt for biomedisinsk teknikk (Universitetet i Trondheim), Institutt for datateknikk og telematikk (Norges Teknisk Høgskole) og Christian Michelsen Research (Bergen). I prosjektet er det utviklet en ny algoritme for å redusere støy i ultralydbilder og hardware prototyper er laget. Testing på våre produkter har gitt meget lovende resultater og integrasjon med eksisterende hardware foregår i disse da-
ger. Dette filteret er basert på ikke-lineær filtrering av individuelle pixler i tid. Filteret detekterer selv om pixelen er en del av et stillestående parti som kan filtreres sterkt, eller om det f.eks. er en klaff som ikke skal filtreres. På den måten oppnår en at specklestøy reduseres, samtidig som hurtig varierende deler av bildet ikke blir smurt utover. Arbeidet innenfor visualisering har bestått av metodeutvikling, vurdering av basisprogramvare og klinisk testing. Tre forskjellige eksperimentelle 3D prober basert på vipping, rotasjon og translasjon er bygget. Resultatene har vakt interesse for 3D og 4D (3D pluss tid) blant leger. Kontakten mot kliniske miljø har ført til etablering av 3D visualiseringslaboratorium ved Senter for Fosterdiagnostikk, Regionsykehuset i Trondheim og etablering av scanner med spesiallaget RF-frontend for bruk innenfor radiologi ved Kirurgisk avd., Haukeland Sykehus. Tilpasning av ultralydinstrumenter til ultralyd kontrastmidler Nycomed Imaging arbeider med utvikling av kontrastmidler for forbedring av ultralyddiagnostikk. De består av små (opptil 10-15 µ m) luftfylte mikrosfærer som reflekterer ultralyd meget bra. Det har vært naturlig for Nycomed Imaging og Vingmed Sound å samarbeide mot det endelige målet som er å kunne bruke kontrastmidler for tidlig diagnose av sykdommer i hjertemuskelen. I dag kan f.eks tidlig hjerteinfarkt bare finnes ved indirekte metoder, som å se på bevegelsesmønsteret til hjerteveggen. Det kortsiktige målet for samarbeidsprosjektet er å utvikle metoder og tilpasse instrumenter til å gi optimal utnyttelse av kontrastmidler. Som en del av dette arbeidet er det utviklet en signalmodell som beregner effekten av kontrastmidlene på ultralydsignalet. Ved hjelp av modellen er det mulig å finne hvordan kontrastmidlene påvirker mottatt intensitet og frekvensinnhold. Dette er viktig basiskunnskap som er nødvendig for å kunne tolke ultralyd data tatt opp med kontrastmidler tilstede. Modellen er prøvet mot målinger der parametre som ultralydfrekvens, konsentrasjon og størrelsesfordeling av mikrosfærer, samt trykk er endret. Analyse av målte RF-data stemmer bra med simuleringer på signalmodellen. 3 D probeutvikling for romanvendelser Vingmed Sound og Institutt for biomedisinsk teknikk har tidligere hatt støtte fra Norsk Romsenter for å utvikle metoder for å forstå dannelse av gassbobler i blod under dekompresjon. Denne anvendelsen er beslektet med rommedisin. I dette prosjektet ble også deler av arbeidet med utvikling av den nye multiplan spiserørsproben gjort. I tillegg til å forbedre bilder i forhold til prober som brukes fra utsiden av kroppen åpner denne proben også opp for 3 D avbildning av hjertet. Blant annet på bakgrunn av dette har vi nettopp fått aksept for et prosjekt som har som mål å bidra til bedre estimering av hjertets volum under vektløshet. Dette prosjektet går under ESTECs teknologiske forskningsprogram og bygger på tidligere studier som ESA har gjort innenfor fysiologisk forskning i mikrogravitasjonsprogrammet. Målet for prosjektet er å utvikle 3D ultralydustyr for bruk i rom. I 1993/94 skal en probe som egner seg for dette lages og tilpasses nyutviklet elektronikk hos oss. Vingmed Sound og Institutt for biomedisinsk teknikk vil samarbeide med partnere som har kompetanse innenfor materialteknologi for bruk i prober (Vermon, Frankrike), romfartsmedisin (GIP Ultrasons, Frankrike), og elektronikk og systemintegrasjon for romanvendelser (Matra Marconi Space). Referanser Mye av vår egen og våre samarbeidspartneres forskning dokumenteres i den åpne litteratur og referanser til publiserte arbeider de siste årene er tatt med her. [1] S. Holm, M. Myhrum and L. Hoff, Acoustic Modeling of the Ultrasound Return from Albunex Contrast Agent, presented at 7th Annual Symposium on Advances in Echocardiography, September 1992, Chicago, IL. [2] M. Myhrum, S. Holm and L. Hoff, Modeling of the Ultrasound Return from Albunex Contrast Agent, presentert på nordisk samarbeidsmøte i akustikk, Ustaoset, februar 1993. [3] N. Sponheim, L. Hoff, A. Waaler, B. Muan, H. Morris, S. Holm, M. Myhrum, N. de Jong and T. Skotland, Albunex - A new ultrasound contrast agent, Proc. IEE Int. Conf. Acoustic Sensing and Imaging, March 1993, London, UK. [4] S. Holm, M. Myhrum and L. Hoff, Modelling of the Ultrasound Return from Albunex Microspheres, accepted for publication in Ultrasonics. [5] M. Myhrum and L. Hoff, Quantification of the Ultrasound Return from Albunex Microspheres, to be published. [6] S. Holm and M. Myhrum, Modeling frequency shifts and intensity variations from in-vivo Albunex microspheres, to be publsihed in Proc. IEEE Ultrasonics Symposium, Nov. 1993, Baltimore, MD. [7] S. Holm and K. Kristoffersen, Analysis of worst-case phase quantization sidelobes in focused beamforming, IEEE Trans. Ultrason., Ferroelec. Freq. Contr., vol. 39, no. 5, pp. 593-599, September 1992. [8] B. Olstad, Reasoning with entropy graphs for image operators, to be published in Pattern Recognition, 1993. [9] B. Olstad, Maximizing image variance in rendering of volumetric data sets, Journ. Electronic Imaging, Vol. 1(3), pp. 256-265, July 1992. [10] B. Olstad, Speckle reduction in medical ultrasound using
temporal approximations with locally monotonic functions, to be published. [11] B. Olstad, Maximizing image variance in rendering of volumetric data sets, Proc. of SPIE/SPSE: Electronic Imaging, Science & Technology, San Jose, 1992. [12] B. Olstad and E. Steen, Adaptive feature extraction in volume rendering, Proc of NOBIM, Trondheim 1992. [13] B. Olstad, Volume rendering based on Principal Component Analysis, Proc. of INDUMAT 92, Trondheim 1992. [14] B. Olstad, Active contours with grammatical descriptions, Proc. of 6th International Conference on Image Analysis and Processing, Como, Italy, Sept. 1991. [15] B. Olstad and H.E. Tysdahl, Improving the computational complexity of active contour algorithms, Proc. 8th Scand. Conf. Image Analysis. [16] E. Steen and B. Olstad, Volume rendering in medical ultrasound imaging, Proc. 8th Scand. Conf. Image Analysis. [17] E. Steen and B. Olstad, Volume rendering of 3D medical ultraosund data using direct feature mapping, submitted to Medical Imaging. [18] B. Olstad and A. Torp, Endofing of a priori information in active contour models, submitted to IEEE Pattern Analysis and Machine Intelligence. [19] B. Olstad, Nichtlineare Modelle für die Echtzeit - Bildeverarbeitung und ihre Anwendungen in der Bildoptimirung, Flächenbestimmung und Volumenvisualisierung, Ultraschall in Med., Vol 14, 1993. [20] Nils Thune, Trygve Hausken, og Mari Thune, Estimating enclosed volumes in 3D Ultrasound, Abstrakt presentert ved Norsk Forening for ultralyd-diagnostikk, Sundvollen 1-3 okt. 1992. [21] Trygve Hausken, Nils Thune, Arnold Berstad, Svein Ødegård, Måling av galleblære- og antrumvolum med 3D ultralyd hos friske personer og pasienter med funksjonell Dyspepsi, Abstrakt presentert ved Norsk Forening for ultralyddiagnostikk, Sundvollen 1-3 okt. 1992. [22] Nils Thune, Trygve Hausken, Knut Matre, and Odd H. Gilja, Estimating Enclosed Volumes using 3D Ultrasound - A preliminary Report, Skal sendes til Ultrasound in medicine and biology.