Bildaufnahme

Bild- und Videosignalverarbeitung für Mehrkamerasysteme

Viele moderne Anwendungsgebiete im Bereich der Unterhaltungselektronik, der Überwachungstechnik oder auch der industriellen Prüftechnik benötigen die Aufnahme einer Szene mit mehreren Kameras aus unterschiedlichen Perspektiven. Die verschiedenen Ansichten können anschließend für eine ganzen Reihe unterschiedlicher Fragestellungen verwendet werden. Typische Beispiele hierfür sind Lokalisierung, Objekterkennung und -verfolgung, 3D-Szenenrekonstruktion, Bildsynthese oder Fehlerverschleierung. Allerdings können, meist aus Kosten- oder Komplexitätsgründen, dabei nicht immer baugleiche Kameras eingesetzt werden. In sogenannten heterogenen Mehrkamerasystemen unterscheiden sich einzelne Kameras in grundsätzlichen Eigenschaften wie Ortsauflösung, Dynamikumfang, Polarisation oder der spektralen Empfindlichkeit.
Um nun beispielsweise fehlende Frequenz- oder Spektralanteile auf eine benachbarte Ansicht zu projizieren muss die Abbildungsvorschrift zwischen den Kameras geschätzt werden. Deshalb stellt die Sensorfusion, unter Berücksichtigung unterschiedlicher Bildeigenschaften, eine zentrale Herausforderung im Bereich der Signalverarbeitung für Mehrkamerasysteme dar.

Heterogenes Mehrkamerasystem bestehend aus Kameras mit unterschiedlichen Ortsauflösungen und unterschiedlichen Belichtungszeiten. Ist die Abbildung zwischen den einzelnen Ansichten bekannt, so kann Information aus den Referenzansichten verwendet werden um die Auflösung und den Dynamikumfang der zentralen Ansicht zu erhöhen.

 

 


Bildrekonstruktion

Rekonstruktion unregelmäßig abgetasteter Daten

Die Pixel eines regelmäßigen niedrigauflösenden Sensors werden teilweise maskiert, so dass ein unregelmäßiges Abtastmuster entsteht.  Unter Annahme dünn besetzter Repräsentationen und mit Hilfe der Frequenzselektiven Extrapolation (FSE), die bereits erfolgreich in der Fehlerverschleierung eingesetzt wird, kann ein hochaufgelöstes Bild rekonstruiert werden.

Eine Kamera mit hoher Auflösung benötigt nun nicht mehr unbedingt einen hochauflösenden Sensor, weshalb bereits bei der Aufnahme der Energieverbrauch, der Bandbreitenbedarf, die Komplexität und somit die Kosten verringert werden können. Obwohl nur 25% der Bildpunkte aufgenommen werden, kann mit diesem Verfahren annähernd die Qualität einer vollen Aufnahme erreicht werden, wie man an folgendem Beispielbild sehen kann.

 

Beispiel für die Rekonstruktion unregelmäßig abgetasteter Bilddaten

Niedrig aufgelöstes Bild Abgetastetes Bild Rekonstruiertes Bild
Am Besten die vergrößerte Version der Bilder betrachten, da zusätzliches Aliasing aufgrund von Skalierung auftreten kann!

Um die Leistungsfähigkeit der Selektiven Rekonstruktion auch einmal selbst testen zu können stellen wir den Algorithmus <hier> als Gitlab Projekt zur Verfügung.

 

 


Bildverbesserung

Fehlerverschleierung von Bilddaten

Bei der Übertragung von Bildern und Videos per Mobilfunk oder über das Internet besteht die Gefahr, dass Übertragungsfehler auftreten. Diese äußern sich in den Bildern oder Videosequenzen darin, dass einzelne Bildbereiche nicht korrekt decodiert und dargestellt werden können. Es ist aber möglich, diese verloren gegangenen Bildbereiche ausgehend von korrekt empfangenen Bildbereichen zu rekonstruieren. Hierzu wurde am Lehrstuhl die Selektive Extrapolation entwickelt. Dieses Verfahren ist in der Lage, beliebige Bildinhalte zu rekonstruieren und kann sowohl auf Bilder als auch auf Videosequenzen angewendet werden.

Eine genaue Beschreibung der Selektiven Extrapolation kann in 2008-10 und 2005-20 nachgelesen werden

 

Beispiele für die Verschleierung von gestörten Bilddaten

Originalbild Gestörtes Bild Verschleiertes Bild

Um die Leistungsfähigkeit der Selektiven Extrapolation auch einmal selbst testen zu können stellen wir den Algorithmus <hier> als Gitlab Projekt zur Verfügung.

 

Fehlerverschleierung von gestörten Videosequenzen

Bei der Verschleierung von gestörten Videodaten können für die Modellbildung zusätzlich zu den Bereichen des aktuellen Bildes, die korrekt empfangen wurden, auch Bilder die bereits vollständig übertragen wurden verwendet werden. Hierdurch liegt insgesamt ein dreidimensionales Datenvolumen vor, für das man unter Verwendung von dreidimensionalen Basisfunktionen ein Modell erzeugt. Da für die Modellbildung sowohl die korrekt empfangenen Bereiche des aktuellen Bildes, als auch von vorherigen Bildern verwendet wird, kann eine sehr hohe Qualität der verschleierten Sequenz erzielt werden. Werden für die Modellbildung Fourier-Basisfunktionen verwendet, wird das Verfahren auch als 3D Frequenzselektive Extrapolation (3D-FSE) bezeichnet. Eine ausführliche Beschreibung findet sich unter 2007-30.

Die Qualität der Fehlerverschleierung kann weiter gesteigert werden, wenn vor der Modellbildung die Bewegung in der Videosequenz kompensiert wird. Dadurch wird erreicht, dass in den einzelnen Schichten ähnliche Bildinhalte liegen und somit das Modell sicherer erzeugt werden kann. Diese Erweiterung wird als Bewegungskompensierte Frequenzselektive Extrapolation MC-FSE bezeichnet. Für eine detaillierte Beschreibung sei auf 2008-25 verwiesen.

Nachfolgend ein paar Beispielsequenzen, die die Leistungsfähigkeit der dreidimensionalen Selektiven Extrapolation belegen:​

Sequenz „Discovery City“ Sequenz „Discovery Orient“
Original
Gestört
Verschleiert mit 3D-FSE
Verschleiert mit MC-FSE

 

Bildrestauration durch Selektive Extrapolation

Neben der Verschleierung von Störungen, die durch Übertragungsfehler entstanden sind, kann die Selektive Extrapolation auch zur Bildrestauration verwendet werden. Dabei werden Beschädigungen oder störende Objekte aus Bildern entfernt. Um dies zu erreichen, müssen in einem ersten Schritt manuell die zu extrapolierenden Bereiche gekennzeichnet werden. Dazu wird eine Binärmaske, in der alle zu ersetzenden Bereiche gleich Null sind benötigt. Anschließend wird das Bild in Blöcke aufgeteilt und auf all den Blöcken, die zu extrapolierende Bereiche enthalten die 2D Selektive Extrapolation durchgeführt.

Zwei Beispiele für die Restauration von Bildern durch Selektive Extrapolation:

Das Programm mit dem diese Bilder erstellt wurden, stellen wir für wissenschaftliche und private Nutzung <hier> als Gitlab Projekt zur freien Verfügung