Bildaufnahme, -verbesserung und -rekonstruktion

Bevor Bilder und Videos verarbeitet und analysiert werden können, muss in einem ersten Schritt das erforderliche Material aufgezeichnet bzw. verbessert oder rekonstruiert werden. Dazu sind im ersten Abschnitt die Themen am Lehrstuhl zur Bildaufnahme gesammelt, insbesondere die Aufnahme und Verarbeitung multispektraler Daten und die Aufnahme mit Mehrkamerasystemen. Durch die Messung von spektralen Komponenten, z.B. UV oder IR, lassen sich für das menschliche Auge verborgene Informationen sichtbar machen. Kommen bei der Aufnahme von Bildern und Videos mehrere Kameras zum Einsatz, so lassen sich stereoskopische Anwendungen entwickeln.
Im dritten Abschnitt wird die Bildrekonstruktion näher betrachtet. Dabei wird zum Einen ein neuartiges Sensorkonzept (unregelmäßige Abtastung) und zum Anderen die Umtastung von Bildern erläutert.
Zum Abschluss wird im letzten Abschnitt das Augenmerk auf die Bildverbesserung gelegt. Dort ist insbesondere die Verschleierung und Rekonstruktion von fehlenden Bildbereichen gezeigt.

 


Bildaufnahme

Multispektrale Bildgebung

Ihr Ansprechpartner
Nils Genser, M.Sc.
E-Mail: nils.genser@fau.de
Link zur Person

Die Aufnahme multispektraler Bilddaten gewinnt zunehmend für Anwendungen in der Bild- und Videosignalverarbeitung an Bedeutung. So werden zum Beispiel in modernen biometrischen Sicherheitssystemen multispektrale Aufnahmen verwendet, um die Identität von Personen zu prüfen. Auch in der Landwirtschaft und in der Medizin werden laufend neue Ansätze veröffentlicht, bei denen zum Beispiel durch multispektrale Bildaufnahmen der Gesundheitszustand von Pflanzen und Menschen erfasst werden kann.

Am Lehrstuhl beschäftigen wir uns unter anderem mit innovativen Systemen zur Aufnahme von multispektralen Bildern. Außerdem wird die Rekonstruktion von multispektralen Daten und deren effiziente Codierung näher erforscht. Die folgenden Aufnahmen zeigen welche Informationen mit Hilfe multispektraler Aufnahmen sichtbar gemacht werden können (für vergrößerte Ansicht bitte Bilder anklicken). Das Aufnahmesystem und die zugehörigen Algorithmen wurden am Lehrstuhl entwickelt.

 

RGB Farbbild 675-825 nm Falschfarbenbild 825-975 nm Falschfarbenbild

 

 

 

Bild- und Videosignalverarbeitung für Mehrkamerasysteme

Ihr Ansprechpartner
Johannes Bauer, M.Sc.
E-Mail: johannes.bauer@fau.de
Link zur Person

Die kontinuierlich steigende Rechenleistung moderner Computersysteme ermöglicht heutzutage den Einsatz des maschinellen Sehens in verschiedensten Anwendungsbereichen, von großen Industrieanlagen bis hin zu eingebetteten Systemen oder Smartphones. Eine Kernaufgabe hierbei ist die stereoskopische Rekonstruktion eines dreidimensionalen Modells einer von mehreren Kameras aufgezeichneten Szene. Solche Modelle bieten nicht nur ein beeindruckendes und realitätsnahes Erlebnis in interaktiven Anwendungen, wie sie beispielsweise in Virtual Reality genutzt werden. Die 3D-Information einer beobachteten Szene kann ebenso enorm nützlich sein für weitere Datenverarbeitungsschritte, wie Objekterkennung, Zählung, Separierung und/oder Klassifizierung, die beispielsweise in industrieller Prozessautomatisierung oder -überwachung Verwendung finden.

In solchen Szenarien verschiebt sich das Hauptaugenmerk der 3D-Rekonstruktion von möglichst detailgetreuer Darstellung zu Robustheit und Skalierbarkeit des Systems, sowie Echtzeitfähigkeit, was insbesondere in Mehrkamerasystemen eine Herausforderung darstellt. Des weiteren unterscheiden sich solche Szenarien von Consumer-Anwendungen z.B. durch die Verwendung anderer Kameramodelle, wie Fischaugen oder katadioptrische Kameras. Eine skalierbare, performante Lösung, um dichte Punktwolken aus mehreren Kameraansichten zu berechnen, kann beispielsweise durch ein spezielles „Plane Sweep“-Verfahren erreicht werden. Hierbei werden die Korrelationen zwischen rück-projizierten Kamerabildern auf vorgegebenen, hypothetischen Ebenen direkt im Suchraum berechnet.

Im folgenden Beispiel ist eine Simulation des Plane Sweep-Verfahrens zu sehen. Hier wurde aus 49 verschiedenen Fischaugen-Ansichten in einem Voxel-Raster mit einer Auflösung des Suchraums von 10 vx/m rekonstruiert. (Für hochaufgelöste Versionen Bilder anklicken)

Beispielbilder der aufgenommenen Szene:

Berechnete Punktwolke:

 


Bildrekonstruktion

Rekonstruktion unregelmäßig abgetasteter Daten

Ihr Ansprechpartner
Simon Grosche, M.Sc.
E-Mail: simon.grosche@fau.de
Link zur Person

Mit Hilfe der Frequenzselektiven Rekonstruktion (FSR) können Bilder anhand von wenigen, unregelmäßig abgetasteten Bildpunkten rekonstruiert werden. Hierbei handelt es sich um ein Problem des Compressed Sensing. Gegenüber regelmäßiger Abtastung kommt es zu einem reduzierten Aliasing, wodurch nach geeigneter Rekonstruktion eine höhere Bildqualität möglich ist.

Eine mögliche Anwendung der unregelmäßigen Abtastung ist das sogenannte 1/4-Sampling. Hierbei wird ein Kamerasensor mit regelmäßig angeordneten Pixeln teilweise maskiert, so dass ein unregelmäßiges Abtastmuster entsteht. Unter Verwendung einer dünn besetzen Repräsentation kann mit Hilfe der FSR ein hochaufgelöstes Bild rekonstruiert werden.

Diagramm zum 1/4-Sampling

 

Beispiel für die Rekonstruktion unregelmäßig abgetasteter Bilddaten beim 1/4-Sampling

Hochaufgelöstes Referenzbild
(218 Pixel)
Niedrig Aufgelöster Sensor
(216 Pixel)
1/4-Sampling Sensor
(216 Pixel)
Rekonstruiertes, hochaufgelöstes Bild
Am Besten die vergrößerte Version der Bilder betrachten, da zusätzliches Aliasing aufgrund von Skalierung auftreten kann!

Um die Leistungsfähigkeit der Frequenzselektiven Rekonstruktion auch einmal selbst testen zu können stellen wir den Algorithmus hier als Gitlab Projekt zur Verfügung.

 

Bildumtastung

Ihre Ansprechpartnerin
Viktoria Heimann, M.Sc.
E-Mail: viktoria.heimann@fau.de
Link zur Person

Digitale Bilder können als reguläre zweidimensionale Gitter angenommen werden. Wird ein digitales Bild nun in irgendeiner Weise transformiert, so werden die Bildpunkte auf beliebige Koordinatenpositionen verschoben. Dies bedeutet, dass die Punkte weder effizient in einer Matrix gespeichert werden können, noch ist es möglich Bilpunkte an nicht ganzzahligen Positionen auf einem digitalen Bildschirm anzusehen. Um diese Probleme zu lösen, müssen an beliebigen Stellen liegende Bildpunkte auf ein Gitter an ganzzahligen Koordinaten interpoliert werden. Wir verwenden hierfür die frequenzselektive Bildumtastung. Wie bei der oben bereits erläuterten frequenzselektiven Rekonstruktion, wird hier ebenfalls ausgenutzt, dass Bilder im Frequenzbereich dünnbesetzt sind. Durch Wahl und Überlagerung geeigneter Basisfunktionen kann dann das Bild an beliebigen Stellen rekonstruiert werden und so auf einem digitalen Bildschirm dargestellt werden. Mögliche Anwendungen für die frequenzselektive Bildumtastung sind beispielsweise affine und projektive Abbildungen, wie die unten gezeigte Bildrotation, aber auch örtliche und zeitliche Auflösungserhöhungen, Super-Resolution und Frame-Rate Up-Conversion und viele weitere mehr.

Beispiel für die Rotation eines Bildes um einen beliebigen Winkel.

 


Bildverbesserung

Fehlerverschleierung von Bilddaten

 

Ihre Ansprechpartner
Nils Genser, M.Sc.
E-Mail: nils.genser@fau.de
Link zur Person
 
PD Dr.-Ing. habil. Jürgen Seiler
E-Mail: juergen.seiler@fau.de
Link zur Person

Bei der Übertragung von Bildern und Videos per Mobilfunk oder über das Internet besteht die Gefahr, dass Übertragungsfehler auftreten. Diese äußern sich in den Bildern oder Videosequenzen darin, dass einzelne Bildbereiche nicht korrekt decodiert und dargestellt werden können. Es ist aber möglich, diese verloren gegangenen Bildbereiche ausgehend von korrekt empfangenen Bildbereichen zu rekonstruieren. Hierzu wurde am Lehrstuhl die Selektive Extrapolation entwickelt. Dieses Verfahren ist in der Lage, beliebige Bildinhalte zu rekonstruieren und kann sowohl auf Bilder als auch auf Videosequenzen angewendet werden.

 

Beispiele für die Verschleierung von gestörten Bilddaten

Originalbild Gestörtes Bild Verschleiertes Bild

 

Bildrestauration durch Selektive Extrapolation

Neben der Verschleierung von Störungen, die durch Übertragungsfehler entstanden sind, kann die Selektive Extrapolation auch zur Bildrestauration verwendet werden. Dabei werden Beschädigungen oder störende Objekte aus Bildern entfernt. Um dies zu erreichen, müssen in einem ersten Schritt manuell die zu extrapolierenden Bereiche gekennzeichnet werden. Dazu wird eine Binärmaske, in der alle zu ersetzenden Bereiche gleich Null sind benötigt. Anschließend wird das Bild in Blöcke aufgeteilt und auf all den Blöcken, die zu extrapolierende Bereiche enthalten die 2D Selektive Extrapolation durchgeführt.

Zwei Beispiele für die Restauration von Bildern durch Selektive Extrapolation:

Um die Leistungsfähigkeit der Selektiven Extrapolation auch einmal selbst testen zu können stellen wir den Algorithmus hier als Gitlab Projekt zur Verfügung.