Bildaufnahme

Hyperspektrale Bildgebung

Die Aufnahme hyperspektraler Bilddaten gewinnt zunehmend für Anwendungen in der Bild- und Videosignalverarbeitung an Bedeutung. So werden zum Beispiel in modernen biometrischen Sicherheitssystemen hyperspektrale Aufnahmen verwendet, um die Identität von Personen zu prüfen. Auch in der Landwirtschaft und in der Medizin werden laufend neue Ansätze veröffentlicht, bei denen zum Beispiel durch hyperspektrale Bildaufnahmen der Gesundheitszustand von Pflanzen und Menschen erfasst werden kann.

Am Lehrstuhl beschäftigen wir uns unter anderem mit innovativen Systemen zur Aufnahme von hyperspektralen Bildern und Videos. Außerdem wird die Rekonstruktion von hyperspektralen Daten und deren effiziente Codierung näher erforscht. Die folgenden Aufnahmen zeigen welche Informationen mit Hilfe hyperspektraler Aufnahmen sichtbar gemacht werden können (für vergrößerte Ansicht bitte Bilder anklicken). Das Aufnahmesystem und die zugehörigen Algorithmen wurden am Lehrstuhl entwickelt.

Spektrale Rekonstruktion

Die Benutzung von multi- und hyperspektalen Aufnahmesystemen (siehe oben) führt zu weiteren Herausforderungen. Für eine Vielzahl and Anwendungen sind die reflektierten Spektren essenzielle Informationen, um klassifizieren zu können. Demnach ist die Rekonstruktion der emittierten Spektren aus multispektralen Aufnahmen eine fundamentale Berechnung. Diese Berechnung beinhaltet diverse Fragestellungen. Üblicherweise werden mehr Variablen rekonstruiert als Beobachtungen zur Verfügung stehen. Um das zu lösen, muss man Vorkenntnisse über Spektren einarbeiten. Außerdem sind multispektrale Videos, z.B. stelle man sich eine Drohne, die über Felder fliegt und die Gesundheit von Pflanzen misst, vor, typischerweise stark verrauscht, da jedes einzelne Bild nur eine begrenzte Belichtungszeit hat. Dementsprechend müssen spektrale Rekonstruktionstechniken entwickelt werden, die robust gegenüber verrauschten Bildern arbeiten. Die Anwendungen von so einer Technik sind extrem vielseitig. Zum Beispiel können verschiedene Plastikarten unterschieden werden, Medikamentenfälschungen erkannt werden, oder Sicherheitsmerkmale auf Geldscheinen analysiert werden:

Rekonstruierte Spektren (die Farbe der Marker entspricht der Farbe der Spektren)	Rekonstruierte Bilder an bestimmten Wellenlängen

Bildrekonstruktion

Rekonstruktion unregelmäßig abgetasteter Daten

Mit Hilfe der Frequenzselektiven Rekonstruktion (FSR) können Bilder anhand von wenigen, unregelmäßig abgetasteten Bildpunkten rekonstruiert werden. Hierbei handelt es sich um ein Problem des Compressed Sensing. Gegenüber regelmäßiger Abtastung kommt es zu einem reduzierten Aliasing, wodurch nach geeigneter Rekonstruktion eine höhere Bildqualität möglich ist.

Eine mögliche Anwendung der unregelmäßigen Abtastung ist das sogenannte 1/4-Sampling. Hierbei wird ein Kamerasensor mit regelmäßig angeordneten Pixeln teilweise maskiert, so dass ein unregelmäßiges Abtastmuster entsteht. Unter Verwendung einer dünn besetzen Repräsentation kann mit Hilfe der FSR ein hochaufgelöstes Bild rekonstruiert werden.

Beispiel für die Rekonstruktion unregelmäßig abgetasteter Bilddaten beim 1/4-Sampling

Hochaufgelöstes Referenzbild (218 Pixel)	Niedrig Aufgelöster Sensor (216 Pixel)	1/4-Sampling Sensor (216 Pixel)	Rekonstruiertes, hochaufgelöstes Bild
Am Besten die vergrößerte Version der Bilder betrachten, da zusätzliches Aliasing aufgrund von Skalierung auftreten kann.

Um die Leistungsfähigkeit der Frequenzselektiven Rekonstruktion auch einmal selbst testen zu können stellen wir den Algorithmus hier als Gitlab Projekt zur Verfügung.

Bildumtastung

Digitale Bilder können als reguläre zweidimensionale Gitter angenommen werden. Wird ein digitales Bild nun in irgendeiner Weise transformiert, so werden die Bildpunkte auf beliebige Koordinatenpositionen verschoben. Dies bedeutet, dass die Punkte weder effizient in einer Matrix gespeichert werden können, noch ist es möglich Bilpunkte an nicht ganzzahligen Positionen auf einem digitalen Bildschirm anzusehen. Um diese Probleme zu lösen, müssen an beliebigen Stellen liegende Bildpunkte auf ein Gitter an ganzzahligen Koordinaten interpoliert werden. Wir verwenden hierfür die frequenzselektive Bildumtastung. Wie bei der oben bereits erläuterten frequenzselektiven Rekonstruktion, wird hier ebenfalls ausgenutzt, dass Bilder im Frequenzbereich dünnbesetzt sind. Durch Wahl und Überlagerung geeigneter Basisfunktionen kann dann das Bild an beliebigen Stellen rekonstruiert werden und so auf einem digitalen Bildschirm dargestellt werden. Mögliche Anwendungen für die frequenzselektive Bildumtastung sind beispielsweise affine und projektive Abbildungen, wie die unten gezeigte Bildrotation, aber auch örtliche und zeitliche Auflösungserhöhungen, Super-Resolution und Frame-Rate Up-Conversion und viele weitere mehr.

Bildverbesserung

Fehlerverschleierung von Bilddaten

Bei der Übertragung von Bildern und Videos per Mobilfunk oder über das Internet besteht die Gefahr, dass Übertragungsfehler auftreten. Diese äußern sich in den Bildern oder Videosequenzen darin, dass einzelne Bildbereiche nicht korrekt decodiert und dargestellt werden können. Es ist aber möglich, diese verloren gegangenen Bildbereiche ausgehend von korrekt empfangenen Bildbereichen zu rekonstruieren. Hierzu wurde am Lehrstuhl die Selektive Extrapolation entwickelt. Dieses Verfahren ist in der Lage, beliebige Bildinhalte zu rekonstruieren und kann sowohl auf Bilder als auch auf Videosequenzen angewendet werden.

Beispiele für die Verschleierung von gestörten Bilddaten

Originalbild	Gestörtes Bild	Verschleiertes Bild

Bildrestauration durch Selektive Extrapolation

Neben der Verschleierung von Störungen, die durch Übertragungsfehler entstanden sind, kann die Selektive Extrapolation auch zur Bildrestauration verwendet werden. Dabei werden Beschädigungen oder störende Objekte aus Bildern entfernt. Um dies zu erreichen, müssen in einem ersten Schritt manuell die zu extrapolierenden Bereiche gekennzeichnet werden. Dazu wird eine Binärmaske, in der alle zu ersetzenden Bereiche gleich Null sind benötigt. Anschließend wird das Bild in Blöcke aufgeteilt und auf all den Blöcken, die zu extrapolierende Bereiche enthalten die 2D Selektive Extrapolation durchgeführt.

Zwei Beispiele für die Restauration von Bildern durch Selektive Extrapolation:

Um die Leistungsfähigkeit der Selektiven Extrapolation auch einmal selbst testen zu können stellen wir den Algorithmus hier als Gitlab Projekt zur Verfügung.