Stereo Vision für 3D-Bildverarbeitungsanwendungen

Bisher haben wir in unserer Reihe von 3D-Bildverarbeitungsblogs einen Überblick über die vier wichtigsten 3D-Technologien gegeben, die in der Bildverarbeitung verwendet werden (Stereovision, Lichtlaufzeitmessung, strukturiertes Licht und 3D-Lasertriangulation), und haben die 3D-Lasertriangulation in unserem letzten Blog-Beitrag näher beleuchtet.

In diesem Blog-Beitrag werden wir uns mit Stereo Vision befassen, die Technologie im Detail untersuchen und herausfinden, wie sie Probleme in der Bildverarbeitung lösen kann.

Was ist Stereo Vision?

Wie bei anderen Arten der 3D-Bildgebungstechnologie besteht das Ziel der Stereovision darin, das Problem der Tiefenwahrnehmung zu lösen - den Kern aller 3D-Probleme.

Stereosehen ist eine Bildverarbeitungstechnik, die mit zwei oder mehr Bildverarbeitungskameras 3D-Messungen mit vollem Sichtfeld ermöglichen kann. Die Grundlage der Stereovision ähneln der 3D-Wahrnehmung beim menschlichen Sehen und basiert auf der Triangulation von Strahlen aus mehreren Blickwinkeln.

Eine Stereokamera kopiert genau, wie unsere Augen funktionieren, um uns eine genaue Tiefenwahrnehmung in Echtzeit zu ermöglichen. Dies wird erreicht, indem zwei Sensoren in einem festgelegten Abstand voneinander verwendet werden, um ähnliche Pixel aus beiden 2D-Ebenen zu triangulieren.

Jedes Pixel in einem Digitalkamerabild sammelt Licht, das entlang eines 3D-Strahls zur Kamera gelangt. Wenn ein Merkmal auf der Welt als Pixelort in einem Bild identifiziert werden kann, wissen wir, dass dieses Merkmal, auf dem diesem Pixel zugeordneten 3D-Strahl liegt. Wenn wir mehrere Kameras verwenden, erhalten wir mehrere Strahlen. Wenn wir herausfinden, wo sich diese Strahlen schneiden, können wir die 3D-Position eines Objekts und seine Merkmale ermitteln.

Durch die Triangulation von Pixeln und Strahlschnittpunkten können wir die 3D-Position des Verkehrskegels bestimmen. Je größer die Disparität ist, desto größer ist der Winkelversatz zum Objekt und desto größer ist die 3D-Tiefeninformation. Dies reduziert Probleme wie die optisch Abschattung, erfordert jedoch eine sorgfältige Kalibrierung, um erfolgreich zu sein.

Passive and aktive Stereo Vision

Stereovision in der Bildverarbeitung wird als passive Technologie angesehen, da für die Arbeit keine künstliche Beleuchtung erforderlich ist. Eine Stereokamera kann einfach angeschlossen, kalibriert und bereitgestellt werden.

Einige Stereovisionanwendungen profitieren jedoch von künstlicher Beleuchtung oder einer Streifenlichtprojektion, um die Sichtbarkeit zu verbessern bzw. benötigen einige Anwendungen derartige Techniken, um überhaupt funktionieren zu können. Dies ist als aktives Stereo bekannt und hat seine Vor- und Nachteile, genau wie passives Stereo.

Vor- und Nachteile von Stereo Vision

Stereovision kann CPU-intensiv sein, wenn sie nicht hardwarebeschleunigt ist (FPGA, GPU usw.). Dies ist auf Algorithmen wie Semi-Global Matching (SGM) zurückzuführen, die eine Stereoanpassung mit 2 Kameras und eine Kompensation der Objektivverzerrungen durchführen, welche erforderlich sind damit die Stereosicht im Laufe der Zeit genau und konsistent bleibt.

Wenn Sie feststellen, dass Ihr Embedded System oder Ihre industrielle Computereinheit Probleme hat, entlasten die Stereo-Vision-Kameras, SceneScan und Scarlet von Nerian, die CPU eines PCs, da der größte Teil der Verarbeitung in der Kamera erfolgt, welche einen performanten FPGA verwendet - mehr dazu weiter unten.

Passive Stereokamerasysteme können ohne Lasers/LEDs eingesetzt werden und sind im Allgemeinen bei den meisten Umgebungslichtbedingungen effektiv.

Wenn das System jedoch bei schlechten Lichtverhältnissen arbeitet oder nicht strukturierte Szenen oder Objekte mit texturlosen Oberflächen scannt, ist die Stereovision als 3D-Technologie tendenziell unterdurchschnittlich.

Daher ist es am besten, die Stärken der Stereosicht zu nutzen, da es bei ordnungsgemäßem Einsatz in gut beleuchteten Umgebungen, die für Anwendungen wie das Kommissionieren von Behältern oder autonome Autos verwendet werden, hervorragende Ergebnisse erzielt. Ohne Laser oder teure Beleuchtung kann passives Stereovision im Vergleich zu 3D-Bildverarbeitungstechnologien wesentlich günstiger sein.

Aufgrund des Fehlens von Einschränkungen des Bewegungsbereichs auf dem Zielobjekt wie bei der 3D-Profiling-Technologie kann Stereovision auch große Entfernungen und sich bewegende Objekte gut bewältigen - etwas, das andere 3D-Bildgebungstechnologien tendenziell nicht erfüllen.

Nach der Kalibrierung kann ein Stereo-Vision-Kamerasystem die Tiefe in Echtzeit erfassen. In Kombination mit der richtigen Software zur Anzeige des 3D-Bilds können Benutzer von der Farbtiefenzuordnung profitieren, um die Sichtbarkeit zu erhöhen.

Mithilfe der Farbzuordnung können Entfernungen auf dem Bildschirm visuell quantifiziert werden.

Stereokameras eignen sich hervorragend für eine Vielzahl von Anwendungen. Autonome Fahrzeuge haben beispielsweise stark von Stereo-Vision Systemen profitiert. Die Kombination dieser Technologie mit einem neuronalen Netzwerk kann zu effektiven Lösungen für selbstfahrende Autos und andere autonome Maschinen führen.

Auswahl der richtigen Stereokamera

Die 3D-Stereokameras SceneScan und Scarlet von Nerian bieten fantastische Stereobildergebnisse zu einem erschwinglichen Preis.

Mit bis zu 120 fps und über 70 Millionen 3D-Punkten pro Sekunde bietet das neue Nerian Scarlet die schnellste 3D-Messrate auf dem Bildverarbeitungsmarkt. Darüber hinaus erreicht Scarlet eine hervorragende Auflösung von bis zu 5 Megapixeln in Kamera- und Tiefenbildern.

Scarlet kombiniert eine 3D-Stereokamera und die Bildverarbeitung in einem Gerät. Durch die Verlagerung des semi-globalen Matching-Algorithmus auf einen FPGA und die geringere Verzerrung durch Nachbearbeitungstechniken wie fehlerhafte Disparitätsentfernung, Rauschentfernung und Speckle-Filterung bewältigt Scarlet den hohen Verarbeitungsaufwand und schont die CPU Ihres Systems.

Ob für statische Umgebungen oder für komplexe und kritische Echtzeitanwendungen in dynamischen Umgebungen - die Scarlet 3D-Tiefenkamera von Nerian bietet Ihnen genau die Bild- und Tiefendaten, die Sie für Ihre Bildverarbeitungsanwendung benötigen.

Nerian Scarlet

Weitere Informationen zu den oben genannten Themen finden Sie in unserem informativen E-Book zu 3D-Bildgebungstechniken. Spezifikationen für verschiedene 3D-Bildgebungslösungen finden Sie in den Datenblättern unserer Kameras, die auf unserer Website verfügbar sind, um Ihnen bei der Auswahl des optimalen 3D-Bildverarbeitungskameramodells für Ihre industrielle Anwendung zu helfen.