Mouser German Blog

Erweiterung der konventionellen Machine Vision mit LiDAR für mehr Möglichkeiten bei Anwendungen und Systemen

(Quelle: Intel)

Wir Menschen haben außergewöhnliche biologische Sensoren, wie z. B. unsere Augen und Ohren, die mit einem einzigartigen Prozessor (nämlich unserem Gehirn) gekoppelt sind. Die Entwickler von Systemen für maschinelles Sehen (Machine Vision) versuchten zunächst, unsere menschlichen Fähigkeiten nachzubilden, indem sie bildgebende Sensoren im visuellen Spektrum mit Verfahren aus den Bereichen künstliche Intelligenz (KI) und Machine Learning (ML) kombinierten, um die Erkennung von Objekten zu ermöglichen. Die Fähigkeiten dieser Systeme lassen sich durch den Einsatz von Doppelsensoren für binokulares Sehen und Tiefenerkennung weiter verbessern.

Das Problem besteht darin, dass herkömmliche Machine-Vision-Systeme, so großartig sie auch sein mögen, unter denselben Problemen leiden wie das menschliche Auge, z. B. dass sie auf das sichtbare Spektrum beschränkt sind und bei schlechten Licht- und Wetterbedingungen wie Regen, Schnee und Nebel schlecht funktionieren. Was wäre aber möglich, wenn diese Machine-Vision-Systeme solche Einschränkungen überwinden könnten? Im Folgenden stellen wir die Herausforderungen vor, die mit konventionellen Bildgebungssystemen verbunden sind, sowie eine Lösung für künftige Bildgebungsanwendungen, wie z. B. die Verfolgung von Personen, volumetrische Messungen, Robotik und vieles mehr.

Das Problem konventioneller Bildgebungssysteme

Ein Nachteil konventioneller und thermischer Sensoren besteht darin, dass sie bei der Entfernungsbestimmung und der Verfolgung mehrerer sich bewegender Objekte, die sich vor oder hintereinander bewegen, nicht sehr effektiv sind. Eine Möglichkeit, diese Einschränkung zu überwinden ist die Kombination von konventionellen und thermischen Sensoren mit einem oder mehreren LiDAR-Sensoren (Light Detection and Ranging, auch bekannt als Laser Imaging Detection and Ranging).

Konventionelle Bildgebungssysteme sind passive Systeme, die alle elektromagnetische Energie, wie z. B. sichtbares Licht oder Infrarot, aus der Umgebung erfassen. Im Vergleich dazu wird LiDAR als aktives Fernerkennungssystem eingestuft, da es Licht mit Hilfe eines schnell feuernden Lasers erzeugt. Ein LiDAR-System misst die Zeit, die das ausgesendete Licht benötigt, um zu den Objekten vor ihm zu gelangen und wieder zurückzukehren. Anhand dieser Zeiten werden die zurückgelegten Entfernungen berechnet.

Während ein herkömmliches Bildgebungssystem eine 2D-Anordnung von Pixeln (Bildelementen) erzeugt, bildet ein LiDAR-Bildgebungssystem eine 3D-Anordnung von Voxeln (Volumenelementen) ab. Der schmale Laserstrahl, der von LiDAR verwendet wird, kann physikalische Merkmale mit sehr hoher Auflösung erkennen und abbilden. LiDAR übertrifft herkömmliche Stereo-Tiefenkameras bei Anwendungen, für die hochauflösende und hochgenaue Tiefendaten erforderlich sind, deutlich.

Je nach Zielanwendung können Entwickler KI/ML-Systeme in Verbindung mit verschiedenen Sensorkombinationen einsetzen, beispielsweise:

• Konventionelle Bildsensoren zur Erfassung und Erkennung von Objekten
• Thermische Bildsensoren zur Erweiterung des Erfassungsspektrums
• LiDAR-Sensoren für hochpräzise Messungen, Bewegungs- und Verfolgungsfunktionen

Schauen wir uns einen möglichen Anwendungsfall an, beispielsweise die COVID-19-Pandemie. Eines der Symptome einer mit dem Coronavirus infizierten Person ist eine erhöhte Temperatur. Die Entwickler könnten ein konventionelles Machine-Vision-System mit Wärme- und LiDAR-Sensoren ergänzen, um mögliche Infizierte in einer Umgebung dem Wartebereich eines Flughafens zu erkennen.

Vorstellung der Intel^® RealSense^™ LiDAR-Kamera L515

Die RealSense-Technologien von Intel umfassen ein breites Spektrum an Lösungen für die Bildverarbeitung, mit denen Ihre Designs die Welt in 3D verstehen können. Das neueste Mitglied der Familie ist die Intel^® RealSense^™-Kamera L515 (Abbildung 1). Mit einem Durchmesser von 61 mm und einer Tiefe von 26 mm ist sie die kleinste und stromsparendste hochauflösende LiDAR-Anlage der Welt und kann mehrere zehn Millionen Voxel pro Sekunde erfassen.

Abbildung 1: The Intel^® RealSense^™ LiDAR-Kamera L515 hat einen kleineren Durchmesser als ein Tennisball. (Source: Intel)

Die L515 basiert auf einer revolutionären Solid-State-LiDAR-Tiefentechnologie, die für Innenraumanwendungen entwickelt wurde, und eignet sich perfekt für Einsatzbereiche, bei denen hochauflösende und hochgenaue Tiefenmessdaten benötigt werden. Mit einer Reichweite von 0,25 Metern bis 9 Metern liefert die L515 über 23 Millionen präzise Voxel pro Sekunde, mit einer Tiefenauflösung von 1024 x 768 bei 30 Bildern pro Sekunde (fps). Für Anwendungen, die eine Kombination aus herkömmlicher Bildverarbeitung und LiDAR erfordern, verfügt die L515 außerdem über einen FHD-RGB-Videokamerasensor sowie zusätzliche Sensoren wie einen MEMS-Beschleunigungsmesser und ein MEMS-Gyroskop (Abbildung 2).

Abbildung 2: Explosionszeichnung der Intel^® RealSense^™ LiDAR-Kamera L515 (Quelle: Intel)

Darüber hinaus verfügt die L515 über einen internen Bildverarbeitungsprozessor, der Aufgaben wie die Reduzierung von Bewegungsunschärfe-Artefakten übernimmt und so den Host-Prozessor von solchen Aufgaben entlastet. Die leichte L515 verbraucht weniger als 3,5 Watt und ist damit die weltweit energieeffizienteste hochauflösende LiDAR-Kamera auf dem Markt. Durch die Kombination aus geringer Größe und niedrigem Stromverbrauch eignet sich die L515 ideal für den Einsatz in Handheld-Geräten und kleinen autonomen Roboteranwendungen.

Wenn Sie die Vorteile der L515 in Ihren eigenen Designs nutzen möchten, können Sie das Open-Source RealSense Software Development Kit (SDK) 2.0 von Intel plattform- und betriebssystemunabhängig einsetzen. Neben Windows, Linux und Android können Sie das SDK 2.0 auch auf den Plattformen Jetson TX2, Raspberry Pi 3 und macOS installieren.

Die L515 verwendet dasselbe SDK wie alle anderen Geräte der aktuellen Generation der RealSense-Technologiefamilie und ermöglicht so einen einfachen Umstieg von einer der anderen 3D-Kameras von Intel. Die Idee dahinter ist, dass man eine Lösung nur einmal entwickelt und sie dann auf jedem aktuellen oder zukünftigen Intel RealSense Tiefenerkennungsgerät einsetzen kann. Wer von uns könnte einer solchen Philosophie widersprechen?

Die Möglichkeiten entdecken

Die potenziellen Anwendungsmöglichkeiten für die L515 bringen jeden Designer zum Schwärmen. LiDAR wird traditionell mit autonomen Fahrzeugen und anderen Anwendungen im Außenbereich in Verbindung gebracht, aber die L515 eröffnet eine Vielzahl neuer Möglichkeiten, wie beispielsweise Personenverfolgung, volumetrische Messungen, Robotik, 3D-Scanning und vieles mehr. Durch die Kombination von Wärmebildtechnologien mit der LiDAR-Technologie können Entwickler die Einschränkungen überwinden, die mit herkömmlichen Bildgebungssystemen üblicherweise verbunden sind.  

Wie sieht es bei Ihnen aus? In welchen Systemen können Sie sich den Einsatz der Intel^® RealSense^™ LiDAR-Kamera L515 vorstellen?