Mouser German Blog

Laut einer Untersuchung der Non-Profit-Organisation „National Safety Council“ in den USA kommt es alle sieben Sekunden zu einer Verletzung am Arbeitsplatz. Diese erschreckende Zahl entspricht etwa 4,5 Millionen verletzter Mitarbeiter pro Jahr. Zwar können die Vorarbeiter und Abteilungsleiter vor Ort die Stimmung ihrer Mitarbeiter beurteilen, aber sie können die Mitarbeiter nicht durchgängig überwachen, um Unfälle zu verhindern. In diesem Beitrag beschäftigen wir uns damit, wie Sie die Anwendung „Machine Operator Monitor“ des Intel^® OpenVINO^™-Toolkits nutzen können, um automatisch anhand von Videoaufnahmen ihres Gesichtsausdrucks das Konzentrationsniveau und die Stimmung von Maschinenbedienern abzuleiten. Informationen zur Stimmung und zum Konzentrationsniveau eines Maschinenbedieners können hilfreich sein, um die Person vor schweren Verletzungen zu schützen.

Daten-Pipeline von Machine Operator Monitor

Abbildung 1 zeigt die Pipeline für die Deep-Learning-Anwendung „Machine Operator Monitor“. Sehen wir uns diese Pipeline und die stattfindenden Aktivitäten an.

Abbildung 1: Das Diagramm der Haltungs- und Stimmungs-Inferenz-Pipeline zeigt, wie ein aufgenommenes Bild sich durch die neuronalen Netze und das OpenVINO^™-Toolkit bewegt, sodass das Konzentrationsniveau und die Stimmung von Maschinenbedienern ermittelt werden können. (Quelle: Autor)

Die Anwendung verwendet Bilder einer Videokamera, die an einer Fertigungsstation angebracht ist. Das aufgenommene Bild wird dann durch eine Reihe von drei tiefen neuronalen Netzen (basierend auf dem CNN, dem Convolutional Neural Network) geleitet. CNN ist eine weit verbreitete Art tiefer neuronaler Netze, die üblicherweise für die Bildverarbeitung genutzt wird. Das erste CNN ermittelt, ob im aufgezeichneten Bild ein Gesicht vorhanden ist. Wenn das erste CNN kein Gesicht erkennt, muss das Gesicht nicht weiter auf Haltung oder Stimmung hin verarbeitet werden. Wenn das erste CNN mit einem benutzerdefinierten Erkennungsschwellenwert ein Gesicht erkennt, wird das Gesicht an die nächsten beiden Stufen weitergegeben. Das nächste CNN bestimmt, ob der Bediener die Maschine ansieht. Dafür prüft das CNN, ob das Gesicht des Bedieners zur Kamera zeigt. Das letzte CNN erkennt den Gesichtsausdruck des Bedieners. Der Bediener muss über eine einstellbare Zeitspanne hinweg einen bestimmten Gesichtsausdruck aufweisen, damit dieser berücksichtigt wird.

Abbildung 2 zeigt ein Beispiel dafür, wie ein Ergebnis nach Abschluss der drei Phasen in den tiefen neuronalen Netzen aussehen kann.

Abbildung 2: Der Machine Operator Monitor-Bildschirm zeigt ein Beispiel der ausgegebenen Informationen, nachdem die Anwendung des OpenVINO^™ Toolkits das erfasste Bild verarbeitet hat. (Quelle: Intel)

Wie in Abbildung 2 dargestellt, beträgt die erforderliche Zeit zur Erkennung des Gesichts sowie zum Ableiten der Stimmung und der Haltung etwa 140 ms. Dank dieser Geschwindigkeit sind schnelle Reaktionszeiten möglich, wodurch der Bediener umgehend gewarnt werden kann, um das Risiko eines Unfalls und einer Verletzung zu minimieren. Die Beispielanwendung veranschaulicht auch, wie das MQTT-Protokoll (Message Queue Telemetry Transport) die Informationen an ein industrielles Datenanalysesystem übermittelt.

Warum das so cool ist

Die Anwendung „Machine Operator Monitoring“ wurde mit der Intel^®-Distribution von OpenVINO^™ und 700 Zeilen Go oder 500 Zeilen C++ entwickelt. Bei diesem Code handelt es sich hauptsächlich um Glue-Code. Die komplexe Arbeit wird in den tiefen neuronalen Netzen ausgeführt, die für die „Machine Operator Monitor“-Aufgabe vortrainiert wurden. Das erste Netz kann ein Gesicht erkennen und überprüfen, um sicherzustellen, dass sich das Gesichtsrechteck komplett innerhalb des aufgenommenen Bildes befindet – das heißt, nicht nur ein Teil des Gesichts. Das aufgenommene Bild wird dann an das Haltungsnetz weitergegeben, das prüft, ob der Kopf in einem 45-Grad-Winkel zur Maschine geneigt ist. Dann gelangt das Bild zum nächsten Netz, um die Stimmung des Bedieners zu ermitteln. In Verbindung mit geeigneter Hardware, etwa Hardware auf Basis der 6. Generation des Intel^® Core™-Prozessors oder dem Intel Neural Compute Stick 2 mit Intel Movidius™ X VPU, erzielt die Anwendung beeindruckende Inferenzgeschwindigkeiten, die die Echtzeitanalyse ermöglichen.

Weitere Anwendungsmöglichkeiten

Die Aufmerksamkeitsverfolgung ist eine wichtige neue Technologie mit vielen Anwendungsmöglichkeiten. Ein bedeutsamer Einsatzbereich ist heute aber vor allem die Überwachung von Fahrzeugführern. In einem Artikel mit dem Titel Trucking Fatalities Reach Highest Level in 29 Years zeigte Alan Adler auf, dass die Zahl der Fahrzeugunfälle mit Todesfolge zwar zurückgeht – um jährlich zwei Prozent – Unfälle mit großen Lastwagen im vergangenen Jahr jedoch ein 29-Jahres-Hoch von neun Prozent erreicht haben. Die zunehmende Ablenkung der Fahrer ist ein Faktor, der zur wachsenden Zahl der Lkw-Unfälle mit Todesfolge beiträgt.

Mit einem tiefen neuronalen Netz kann die Kopfhaltung des Fahrers in Echtzeit beobachtet werden. Dadurch lässt sich prüfen, ob der Fahrer seine Aufmerksamkeit auf die Straße gerichtet hat. Mithilfe der Informationen über die Blickrichtung des Fahrzeugführers können Risiken ermittelt werden, und das vorgabenkonforme Verhalten der Fahrer wird sichergestellt. Dadurch verringert sich das Risiko durch abgelenkte Fahrer im Straßenverkehr.

Sie können die Erkennung der Kopfhaltung außerdem in Verbindung mit anderen Technologien einsetzen – etwa der Herzfrequenzerkennung, der Körpertemperaturmessung und der Atemüberwachung – um Müdigkeit zu erkennen. Ein weiteres mögliches Anwendungsgebiet ist die Überwachung von Blinzel- und Augenbewegungen zur Erkennung von Sekundenschlaf. Hierbei fallen wir sehr kurz in den Zustand der Bewusstlosigkeit, obwohl unsere Augen geöffnet sind und wir aufmerksam zu sein scheinen.

Natürlich sind noch weitere Anwendungsgebiete für die Erkennung von Kopfhaltung und Gesichtsausdruck denkbar. Wenn Sie die bereitgestellten Mustercodes verwenden, müssen Sie lediglich die Output-Klassifizierung für Ihre Anwendung nutzen, einschließlich der Modifizierung der geeigneten Kopfneigung.

Hier erfahren Sie mehr

• Mehr über diese Demonstration erfahren Sie im Intel^® IoT Development Kit GitHub.
• Die Glue-Anwendung wurde in den Sprachen C++ und Go entwickelt. Die Distribution enthält die Intel^®-optimierten Modelle für Gesichts- und Stimmungserkennung sowie Kopfhaltung für OpenVINO^™. Mit dem Betriebssystem Ubuntu 16.05 LTS Linux, der Intel^®-Distribution des OpenVINO™ Toolkits und dem OpenCL^™-Runtime-Paket können Sie ganz einfach mit dieser Anwendung experimentieren.
• Starthilfe für Ihre Entwicklung erhalten Sie auch mit dem AIoT Development Kit. Es umfasst Ubuntu, OpenVINO^™, Intel^® Media SDK und Intel^® System Studio 2018 als Vorinstallation mit einem Intel^® Core^™-Prozessor. Das Development Kit beinhaltet Tutorials, mit denen Ihnen der Einstieg schnell gelingt.
• Sie können auch das AAEON UP Board auf Basis der Intel^® Apollo Lake^™-Plattform verwenden.