Mouser German Blog

Die Messung der Verbraucherstimmung ist ein wesentliches Feedback-Element für Produkte, Dienstleistungen, etc. In den letzten Jahren hat sich die Stimmungsanalyse – auch „Opinion Mining“ genannt – als nützliches Instrument dafür erwiesen, Verbraucher-Feedback zu erhalten. Die Stimmungsanalyse verwendet Textanalysen und natürliche Sprachverarbeitung im Social Media-Kontext. Die grundlegende Idee besteht darin, die Meinung eines Verbrauchers über einen bestimmten Gegenstand anhand irgendeiner Form von Kommunikation zu erfassen, sei es ein Tweet oder die Bewertung auf einer Website.

Eine Weiterentwicklung der Stimmungsanalyse ist die passive Erkennung der Stimmung von Verbrauchern, die an einem Regal vorbeigehen und sich ein Produkt ansehen. Bei dieser Art der Stimmungsanalyse ist nicht nur die Erfassung statistischer Daten über die Meinung eines Kunden zu einem Produkt möglich, sondern auch die direkte Interaktion – beispielsweise die Benachrichtigung des Verkaufspersonals, wenn Interesse erkennbar ist. In diesem Blog-Beitrag beschäftigen wir uns damit, wie Sie die Shopper Mood-Anwendung des Intel^® OpenVINO^™-Toolkits nutzen können, um automatisch anhand von Videoaufnahmen deren Gesichtsausdrucks die Stimmung der Käufer abzuleiten, die sich eine Auslage ansehen.

Die Daten-Pipeline von Shopper Mood

Abbildung 1 zeigt die Pipeline für die Shopper Mood-Anwendung. Sehen wir uns genauer an, was in dieser Deep-Learning-Anwendung passiert.

Abbildung 1: Dieses Diagramm der Shopper Mood-Inferenz-Pipeline zeigt, wie diese Anwendung aus dem OpenVINO™-Toolkit ein aufgenommenes Bild verarbeitet und die Stimmung auf dem Gesicht eines Käufers erkennt. (Quelle: Autor)

Der Vorgang beginnt mit der Aufnahme eines Bildes über eine Videokamera, die am Verkaufsregal angebracht ist. Das aufgenommene Bild wird dann in das erste von zwei neuronalen Netzen (basierend auf dem CNN, dem Convolutional Neural Network) weitergeleitet. Die CNNs zählen zu den am weitesten verbreiteten Deep-Learning-Netzwerkarchitekturen, die der Bildverarbeitung dienen. Sie bestehen aus sehr vielen Ebenen (Layers), die am Frontend kleine Fenster des Bildes verarbeiten und am Backend eine oder mehrere Klassifizierungsauswertungen produzieren. Das erste CNN bestimmt, ob Gesichter im aufgenommenen Bild erkannt werden können. Wenn die vom ersten Netz gefundenen Gesichter einen einstellbaren Wahrscheinlichkeitsschwellenwert überschreiten, wird jedes Gesicht als „Käufer“ klassifiziert und an das zweite Netz weitergegeben. Das zweite Netz ermittelt dann, welche Emotion das Gesicht zeigt. Dafür verwendet es fünf Kategorien:

• Fröhlich
• Traurig
• Überrascht
• Verärgert
• Neutral

Wenn das CNN die Emotion des erkannten Gesichts (über einem einstellbaren Schwellenwert) nicht bestimmen kann, wird sie einfach als „unbekannt“ gekennzeichnet. In Abbildung 2 sehen Sie das Ergebnis des Vorgangs als Überlagerung (Overlay) des Originalbildes.

Abbildung 2: Die Ausgabe von Shopper Mood-Monitor zeigt ein Beispiel der Ergebnisse der Shopper Mood-Inferenz-Pipeline, die über das aufgenommene Originalbild gelegt wurden. (Quelle: Intel)

In Abbildung 2 sehen Sie, dass die Erkennung von Gesichtern im Bild 136 ms und die Stimmungsanalyse 13 ms dauerte. Die schnelle Verarbeitungszeit ermöglicht es, diese Analyse in Echtzeit durchzuführen, wenn sofort eine Reaktion erforderlich ist – etwa die Benachrichtigung eines Verkäufers zur Unterstützung des Käufers.

Die gleiche Anwendung kann für Nicht-Echtzeit-Statistiken verwendet werden, wobei die erfasste Stimmung optional über das MQTT-Protokoll (Message Queue Telemetry Transport) zur Erfassung und Offline-Analyse an ein Datenanalysesystem gesendet wird.

Warum das so cool ist

Mit der Intel^®-Distribution von OpenVINO^™ und etwa 600 Zeilen in Go können Sie eine Gesichtsausdruckserkennung implementieren, für die vor zehn Jahren noch sehr spezielle Hardware und Software erforderlich gewesen wäre. Die komplexe Arbeit ist in den Deep-Learning-Modellen verborgen, die auf Gesichts- und Stimmungserkennung vortrainiert sind. Dann lädt die Glue-Source die Modelle und legt den Modellen die erfassten Bilder zur Verarbeitung und Klassifizierung vor. In Verbindung mit geeigneter Hardware, etwa Hardware auf Basis der 6. Generation des Intel^® Core^™-Prozessors oder der Intel Neural Compute Stick 2 mit Intel Movidius™ X VPU, können beeindruckende Inferenzgeschwindigkeiten erreicht werden, die Echtzeitanalyse ermöglichen.

Weitere Anwendungsmöglichkeiten

Das Spektrum der Anwendungsmöglichkeiten für die Echtzeiterkennung ist groß. Viele sind kommerzieller Art, darunter Erkenntnisse über die Käuferstimmung, aber sie kann auch eingesetzt werden, um Menschen mit bestimmten Gesichtserkennungsstörungen zu helfen. Es wird geschätzt, dass zwei Prozent der Bevölkerung an entwicklungsbedingter Prosopagnosie leidet. Diese Entwicklungsstörung führt zu einer Beeinträchtigung bei der Erkennung von Gesichtern oder Gesichtsausdrücken (expressive Agnosie). Diese Anwendung könnte Gesichter und Gesichtsausdrücke für Personen mit entwicklungsbedingter Prosopagnosie identifizieren.

Aber diese Technologie lässt sich auch in Verbindung mit Augmented Virtual Reality anwenden. Je mehr eingebettete Geräte beginnen, Deep Learning zu unterstützen, umso mehr mögliche Anwendungsfälle für Augmented Virtual Reality ergeben sich. Beispielsweise könnten eine Videokamera und Echtzeitgesichtserkennung in Brillen integriert werden. Auf diese Weise könnte dann ein Overlay für ein aufgenommenes Bild erzeugt werden, das eine Deutung des Gesichtsausdrucks einer Person beschreibt, die an der Brillenträgerin oder dem Brillenträger vorübergeht.

Ohne Weiteres sind noch andere Anwendungsgebiete denkbar. Sie verwenden dann die bereitgestellten Mustercodes und müssen Sie lediglich die Output-Klassifizierung für Ihre Anwendung nutzen.

Hier erfahren Sie mehr

• Mehr über diese Demonstration erfahren Sie im Intel ^® IoT Development Kit GitHub.
• Die Glue-Anwendung wurde in den Sprachen C++ und Go entwickelt. Die Distribution enthält die Intel^®-optimierten Gesichts- und Stimmungserkennungsmodelle für OpenVINO^™. Mit dem Betriebssystem Ubuntu 16.04 LTS Linux, der Intel^®-Distribution des OpenVINO^™ Toolkits und dem OpenCL^™-Runtime-Paket können Sie ganz einfach mit dieser Anwendung experimentieren.
• Starthilfe für Ihre Entwicklung erhalten Sie auch mit dem AIoT Development Kit. Es umfasst Ubuntu, OpenVINO^™, Intel^® Media SDK und Intel^® System Studio 2018 als Vorinstallation mit einem Intel^® Core^™-Prozessor. Das Development Kit beinhaltet Tutorials, mit denen Ihnen der Einstieg schnell gelingt.
• Sie können auch das AAEON UP Board auf Basis der Intel^® Apollo Lake^™-Plattform verwenden.