Die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) ist ein Teilgebiet der künstlichen Intelligenz, mit dem Computer die inhaltliche Struktur, die Absicht und die Stimmung des Urhebers verstehen können. Dazu werden Linguistik, Informatik und künstliche Intelligenz (KI) miteinander kombiniert und die Computer so programmiert, dass sie große Mengen an natürlicher Sprache verarbeiten und analysieren können. Durch NLP können wir mit Maschinen sprechen, als wären sie Menschen. Wenn Sie also Siri, Alexa, Google Assistant oder andere Chatbots verwenden, werden Ihre Anfragen gefiltert – und Sie nutzen bereits NLP.

Funktionsweise von NLP

NLP nutzt Deep Learning und Algorithmen, um menschliche Sprache zu interpretieren und zu verstehen. Deep-Learning-Modelle wandeln Sprache und Text (unstrukturierte Daten) in strukturierte und nutzbare Daten um. Dabei wird die Sprache in Wörter zerlegt und aus der Beziehung zwischen den Wörtern ein Kontext erstellt.

Mithilfe von NLP lassen sich die Daten immer genauer in eine bestimmte Gruppe segmentieren. Dieser Prozess ist in verschiedene Stufen unterteilt. Bei der Tokenisierung wird ein Wort oder eine Zahl, ein Token oder eine Zeichenfolge zunächst als NLP-Verarbeitungseinheit definiert. Die Zerlegung jedes Satzes in seine Bestandteile ist die Tokenisierung.

Hierbei werden bei der Stoppwortentfernung solche Wörter entfernt, die keinen Wert haben, wie beispielsweise Präpositionen und Artikel. Mit Stemming/Lemmatisierung werden Wörter in die Grundform umgewandelt, die Verwendung im Kontext bewertet und durch Part-of-Speech-Tagging werden Wörter entsprechend dem grammatikalischen Fall gekennzeichnet.

Herausforderungen des NLP

Auch wenn sich die Technologie in Rekordzeit weiterentwickelt hat, ist NLP immer noch mit Herausforderungen konfrontiert, wie beispielsweise:

• Wie wird ein Wort definiert? So verlangen beispielsweise Chinesisch, Japanisch und Arabisch einen ganz eigenen Ansatz.
• Wenn Wörter aneinandergereiht werden oder Leerzeichen zwischen Kontonummer und Name fehlen, kommt es zu Erkennungsfehlern.
• Beim Entfernen von Stoppwörtern werden häufig auch grammatikalische Informationen entfernt.
• Die optische Zeichenerkennung (Optical Character Recognition, OCR) ist die Grundlage der automatischen Texterkennung. Wenn das Ergebnis eines OCR-Prozesses Tippfehler, Erkennungsfehler, Nicht-Text-Symbole usw. oder 2D-Tabellen, Überschriften, Zahlen und Kästen enthält, ist es für Computer schwierig, den Text Zeile für Zeile zu erfassen. Mithilfe von Computer Vision und Machine Learning (ML)-Algorithmen lassen sich diese Schwierigkeiten lösen.
• Die eigentliche Herausforderung besteht jedoch oft darin, die Beteiligten davon zu überzeugen, NLP angesichts der Kosten wirklich einzusetzen und herauszufinden, welche Unternehmensanwendungen dabei Priorität haben.

Einführung von GPT-3

NLP arbeitet nicht allein. Der von OpenAI entwickelte Generative Pre-trained Transformer 3 (GPT-3) ist ein KI-Sprachmodell, das mithilfe von künstlicher Intelligenz Texte erzeugt, die einem menschlichen Text ähneln. Das Modell sagt auf der Grundlage der Transformer-Architektur das nächste Token in einer Sequenz voraus und führt Aufgaben aus, für die es bereits trainiert wurde oder noch nicht.

OpenAI hat eine API entwickelt, mit der Entwickler Anwendungsszenarien entwickeln können, indem sie einen Text oder eine Eingabeaufforderung in den GPT-3 eingeben und ihn so konditionieren, dass er eine bestimmte Aufgabe ausführt. Anstelle von Code verwenden die Entwickler eine sogenannte „Prompt-Programmierung“, bei der sie dem GPT-3 Beispiele für die Art der zu erzeugenden Ausgabe geben. Dieser Prozess wird durch die Bereitstellung von Beispielen oder Datensätzen mit menschlichem Feedback für den Algorithmus immer weiter verbessert.

Die Erstellung von NLP-Algorithmen erfolgt mit einem regelbasierten Ansatz: Die Algorithmen werden nach manuell erstellten grammatikalischen Regeln erstellt. Schnellere Prozesse lassen sich durch Machine-Learning-Algorithmusmodelle erzielen, die auf analytischen und statistischen Methoden und Training basieren. Je mehr die Modelle trainiert werden, desto genauer und intuitiver fallen die Vorhersagen aus.

Das Machine-Learning-Modell von GPT-3 schneidet beim Schreib- und Leseverstehen besser ab als der Mensch.

NLP-Anwendungsbeispiele

NLP entwickelt sich in verschiedenen Branchen rasch von der Einbettung einzelner Wörter und Sätze zu Konversationsfunktionen. Im Folgenden stellen wir einige Anwendungen vor, bei denen NLP enorme Fortschritte macht:

Schriftsprache

NLP versteht die wiederkehrenden Muster eines Verfassers, erkennt es, wenn der Verfasser von den Mustern abweicht, und macht Vorschläge, um wieder auf den richtigen Weg zu kommen. Es wird bei der Übersetzung, Umschreibung, Bearbeitung, Erstellung und SEO-Beratung von Inhalten eingesetzt.

Gaming

Beim Gaming wünschen sich die Spieler realistischere und naturgetreuere Erlebnisse. NLP kann die Dialoge und Gesten eines Spielers im Spiel analysieren und auf der Grundlage des Spielerverhaltens neue Quests oder Ziele generieren.

Chatbots

Chatbots werden häufig eingesetzt, um Kunden einen besseren Service zu bieten. Mit der Weiterentwicklung von NLP werden die Antworten und Hilfestellungen immer mehr menschlichen Konversationsfähigkeiten gleichen.

Stimmungsanalyse

Bei der Stimmungsanalyse werden große Datenmengen zur Analyse der Kundenzufriedenheit verwendet. Mit modernen Lösungen lassen sich Indikatoren mit denen der Konkurrenz vergleichen. Brand Manager nutzen sie zur Verbesserung der Leistung und zur Entwicklung verbesserter Branding-Techniken.

NLP und Cloud Services

Durch die Integration von NLP in die Cloud können Experimente mit großen Datenmengen, die mit Big-Data-Techniken verarbeitet werden, mit NLP durchgeführt werden. Viele NLP-bezogene Softwareaufgaben werden im Internet integriert und als Software as a Service (SaaS) im Cloud-Computing genutzt.

Bildungswesen

NLP hilft Schülern, ihr Lese- und Schreibverhalten zu verbessern. Es liefert praktische Tipps, um Verbesserungen zu erzielen. Ein Beispiel dafür ist Grammarly. NLP kann den Schülern geeignetes Lesematerial zuordnen und ihre Leseleistung bewerten. Durch die Analyse der Sprache von Lehrern und Schülern kann NLP die Gedankengänge während des Unterrichts aufzeigen. Es kann auch Schüler identifizieren, die im Unterricht Probleme haben.

Fortschrittliche Tools und Aufgaben

Derzeit gibt es drei Standardmodelle: GPT-3, Codex und DALL.E-2.

GPT-3

Zusätzlich zum Schreiben ist GPT-3 auch hilfreich bei folgenden Aufgaben:

• Zusammenfassungen
• Parsen von unstrukturiertem Text
• Klassifizierungen
• Maschinelle Übersetzungen

In seiner einfachsten Form ist es eine umfangreiche Vorhersagemaschine, die auf Billionen von Textseiten im Internet trainiert wurde.

Codex

OpenAI Codex ist ein universelles Programmiermodell, das natürliche Sprache in Code übersetzt. Es enthält natürliche Sprache und Milliarden von öffentlich verfügbaren Quellcodes. Es beherrscht mehr als ein Dutzend Programmiersprachen, wobei es in Python am leistungsfähigsten ist. OpenAI Codex erzeugt funktionierenden Code, sodass Befehle in englischer Sprache an jede Software mit einer API ausgegeben werden können. Mithilfe von OpenAI Codex können Computer die Intentionen des Benutzers besser verstehen.

DALL.E-2

DALL.E-2 ist ein ML-Algorithmus auf der Grundlage eines neuronalen Netzwerks, der mithilfe einer NLP-Technik Bilder aus Textbeschreibungen generiert. Er stützt sich auf einen Datensatz von Bildern und entsprechenden Textbeschreibungen, um die Bilderzeugung zu erlernen. Der Algorithmus zerlegt die Textbeschreibung in eine Folge von Wörtern und kodiert die Wörter in eine Reihe von Vektoren. Die Vektoren durchlaufen ein rekursives neuronales Netz und erzeugen Pixel, die in ein Bild decodiert werden. Der Algorithmus vergleicht das neue Bild mit dem Original und passt die Pixel an. So entstehen realistischere und genauere Aufnahmen mit einer viermal besseren Auflösung als bei früheren Versionen.

Warum die Technologie an Popularität gewinnt

Für das rasante Voranschreiten der Nutzung von NLP gibt es drei Hauptgründe:

1. Fortschritte beim Machine Learning. Durch den Einsatz leistungsstarker KI-Chips haben diese Maschinen eine höhere Rechenleistung, die menschenähnlichere Interaktionen ermöglicht.
2. Die immer größere Datenverfügbarkeit und Tools zur Datenkennzeichnung, die Text- oder Audiodaten mit entsprechenden Informationen versehen, tragen zur raschen Verbreitung von NLP bei.
3. Unternehmen setzen NLP-Modelle ein, um die Erwartungen ihrer Kunden zu erfüllen.

Für Programmierer ist der Grund dafür offensichtlich: In Zukunft werden Programmierer einfach aufschreiben, was sie mit einer Software machen wollen, und der Computer generiert dann den Code. Mit NLP kann jeder, der seine Muttersprache einigermaßen beherrscht, programmieren.