Übertragung Ihres ML-Konzeptnachweises in die Produktion – Teil 1: Von Geschäftszielen zu ML-Kennzahlen

Angesichts des Hypes um Machine Learning (ML) und dem damit verbundenen Drang, Unternehmen umzugestalten, ist es nicht überraschend, dass längst nicht alle ML-Projekte erfolgreich sind. Häufig führt eine Mentalität, bei der die „Lösung vor dem Problem“ steht, zu schlecht definierten Anforderungen und Zielen für den Einsatz von ML. Wenn man nicht versteht, warum ML eingesetzt werden sollte und wie sich dies auf die Geschäftskennzahlen auswirkt, kann dies zu Konzeptnachweisen führen, die viel Zeit in Anspruch nehmen, ohne Ergebnisse zu liefern. Um dies zu vermeiden, sollten Unternehmen bei der Einführung von ML in ihre Prozesse oder Produkte zunächst ihr übergeordnetes Ziel definieren und dieses dann mit relevanten Geschäftskennzahlen verknüpfen, die zur Messung einer aktuellen Baseline verwendet werden. So wird die Grundlage für die Bewertung der ML-Leistung im Verlauf des Projekts zum Konzeptnachweis geschaffen. Wenn diese Indikatoren schließlich mit geeigneten ML-Kennzahlen für die Aufgabe oder den Anwendungsfall des Konzeptnachweises verbunden werden und ein kurzer Plan für die Forschungs- und Entwicklungsrichtung erstellt wird, erhöht sich die Erfolgswahrscheinlichkeit.

Ziele in Geschäftskennzahlen umwandeln

Unternehmen entscheiden sich in der Regel aus einem bestimmten übergeordneten Grund für die Einführung von ML in ihren Prozessen. Zu den typischen Gründen gehören die Steigerung des Umsatzes durch Erhöhung der Produktivität des Teams, die Erhöhung der Erfolgsquote eines bestimmten Geschäftsaspekts, die Verbesserung der Kundenergebnisse durch Verkürzung der Reaktionszeit auf eingehende Informationen oder die Senkung der mit Fehlern oder anderen Verschwendungen verbundenen Kosten. Diese Gründe sind mit den detaillierteren Geschäftskennzahlen verknüpft, die zu Beginn eines ML-Projekts ermittelt werden sollten. Wenn das Ziel beispielsweise darin besteht, den Umsatz zu steigern, indem die Fähigkeiten des Teams oder des Unternehmens verbessert werden, dann könnten sich die relevanten Kennzahlen zur Messung der aktuellen Produktivität unter anderem auf Vertriebs- und Marketingkennzahlen wie Quotenerfüllungsrate, Kosten pro Lead oder Nettoumsatz beziehen. Für die Verbesserung des Kundenerfolgs können relevante Kennzahlen beispielsweise die Kundenabwanderung, die Kundenzufriedenheit oder der Anteil der verlorenen Geschäftsabschlüsse sein. Entscheidend für die Entwicklung von Projekten ist es, diese geschäftlichen Anforderungen anhand der richtigen Kennzahlen zu identifizieren, anstatt Lösungen zu finden, ohne das konkrete „Warum“ hinter deren Notwendigkeit zu verstehen. Die Entscheidung, einen ML-Prozess für die Bearbeitung von Support-Tickets oder die Zusammenfassung langer Dokumente zu implementieren, ist nur dann sinnvoll, wenn die Auswirkung dieses Prozesses als Grundlage effektiv gemessen wird.

Abgleich von Geschäftskennzahlen mit ML-Äquivalenten

Sobald für das Projekt anhand der Gesamtziele geeignete Geschäftskennzahlen ausgewählt wurden, sollten diese mit einer oder mehreren ML-Kennzahlen auf Grundlage der für ML festgelegten Aufgaben abgeglichen werden. Typischerweise wird ein Bündel von Kennzahlen für die ML-Seite benötigt, um eine Verbesserung auf der Geschäftsseite zu erfassen. Nehmen wir zum Beispiel an, dass das Ziel darin besteht, die Produktivität zu erhöhen, indem ein Team, das an einem bestimmten Prozess arbeitet, beschleunigt wird, z. B. die Qualitätssicherung von Software vor der Bereitstellung. In diesem Fall könnten die Geschäftskennzahlen die Zeit vom Beginn bis zum Ende der Prüfung, die Anzahl der geprüften Elemente und die Anzahl der pro Sitzung durchgeführten Prüfungen sein. Zu den weiteren und ebenso wichtigen Kennzahlen zählen jedoch auch die Anzahl der vor der Bereitstellung gefundenen Fehler und die Anzahl der zuvor bestandenen Prüfungen, die nun fehlschlagen. Bei der Einführung eines ML-Prozesses, der einen Teil der Arbeit des Qualitätssicherungsteams übernimmt, geht es nicht nur um die Latenzzeit oder darum, wie schnell das Modell den erwarteten Ausgang im Vergleich zum tatsächlichen Ausgang auf Diskrepanzen prüfen kann, sondern auch um die Genauigkeit des Modells – insbesondere die Anzahl der falsch positiven und negativen Ergebnisse. Da Fehler, die das Modell macht, möglicherweise von einem Menschen bewertet werden müssen, erhöhen zu viele markierte Probleme die Arbeitslast des Teams, und zu viele übersehene Probleme führen zu vorgelagerter Arbeit für das Entwicklungsteam. Neben einem Benchmark für die aktuelle Leistung des Teams auf der Grundlage der genannten Geschäftskennzahlen ist die Basisgenauigkeit auch hilfreich, um zu beurteilen, ob ML eine mindestens ebenso gute Leistung erbringt, damit es als valide gilt.

Manchmal lassen sich die ML-Metriken je nach Anwendungsfall oder Aufgabe und Art des erforderlichen Ausgangs nicht so einfach wie die Genauigkeit oder Fehlerquote bestimmen. In der Regel lässt sich jedoch die Leistung eines ML-Prozesses ermitteln, solange man messen kann, wie gut die Dinge ohne diesen Prozess funktionieren. Die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) ist ein Beispiel für einen Bereich mit weniger direkten Metriken. Aufgaben wie das Zusammenfassen von Texten oder das Generieren von Inhalten scheinen auf den ersten Blick schwer zu bewerten zu sein. Wenn jedoch etwas Zeit darauf verwendet wird, einen Datensatz mit Eingangstext und Beispielen für den gewünschten Ausgang zu erstellen, können Metriken wie ROUGE (Recall-Oriented Understudy for Gisting Evaluation, im Deutschen: „Erinnerungsorientierter Ersatz für die Evaluierung von Inhaltsangaben“) verwendet werden. Diese und andere Parameter messen beispielsweise die Überschneidung von Wörtern zwischen gewünschtem und tatsächlichem Ausgabetext, um der Tatsache Rechnung zu tragen, dass es nicht nur eine einzige „richtige“ Antwort gibt, sondern dass die Antworten je nach Korrektheitsgrad variieren.

Erstellung der Roadmap für den ML-Konzeptnachweis

Auf der Grundlage der definierten ML-Metriken lässt sich schließlich eine kurz gefasste, aber detaillierte Roadmap für die Umsetzung und Erprobung von Ansätzen für den Konzeptnachweis erstellen. Dabei ist es sinnvoll, die gesamte Aufgabe in kleinere, einfachere Teile zu unterteilen, die sich im Hinblick auf den Erfolg mit einem ML-Modell zügig validieren lassen. Dies kann beispielsweise die Priorisierung dringender und weniger dringender Support-Tickets anstelle einer komplizierteren Klassifizierung beinhalten. Zudem sollte vorab eine Literaturrecherche oder eine Recherche zum aktuellen Stand der Technik durchgeführt werden, um verschiedene Ansätze mit zunehmender Komplexität zu ermitteln, falls die einfacheren Optionen bei der Aufgabe scheitern. Die Umsetzung dieser Strategie beginnt mit Standardmodellen oder solchen, die über eine Schnittstelle für Applikationen von Drittanbietern verfügbar sind (sofern dies im geschäftlichen Kontext zulässig ist), geht dann zu Architekturen über, die durch Feinabstimmung oder Umschulung für die jeweilige Aufgabe angepasst werden können, und endet mit solchen, die von Grund auf neu implementiert werden müssen, möglicherweise mit komplizierteren Schulungssystemen. Die Kosten für jeden Ansatz können durch eine Annäherung ermittelt werden, um eine faire Bewertung der Kapitalrendite (ROI) für das ML-Projekt auf Grundlage des erwarteten Werts zu erhalten. Dadurch lässt sich feststellen, ob die Umsetzung einiger Ansätze für einen Konzeptnachweis zu teuer wäre. Außerdem kann so ein Grenzwert für die Aufgabe des Projekts festgelegt werden, falls die beste erreichte Leistung nicht ausreichend ist.

Fazit

Die Einführung von ML in die Prozesse oder Produkte eines Unternehmens trägt dazu bei, übergeordnete Geschäftsziele wie die Steigerung der Produktivität oder die Reduzierung von Kosten und Fehlern zu erreichen. Um jedoch erfolgreich zu sein, müssen diese ML-Projekte auf der richtigen Grundlage beginnen. Die Messung der Auswirkungen anhand geeigneter Geschäftskennzahlen ist von entscheidender Bedeutung, ebenso wie die Ermittlung der richtigen ML-Kennzahlen, die zeigen, dass die entwickelten Modelle den erwarteten Wert liefern, weil sie so gut funktionieren wie erforderlich. Sobald diese Details festgelegt sind, kann das Projekt durch die Erstellung eine Roadmap für die Umsetzung des Konzeptnachweises zielgerichtet vorangetrieben werden. Diese Roadmap stellt auch sicher, dass der Kapitalertrag im Vergleich zum Aufwand überwacht wird, sodass ein Abbruchzeitpunkt ermittelt werden kann, der einen Ausgleich zwischen beiden Faktoren schafft. Diese Best Practices bilden die Grundlage für den Übergang von den Geschäftszielen zum ML-Konzeptnachweis und zur Produktion.

Folgen Sie dieser Blog-Serie zum Thema KI, wenn Sie mehr über die anderen wichtigen Phasen bei der agilen, aber robusten Entwicklung eines ML-Konzeptnachweises sowie über die Umsetzung der daraus resultierenden Ergebnisse in der Produktion erfahren möchten. In den kommenden Blogbeiträgen geht es um die Identifizierung und Erstellung eines Datensatzes für das Projekt, die Einrichtung von experimentellen Tools, die Entwicklung von Ressourcen und Ansätzen für die Erstellung von Konzeptnachweisen, darunter Open-Source-Modelle, die Erstellung von Richtlinien und Schwerpunkten bei der Erweiterung auf eine produktionsreife Version sowie Überlegungen dazu, was nach der Bereitstellung zu erwarten und zu überwachen ist.