Übertragung Ihres ML-Konzeptnachweises in die Produktion Teil 3: Verlässliche Ergebnisse sicherstellen

Der Aufbau eines Konzeptnachweises (Proof of concept, POC) für maschinelles Lernen (ML) hört sich vielleicht nach einem Prozess an, der sehr experimentell und unausgereift ist, bei dem es mehr darum geht, ihn zum Laufen zu bringen, als ihn langfristig robust zu machen. Um jedoch einen ML-Konzeptnachweis einen Schritt weiterzubringen, ist es wichtig, zu Beginn etwas mehr Zeit einzuplanen, um sicherzustellen, dass alle Ergebnisse reproduzierbar und zuverlässig sind. In dieser Blog-Serie haben wir bisher die Grundlagen für die Entwicklung eines ML-Konzeptnachweises geschaffen. Wir haben beschrieben, wie man Geschäftsziele identifiziert und sie dann in ML-Metriken umsetzt, und wie man einen relevanten, projektspezifischen Datensatz erstellt. Nun könnte man meinen, dass die Modellentwicklung und -iteration beginnen kann, sobald diese beiden wichtigen Schritte abgeschlossen sind. Ein Aspekt, der jedoch oft übersehen wird, ist die Experimentierumgebung. Dabei handelt es sich um einen entscheidenden Faktor, da die Zuverlässigkeit und Reproduzierbarkeit jedes Modells im Konzeptnachweis davon abhängt, welche Elemente zur Erstellung des Modells beigetragen haben und welche verworfen wurden. Insbesondere müssen der für die Entwicklung verwendete Datensatz, die Architektur des Modells und die Artefakte aus dem Training sowie die Parameter der erfolgreichen Durchläufe selbst nachverfolgt werden. Erfreulicherweise gibt es eine Vielzahl von Tools und Ressourcen, mit denen sichergestellt werden kann, dass die Entwicklungsumgebung von Anfang an korrekt ist.

In diesem Blogbeitrag werden die Anforderungen an eine solche Umgebung, Überlegungen zu verfügbaren Plattformen und einige Setup-Beispiele behandelt.

Die Bedeutung der Umgebung

Robuste und reproduzierbare Experimente sind der Grundstein für ein erfolgreiches ML-Projekt. Wenn ein Experiment zu einem späteren Zeitpunkt erneut durchgeführt wird, sollten die gleichen Ergebnisse erzielt werden. Wenn ein neueres Modell benötigt wird, sollte es möglich sein, das ursprüngliche Modell durch Variation eines der ursprünglichen Teile, aus denen es besteht, zu erweitern. Es sollte auch nachvollziehbar sein, wie das beste Modell in Bezug auf Input, Parameter oder Konfigurationen erstellt wurde, damit bei Änderungen die Gründe dafür nachvollziehbar sind. Man muss auf einen Blick erkennen können, was nicht funktioniert hat, und neue Versuchsreihen vergleichen können, um die beste auszuwählen. Zu den weiteren wichtigen Aspekten zählt es, das Vertrauen in die Performance des Konzeptnachweises sicherzustellen, damit eine reibungslose Umstellung auf die Produktion erfolgen kann.

Das Prototyping und der Aufbau eines Konzeptnachweises sollten jedoch zügig erfolgen und schnelle Iterationen beinhalten. Im ML-Kontext sollte das „Hochfahren“ einer Vielzahl von Experimenten unter Verwendung verschiedener Modelle, Variationen des Datensatzes mit Transformations- und Konfigurationsparametern nicht viel Zeit in Anspruch nehmen. Ebenso sollte es relativ einfach sein, die Verarbeitung von Daten oder das Training von Modellen im Rahmen eines Experiments zu koordinieren und diesen Prozess parallel zu einer Reihe von Experimenten zu wiederholen, wenn der Konzeptnachweis große Datensätze oder Modelle umfasst, die große oder komplexe Prozesse erfordern.

Diese beiden Anforderungen scheinen zwar unvereinbar zu sein, aber beide sind möglich. Häufig wird die Umgebung, in der diese beiden scheinbar konkurrierenden Ziele erreicht werden können, zugunsten einer schnellen Umsetzung übersehen. Da viele Teile des ML-Puzzles (Code, Datensätze, Konfigurationsdateien und Modellartefakte) nachverfolgt werden müssen, ist es von entscheidender Bedeutung, alles in einer eigenständigen Experimentierplattform oder -umgebung zu verbinden. Es ist daher hilfreich, die verfügbaren Tools sowie Open-Source- oder gehostete Plattformen für ML-Experimente zu nutzen.

Ressourcen für eine Experimentierumgebung

Ähnlich wie beim Backen eines Kuchens sorgen verschiedene Zutaten dafür, dass ein Modell funktioniert. Um Ergebnisse reproduzieren und Vertrauen in die Performance des Modells schaffen zu können, müssen alle diese Elemente nachverfolgt werden. Als absolutes Minimum sollte eine Plattform gewählt werden, die diesen Prozess einfach ermöglicht, auch wenn sie keine anderen nützlichen Merkmale wie die Orchestrierung mehrerer Trainingsjobs über verschiedene Ressourcen hinweg oder Fähigkeiten zur Datenbeschriftung im laufenden Betrieb bietet. Die Open-Source-Tools MLFlow und ClearML sind zwei beliebte Lösungen zur Nachverfolgung der Elemente von ML-Experimenten. Sie sind sich sehr ähnlich, und je nach Anwendungsfall eignet sich das eine oder das andere besser. Für ClearML gibt es zum Beispiel eine Enterprise Edition mit mehr Funktionen.

Beide können als eigenständige Microservices bereitgestellt werden und werden mit Softwareentwicklungskits geliefert, mit denen Sie den für Experimente verwendeten Code integrieren können, um zahlreiche Aspekte im ML-Lebenszyklus zu verfolgen. Für Entwickler, die mit Cloud- oder internen Ressourcen arbeiten, kann der verwendete Speicher angepasst werden. Jedes Tool verfügt über eine Schnittstelle für Nutzer, über die einzelne Versuchsergebnisse angezeigt und über mehrere Durchläufe hinweg verglichen werden können, um das beste Modell zu ermitteln. Mit einem dieser Tools können Sie die ursprüngliche Datenquelle, Modellartefakte wie die Konfiguration der Architektur und Dateien mit Gewichtungen aufzeichnen und variable Versuchsparameter wie Lernrate und Größe der Datenmenge verfolgen. Die beiden letztgenannten beschreiben, wie das Modell in Bezug auf die Ebenen und den Output eines Trainingslaufs aufgebaut wird, wobei die Input-Daten, die Experimentparameter und die Modellkonfiguration kombiniert werden. Mithilfe von Versionierungstools wie GitHub lassen sich auch Experimentläufe mit bestimmten Codeversionen verknüpfen, die für die Entwicklung des Modells verwendet wurden. Darüber hinaus verfügt ClearML über Erweiterungen, mit denen auch das Experimentieren mit Large Language Models (LLMs) möglich ist.

Neben diesen beiden Optionen ist es auch möglich, weitere Tools für die anderen Aspekte von ML-Experimenten zu verbinden, von der Datentransformation und -herkunft bis hin zu laufenden Labeling-Maßnahmen und Prozessorchestrierung. DagsHub ist eine Plattform, die dies erleichtert und darauf abzielt, alle Elemente des ML-Lebenszyklus an einem einzigen Ort zu vereinen. Bei mehreren Integrationen könnten eine Vielzahl von in der Branche bevorzugten Tools wie Label Studio, Dagster, MLFlow und Data Version Control gemeinsam genutzt werden. Für LLM-basierte Konzeptnachweise sind auch andere Features wie das Labeling, die Evaluierung und die sofortige Nachverfolgung von Merkmalen verfügbar, bei denen der Mensch in die Schleife eingebunden ist.

Fazit

Sobald der ML-Entwicklungsteil des Konzeptnachweises abgeschlossen ist und die Metriken festgelegt und der Datensatz erstellt wurden, ist der nächste Schritt vor Beginn der Kodierung der angemessene Aufbau einer Experimentierumgebung. Dies erleichtert nicht nur das schnelle Experimentieren, sobald der Prozess beginnt, sondern trägt vor allem dazu bei, Ergebnisse zu erzielen, die reproduzierbar, robust und zuverlässig sind. Da das ML-Ökosystem mittlerweile ausgereift ist, gibt es glücklicherweise mehrere hochwertige Software-Tools, die einfach eingesetzt und verbunden werden können, um alle Aspekte des ML-Entwicklungslebenszyklus abzudecken – selbst für neuere Modelle wie LLMs.

Bisher wurden in dieser Blogserie drei der wichtigsten ersten Schritte zum Erfolg eines ML-Projekts behandelt: Festlegung von Zielen und deren Umsetzung in Messgrößen, Vorbereitung des Datensatzes und nun der Aufbau einer Umgebung, die ML-Experimente robust und dennoch schnell macht. In den folgenden Beiträgen erfahren Sie mehr über die verbleibenden, ebenso wichtigen Phasen, die bei der agilen und gleichzeitig reproduzierbaren Entwicklung eines ML-Konzeptnachweises und der Umsetzung der daraus resultierenden Outputs in die Produktion eine Rolle spielen. In den verbleibenden Beiträgen werden Ressourcen und Ansätze für die Entwicklung des Konzeptnachweises behandelt, darunter Open-Source-Modelle, Richtlinien und Schwerpunkte bei der Erweiterung auf eine produktionsreife Version sowie Tipps, was nach der Bereitstellung zu erwarten und zu überwachen ist.