Übertragung Ihres ML-Konzeptnachweises in die Produktion Teil 4: Nutzung vorhandener Ressourcen

Auch wenn maschinelles Lernen (ML) für neuartige Forschung auf diesem Gebiet kompliziert und zeitaufwendig erscheinen mag, ist es für den Aufbau eines Konzeptnachweises (Proof of Concept, POC) oft das Gegenteil. Der Zweck eines Konzeptnachweises besteht darin, schnell zu zeigen, dass eine Applikation oder Idee mit ML realisierbar ist, ohne dass alles von Grund auf neu entwickelt werden muss. Anstatt das Modell zu trainieren oder etwas völlig Neues zu erstellen, kann man auf vorhandene Ressourcen von Drittanbietern oder Open Source zurückgreifen.

In dieser Blogserie zur Umsetzung eines ML-Konzeptnachweises wurden die Umsetzung von Geschäftszielen in ML-Metriken, der Aufbau eines projektspezifischen Datensatzes und der Aufbau der Experimentierumgebung behandelt. In diesem Beitrag befassen wir uns nun mit der Anwendung dieser Phasen bei der Entwicklung des Konzeptnachweis-Modells. Ein erneuter Blick auf die ursprüngliche Projekt-Roadmap gibt Aufschluss darüber, wie die Entwicklung angegangen werden sollte, insbesondere in Bezug auf den Zeitpunkt, zu dem die vielen verfügbaren Ressourcen im ML-Ökosystem, die ständig aktualisiert werden, genutzt werden sollten. Hierzu stellen wir einige der wichtigsten Tools, Softwarepakete und vorab trainierten Modell-Hubs vor, die bei der erfolgreichen Erstellung eines ML-Konzeptnachweises hilfreich sind.

Überarbeitung der Roadmap

Um ein leistungsstarkes Modell zu entwickeln, das als erfolgreicher Konzeptnachweis gelten kann, sollte man sich die ursprüngliche Roadmap ansehen, die bei der Umsetzung der Ziele in Kennzahlen erstellt wurde. In der Regel beginnt man mit Standardmodellen oder Modellen, die über eine API (Application Programming Interface) eines Drittanbieters verfügbar sind, sofern dies im geschäftlichen Kontext zulässig ist. Als Nächstes geht es in der Roadmap um Architekturen oder vorab trainierte Modelle, die durch Feinabstimmung oder erneutes Training für die jeweilige Aufgabe angepasst werden können, bevor es schließlich um Modelle geht, die von Grund auf neu implementiert werden müssen und möglicherweise kompliziertere Trainingsprogramme erfordern. Aufgrund des Wachstums des ML-Ökosystems können glücklicherweise viele Tools, Ressourcen, Software-Bibliotheken und sogar Open-Source-Forschungsarbeiten mit Code-Repositories je nach Bedarf für jede Phase angepasst werden.

Nutzung vorhandener Ressourcen

Um die Nutzung von ML für eine bestimmte Applikation ausreichend zu demonstrieren, muss man nicht bei null anfangen oder gar ein ML-Modell trainieren, wenn die Leistungsfähigkeit auch auf andere Weise nachgewiesen werden kann. Daher sollte man nach Möglichkeit unbedingt vorhandene Tools und vorab trainierte Modelle verwenden. In allen ML-Bereichen – wie z. B. Computer Vision (CV), Zeitreihenvorhersage, Regression und Natural Language Processing (NLP) – stehen zahlreiche Softwarepakete und -modelle von Drittanbietern und Open Source oder kostenpflichtige Serviceoptionen zur Verfügung, mit denen ein ML-Konzeptnachweis erstellt werden kann. Sie unterscheiden sich in ihrer Benutzerfreundlichkeit, dem für Einsatz oder Integration erforderlichen Fachwissen, der erforderlichen Datenmenge und ihrer Flexibilität oder Anpassbarkeit an neue Aufgaben. Die meisten sind mit der in den vorherigen Phasen des Konzeptnachweises erstellten experimentellen Umgebung kompatibel.

Einsatzfertige Optionen

Grob gesagt gilt: Je mehr ein Tool oder Modell vorgefertigt ist, desto unflexibler ist es in Bezug auf die Umstellung auf neue Aufgaben – aber das ist weniger ein Problem, wenn die Aufgabe nicht sehr speziell, datenarm oder komplex ist. So sind beispielsweise CV-Modelle, die für die Erkennung von Objekten verwendet werden, in der Regel bei Cloud-Anbietern wie Cloud Vision von Google oder Rekognition von Amazon Web Services verfügbar. Sie sind wahrscheinlich gut geeignet, um gängige Objekte wie Obst und Gemüse auf einem Förderband oder in einem Lager zu erkennen, würden aber bei hochspezifischen Aufgaben wie der Fehlererkennung ohne mehr Daten und Feinabstimmung, sofern die Dienste dies zulassen, Schwierigkeiten haben.

Diese Basismodelle werden typischerweise mit Millionen von Datenpunkten trainiert und mit APIs oder interaktiven Schnittstellen ausgestattet, wodurch sie einfacher zu bedienen sind und dennoch bei einer Vielzahl von Aufgaben gute Leistungen erbringen. Der Zugriff erfolgt in der Regel über Cloud-Anbieter (für die verschiedenen ML-Bereiche wie NLP oder CV), aber auch andere Unternehmen verfügen über diese Modelle. OpenAI verfügt beispielsweise über Large Language Models (LLMs) für NLP, wie GPT-4, sowie Whisper für die Spracherkennung. Mit diesen Tools muss der Nutzer keine Infrastruktur für das Training entwickeln und das Modell anschließend für die weitere Verwendung hosten. Darüber hinaus wird mit diesen Tools das Risiko beseitigt, dass der Datensatz für den Konzeptnachweis nicht genügend Daten für diese Aufgabe enthält.

Eigene Lösungen

Wenn diese Art von vorgefertigten, vorkonfigurierten Tools nicht gut genug funktionieren, um den Konzeptnachweis zu erbringen, zu teuer sind oder aus Datenschutz- oder Netzwerkgründen nicht zulässig sind, stehen andere Optionen zur Verfügung. Diese erfordern jedoch möglicherweise mehr Fachwissen, die Entwicklung einer Infrastruktur oder mehr Daten für die Schulung. Mehrere große Akteure im Bereich Software im ML-Ökosystem bieten Open-Source-Hubs für vorab trainierte Modelle an, die heruntergeladen werden können, wobei weiterer Code geschrieben wird, um sie für verschiedene Aufgaben umzuwidmen und neu zu trainieren.

Insbesondere Hugging Face ist eine sehr beliebte Open-Source-Plattform, die Modelle aus allen Bereichen zur freien Wiederverwendung, Dokumentation der Architektur und Code-Schnipsel zur Verwendung und Modifizierung anbietet. Eine weitere beliebte Option ist Googles TensorFlow Hub. Sogar Meta und Microsoft haben sich mit der Veröffentlichung verschiedener Open-Source-Modelle in den Ring gewagt. Je nach Größe des gewählten Modells und dem erforderlichen Änderungsgrad kann ein vollständiges Umlernen, ein komplettes Neu-Training oder eine zusätzliche Infrastruktur erforderlich sein (ebenso wie Fachwissen von Entwicklern für Machine Learning). Ambitionierte Nutzer finden Lösungen möglicherweise auch auf arXiv, einer offenen Bibliothek mit häufig aktualisierten wissenschaftlichen Arbeiten, die neue ML-Ansätze beschreiben, oft mit Code-Repositorien, die die Reproduzierbarkeit der Forschung belegen.

Fazit

Wenn man mit der ML-Entwicklung im Rahmen des Konzeptnachweises beginnt, sollte man die ursprüngliche Roadmap, die in den Phasen der Erstellung von Metriken und Projekt-Spezifikationen erstellt wurde, erneut prüfen. Für jede Phase dieser Roadmap gibt es Ressourcen – von benutzerfreundlichen, aber möglicherweise weniger flexiblen oder leistungsfähigen Modellen von Drittanbietern bis hin zu komplexeren, aber anpassbaren Softwarepaketen, die je nach Bedarf für den jeweiligen Zweck angepasst werden können. Da das ML-Ökosystem mittlerweile ausgereift ist, gibt es glücklicherweise mehrere hochwertige Software-Tools, die einfach eingesetzt und verbunden werden können, um alle Aspekte des ML-Entwicklungslebenszyklus abzudecken. Dies gilt sogar für neuere Modelle wie die LLMs.

In dieser Blog-Serie wurden bisher vier wichtige erste Schritte für den Erfolg eines ML-Projekts behandelt: die Festlegung von Zielen und deren Umsetzung in Messgrößen, die Vorbereitung des Datensatzes, die Schaffung einer Entwicklungsumgebung, um Zuverlässigkeit zu gewährleisten, sowie – in diesem Blog – die Entwicklung von Modellen für den Konzeptnachweis. In den nächsten Blogbeiträgen erfahren Sie mehr über die verbleibenden Phasen der Entwicklung eines ML-Konzeptnachweises und die Umsetzung der Ergebnisse in die Produktion. Dabei werden wichtige Richtlinien für die Erweiterung des in dieser Phase entwickelten Konzeptnachweises zu einer produktionsreifen Version behandelt und Tipps gegeben, was nach der Bereitstellung zu erwarten und zu überwachen ist, insbesondere im Hinblick auf die Aktualisierung des Modells.