Pflege von KI-Applikationen

Fachliche Voraussetzungen ändern sich

Machine-Learning-Modelle haben mit einer weiteren Veränderungsgröße zu kämpfen, dem sogenannten ‘Concept Drift’. Bezogen auf das Beispiel der Reinigungsbadoptimierung bedeutet das: Wurden die Daten für das Modell-Training ausschließlich für Teile erfasst, die in geschützten Hallen verwendet werden, sind die konzeptionellen Voraussetzungen für Bauteile im Außeneinsatz deutlich verschieden. Die Bedingungen für den Verschmutzungsgrad sind grundlegend anders. Es ist also zu erwarten, dass das Vorhersagemodell eine unzutreffende Aussage zur Reinigungsqualität machen wird. Etwas vereinfacht und bezogen auf den Autoreifen-Fall bedeutet das: Wurde das Modell zur Vorhersage der Reifengesundheit lediglich auf erhobenen Daten im Sommer trainiert, dürfte das Verhalten im Winter deutlich abweichen.

Qualität laufend überwachen

Der Model Drift kann negative Auswirkungen auf den Prozesserfolg haben. Folglich sollte auch die Qualität der eingesetzten KI-Modelle überwacht werden. Erschwerend kommt hinzu, dass diese Qualitätsprüfung (Validierung) ein mindestens ebenso komplexes Verfahren wie die Erstellung der Modelle selbst ist. Die Validierung besteht aus verschiedenen Tests, um Qualität und Güte des Modells in verschiedenen Bereichen und Aspekten zu prüfen. Je nach Einsatzgebiet, Anwendungsfall und Datenverfügbarkeit kann es schwierig sein, überhaupt sinnvolle Strategien und aussagekräftige Bewertungssysteme für die Validierung zu finden. Die Wahl der Maßstäbe und Metriken für Erklärbarkeit und Nachvollziehbarkeit bestimmter Algorithmen und deren Validierung sind komplex und zum Teil noch Gegenstand aktueller Forschungen. Zudem kann eine fahrlässig gewählte Validierungsstrategie völlig falsche Aussagen liefern. Wie herausfordernd solche Überwachungen werden können, ergibt sich aus der Menge der möglichen Einflussgrößen.

Werkzeuge für Spezialisten

Die Notwendigkeit der Qualitätsüberwachung und die Auswirkungen des Model Drift sind keine Neuigkeit. Es gibt immer mehr Werkzeuge, mit denen sich Model Drift erkennen lässt. Die Modellüberwachung in solchen Werkzeugen ist oft nur ein Modul von vielen und das Monitoring wird in Verbindung mit dem gesamten Management des Model-Lebenszyklus quasi mit erledigt. Damit einher gehen oft nur begrenzte und ungeeignete Methoden zur Qualitätskontrolle. Des Weiteren handelt es sich bei diesen Anwendungen oft selbst um komplexe Systeme oder Plattformen, die für KI-Spezialisten ausgelegt wurden. Sie werden von Data-Scientisten und Software-Ingenieuren für Machine-Learning genutzt und unterstützen in erster Linie deren Arbeit. Unternehmen, die KI als ein Stück Software nutzen wollen, können heute zwischen dem Aufbau eines eigenen Data-Science-Teams, dem internen Betrieb einer Software-Plattform oder dem Abo in einer Cloud-Lösung wählen. Auf die Unternehmen kommen somit zusätzliche Investitionen und Risiken zu, entweder durch zusätzlichen Personalaufwand oder eine Erhöhung der gesamten Systemkomplexität inklusive Datensicherheitsfragen bei Cloud-Lösungen.

Datum:13. September 2022

Autoren:Jens-Michael Ruppelt, Mitgründer und CEO von Phnx Alpha

Themen: Technik, Cloud/Internet of Things, Künstliche Intelligenz

Webseite: www.phnxalpha.de

Downloads: