KI-Lösungen werden im Normalfall zunächst unter Laborbedingungen entwickelt. Um eine Lösung anschließend produktiv in der Unternehmens-IT zu betreiben, müssen organisatorische und technische Fragen beantwortet werden: Haben die Ergebnisse einer KI-Lösung überhaupt die Qualität und Zuverlässigkeit, die für die Akzeptanz im Unternehmen erforderlich sind? Sind Daten in ausreichender Qualität und Quantität verfügbar? Rechnet sich der Einsatz aus betriebswirtschaftlicher Sicht? Wie kann das KI-System in eine bestehende Anwendungsarchitektur integriert werden? Wie kann es überwacht werden?
Um ein KI-System nachhaltig zu betreiben, muss es kontinuierlich aktualisiert und nachjustiert werden. Laufend anfallende neue Daten können verwendet werden, um das Modell durch kontinuierliches Lernen zu verbessern. All dies erfordert Prozesse, die weit über die initiale Erstellung eines KI-Modells hinausgehen.

Im vorliegenden Artikel beleuchten die Autoren die verschiedenen Dimensionen, die beim Betrieb von KI-Anwendungen im Unternehmensumfeld betrachtet werden müssen und zeigen verschiedene Lösungsansätze und Handlungsalternativen auf.

Anforderungen für den Einsatz von KI

Die Wahrnehmung der KI und der dort erzielten Fortschritte ist im Wesentlichen geprägt durch zahlreiche Medienberichte von neuen, aufsehenerregenden Ergebnissen aus dem Forschungsbereich. Implementierungen, die daraus hervorgehen, haben jedoch in aller Regel experimentellen, „proof-of-concept“-Charakter und lassen sich nicht ohne Weiteres in produktive Systeme überführen.

Die Entwicklung einer KI-Anwendung für den produktiven Einsatz beinhaltet jedoch deutlich mehr als die reine Lösung eines Problems mittels KI-Methoden. Dazu müssen von Beginn an die Anforderungen des Umfelds ganzheitlich betrachtet werden. Diese gehen meist über die eigentliche fachliche Problemstellung hinaus und haben unmittelbaren Einfluss auf die Auswahl des einzusetzenden KI-Verfahrens, wenn nicht sogar auf die Entscheidung für oder gegen ein KI-System. Weitere Anforderungen ergeben sich üblicherweise durch die nicht-funktionalen Anforderungen bzw. die Rahmenbedingungen des IT-Betriebs. Folgenden Fragestellungen sollten u.a. abgeprüft werden:

• Welche Anforderungen werden an die Genauigkeit des KI-Systems gestellt?
• Unter welchen Rahmenbedingungen kann der Einsatz überhaupt erfolgen?
• Inwieweit ist eine Erklärbarkeit und Nachvollziehbarkeit der Ergebnisse notwendig?
• Wie soll die Anwendung in bestehende Systeme eingebettet werden?
• Welche Antwortzeiten werden gefordert? Sind Anfragen synchron oder asynchron?
• Wie wird die Qualität der Ergebnisse des KI-Systems überwacht? Gibt es einen Feedback-Mechanismus?
• In welcher Form soll das KI-System lernen? Offline? Inkrementell?
• Wie spielt die Anwendung mit anderen Systemen zusammen?
• Welche Einschränkungen bzgl. des Technologie-Stacks sind vorhanden?
• Welche Hardware-Ressourcen sind verfügbar?

Wenngleich viele dieser Kriterien aus der Anforderungsanalyse für klassische IT-Systeme entstammen, sind auch sie kritische Erfolgsfaktoren für die Entwicklung und den Einsatz von nachhaltigen KI-Systemen.

Erst wenn die Anforderungen an eine Lösung gesamtheitlich erfasst wurden, ist es sinnvoll in einer systematischen Vorstudie geeignete KI-Verfahren zu wählen und zu verproben. Als Ergebnis sollte eine solche Studie die getesteten Verfahren nicht nur in Bezug auf die üblichen KI-Metriken, sondern auch entlang der erfassten Anforderungen bewerten.

Qualität = Akzeptanz

Missverständnisse, falsche Ausgaben oder Antworten von KI-Anwendungen sorgen im B2C-Umfeld bei den Betroffenen für Schmunzeln oder Irritationen. Im schlimmsten Fall wird die Anwendung deinstalliert und nicht mehr genutzt. Diese Wahlmöglichkeit haben Menschen, die im beruflichen Kontext KI-Anwendungen nutzen müssen, nicht. Entscheidungen der KI-Systeme haben daher einen sehr hohen Anspruch an Genauigkeit, d.h. an die Vermeidung von „False Positives“ und „False Negatives“. Während erstere einen Befund signalisieren, obwohl keiner vorliegt, werden bei „False Negatives“ real vorliegende Befunde übersehen. Beide verursachen zumindest Akzeptanzprobleme und haben – je nach Anwendungsbereich des KI-Algorithmus – unter Umständen gravierende Auswirkungen. Exemplarisch seien die Algorithmen genannt, die etwa bei der Diagnostik medizinischer Röntgen- oder MRT-Untersuchungen, in der präventiven Kriminalistik, im Sicherheitsbereich zur Gesichtserkennung von Menschen und zur Früherkennung technischer Probleme an Maschinen mittels IoT, genutzt werden.

In der betrieblichen Praxis bedeutet dies zusätzliche, manuelle Kontrolle durch Menschen. Wie häufig diese erforderlich ist, wird durch die Genauigkeit und Robustheit der eingesetzten KI-Systeme beeinflusst. Bei tausenden von Entscheidungen bzw. Bewertungen durch das KI-System führen allerdings bereits wenige Promille an „False Positives“ zu einem erheblichen Aufkommen an Nachkontrollen, die vom Bearbeiter leicht als überflüssige Arbeit klassifiziert werden kann. Nachdem aber alle bekannten KI-Methoden zudem auch eine gewissen Quote an korrekten Treffern nicht erkennen, werden im operativen Einsatz Schadensereignisse auftreten, die die KI eigentlich doch gerade verhindern sollte. Auf die Trefferquote des Erkennungsalgorithmus haben nicht nur der ausgewählte Algorithmus, oder gegebenenfalls die Kombination und Gewichtung mehrerer Algorithmen Einfluss, auch die Art, Umfang und Bedingungen der Datenerhebung beeinflussen die Treffergenauigkeit.

Bestehen die Treffer zum überwiegenden Teil aus „False Positives“ und wird daher der Bearbeiter unnötig aktiviert, so sinken Akzeptanz, Nutzung und Nutzen des KI-Systems sehr schnell. Treten zudem Effekte von fälschlicherweise nicht erkannten Ereignissen auf, so verstärkt sich dieser Eindruck. Positiv formuliert: Gelingt es dem eingesetzten KI-System, dem menschlichen Nutznießer eine spürbare Entlastung seiner Arbeitstätigkeit zu bieten, so fördert das die Akzeptanz und motiviert zur weiteren Nutzung.

Eng verbunden mit der Akzeptanz-Problematik ist die Frage, welche Anforderungen an die Erklärbarkeit der KI-Ergebnisse gestellt werden. Denn obwohl es bezüglich neuronaler Netze viele Forschungsaktivitäten und erste Ergebnisse und Verfahren in diesem Bereich gibt, kann die mangelnde Nachvollziehbarkeit bei neuronalen Netzen ein Ausschlusskriterium sein. Als Beispiele hierfür sind gesetzliche oder regulatorische Vorgaben bezüglich Nachvollziehbarkeit von Entscheidungen sowie Vorgaben zur diskriminierungsfreien Entscheidungsfindung genannt. Andere Verfahren, die z.B. auf statistischen Verfahren beruhen oder regelbasierte Verfahren bieten diesbezüglich große Vorteile. Im Allgemeinen wird es im betrieblichen Umfeld schon aus rechtlichen Gründen notwendig sein, dass die Ergebnisse eines KI-Systems vom menschlichen Betrachter nachvollzogen werden können. Dies ist in Form eines geeigneten Erklärungsmechanismus zu berücksichtigen.

Neben der psychologischen und motivatorischen Wirkung des Einsatzes muss auch die betriebswirtschaftliche Kostenbetrachtung berücksichtigt werden. Während die KI-gestützte Entlastung des Arbeitsprozesses auf den vorab erstellten Business-Case einzahlt, sorgen die fälschlicherweise gemeldeten bzw. übersehenen Effekte für Bearbeitungsaufwand. Dieser benötigt neben Arbeitszeit häufig auch noch den Einsatz weiterer Ressourcen (Material, Transport, etc.). Daher sind stabile und robuste Systeme essentiell für den Einsatz im betrieblichen Alltag.

Daten für die KI

Der Einsatz von Systemen, welche sich der Unterstützung von Künstlicher Intelligenz bedienen, basiert in der Regel auf einer umfangreichen Datensammlung. Auf dieser werden die Algorithmen trainiert, entwickelt und bewertet.

Dementsprechend ist die erste Frage bei der Verwendung von KI-Systemen im unternehmerischen Einsatz die nach der Art der Daten, auf deren Basis Aussagen getroffen werden müssen. Technische Daten von Sensoren einer Maschine, die etwa versuchen Ermüdungserscheinungen zu erkennen, sind deutlich anders zu klassifizieren als etwa Systeme zur Gesichtserkennung in Sicherheitsbereichen. Gegebenenfalls sind hier neben den einschlägigen Vorgaben etwa der DSGVO auch Arbeitsgesetze, betriebliche und sonstige Vereinbarungen zu beachten.

Gut gemeinte, aber schlecht gemachte oder schlecht kommunizierte KI-Einsätze sorgen in den Medien für negative Publicity und öffentliche Aufregung und können somit leicht Probleme verursachen, die größer werden als der eigentliche Nutzen.

Neben der Art spielen Qualität und Quantität der zur Verfügung stehenden Daten eine weitere, wesentliche Rolle. Während für die Suche nach Katzen auf privaten Fotoaufnahmen ein nahezu unerschöpflicher Fundus an Testdaten und Qualifikation selbiger vorliegt, gibt es im industriellen Kontext Situationen mit wenigen oder nur beschränkt nutzbaren Daten. Ursachen dafür können (zu) spezielle Fragestellungen, technische bzw. organisatorische Probleme der Erhebung oder regulatorische Beschränkungen sein.

Das hat zur Folge, dass bestimmte KI Methoden ihre Stärken nicht ausspielen können, weil nicht ausreichend Datenmaterial zum Training vorhanden ist. Es empfiehlt sich daher, sorgfältig zu betrachten, mit welcher KI Methode oder -Kombination derselbigen, mit dem vorliegenden Set an Daten die besten Ergebnisse erzielt werden können.

Eine der großen Herausforderungen, an der die KI-Forschung gerade arbeitet besteht darin, Daten auch dann verarbeiten zu können, wenn diese von schlechter Qualität sind. Bekannte Beispiele hierfür sind etwa das autonome Fahren, welches Hindernisse oder Personen auch dann erkennen muss, wenn die Lichtverhältnisse schlecht sind, es regnet, Nebel oder Staub in der Luft liegt oder andere Effekte ein suboptimales Ausgangsdatenmaterial bereitstellt. Analoges gilt für die Gesichts- und Personenerkennung, wie sie etwa in Sicherheitsbereichen eingesetzt wird. IoT-Sensoren, die Daten über den Betriebszustand einer Maschine oder Anlage weitergeben, müssen dies ebenfalls auch unter widrigen Bedingungen wie Hitze, Kälte und mechanischer Beanspruchung robust und zuverlässig erledigen.

Erschwerend kommt zu den genannten Herausforderungen häufig noch hinzu, dass die erhobenen Daten als Betriebsgeheimnis eingestuft werden. Dies steht einer Veröffentlichung in einen größeren Datenpool, aus dem mehrere Unternehmen Optimierungen schöpfen könnten, entgegen.

Genau die umgekehrte Herausforderung stellt sich in Situationen dar, in denen extrem umfangreiche Volumina transportiert und verarbeitet werden müssen, wie etwa im Bereich des autonomen Fahrens. Werden dort die erfassten Sensordaten nach einer Testfahrt zur weiteren Optimierung des KI-Algorithmus übertragen, gelangen nahezu alle Hardware- und Netzwerkkomponenten an ihre technischen Grenzen. Enge Abstimmung und Zusammenarbeit mit dedizierten Experten auf diesen Bereichen ist dann unabdingbar.

Integration von KI-Systemen in die IT-Landschaft

In aller Regel wird ein KI-Verfahren als Sub-Modul einer größeren Fachanwendung eingesetzt. Oftmals ergänzt ein KI-Verfahren auch ein bereits bestehendes System durch intelligente Vorschläge oder im Ersetzen manueller Prozessschritte durch Automatismen. Statt daher das KI-Verfahren als integralen Bestandteil eines Systems zu betrachten, spricht Vieles dafür die KI-Berechnungen als unabhängige Dienste zu organisieren und auszulagern:

• KI-Verfahren benötigen u.U. dedizierte Spezial-Hardware und müssen in einer separaten Betriebsumgebung ablaufen.
• KI-Methoden lassen sich bündeln und ggf. durch mehrere Systeme nutzen.
• Der Kernfunktonalität der KI ist agnostisch bezüglich der Fachlichkeit und kann von einem unabhängigen Entwicklungsteam bearbeitet werden.

Einen Schritt weiter geht man, wenn man KI-Berechnungen als abstrakte Dienste betrachtet, die über eine einheitliche Schnittstelle angesprochen werden können. Zusammen mit einem generischen Ansatz, der es ermöglicht, KI-Dienste dynamisch auf der Basis einer Bibliothek von KI-Verfahren zu erstellen, ergeben sich daraus weitere Vorteile:

• Die Parametrisierung von KI-Verfahren kann dynamisch angepasst werden.
• KI-Modelle können ohne Änderung an der aufrufenden Anwendung ausgetauscht werden.
• Es können parallel verschiedene KI-Verfahren bereitgestellt und ggf. auch mehrere Verfahren kombiniert werden.

Nicht vergessen sollte man an dieser Stelle die Notwendigkeit der Datenvorverarbeitung, die sowohl bei der Erstellung von KI-Modellen als auch bei der Auswertung notwendig ist. Dies beinhaltet die Beschaffung von Daten, die Filterung, die Bereinigung und schließlich die Extraktion von Merkmalen. Auch diese Funktionen sind als Teil einer KI-Architektur zu berücksichtigen, da sie ggf. auch zur Vorverarbeitung von Anfragen an das KI-System benötigt werden.

Ein weiteres Modul einer solchen KI-Service-Architektur kann das Trainingsmodul sein, wenn es erforderlich ist, dass das System im laufenden Betrieb lernt und KI-Modelle kontinuierlich angepasst werden sollen. Dazu sind wieder die notwendigen Schritte der Datenvorverarbeitung zu berücksichtigen. Der Lernprozess kann entweder durch direktes Anwenderfeedback oder aber durch das Anfallen neuer Lerndaten aus anderen Datenquellen ausgelöst werden.

Die Open-Source-Frameworks Apache PredictionIO [1], Hydrosphere.io [2] und Seldon [3] sind Beispiele für Systeme, die die genannten Aspekte in unterschiedlichen Ausprägungen realisieren.

Von der Planung zur Implementierung

Bei der Implementierung von KI-Anwendungen bietet es sich im hier betrachteten industriellen Kontext an, auf den reichhaltigen Fundus vorhandener Implementierungen von KI-Methoden zurückzugreifen, sofern nicht Grundlagenforschungsarbeit geleistet werden soll.

Wie in jedem Umsetzungsprojekt stellt sich die Frage nach Qualität, Aktualität, Stabilität und Sicherheit von verwendeten Frameworks oder Bibliotheken. In manchen Fällen kann auch eine individuelle, auf die Anwendungsdomäne zugeschnittene Implementierung deutlich performanter sein, als die Verwendung von generischen Bibliotheken. In jedem Fall muss berücksichtigt werden, dass eventuell die Auswahl von verwendbaren Technologien durch Unternehmensvorgaben, IT-Governance oder der Zielbetriebsumgebung eingeschränkt ist.

Erlauben die rechtlichen Rahmenbedingungen die Verarbeitung von Daten in der Cloud, kann auf das entsprechende Repertoire von KI-Methoden der Cloud-Anbieter zurückgegriffen werden. Dies hat mitunter den Vorteil, dass dort auch die maßgeschneiderten Hardware-Ressourcen verfügbar sind.

Ein weiterer, zu berücksichtigender Punkt ist der Umgang mit der Aktualisierung von KI-Modellen. Findet kontinuierliches Lernen statt, verhält sich das System aus Anwendersicht nicht-deterministisch, da es bei zeitlich versetzten, aber inhaltlich identischen Ausgangsdaten, unterschiedliche Ergebnisse zurückliefern kann. Die macht das Vorhandensein einer Erklärungskomponente umso wichtiger. Aus Performancegründen kann es je nach KI-Verfahren jedoch prohibitiv sein, eine Erklärung bei jeder Berechnung der KI-Vorhersage mit zu protokollieren und stattdessen eine bedarfsweise Erklärung in einer separaten Anfrage berechnen zu lassen.

Betrieb und Wartung

Dem DevOps-Gedanken folgend sollten auch für KI-Systeme Integrations- und Deployment-Verfahren so weit wie möglich automatisiert werden, damit eine problemlose Aktualisierung des Systems möglich wird. Abweichend von klassischen Systemen beinhaltet der CI/CD-Prozess die Aufbereitung und das Ausspielen eines vorbereiteten KI-Modells. Entsprechend müssen Integrationstests das Zusammenspiel zwischen KI-Kern und einem neuen KI-Modell testen, bevor ein Deployment in die produktive Umgebung erfolgen kann.

Bereits das normale Anwendungsmonitoring überwacht die Gesundheit und das normale Verhalten aller Systemkomponenten. Bei KI-Systemen empfiehlt es sich, darüber hinaus weitere Metriken zu erheben, um Auskunft über die Qualität der Vorhersagen des KI-Systems zu erhalten. Unter Umständen gestaltet sich dies schwierig, wenn die Vorhersagequalität erst verzögert oder nicht für jeden Einzelfall ermittelt werden kann. Erschwerend kommt hinzu, dass das Absinken der Qualität von Vorhersagen unterschiedliche Ursachen haben kann. Diese reichen von der Qualität der Eingabedaten, über die Parametrisierung des KI-Verfahrens bis zu einem fehlerhaften oder nicht ausreichend trainierten Modell. Daraus folgt, dass der Betrieb eines KI-Systems besondere Fachkenntnisse erfordert, die in der Regel über die Qualifikation der Mitarbeiter des typischerweise anzutreffenden, klassischen IT-Betriebs hinausgehen. Vielmehr erfordert das Operating von KI-Anwendungen noch mehr die Überschneidung zwischen Betrieb, Entwicklung und fachlicher Betreuung, als dies im DevOps-Kontext sowieso schon angestrebt wird.

Fazit

KI-Methoden bringen nicht nur eine neue Qualität bei den Möglichkeiten der Datenverarbeitung mit sich, sie stellen auch gänzlich neue Anforderungen bei der Umsetzung und dem Betrieb im produktiven Unternehmenseinsatz. Welche KI-Methode dabei zum Einsatz kommt, hängt nicht nur von dem fachlichen Problem ab, sondern wird auch durch zahlreiche andere Rahmenbedingungen, organisatorischer sowie technischer Natur, bestimmt. Zentrale Erfolgsfaktoren sind die Akzeptanz und letztendlich der betriebswirtschaftliche Nutzen, die zum nachhaltigen Einsatz einer KI-Anwendung führt.

Quellen und Referenzen:

[1] https://predictionio.apache.org/

[2] https://hydrosphere.io/

[3] https://www.seldon.io/