Gerade durch die aktuelle Corona-Krise zeigen sich viele Chancen eines stärker digitalisier- ten Gesundheitswesen, das nicht zuletzt die Entwicklung geeigneter Medikamente im Kampf gegen die Pandemie beschleunigen könnte. So hat auch das Bundeskabinett Anfang April einem Gesetzentwurf [1] zugestimmt, der die Ausgestaltung der elektronischen Patientenakte spezifiziert sowie Sicherheitsregeln zum Schutz von Patientendaten verschärft. Rechtlich- regulatorisch verlässliche Maßnahmen sind wichtig, um das Gesundheitswesen stärker zu digitalisieren und so auch die Voraussetzungen für den Einsatz von Künstlicher Intelligenz (KI) zu schaffen. Damit die damit verbundenen großen Potenziale für die Medizin realisiert werden können, müssen aber noch einige offene Fragen zum Datenmanagement- und zur Sicherheit der KI-Systeme gelöst werden. Gemeinsam mit anderen Mitgliedern der Plattform Lernende Systeme haben wir die Potenziale, Herausforderungen und Anforderungen für den Einsatz von KI im Gesundheitswesen in einem aktuellen Whitepaper zusammengetragen. Das Papier fokussiert das Datenmanagement und die Sicherheitsaspekte beim Einsatz von KI-Systemen im Gesundheitswesen und benennt technische Lösungsmöglichkeiten sowie rechtlich-regulatorische Gestaltungsoptionen.

Potenziale und Herausforderungen von KI-Systemen in der Medizin

Der Einsatz von Lernenden Systemen kann künftig vor allem bei der Prävention, frühzeitigen Diagnose sowie der patientengerechten Therapie zu besseren Behandlungsergebnissen führen und somit unsere Gesundheitsfürsorge verbessern.

Zu den wesentlichen Potenzialen der Verwendung von intelligenten und (selbst-)Lernenden Systemen im Gesundheitswesen gehört, dass durch die Erhebung und Auswertung patientenindividueller medizinischer Daten mit Hilfe von KI-Assistenzsystemen künftig neue medizinische Zusammenhänge entdeckt, innovative Präventionsansätze  entwickelt, schneller Diagnosen gestellt und seltene Erkrankungen früher erkannt werden können. So können größere Datenmengen mit Hilfe von KI-Systemen nicht nur besser ausgewertet werden, der Einsatz von KI-Assistenzsystemen verspricht auch, neue Ergebnisse generieren zu können. Im Zusammenspiel von KI-Systemen und der ärztlichen Kompetenz können auch neue Präventionsansätze entwickelt und seltene Erbkrankheiten erforscht werden. Ärztinnen und Ärzte haben durch KI-Assistenzsysteme Zugang zu exponentiell wachsendem Wissen. Die gewonnen Erkenntnisse können unter anderem ihre Diagnostik bereichern. Gleichzeitig kann dieses Wissen auch rascher in die breite Versorgung gelangen. Dies kann insgesamt auch zu einer Entlastung von medizinischem und pflegerischem Personal führen und somit zu einer Verbesserung der Patientenversorgung beitragen. Einen Ausblick und tieferen Einblick auf die Potenziale des Einsatzes von KI-Systemen im Gesundheitswesen gibt auch das fiktive Anwendungsszenario „Mit KI gegen Krebs“ [2] der Plattform Lernende Systeme.

Der Einsatz von KI-Systemen in der Medizin birgt aber auch einige Herausforderungen, welche vor allem in der Besonderheit des Anwendungsgebiets begründet liegen: So sind die Daten im medizinischen Bereich hochsensible persönliche Daten, die eines besonderen Schutzes bedürfen. Fehlentscheidungen, beispielsweise in Form einer falschen Diagnose, einer fehlerhaften Medikation oder Komplikationen bei der Operation, können ernsthafte Konsequenzen für Leib und Leben haben. Flüchtigkeitsfehler oder aber auch bewusste Angriffe können deshalb besonders schwer wiegen. Damit die oben beschriebenen Chancen genutzt werden können, muss den Herausforderungen in besonderer Weise Rechnung getragen werden.

Sichere KI-Systeme: Anforderungen an die IT-Sicherheit

Die möglichen Herausforderungen, die der Einsatz von intelligenten und (selbst-)Lernenden Systemen im Gesundheitswesen mit sich bringt, führen zu hohen Anforderungen an die IT- Sicherheit und das Datenmanagement der Systeme. Mögliche Risiken sind unbeabsichtigt verzerrte oder bewusst verfälschte Trainingsdaten, Angriffe auf die KI-Software, Verletzungen der Privatsphäre der Patientinnen und Patienten sowie Angriffe auf KI- Datenbanken und die problemanfällige, aufwendige Integration in die klinische Praxis. Daher muss rechtlich geklärt werden, wer eine Zugriffsberechtigung auf die Daten der elektronische Patientenakte (ePA) erhält, welcher rechtlichen Regulierung eine freiwillige und geschützte Datenfreigabe unterliegt und, ob etwa bestehende rechtliche Vorgaben für den Einsatz von KI-Systemen im Gesundheitswesen angepasst werden müssen.

Für die Hebung der genannten Potenziale und zur Gewinnung der Akzeptanz der  betroffenen Akteursgruppen, ist es notwendig, bei Ärztinnen und Ärzten sowie Patientinnen und Patienten nachhaltiges Vertrauen in die Sicherheit von KI-unterstützten medizinischen Systemen zu schaffen. Daher zählt zu den wichtigsten Anforderungen an KI-Systeme im Gesundheitswesen, deren Ergebnisse transparent zu erklären. Es muss gezeigt werden können, warum ein bestimmtes Ergebnis erzielt wird (‚Kausalität´). Diese Nachvollziehbarkeit wird perspektivisch ein wichtiges Kriterium für die Weiterverbreitung und Nutzung der KI- Systeme darstellen. Nur so können das medizinische und pflegerische Personal sowie Patientinnen und Patienten wissen, aufgrund welcher Befunde ein Ergebnis erzielt wurde. Dies gilt vor allem für das Deep Learning (DL): Bei dieser KI-Methode fehlen beim heutigen Stand der Technik, im Gegensatz zu Entscheidungsbäumen, die Nachvollziehbarkeit und Erklärbarkeit. Für das medizinische und pflegerische Personal entstehen hier haftungsrechtliche Probleme, die es zu lösen gilt. Diese können beispielsweise entstehen, wenn es durch falsch verarbeitete Informationen zu schwerwiegenden Behandlungsfehlern kommt, zum Beispiel im Rahmen einer Operation.

Außerdem müssen KI-Systeme zuverlässig vor Angriffen von außen geschützt werden und aktuelle Softwareversionen müssen schnell und sicher in die klinische Praxis integriert werden. Zu den weiteren technischen und organisatorischen Bedingungen, die für den Einsatz von KI-Assistenzsystemen in der Medizin wichtig sind, gehören auch die Zertifizierung von KI-Systemen – etwa zur Sicherstellung von unverfälschten Trainingsdaten – sowie besondere Zugriffskontrollmechanismen zum Schutz vor Angriffen auf die KI- Software. Die Integrität der Datensätze und sichere Übertragungswege sind zudem erforderlich für sichere KI-Datenbanken sowie für KI-basierte Analysen im Gesundheitswesen. Hierzu sollten staatlich beauftragte neutrale Einrichtungen die regulatorische Aufsicht der KI-Analyseverfahren samt zugehöriger Trainings- und Testdatensätze erhalten.

Gestaltungsoptionen und Handlungsbedarf

Die im Whitepaper vorgeschlagenen Maßnahmen zur Herstellung sicherer KI-Systeme müs- sen durch rechtlich-regulatorische Maßnahmen flankiert und abgesichert werden. Bei der Formulierung rechtlich-regulatorischer Handlungsoptionen, um KI-Systeme in der Medizin vertrauenswürdig und zuverlässig zu gestalten, müssen die Qualitätsabsicherung der für das Training von KI-Systemen verwendeten Daten, die Nachvollziehbarkeit und Erklärbarkeit von KI-Systemen sowie deren Sicherheit im Sinne von Safety und IT-Security im Vordergrund stehen.

Zusammen mit anderen Mitgliedern der Plattform Lernende Systeme haben wir hierfür mög- liche Gestaltungsoptionen formuliert: Eine Möglichkeit zur Erreichung eines Mindestquali- tätsstandards sind die Entwicklung gemeinsamer Leitlinien und Prüfvorschriften für die Zu- lassung und Zertifizierung für KI-Datenbanken sowie für deren Betreiber. Kommt es dennoch zu Fehlfunktionen des KI-Systems, welche die Hersteller zu verantworten haben, müssen diese zumindest gesetzlich zur Mängelbehebung verpflichtet werden. Hierfür sollte geprüft werden, ob im Medizinproduktegesetz beziehungsweise den zugrundeliegenden EU- Verordnungen (inkl. derer zukünftiger Anpassungen) eine „Duty of Care“-Verpflichtung der Hersteller entsprechender IT-/KI-Systeme vorgesehen ist. Um sicherzustellen, dass das KI- Assistenzsystem nicht manipuliert werden kann und die Daten der Patientinnen und Patien- ten sicher verwahrt werden, müssen unabhängige autorisierte Betreiber des KI- Assistenzsystems eingesetzt werden. Welchen Institutionen so viel Vertrauen entgegenge- bracht wird, dass sie mit dem Bereitstellen und Betreuen des KI-Assistenzsystems beauftragt werden können, ist aktuell noch eine zu diskutierende Frage. Diese Entscheidung muss in einem gemeinsamen Dialog aller beteiligten Stakeholder getroffen werden. In Ergänzung dazu soll ein unabhängiges Prüfkomitee, bestehend aus Expertinnen und Experten unter- schiedlicher Fachrichtungen, in regelmäßigen Abständen die Funktionsweise der zertifizier- ten und eingesetzten KI-Systeme überprüfen. Die Taktung der regelmäßigen Überprüfung richtet sich auch danach, ob bei den letzten Überprüfungen Fehler gefunden wurden oder das System bestimmungsgemäß funktioniert. Kommt es trotz aller Vorsichtsmaßnahmen dennoch zu Fehlfunktionen, müssen geeignete Rückrufprozesse und Rückfalllösungen etab- liert werden. Eine Rückfalllösung könnte auch darin bestehen, dass nur noch auf einen Teil des Systems Zugriff besteht und die auffällige Komponente separat angepasst werden kann. Muss ein System komplett zurückgerufen werden, muss es den Prozess der Zulassung und Zertifizierung erneut durchlaufen („Rezertifizierung“).

KI-Systeme sind aber nur so gut, wie die zur Verfügung stehenden Daten es sind. Für Lern- prozesse von KI-Systemen im Gesundheitswesen ist es wichtig, dass ausreichend diversifi- zierte nutzbare Daten vorhanden sind. Nur so können die Ergebnisse anschließend auch Patientinnen und Patienten mit unterschiedlicher ethnischer Herkunft nützen und seltene Erkrankungen auch zuverlässig erkannt werden. Aktuell ist es rechtlich nicht möglich, Daten etwa über verschiedene Kliniken hinweg zu poolen. Eine andere technische Möglichkeit be- steht darin, das KI-System innerhalb einer geschlossenen, vertrauenswürdigen Anwen- dungsumgebung (Trusted Execution Environments) verschlüsselt zu verschicken und auf den Daten vor Ort zu trainieren – der Algorithmus geht sozusagen auf Reisen und nicht die Daten.

Wichtig ist bei alledem, dass Patientinnen und Patienten über die Nutzung der eigenen Ge- sundheitsdaten souverän bestimmen können. Die relevanten medizinischen Daten sind in der elektronischen Patientenakte (ePA) ganzheitlich und bundesweit einheitlich gespeichert. Für die Nutzung der Gesundheitsdaten stellt die elektronische Gesundheitskarte (eGK) hier- für das zentrale technische Instrument dar. Der Zugriff erfolgt in Verbindung mit dem Heilbe- rufsausweis (HBA) und einer Pin durch die behandelnden Ärztinnen und Ärzte. Da die Daten besonders sensibel und somit besonders schützenswert sind, ist es wichtig, auch im Falle eines Verlusts oder Diebstahls der eGK oder des HBAs in Verbindung mit der Pin, einen un- autorisierten Zugriff auf die Daten zu verhindern. Deshalb müssen geeignete Mechanismen zur Sperrung der eGK und des HBAs eingerichtet werden. Für die eGK könnte dies über den Sperr-Notruf 116 117 passieren. Hinzu können Sicherheitsmechanismen in die KI-Systeme eingebaut werden, die beispielsweise warnen, wenn Unbefugte große oder unpassende Da- tenmengen abrufen. Weitere Beschränkungen können außerdem durch die Formulierung von Mindestanforderungen an die Sicherheit der Dateninfrastrukturen und der Rechenzen- tren gesetzt werden, Daten dürfen dann etwa nur innerhalb der Europäischen Union gespei- chert und verarbeitet werden.

Ausblick: Diskurs über gesellschaftsrelevante Fragen nötig

Viele der dargestellten Herausforderungen werden künftig technisch lösbar sein. Dennoch bestehen noch offene gesellschaftsrelevante Fragestellungen. Diese müssen in einem ge- samtgesellschaftlichen Diskurs erörtert werden. Ein Beispiel hierfür ist die freiwillige und zweckgebundene Freigabe von Daten durch die Patientin oder den Patienten für die For- schung. Offen ist aktuell, welche Daten die Patientin oder der Patient weitergeben dürfen oder sollen sowie die Frage, wie eng die Zweckgebundenheit der Daten auszulegen ist, auch in Abhängigkeit von Anonymisierungs- und Pseudonymisierungsverfahren. Hinzu kommt die Abwägung von Nutzen und Risiko beim Einsatz von KI-Systemen im Gesundheitswesen, da KI-Systeme genauso wie viele andere medizinische Methoden ebenfalls zu falsch-positiven oder falsch-negativen Ergebnissen führen können, welche unter Umständen Fehlbehandlun- gen zur Folge haben können. Deshalb müssen wir als Gesellschaft darüber sprechen, unter welchen Umständen und bis zu welcher Höhe wir bereit sind, „Fehlerquoten“ zu akzeptieren, um die Nutzenpotenziale des Einsatzes von KI-Systemen zu akzeptieren. Damit verknüpft ist auch die Frage, welche Ansprüche wir an die Transparenz und Nachvollziehbarkeit der vom KI-Assistenzsystem ausgegebenen Ergebnisse stellen. Offen ist aktuell, wie viel Auskunfts- recht über die Berechnung eines KI-Systems Ärztinnen und Ärzte im ersten Schritt sowie Patientinnen und Patienten im zweiten Schritt gegenüber diesem System haben sollen. Un- geklärt sind auch Fragen zur Verantwortung und Haftung bei möglichen Behandlungsfehlern, etwa durch falsch verarbeitete Daten oder falsche Interpretationen der Ergebnisse, die über die oben adressierte Mängelbehebung hinausgehen. Geklärt werden muss zudem, wie die Verantwortung und Haftung zwischen dem Hersteller oder dem Betreiber des KI-Systems sowie dem medizinischen Personal aufgeteilt werden sollte. Wichtig ist hier, dass die Ver- antwortung nicht auf die Patientin oder den Patienten abgewälzt werden darf. Trotzdem muss die Patientin oder der Patient bestmöglich informiert werden, sodass sie oder er in Ab- stimmung mit den Ärztinnen und Ärzten die Letztentscheidung über die eigene Behandlung treffen kann.

Quellen und Referenzen:

[1]https://www.aerzteblatt.de/nachrichten/111593/Digitalisierung-Kabinett-beschliesst-Patientendaten-Schutzgesetz

[2]https://www.plattform-lernende-systeme.de/anwendungsszenario-onkologie.html