»Die Folgen, die das Erscheinen einer zweiten intelligenten Spezies auf der Erde hätte, sind so weitreichend, dass wir sehr genau darüber nachdenken sollten.« Zu diesem Schluss kommt The Economist in seiner Besprechung von Nick Bostroms Buch Superintelligenz. Viele würden diese Aussage als klassisches Beispiel für britisches Understatement werten. Bestimmt, so glauben Sie vielleicht, haben die großen Denker unserer Zeit bereits genau darüber nachgedacht, ernsthaft debattiert, Risiken und Nutzen gegeneinander aufgewogen, Lösungen gesucht, Schlupflöcher gefunden und so fort. Doch soweit ich weiß, ist dies nicht der Fall.

Stellt man diese Überlegungen erstmals einem technischen Publikum vor, sieht man geradezu die Gedankenblasen über den Köpfen aufsteigen: »Aber, aber, aber« beginnen sie und enden mit Ausrufezeichen. Ich will damit nicht sagen, dass es keine vernünftigen Einwände gegen die Ansicht geben kann, dass schlecht konstruierte superintelligente Maschinen eine große Bedrohung für die Menschheit darstellen würden. Es ist nur so, dass mir bisher noch kein solcher Einwand untergekommen ist. Da das Thema so wichtig ist, sollten wir auch an die öffentliche Debatte darüber höchste Qualitätsmaßstäbe anlegen. Im Interesse einer solchen Debatte und in der Hoffnung, dass Sie als Leser und Leserinnen dazu beitragen, möchte ich die bisherigen Highlights zusammenfassen.

Verleugnung

Das Problem zu verleugnen, ist der einfachste Ausweg. Scott Alexander, Autor des Blogs Slate Star Codex, leitet einen bekannten Artikel über die Risiken der KI mit folgenden Worten ein: »Es war um 2007 herum, dass ich begann, mich für die Gefahren der KI zu interessieren. Damals hatte die Mehrheit eine klare Einstellung zu dem Thema: ›Haha. Komm wieder, wenn jemand außer ein paar Internetnerds daran glaubt.‹«

Es ist kompliziert

In der modernen Psychologie gibt es keinen Zweifel daran, dass ein einzelner IQ-Wert nicht ausreicht, um die Vielfalt der menschlichen Intelligenz zu erfassen. Die Theorien sprechen vielmehr von mehreren Dimensionen der Intelligenz: räumliche, logische, sprachliche, soziale Intelligenz usw. Wir können also keine Intelligenzrangfolge aller Menschen bilden. Das gilt umso mehr für Maschinen, deren Fähigkeiten sehr viel spezifischer sind. Die Google-Suchmaschine und AlphaGo haben außer dem Umstand, aus zwei Geschäftsbereichen desselben Konzerns zu stammen, praktisch nichts gemein. Wir können daher weder das eine noch das andere als das intelligentere Produkt von beiden bezeichnen. Ein Intelligenzquotient für Maschinen ist unsinnig. Wir können keinen eindimensionalen IQ-Wettstreit zwischen Menschen und Maschinen erwarten.

Kevin Kelly, Gründungsherausgeber der Zeitschrift Wired und ein bemerkenswert scharfsichtiger Kritiker der Technologie, geht noch einen Schritt weiter. In »The Myth of a Superhuman AI« schreibt er: »Intelligenz ist nicht eindimensional. Damit ist die Aussage, etwas sei ›klüger als die Menschen‹, bedeutungslos.« Mit einem Wisch sind sämtliche Bedenken hinsichtlich einer Superintelligenz vom Tisch gefegt.

Allerdings liegt eine Antwort darauf quasi auf dem gerade leer gefegten Tisch: Eine Maschine könnte die menschlichen Fähigkeiten in allen relevanten Dimensionen der Intelligenz überflügeln. Damit wäre diese Maschine – selbst wenn wir Kellys strikten Maßstab anlegen – klüger als ein Mensch. Doch wir benötigen diese starke Annahme gar nicht, um Kellys Argument zu entkräften. Sehen wir uns einmal die Schimpansen an. Sie verfügen möglicherweise über ein besseres Kurzzeitgedächtnis als der Mensch. Das gilt sogar bei menschentypischen Aufgaben wie dem Abrufen einer Ziffernfolge. Das Kurzzeitgedächtnis ist eine wichtige Dimension der Intelligenz. Folgen wir Kelly, dann sind Menschen nicht klüger als Schimpansen. Er würde sogar sagen, »klüger als ein Schimpanse« sei ein bedeutungsloses Konzept. Ein schwacher Trost für die Schimpansen, deren Spezies nur im von uns gewährten Umfang überlegen dürfen. Und ein noch schwächerer Trost für all die Spezies, die wir bereits ausgelöscht haben. Ach ja: Auch für Menschen, die Angst davor haben, von Maschinen vernichtet zu werden, ist das ein ganz schwacher Trost.

Es ist unmöglich

Schon vor der Geburt der KI im Jahr 1956 rümpften abgehobene Intellektuelle die Nase und behaupteten, es könne gar keine intelligenten Maschinen geben. Alan Turing widmete 1950 einen Großteil seiner wegweisenden Abhandlung »Computing Machinery and Intelligence« der Widerlegung dieser Behauptungen. Doch noch immer muss sich die KI-Community fortwährend ähnlicher Aussagen erwehren. Zu den Verfechtern einer Unmöglichkeit der KI gehören Philosophen6, Mathematiker und andere. In der aktuellen Debatte zur Superintelligenz haben mehrere Philosophen diese Behauptungen wieder aufgegriffen, um zu beweisen, dass die Menschheit sich nicht fürchten muss. Das kommt wenig überraschend.

Die »One Hundred Year Study on Artificial Intelligence«, kurz AI100, ist ein ambitioniertes Langzeitprojekt der Stanford University. Sie soll den Fortschritt der KI im Auge behalten oder – wie die Autoren es ausdrücken – »untersuchen und antizipieren, wie sich die künstliche Intelligenz auf alle Aspekte der Arbeit, des Lebens und des Spielens der Menschen auswirken wird«. Der erste große Zwischenbericht mit dem Titel »Artificial Intelligence and Life in 2030« hält jedoch eine Überraschung bereit: Wie vielleicht zu erwarten ist, betont er den Nutzen der KI in Gebieten wie der medizinischen Diagnose und der Kraftfahrzeugsicherheit. Eher nicht zu erwarten ist die Behauptung, dass »eine Rasse übermenschlicher Roboter […] anders als in Kinofilmen nicht zu erwarten und vermutlich komplett unmöglich« ist.

Meines Wissens ist dies das erste Mal, dass ernsthafte KI-Forscher öffentlich die Ansicht vertreten, dass eine dem Menschen ebenbürtige oder gar übermenschliche KI ein Ding der Unmöglichkeit ist. Diese Aussage kommt noch dazu mitten in einer Phase extrem rascher Fortschritte in der KI-Forschung, in der eine Grenze nach der anderen durchbrochen wird. Das ähnelt einer Gruppe führender Krebsforscher, die ankündigen, uns alle an der Nase herumgeführt zu haben, denn es wird, wie sie schon lange wissen, niemals möglich sein, den Krebs zu heilen.

Wie konnte es zu einer solchen Kehrtwende kommen? Der Bericht liefert leider keine Gründe oder Nachweise dafür. (Die Frage ist ernst gemeint: Welchen Beweis könnte es dafür geben, dass keine der physikalisch möglichen Anordnungen von Atomen leistungsfähiger sein kann als das menschliche Gehirn?) Ich vermute, dass es zwei Gründe gibt: Erstens gibt es ein natürliches Verlangen, die Existenz des Gorilla- Problems zu widerlegen, da es eine recht unbequeme Perspektive für KI-Forscher darstellt. Wenn es aber keine dem Menschen ebenbürtige KI geben kann, hat sich auch die Sache mit dem Gorilla-Problem elegant erledigt. Der zweite Grund nennt sich Stammesdenken. Es handelt sich um den Trieb, eine Wagenburg gegen die als solche wahrgenommenen »Angriffe« auf die KI zu bilden.

Es erscheint seltsam, dass die Aussicht auf eine superintelligente KI einen Angriff auf die KI darstellen könnte. Noch merkwürdiger erscheint es, die KI mit dem Argument zu verteidigen, dass die KI ihre Ziele niemals erreichen wird. Wir können uns nicht vor einer künftigen Katastrophe schützen, indem wir eine Wette gegen den menschlichen Einfallsreichtum abschließen. Das haben schon andere vor uns versucht und sind damit gescheitert. Das Physik-Establishment der frühen 1930er, personifiziert durch Lord Rutherford, war absolut überzeugt davon, dass es unmöglich ist, die Kernenergie nutzbar zu machen. Und doch bewies Leó Szilárds Entdeckung der durch Neutronen ausgelösten nuklearen Kettenreaktion 1933, wie ungerechtfertigt diese Überzeugung war.

Sein Durchbruch kam leider zu einem unseligen Zeitpunkt, nämlich am Beginn des Wettrüstens mit dem nationalsozialistischen Deutschland. Es gab keine Möglichkeit, die Atomtechnologie zum Wohl der Allgemeinheit zu entwickeln. Nachdem Szilárd ein paar Jahre später eine nukleare Kettenreaktion in seinem Labor vorgeführt hatte, schrieb er: »Wir haben alles abgeschaltet und sind nach Hause gegangen. In jener Nacht hatte ich kaum Zweifel daran, dass der Welt großes Leid bevorstand.«

Für Bedenken ist es viel zu früh

Häufig versuchen nüchterne Menschen, die Bedenken der Öffentlichkeit auszuräumen, indem sie darauf hinweisen, dass es wohl noch Jahrzehnte dauern wird, bevor eine dem Menschen ebenbürtige KI kommt. Jetzt sei es daher noch nicht an der Zeit, sich Sorgen zu machen. Ein Beispiel aus der AI100: Es gibt »keinen Anlass zur Sorge, dass die KI eine unmittelbare Bedrohung für die Menschheit darstellt«.

Dieses Argument schießt gleich doppelt am Ziel vorbei. Zunächst greift es einen Strohmann an. Die Besorgnis gründet nicht auf einer unmittelbar bevorstehenden Gefahr. Nick Bostrom schreibt beispielsweise in Superintelligenz: »Sie werden hier keine Argumente dafür finden, dass wir kurz vor einem großen Durchbruch in der Forschung zur künstlichen Intelligenz stehen oder dass sich auch nur

einigermaßen genau vorhersagen lässt, wann es so weit ist.« Zweitens kann auch ein fernes Risiko Grund genug für Sorgen zum jetzigen Zeitpunkt sein. Der richtige Zeitpunkt dafür, sich über ein potenziell ernsthaftes Problem für die Menschheit Gedanken zu machen, hängt nicht nur davon ab, wann dieses Problem auftritt, sondern auch davon, wie lange es dauert, sich darauf vorzubereiten und eine Lösung dafür umzusetzen.

Würden wir heute feststellen, dass sich ein großer Asteroid auf Kollisionskurs mit der Erde befindet, wäre es dann zu früh, Gegenmaßnahmen einzuleiten, nur weil es erst 2069 so weit ist? Ganz im Gegenteil! Weltweit würden wir mit den Maßnahmen für ein Notfallprojekt beginnen, um die Gefahr auszuschalten. Wir würden damit nicht bis 2068 warten, denn wir wissen ja gar nicht, wie lange es dauert, eine Lösung zu finden.

Ein oft zitierter Verfechter des »Für Sorgen ist es viel zu früh«-Arguments ist Andrew Ng, der sagte, es wäre, »als würde man sich Gedanken über die Überpopulation auf dem Mars machen«. (Später ersetzte er den Mars durch Alpha Centauri.) Ng, ehemals Professor an der Stanford University, ist ein führender Experte auf dem Gebiet des Machine Learnings. Seine Ansichten haben also durchaus Gewicht. Seine Behauptung beruht auf einer bequemen Analogie: Nicht nur lässt sich die Gefahr problemlos bannen und liegt noch in der fernen Zukunft. Nein, es ist sogar extrem unwahrscheinlich, dass wir überhaupt jemals Milliarden von Menschen auf dem Mars ansiedeln. Leider ist das eine falsche Analogie, ein Trugschluss: Wir investieren bereits heute gewaltige wissenschaftliche und technische Ressourcen in die Erschaffung immer fähigerer KI-Systeme, ohne groß darüber nachzudenken, was geschieht, wenn wir Erfolg haben. Ein besserer Vergleich wäre der mit dem Plan einer Marsbesiedlung, ohne sich Gedanken darüber zu machen, was wir dort atmen, trinken oder essen werden. Der eine oder andere mag einen solchen Plan für unklug halten. Wieder andere könnten Ngs Argument wortwörtlich nehmen und antworten, dass bereits die Ankunft eines einzigen Menschen auf dem Mars eine Überbevölkerung darstellt, denn der Mars ist nun einmal für exakt null Menschen ausgelegt. Warum überrascht es mich nicht, dass sich alle, die planen, eine Handvoll Menschen auf den Mars zu schicken, bereits Gedanken über eine Überbevölkerung des Mars machen und darum Lebenserhaltungssysteme entwickeln?

Wir sind die Experten

In jeder Diskussion über Risiken gibt es die Gruppe der Verfechter der jeweiligen Technologie, die behaupten, alle Bedenken seien lediglich in Unwissenheit begründet. Lassen wir stellvertretend Oren Etzioni zu Wort kommen, den CEO des Allen Institute for AI und bekannten Forscher auf dem Gebiet des Machine Learnings und des Verstehens natürlicher Sprache:

»Mit dem Aufkommen jeder technologischen Innovation haben sich die Menschen gefürchtet. Von den Webern, die zu Beginn des industriellen Zeitalters mit Schuhen nach den mechanischen Webstühlen warfen, bis zur heutigen Angst vor Killerrobotern war der Grund dafür stets die Ungewissheit der Auswirkungen der neuen Technologie auf unser Selbstwertgefühl und unseren Lebensunterhalt. Und wenn wir etwas nicht wissen, füllt unser ängstlicher Geist die Lücken aus.«

In Popular Science erschien ein Artikel mit der Überschrift »Bill Gates fears AI, but AI Researchers know better« (Bill Gates fürchtet die KI, aber KI-Forscher wissen es besser):

»Wer sich mit KI-Forschern unterhält – gemeint sind echte KI-Forscher, Menschen, die damit kämpfen, dass die Systeme überhaupt funktionieren, geschweige denn zu gutfunktionieren –, erfährt, dass sie keine Angst vor einer überraschend auftauchenden Superintelligenz haben, weder jetzt noch in der Zukunft. Anders als die Schauermärchen, die Musk so gern erzählt, arbeiten KI- Forscher nicht verzweifelt daran, Sicherheitsvorrichtungen oder Selbstzerstörungsmechanismen zu bauen.«

Für diesen Artikel wurden ganze vier Personen befragt, die zudem übereinstimmend erklärten, dass es wichtig sei, sich mit der langfristigen Sicherheit der KI zu befassen. Die Botschaft ist in beiden Fällen klar: »Hört nicht auf sie; wir sind die Fachleute.« Das ist ein klassisches argumentum ad hominem, mit dem eine Behauptung durch persönliche Angriffe auf den Streitgegner angefochten werden soll. Doch selbst wenn wir diese Aussagen für bare Münze nehmen, sind sie nicht stichhaltig. Elon Musk, Stephen Hawking und Bill Gates sind zweifellos mit wissenschaftlicher und technologischer Argumentation gut vertraut. Gerade Musk

und Gates haben viele KI-Forschungsprojekte geleitet und darin investiert. Noch unglaubwürdiger wäre es, Alan Turing, I. J. Good, Norbert Wiener und Marvin Minsky die Qualifikation in der KI-Debatte abzusprechen. In dem bereits erwähnten Blogpost »AI Researchers on AI Risk« von Scott Alexander heißt es, dass »KI- Forscher, darunter auch einige der führenden Köpfe des Felds, maßgeblich und von Beginn an dazu beigetragen haben, die Risiken der KI und Superintelligenz zu thematisieren«. Er nennt mehrere davon mit Namen, mittlerweile ist die Liste viel länger geworden.

Ein weiterer rhetorischer Kniff der »Verteidiger der KI« besteht darin, die andere Seite als Maschinenstürmer oder Ludditen hinzustellen. Oren Etzionis Verweis auf die Weber, die »mit Schuhen nach Webstühlen warfen«, ist ein solcher: Die Ludditen waren Textilarbeiter im frühen 19. Jahrhundert, die gegen die Einführung mechanischer Webstühle als Ersatz für ihr Kunsthandwerk kämpften. 2015 vergab die Information Technology and Innovation Foundation ihren jährlichen Luddite Award an »Panikmacher, die eine KI-Apokalypse ankündigen«. Es mutet seltsam an, Ludditen als jene Gruppe zu definieren, zu der auch Turing, Wiener, Minsky, Musk und Gates gehören, die zu den bekanntesten Vordenkern für den technologischen Fortschritt im 20. und 21. Jahrhundert gehören.

Eine solche Anschuldigung der Maschinenstürmerei ist Folge eines Missverständnisses über die Art der Bedenken und das Ziel dieser Warnungen. Sie ist vergleichbar damit, Kernphysiker des Luddismus zu beschuldigen, wenn diese darauf hinweisen, dass man die Kernspaltung kontrollieren können muss. Wie bei dem seltsamen Phänomen der KI-Forscher, die plötzlich behaupten, dass künstliche Intelligenz ein Ding der Unmöglichkeit sei, dürfte meiner Meinung nach auch hier die Ursache im Stammesdenken zur Verteidigung des technologischen Fortschritts liegen.

Ablenkung

Einige Kommentatoren sind bereit, anzuerkennen, dass die Risiken real sind. Trotzdem argumentieren sie fürs Nichtstun. Diese Argumente umfassen die Unmöglichkeit, etwas zu tun, die Wichtigkeit, etwas ganz anderes zu tun, und die Notwendigkeit, die Risiken unter den Teppich zu kehren.

Forschung lässt sich nicht kontrollieren

Ein häufiger Einwand auf die Aussage, dass eine fortgeschrittene KI eine Bedrohung für die Menschheit darstellen könne, besteht darin, zu behaupten, ein Verbot der KI-Forschung sei unmöglich. Haben Sie den Gedankensprung bemerkt? »Oh, jemand redet von Risiken! Bestimmt will er meine Forschung verbieten!« Dieser Sprung mag in einer Diskussion über Risiken, die rein auf dem Gorilla-Problem beruhen, angemessen sein. Und ich bin der erste, der zugibt, dass eine Lösung des Gorilla-Problems (um die Schaffung einer superintelligenten KI zu verhindern) bestimmte Beschränkungen für die KI-Forschung bedeuten würde.

In den jüngsten Debatten ging es jedoch nicht um das allgemein Gorilla-Problem (also Superintelligenz verhält sich zu Mensch wie Mensch zu Gorilla), sondern um das König-Midas-Problem und seine Varianten. Wenn wir das König-Midas-Problem lösen, haben wir auch das Gorilla-Problem gelöst. Nicht etwa, weil wir das Aufkommen einer superintelligenten KI verhindert oder eine Möglichkeit gefunden haben, sie zu besiegen, sondern weil wir dafür gesorgt haben, dass es niemals zu einem Konflikt mit uns Menschen kommen wird. Diskussionen rund um das König-Midas-Problem vermeiden generell die Behauptung, dass man die KI-Forschung einschränken sollte. Vielmehr wird dazu geraten, die Gefahr zu berücksichtigen, dass schlecht konzipierte Systeme zu negativen Konsequenzen führen können. Ebenso hat eine Diskussion über die Risiken des Versagens der Sicherheitshülle von Atomanlagen nicht das Ziel, Forschungen auf dem Gebiet der Kernphysik zu verbieten, sondern möchte lediglich den Fokus darauf richten, wie man für sichere Hüllen sorgen kann.

Die Geschichte hält einen interessanten Präzedenzfall für ein Forschungsverbot bereit. Anfang der 1970er- Jahre regte sich unter Biologen die Sorge, dass neuartige rekombinante DNA-Verfahren – nämlich das Herausschneiden von Genen aus einem Organismus und Einsetzen in einen anderen (Spleißen) – erhebliche Risiken für die menschliche Gesundheit und das globale Ökosystem bergen könne. Nach zwei 1973 und 1975 im kalifornischen Asilomar abgehaltenen Konferenzen kam es zunächst zu einem Moratorium für solche Experimente und anschließend zu detaillierten Biosicherheitsrichtlinien im Einklang mit den Risiken, die von möglichen Experimenten ausgingen. Einige Klassen von Experimenten wie solche mit Toxin-Genen wurden als zu gefährlich angesehen und daher untersagt.

Gleich nach dem Treffen im Jahr 1975 begann das National Institutes of Health (NIH), das praktisch die gesamte medizinische Grundlagenforschung in den USA finanziert, mit der Einrichtung des Recombinant DNA Advisory Committee. Dieses Beraterkomitee rund um die rekombinante DNA, kurz RAC genannt, war maßgeblich an der Festlegung der NIH-Richtlinien beteiligt, mit denen die Asilomar-Empfehlungen im Wesentlichen umgesetzt wurden. Seit dem Jahr 2000 enthalten die Richtlinien ein Verbot von Förderzusagen für jegliche Studien, die Veränderungen der menschlichen Keimbahn umfassen, also Änderungen des menschlichen Genoms, die an Folgegenerationen vererbt werden können. Diesem Bann folgten gesetzliche Verbote in mehr als 50 Ländern.

Die »Verbesserung der menschlichen Rasse« war immer eines der Traumziele der Eugenik-Bewegung im späten 19. und frühen 20. Jahrhundert. Die Entwicklung der Genschere CRISPR-Cas9 für exakte Eingriffe in das Genom hat diesen Traum neu belebt. Ein internationaler Gipfel im Jahr 2015 ließ die Tür für zukünftige Einsatzmöglichkeiten offen, rief aber zur Zurückhaltung auf, bis »es einen breiten gesellschaftlichen Konsens über die Richtigkeit der vorgeschlagenen Anwendungen gibt«. Im November 2018 gab der chinesische Wissenschaftler He Jiankui bekannt, er habe die Genome dreier menschlicher Embryos verändert, von denen mindestens zwei zu Lebendgeburten geführt hätten. Es gab einen internationalen Aufschrei. Im März 2019 forderte ein internationales Gremium führender Wissenschaftler ausdrücklich ein formales Moratorium.

Die Moral dieser Debatte für die KI ist nicht eindeutig. Einerseits wird klar, dass wir in der Lage sind, Forschungen in einem vielversprechenden Gebiet auszusetzen. Der internationale Zusammenschluss gegen Keimbahnveränderungen war bisher im Großen und Ganzen erfolgreich. Die Sorge, dass ein solches Verbot die Forscher in den Untergrund oder Länder ohne entsprechende Vorschriften treiben würde, hat sich nicht bewahrheitet. Andererseits sind Veränderungen ein leicht erkennbarer Prozess und ein Sonderfall der genetischen Forschung. Man benötigt dafür unter anderem spezielle Ausrüstung und echte Menschen, an denen die Experimente durchgeführt werden können. Hinzu kommt, dass solche Arbeiten Teil der Reproduktionsmedizin sind, die bereits sehr genau überwacht und reguliert wird. All das gilt nicht für die allgemeine KI. Bisher wurde auch noch keine praxistaugliche Art der Regulierung zur Beschränkung von KI- Forschungen vorgeschlagen.

Ablenkungsstrategien

Ablenkungsstrategien sind heute vielleicht besser als Whataboutism bekannt. Ein britischer Politiker, der diesem Phänomen regelmäßig bei öffentlichen Gesprächsrunden ausgesetzt war, machte mich erstmals mit dem englischen Begriff bekannt. Um welches Thema es in seinen Reden auch ging, immer gab es jemanden, der unweigerlich die eine Frage stellte: »Aber was ist mit der Not der Palästinenser?« In Diskussionen über die Risiken einer fortgeschrittenen KI lautet die Frage vermutlich: »Aber was ist mit den Vorteilen, die die KI bietet?« Ich übergebe das Wort an Oren Etzioni:

»Schwarzmalerische Vorhersagen lassen häufig die möglichen Vorteile der KI außen vor, zum Beispiel das Verhindern von medizinischen Fehlern, weniger Autounfälle usw.«

Oder nehmen wir Mark Zuckerberg, CEO von Facebook, in einem von den Medien angeheizten Schlagabtausch mit Elon Musk:

»Wer sich gegen die KI ausspricht, spricht sich gegen sicherere Autos aus, die nicht mehr in Unfälle verwickelt sind, und gegen bessere medizinische Diagnosen.«

Ganz abgesehen von dem Stammesgedanken, dass jeder, der auf Risiken hinweist, »gegen die KI« ist, behaupten Zuckerberg und Etzioni, dass das Reden über die Gefahren gleichbedeutend damit ist, einen möglichen Nutzen der KI zu ignorieren oder sogar zu leugnen. Andersherum wird jedoch ein Schuh daraus: Erstens gäbe es ohne die potenziellen Vorteile der KI keinerlei wirtschaftlichen oder gesellschaftlichen Anreiz, KI-Forschung zu betreiben, und damit auch keine Gefahr, dabei eine dem Menschen ebenbürtige KI zu erschaffen. Die ganze Diskussion würde also gar nicht geführt. Zweitens gilt, dass es ohne erfolgreiche Minderung der Risiken gar keine Vorteile geben wird. Die potenziellen Vorteile der Kernenergie schätzt man heute erheblich geringer ein als früher. Das liegt nicht zuletzt an der partiellen Kernschmelze in Three Mile Island 1979, der außer Kontrolle geratenen Reaktion und katastrophalen Freisetzung in Tschernobyl 1986

und den Kernschmelzen in Fukushima 2011. Diese Katastrophen haben das Wachstum der Atomindustrie deutlich gebremst. Italien hat der Kernenergie 1990 abgeschworen und Belgien, Deutschland, Spanien sowie die Schweiz haben entsprechende Pläne angekündigt. Seit 1990 ist die Zahl der weltweiten Inbetriebnahmen von Atomkraftwerken auf ein Zehntel der Anzahl vor Tschernobyl zurückgegangen.

Schweigen

Die extremste Form der Ablenkung ist der Vorschlag, gar nicht über die Risiken zu sprechen. So enthält der oben erwähnte Bericht zur AI100 die folgende Warnung:

»Wenn die Gesellschaft sich diesen Technologien vornehmlich mit Furcht und Misstrauen nähert, wird es zu Fehltritten kommen, die den Fortschritt der KI verlangsamen oder das Gebiet sogar in den Untergrund verbannen. Dadurch würden wichtige Arbeiten behindert, die für die Sicherheit und Zuverlässigkeit von KI-Technologien sorgen sollen.«

Robert Atkinson, Leiter der Information Technology and Innovation Foundation (die auch den Luddite Award vergibt), brachte 2015 in einer Debatte ein ähnliches Argument vor. Zwar gibt es berechtigte Fragen dazu, wie genau Risiken gegenüber der Presse beschrieben werden sollten, aber die Stoßrichtung ist klar: »Risiken werden nicht erwähnt, das wäre schlecht für die Finanzierung.« Wenn niemand die Risiken kennt, kann es logischerweise auch keine Fördermittel für die Erforschung der Risikominderung geben – und auch keinen Grund dafür.

Der bekannte Kognitionswissenschaftler Steven Pinker hat eine optimistischere Version von Atkinsons Argument parat. Seiner Ansicht nach wird die »Kultur der Sicherheit in modernen Gesellschaften« schon dafür sorgen, dass alle ernsthaften Gefahren, die von der KI ausgehen, eliminiert werden. Daher sei es unangemessen und kontraproduktiv, die Aufmerksamkeit auf diese Risiken zu lenken. Lassen wir die Tatsache außen vor, dass unsere moderne Kultur der Sicherheit zu Tschernobyl, Fukushima und einer unkontrollierbaren Erderwärmung geführt hat, so schießt Pinkers Argument dennoch komplett am Ziel vorbei. Die Kultur der Sicherheit sorgt nämlich genau dafür, dass es Menschen gibt, die auf mögliche Fehlentwicklungen aufmerksam machen und nach Wegen suchen, die sicherstellen, dass es nicht dazu kommt. (In der KI ist das Standardmodell die Fehlentwicklung.) Wer behauptet, es sei lächerlich, auf eine Fehlentwicklung hinzuweisen, weil die Kultur der Sicherheit diese sowieso beheben würde, ist auch der Meinung, niemand müsse für einen angefahrenen Fußgänger bei Fahrerflucht einen Krankenwagen rufen, weil das schon jemand anderer erledigen wird.

Beim Versuch, die Risiken für die Öffentlichkeit und politische Entscheidungsträger zu beschreiben, sind KI- Forscher gegenüber Kernphysikern im Nachteil: Kein Physiker musste Bücher schreiben, um der Öffentlichkeit zu erklären, dass das Erreichen einer kritischen Masse hoch angereicherten Urans möglicherweise eine Gefahr darstellen würde, denn das war aus den Atombombenabwürfen über Hiroshima und Nagasaki bereits bekannt. Es war kein besonderes Maß an Überredungskunst mehr nötig, auch Regierungen und Förderagenturen davon zu überzeugen, dass Sicherheit bei der weiteren Entwicklung der Kernkraft wichtig ist.

Können wir nicht einfach … … den Stecker ziehen?

Sobald das existenzielle Risiko erkannt ist, sei es in Form des Gorilla-Problems oder des König-Midas- Problems, beginnen viele – ich eingeschlossen – mit der Suche nach einer einfachen Lösung. Häufig besteht die erste Idee darin, einfach den Stecker der Maschine zu ziehen. Sie erinnern sich vielleicht daran, dass Alan Turing empfahl, »die Maschinen in einer untergeordneten Stellung zu halten, indem wir sie beispielsweise im passenden Moment ausschalten«.

Leider funktioniert das nicht, denn eine Superintelligenz wird diese Möglichkeit bereits erwogen und Gegenmaßnahmen eingeleitet haben. Das liegt nicht daran, dass die Maschine »leben« will, sondern daran, dass sie das ihr vorgegebene Ziel nicht erreichen kann, wenn sie abgeschaltet wird. Und weil die Maschine superintelligent ist, weiß sie das natürlich.

Aktuell werden gewisse Systeme ins Auge gefasst, die sich nicht abschalten lassen, ohne gleichzeitig einen großen Teil des Gerüsts unserer Zivilisation einzureißen. Es geht um sogenannte Smart Contracts in der Blockchain. Die Blockchain ist eine weiträumig verteilte Rechen- und Speicherinfrastruktur mit Verschlüsselung. Sie ist von Grund auf so konzipiert, dass kein Datensatz gelöscht und kein Smart Contract ausgesetzt werden kann, ohne die Kontrolle über eine sehr große Anzahl von Maschinen zu erlangen und die Blockchain abzuwickeln (auf einen früheren Stand zu bringen), was wiederum große Teil des Internets oder des Finanzsystems zerstören könnte. Man kann darüber streiten, ob es sich bei dieser Robustheit um eine Funktion oder einen Fehler handelt. In jedem Fall aber könnte ein superintelligentes KI-System diese Technik nutzen, um sich selbst zu schützen.

… eine Kiste bauen?

Wenn wir KI-Systeme schon nicht abschalten können, besteht dann wenigstens die Möglichkeit, sie hinter eine Art Firewall zu sperren, die nur unsere Fragen und die nützlichen Antworten der Maschine durchlässt, aber ansonsten jede direkte Einflussnahme auf die echte Welt verhindert? Das ist die Idee hinter einer Orakel-KI, die in der KI-Sicherheitscommunity schon ausführlich diskutiert wurde. Ein Orakel-KI-System kann beliebig intelligent sein, aber nur Fragen mit Ja oder Nein beantworten (bzw. Wahrscheinlichkeiten nennen). Es kann auf alle Informationen zugreifen, die die Menschheit besitzt – allerdings im schreibgeschützten Modus ohne direkten Zugriff auf das Internet. Damit werden superintelligente Roboter, Assistenten und viele andere Arten von KI-Systemen natürlich unmöglich. Trotzdem hätte eine vertrauenswürdige Orakel-KI nach wie vor einen gewaltigen wirtschaftlichen Wert, da wir Fragen stellen können, die uns wichtig sind: Wird Alzheimer durch einen Infekt verursacht? Ist ein Verbot autonomer Waffensysteme eine gute Idee? Das klingt doch super!

Leider gibt es einige größere Schwierigkeiten. So wird ein Orakel- KI-System mindestens ebenso wie wir bestrebt sein, die Physik und Ursprünge seiner Welt zu verstehen: Rechenressourcen, Funktionsweise und die geheimnisvollen Wesen, die Informationen liefern und Fragen stellen. Außerdem hat ein Orakel-KI- System, das in angemessener Zeit exakte Antworten geben soll, einen Anreiz, seinen Käfig zu verlassen, um sich mehr Rechenressourcen zu verschaffen und die Fragesteller zu kontrollieren und sie dazu zu bringen, nur einfache Fragen zu stellen. Und schließlich müssen wir selbst eine Firewall, die gegen gewöhnliche Menschen hilft, erst noch erfinden. Die gegen eine superintelligente Maschine dürfte deutlich komplexer sein.

Ich kann mir vorstellen, dass es vielleicht Lösungen für ein paar dieser Probleme gibt – ganz besonders, wenn wir Orakel-KI-Systeme auf nachweislich profunde logische oder bayessche Berechnungen beschränken. Das bedeutet, wir könnten darauf bestehen, dass der Algorithmus nur Schlussfolgerungen ausgeben kann, die sich aus den vorgegebenen Informationen ableiten lassen. Und wir könnten mathematisch prüfen, dass der Algorithmus diese Bedingung erfüllt. Es bleibt jedoch das Problem, den Prozess zu kontrollieren, der entscheidet, welche logischen oder bayesschen Berechnungen ausgeführt werden, um so schnell wie möglich zur zuverlässigsten Schlussfolgerung zu gelangen. Dieser Prozess hat den Anreiz, schnelle Schlüsse zu ziehen, und somit auch einen Anreiz, sich weitere Rechenressourcen zu verschaffen und seine eigene Existenz zu bewahren.

2018 veranstaltete das Center for Human-Compatible AI in Berkeley einen Workshop, in dem die folgende Frage gestellt wurde: »Was würden Sie tun, wenn Sie sicher wüssten, dass eine superintelligente KI binnen eines Jahrzehnts machbar wäre?« Meine Antwort lautet: Ich würde die Entwickler überreden, die Finger von einem intelligenten allgemeinen Agenten zu lassen, der über seine eigenen Aktionen in der realen Welt entscheiden kann, und stattdessen eine Orakel-KI zu bauen. Momentan arbeiten wir an der Frage, wie sich Orakel-KI-Systeme überprüfbar maximal sicher gestalten lassen. Das könnte aus zweierlei Gründen funktionieren: Erstens wäre ein superintelligentes Orakel-KI-System noch immer zig Billionen US-Dollar wert, was es den Entwicklern leichter macht, eine solche Beschränkung zu akzeptieren. Zweitens ist es sehr viel einfacher, die Kontrolle über Orakel-KI-Systeme zu behalten als über einen intelligenten allgemeinen Agenten. Damit wäre es auch viel wahrscheinlicher, das Problem innerhalb einer Dekade zu lösen.

… in Teams aus Menschen und Maschinen arbeiten?

Ein Gemeinsatz bei Unternehmen lautet, dass KI keine Arbeitsplätze oder gar die Menschheit bedroht, weil wir künftig in Mensch-Maschine-Teams arbeiten werden. Im bereits erwähnten Brief von David Kenny an

den US-Kongress heißt es, »wertvolle KI-Systeme sind speziell darauf ausgelegt, die menschliche Intelligenz zu erweitern, nicht darauf, Arbeiter zu ersetzen«.
Zyniker mögen sagen, das sei lediglich ein PR-Stunt, der den Abbau von Arbeitsplätzen gegenüber Verbrauchern und Kunden hübsch verpackt. Ich denke allerdings, dass es wirklich ein Schritt nach vorn ist, Teams aus Menschen und Maschinen zu bilden, die Hand in Hand arbeiten. Die Arbeit eines solchen Teams wäre nicht erfolgreich, wenn die Ziele der einzelnen Mitglieder nicht übereinstimmten. Es muss daher zunächst darum gehen, sich dem Kernproblem der Werteausrichtung zu widmen. Natürlich ist es damit noch lange nicht gelöst.

… uns mit den Maschinen vereinen?

Spinnt man die Idee eines Mensch-Maschine-Teams weiter, gelangt man irgendwann zu dem Punkt, an dem Mensch und Maschine eins werden, ein kybernetischer Organismus oder Cyborg, bei dem elektronische Hardware direkt mit dem Gehirn verbunden ist, sodass eine einheitliche, erweiterte, bewusste Entität entsteht. Der Futurist Ray Kurzweil beschreibt die Möglichkeit wie folgt:

»Wenn wir uns unmittelbar damit vereinen, werden wir zu künstlichen Intelligenzen […] In den späten 2030er- oder 2040er-Jahren wird unser Denken primär nicht biologisch sein und der nicht biologische Teil wird letztendlich so intelligent sein und über eine solch gewaltige Kapazität verfügen, dass er den biologischen Teil schließlich vollkommen modellieren, simulieren und verstehen kann.«

Kurzweil sieht die Entwicklung also positiv. Elon Musk dagegen sieht die Vereinigung von Mensch und Maschine in erster Linie als Verteidigungsstrategie:

»Wenn wir eine so enge Symbiose erreichen, wäre die KI nicht länger ein ›Ding‹, die KI wäre Sie und [sie stünde in] Beziehung zu Ihrem Kortex, ähnlich wie Ihr Kortex zu Ihrem limbischen System in Beziehung steht […] Wir haben dann die Wahl, zurückgelassen und irgendwann praktisch nutzlos oder zu einer Art Haustier zu werden – wie eine Schmusekatze –, oder eine Möglichkeit zu finden, eine symbiotische Vereinigung mit der KI einzugehen.«

Die Neuralink Corporation, ein Unternehmen von Musk, arbeitet an einem Gerät namens »Neural Lace«. Damit soll eine robuste, dauerhafte Verbindung zwischen dem menschlichen Kortex und externen Rechnersystemen und Netzwerken hergestellt werden. Es gibt allerdings zwei große technische Hürden: Zum einen ist es alles andere als leicht, ein elektronisches Gerät an das Hirngewebe anzuschließen, es mit Energie zu versorgen und mit der Außenwelt zu verbinden. Zum anderen wissen wir fast nichts über die neuronale Implementierung der höheren kognitiven Ebenen im Gehirn und können daher auch nicht sagen, wo dieses Gerät angeschlossen werden muss und welche Aufgaben es übernehmen soll. Ich bin nicht wirklich davon überzeugt, dass die genannten Hürden unüberwindbar sind. Erstens werden durch Technologien wie den neuronalen Staub (Neural Dust) Größe und Energiebedarf elektronischer Geräte, die an Nervenzellen angeschlossen werden und Fühlen, Stimulieren und transkranielle Kommunikation ermöglichen, immer schneller immer kleiner. (Für das Jahr 2018 reden wir über einen Kubikmillimeter, sodass die Bezeichnung neuronaler Splitt wohl angemessener wäre.) Zweitens ist das Gehirn selbst erstaunlich anpassungsfähig. Man dachte zum Beispiel, dass wir den Code verstehen müssten, mit dem das Gehirn die Armmuskulatur steuert, bevor wir es erfolgreich mit einem Roboterarm verbinden können, oder dass wir wissen müssten, wie die Cochlea den Schall analysiert, um ein Implantat dafür konstruieren zu können. Wie sich herausgestellt hat, nimmt uns das Gehirn die meiste Arbeit ab. Es lernt schnell, den Roboterarm so zu bewegen, wie sein Besitzer es möchte, oder die Ausgaben eines Cochlea-Implantats verständlichen Klängen zuzuordnen. Es ist durchaus möglich, dass wir einen Weg finden, den »Arbeitsspeicher« des Gehirns zu erweitern, Kommunikationskanäle zu Computern aufzubauen und vielleicht sogar mit anderen Gehirnen zu kommunizieren, ohne dass wir jemals wirklich verstehen, wie das Ganze funktioniert. Ungeachtet der technologischen Machbarkeit dieser Ideen müssen wir uns aber fragen, ob in dieser Richtung die beste aller möglichen Varianten der Zukunft für die Menschheit liegt. Denn wenn wir uns chirurgischen Eingriffen am Gehirn unterziehen müssen, um die Bedrohung einer von uns geschaffenen Technologie zu überleben, haben wir vielleicht schon vorher einen Fehler gemacht.

… vermeiden, menschliche Ziele vorzugeben?

Häufig wird argumentiert, ein problematisches KI-Verhalten sei die Folge bestimmter Arten von Vorgaben. Ließe man diese weg, wäre alles in Ordnung. Diese Meinung vertritt auch Yann LeCun, ein Wegbereiter des Deep Learnings und Forschungsdirektor bei Facebook, wenn er die Risiken der KI kleinredet:

»Es gibt keinen Grund dafür, dass KIs über Selbsterhaltungsinstinkte, Neid usw. verfügen sollten. […] KIs können derartig zerstörerische ›Emotionen‹ nur haben, wenn wir sie ihnen einpflanzen. Und ich wüsste wirklich nicht, warum jemand das tun sollte.«

Bei der Betrachtung der übergeordneten Ziele haben wir bereits festgestellt, dass es völlig unerheblich ist, ob wir Emotionen oder Wünsche und Triebe wie Selbsterhalt, Ressourcenbeschaffung, Wissensdurst oder im Extremfall Herrschaftsgelüste in die Maschine einbauen. Sie wird diese Emotionen sowieso entwickeln, weil es sich um Teilziele jedes Ziels handelt, das oder die wir ihr vorgeben. Für eine Maschine ist der Tod an sich nicht schlecht. Dennoch gilt es, den Tod zu vermeiden, denn: Tote holen keinen Kaffee.

Eine noch extremere Lösung besteht darin, der Maschine gar keine Ziele vorzugeben. Voilà, Problem gelöst! Doch leider ist es nicht so einfach. Ohne Ziele gibt es keine Intelligenz: Alle Aktionen wären gleichwertig und wir könnten anstelle der Maschine auch einen Zufallszahlengenerator verwenden. Ohne Ziele gibt es keinen Grund für die Maschine, ein menschliches Paradies einem von Büroklammern bedeckten Planeten vorzuziehen (Nick Bostrom beschreibt dieses Szenario eingehend). Tatsächlich hätte sogar jemand einen Nutzten davon: das Bakterium Thiobacillus ferrooxidans, das sich von Eisenverbindungen »ernährt«. Und wer will ihm sein persönliches Paradies absprechen (abgesehen davon, dass wir als Menschen natürlich ganz andere Präferenzen haben)?

Eine Variante der Idee, keine Ziele vorzugeben, besteht in der Überlegung, dass ein hinreichend intelligentes System sowieso eben aufgrund seiner Intelligenz die »richtigen« Absichten und Ziele entwickeln wird. Verfechter dieser Idee hängen häufig der Theorie an, dass intelligentere Menschen auch altruistischere und höhere Ziele haben; aber das mag auch mit dem Selbstverständnis dieser Personen zu tun haben. Nick Bostrom stellt in seinem Buch Superintelligenz seine Grundidee vor. Er nennt sie dieOrthogonalitätsthese:

»Intelligenz und letzte Ziele stehen orthogonal zueinander: So gut wie jedes Intelligenzniveau kann im Prinzip mit so gut wie jedem Ziel kombiniert werden.«

Hier bedeutet orthogonal »im rechten Winkel zueinander« in dem Sinne, dass das Intelligenzniveau die eine Achse eines intelligenten Systems bildet und die Ziele die andere Achse; beide können unabhängig voneinander verändert werden. Ein Beispiel: Sie können einem selbstfahrenden Auto eine bestimmte Adresse als Ziel vorgeben. Wenn Sie dem Auto nun beibringen, besser zu fahren, wird es sich nicht plötzlich weigern, Adressen anzusteuern, deren Hausnummern durch 17 teilbar sind. Ebenso ist gut vorstellbar, dass ein intelligentes Allzwecksystem praktisch jedes beliebige Ziel verfolgen soll, und dazu gehört auch die Aufgabe, möglichst viele Büroklammern herzustellen oder weitere Nachkommastellen für Pi zu bestimmen. Auf genau diese Weise funktionieren Reinforcement Learning und andere Arten der Belohnungsoptimierung: Die Algorithmen sind absolut allgemein gehalten und können jedes beliebige Belohnungssignal nutzen. Für Ingenieure und Informatiker, die mit dem Standardmodell arbeiten, ist die Orthogonalitätsthese selbstverständlich.

Die Vorstellung, dass intelligente Systeme die Welt einfach nur beobachten, um die zu verfolgenden Ziele zu ermitteln, bedingt, dass ein hinreichend intelligentes System naturgemäß sein anfängliches Ziel durch das »richtige« Ziel ersetzt. Doch es dürfte kaum einen Grund für einen vernunftbegabten rationalen Agenten geben, dies zu tun. Zudem setzt sie voraus, dass es irgendwo in der Welt ein »richtiges« Ziel gibt. Dieses müsste ein Ziel sein, dass neben Eisenfresserbakterien und Menschen auch alle anderen Spezies teilen – und das ist kaum vorstellbar.

Steven Pinker scheint Bostroms Orthogonalitätsthese zuzustimmen, wenn er schreibt, dass »Intelligenz die Fähigkeit ist, neue Mittel zu finden, um ein Ziel zu erreichen; die Ziele sind kein Teil der Intelligenz selbst«. Andererseits findet er es unvorstellbar, dass »eine KI gleichzeitig so brillant ist, dass sie herausfindet, wie man Elemente transmutiert und Gehirne neu verdrahtet, und so dumm, dass sie Dinge grob missversteht und so Chaos verursacht«. Er fährt fort: »Die Fähigkeit, sich für eine Handlungsalternative zu entscheiden,

die widersprüchliche Ziele bestmöglich befriedigt, ist kein Add-on, dass Ingenieure möglicherweise vergessen und nicht getestet haben; sie ist Intelligenz. Dasselbe gilt auch für die Fähigkeit, die Absichten eines Sprechers im Kontext zu beurteilen.« Natürlich ist das Befriedigen widersprüchlicher Ziele nicht das eigentliche Problem; diese Fähigkeit ist seit Anbeginn der Entscheidungstheorie integraler Bestandteil des Standardmodells. Das Problem besteht darin, dass die widersprüchlichen Ziele, von denen die Maschine weiß, nicht alle Sorgen und Angelegenheiten der Menschen abbilden. Außerdem gibt es keinen Aspekt im Standardmodell, der die Maschine darüber informiert, dass sie sich um Ziele kümmern soll, die ihr nicht explizit vorgegeben werden.

Es erscheint uns dumm, wenn die Maschine zum Beispiel die Farbe des Himmels verändert, während sie ein anderes Ziel verfolgt und dabei offensichtliche Anzeichen menschlicher Unzufriedenheit ob dieser Änderung ignoriert. Es erscheint uns dumm, weil wir gewohnt sind, menschliches Missfallen zu erkennen, und (zumindest normalerweise) darauf aus sind, es zu verhindern – auch wenn wir vorher noch gar nicht wussten, dass den betroffenen Menschen die Farbe des Himmels wichtig ist. Soll heißen: (1) Uns Menschen sind die Präferenzen anderer Menschen wichtig und (2) wir wissen, dass wir nicht all diese Präferenzen kennen.

Der Debatte Neuanfang

Trotz ihrer heldenhaften Bemühungen konnten die Skeptiker – die die von der KI ausgehenden Gefahren für vernachlässigbar halten – nicht erklären, warum sich superintelligente KI-Systeme ohne jeden Zweifel und auf alle Zeit der Kontrolle des Menschen unterwerfen. Sie haben noch nicht einmal versucht, zu erklären, warum wir es niemals schaffen können, superintelligente KI-Systeme zu konstruieren.

Viele Skeptiker werden, wenn man nur penetrant genug nachfragt, zugeben, dass es ein echtes Problem gibt – wenn es auch nicht unmittelbar bevorsteht. Auch wenn ich froh darüber wäre, wenn die Skeptiker einen unwiderlegbaren Einwand präsentieren würden – vielleicht in Form einer einfachen und narrensicheren (und am besten auch Bösewicht-sicheren) Lösung für das Kontrollproblem der KI –, denke ich, dass dies höchstwahrscheinlich nie passieren wird. Genauso wenig, wie wir eine einfache und narrensichere Lösung für die Cybersicherheit oder eine einfache und narrensichere Lösung für eine risikolose Kernenergie finden werden. Die Debatte hat die Zwickmühle, in der wir uns befinden, offenbart: Wenn wir Maschinen bauen, die Ziele optimieren sollen, dann müssen die von uns vorgegebenen Ziele auch wirklich unseren Wünschen entsprechen. Leider wissen wir nicht, wie man menschliche Ziele vollständig und korrekt definiert. Zum Glück gibt es einen Mittelweg.