Schleichender Verlust menschlicher Kontrolle. US-Soldaten bei der Steuerung einer Drohnen- Show in Point Mugu, Kalifornien, Juli 2015. © Reuters/ Patrick T. Fallon
Schleichender Verlust menschlicher Kontrolle. US-Soldaten bei der Steuerung einer Drohnen- Show in Point Mugu, Kalifornien, Juli 2015. © Reuters/ Patrick T. Fallon

Killerroboter Kalte Logik der Algorithmen

Interview von Hannah El-Hitami. Erschienen in «AMNESTY – Magazin der Menschenrechte» von Juni 2017.
Killerroboter sind nicht mehr Science-Fiction. Weltweit gibt es einen Trend hin zu automatisierten Waffensystemen, die sich menschlicher Kontrolle immer weiter entziehen. Kritische Stimmen wie Niklas Schörnig befürchten einen Rüstungswettlauf mit künstlicher Intelligenz.
AMNESTY: Der Bordcomputer HAL hat es  im Science-Fiction-Film «2001 – Odyssee  im Weltraum» vorgemacht, mittlerweile  ist das Thema bis in den «Tatort» vorgedrungen:  Computer verselbstständigen  sich und entziehen sich der Kontrolle ihrer  menschlichen Erschaffer. Können Menschen  wirklich einschätzen, wozu künstliche  Intelligenz fähig ist? 

Niklas Schörnig Niklas Schörnig.

Niklas Schörnig: Ich bin mir nicht sicher,  ob wir immer wissen, was Software  macht, nur weil wir den Code kennen.  Denn moderne Systeme sind sehr komplex  und manche dazu noch lernfähig.  Da es praktisch nicht vorherzusehen ist,  was die Software lernt, habe ich meine  Zweifel, dass man da wirklich die Kontrolle  behalten kann.  

Was bedeutet das für Roboter, die in der  Kriegsführung eingesetzt werden?

Wenn wir davon ausgehen, dass zukünftige  Systeme auf der Basis von  künstlichem Lernen Entscheidungen  treffen können, wissen wir nicht, wie sie  in einer Extremsituation reagieren werden.  Das heisst, die Systeme könnten etwas  Überraschendes tun oder etwas, das  wir überhaupt nicht wollen und das  möglicherweise gegen Recht und Ethik  verstösst.  

Wie weit ist der Einsatz autonomer Waffensysteme  bereits fortgeschritten? 

Nach amerikanischer Definition sind  autonome Waffensysteme Systeme, die  Zielauswahl und Zielbekämpfung verbinden  – ohne dass ein Mensch das Ziel  bestätigen müsste, womit der Angriff ja  bislang erst eingeleitet wurde. Solche  Systeme existieren bereits zur Verteidigung  von Schiffen oder Lagern, wo etwa  automatische Kanonen eingesetzt werden,  die anfliegende Geschosse abschiessen.  Allerdings sind solche Systeme noch  nicht für Angriffe auf Menschen entwickelt. Bislang werden diese Systeme in  der Regel stationär eingesetzt, das heisst,  man hat eine halbwegs gute Vorstellung  davon, wo sie wirken werden.

«Es könnte zu Kriegen aus  Versehen kommen, wenn die  Waffensysteme verschiedener  Staaten sich unerwartet als feindlich interpretieren. Der Konflikt könnte eskalieren, ehe der Mensch das überhaupt merkt.»

Wie viel Kontrolle werden Roboter in den  Kriegen der Zukunft ausüben? 

In der Zukunft lassen sich automatisierte  Waffensysteme vorstellen, die die Entscheidung  darüber, einen bestimmten  Menschen oder eine Gruppe von Menschen  anzugreifen, selbstständig treffen,  ohne dass das ein Mensch verifizieren  und bestätigen müsste. Ausserdem wären  diese Systeme mobil, sodass sich  nicht vorhersagen liesse, an welchem Ort  sie aktiv werden. Überall existieren schon  Systeme, die den Menschen noch in der  Schleife haben, ihn aber unter enormen  Druck setzen, sehr schnell zu entscheiden.  Da bleibt der Mensch formal zwar  der Entscheider. Er kann aber nicht immer  sinnhaft überprüfen, ob das, was der  Computer vorschlägt, überhaupt ein völkerrechtlich  valides Ziel ist. 

Warum sollte es besser sein, wenn Menschen  Menschen töten – und nicht Maschinen? 

Einige Robotiker in den USA sagen, es  wäre gar nicht schlecht, Computer über  Leben und Tod entscheiden zu lassen,  weil sie das ohne Emotion tun können  und damit sozusagen «humaner». Der  Roboter, so diese Logik, schiesse nicht  zurück aus Angst, Rache oder aus Verzweiflung  – er begehe deshalb auch keine  Kriegsverbrechen. Dem würde ich  entgegenhalten, dass es grundsätzlich  unethisch ist, einen Computer über Leben  und Tod entscheiden zu lassen. Es  muss immer ein Mensch als Kontrollinstanz  da sein, jenseits der kalten Logik  von Algorithmen – ein Mensch, der sein  Gewissen belastet, der mit dieser Entscheidung  leben muss und für deren  Konsequenzen die Verantwortung trägt.

Menschen können aus Rache, Furcht  oder Stress handeln. Welche Fehlerquellen gibt es bei Robotern? 

Die aktuelle Generation an Systemen ist  definitiv noch nicht in der Lage, zwischen  Kombattanten und Zivilisten zu unterscheiden.  Das fällt sogar Menschen  schwer. Computer kennen bisher auch  noch nicht das Kriterium der Proportionalität,  das im Völkerrecht eine ganz zentrale  Rolle spielt. Demnach muss der Einsatz  der Waffe im Verhältnis zum militärischen  Vorteil stehen. Aber selbst wenn  Computer das in Zukunft berücksichtigen  könnten, entstünden neue Probleme:  Wenn etwa das komplexe Waffensystem  eines Staats auf das eines anderen träfe,  das wiederum auf sehr komplexen Algorithmen  basiert, liesse sich die Interaktion  dieser Algorithmen nicht vorhersehen. Es  könnte zu Kriegen aus Versehen kommen,  weil diese Systeme sich unerwartet  als feindlich interpretieren. Und da diese  sehr, sehr schnell agieren, könnte es dazu  kommen, dass der Konflikt eskaliert, ehe  der Mensch das überhaupt merkt.

Welche Bemühungen zur Kontrolle der  Entwicklungen gibt es? 

Der Diskurs über tödliche autonome  Waffensysteme wird dank verschiedener  NGOs, darunter auch Amnesty International,  seit 2010 immer intensiver  geführt. Und 2017 werden die Entwicklungen  erstmals in einem offiziellen Expertentreffen  der Unterzeichnerstaaten  der Uno-Waffenkonvention in Genf diskutiert.  Bei diesem Thema hat die Zivilgesellschaft  staatlichen Vertretern die Bedrohung,  die von diesen Waffensystemen  ausgeht, sehr schnell klarmachen können.  Geholfen hat, dass eben noch kein Staat  über autonome Waffensysteme verfügt,  die sich gegen Menschen richten. 

Was ist das Ziel des Treffens in Genf? 

Es soll ein Verbot tödliche autonomer  Waffensysteme erreicht werden, die ganz  bewusst Menschen ins Visier nehmen  und die Entscheidung über die Tötung  selbstständig treffen. Natürlich ist die  Durchsetzung eines möglichen Verbots  extrem schwierig. Die Frage, ob eine Waffe  selbstständig über Leben und Tod entscheidet,  ist eine Frage der Software, und  wir wissen noch nicht, wie sich Software  durch Rüstungskontrollabkommen kontrollieren  lässt. Aber immerhin gibt es bislang  keinen Staat, der solche Systeme  ernsthaft befürwortet. Das lässt hoffen.