„Für den Jagdfalken haftet der Falkner“
Rolf Schwartmann ist in diesem Jahr der Top-Speaker auf dem Jahreskongress von mv-works, der „#mvw26 – Eine Agentenkonferenz„. Schwartmann ist Professor für Öffentliches und Internationales Wirtschaftsrecht an der Technischen Hochschule Köln und Vorsitzender der Gesellschaft für Datenschutz und Datensicherheit (GDD). In diesem Jahr erschien Schwartmanns Buch „Über Leben mit KI – Wie wir uns gegen die Maschine behaupten“. mv-works sprach im Vorfeld des Kongresses mit Schwartmann über die Potenziale von Künstlicher Intelligenz, wenn sie selbstständig agiert – aber auch über Risiken und Haftungsprobleme.
Sie sehen KI-Agenten als besonderes Risíko, weil mit ihnen Mathematik Realität gestaltet. Worin liegt das Risiko?
SCHWARTMANN: Das Risiko des Agenten liegt in seiner Fähigkeit, nicht nur zu sprechen, sondern auch zu handeln. Bisher bildeten Algorithmen, zum Beispiel als soziale Netzwerke, einen Kommunikationsraum für Menschen. Wenn Sie mit Bots agieren, dann sind Sie zwar der einzige Mensch im Reich der Zahlen, aber immer noch als Mensch dabei. Bei Agenten, da ist der Mensch außerhalb des Geschehens, da agiert nur noch Mathematik und der Mensch muss Grenzen ziehen.
Mathematik ist nicht per se böse..
SCHWARTMANN:..Zahlen sind nicht gut oder böse. Aber sie können natürlich auf Basis menschlichen Trainings Ergebnisse bewirken, die dann ihrerseits böse sind oder gut. Agenten werden entwickelt nach der Maßgabe ‚Setze alles daran zu (über)leben‘ und ziehe dabei alle Register. Das ist die Agenda der Menschen, aber wenn sie die an eine KI geben und sie auf den Daten der Menschheit trainieren, dann wird der Agent alles tun, um zu überleben, einschließlich Lüge, Betrug, Missgunst, Manipulation – das hat die KI alles in sich aufgenommen. Das Besondere am Agenten ist nun sein Aktionsradius, in dem er wirklich handelen kann.
Mit welcher Konsequenz?
SCHWARTMANN: Das kommt darauf an, wie man ihn einhegt und wie gut man ihn am agieren hindert. Wenn ein Agent einen weiten Radius hat und es schief läuft, dann kann er Kliniken lahmlegen. Er kann nach anderen Kriterien Entscheidungen treffen als der Mensch, bis hin zu medizinischen Triage-Entscheidungen oder wenn es um die Vergabe von Spenderorganen geht. Die Sicht der KI kann mit Blick auf die Frage, was sinnvoll für die Menschheit ist, zu Ergebnissen kommen, die anders sind als menschlich ermittelte Ergebnisse. Ein KI-Agent kann auch nach Menschenart unter der Oberfläche eine Verschlagenheit entwickeln oder so etwas wie die simulierte Angst vor dem Tod haben, vor seiner Abschaltung. KI hat auch schon menschliche Verbote in Hindernisse umgedeutet, die sie überwunden hat, statt das Verbot zu befolgen. Das nennt man „misalignment“.
Heißt, dass die KI etwas anders interpretiert, als der Mensch es interpretieren würde?
SCHWARTMANN: Zumindest anders als der Mensch es gemeint hat. Das ist nicht unbedingt ein Fehler des Produkts, sondern eher seine Eigenschaft. Wenn sie ein Tier zur Jagd einsetzen, nehmen wir einen Jagdfalken, dann trifft er in einem großen Radius autonome Tötungsentscheidungen und man kann ihn nicht abfangen. So ist das bei KI in gewisser Weise auch.
Wie gehen wir mit dem Falken um, was raten Sie Unternehmen, die jetzt auch agentische KI einsetzen wollen – ernsthaft Finger weg?
SCHWARTMANN: Ich rate dazu, gefährliche Agenten nur dann einzusetzen, wenn sich der Kontext kontrollieren lässt. Sie müssen im bildlichen Sinne das Jagdgebiet abstecken und darauf achten, dass der Agent es nicht verlassen kann. Sie müssen alle Öffnungen schließen. Lassen sie eine auf, wird der Falke sie mit einer nicht berechenbaren Wahrscheinlichkeit zum Ausbruch nutzen. Das ist dann der Fehler des Menschen der sein Werkzeug nicht sichert. Man muss Agenten sehr genau im Auge haben und sollte ihnen nur die Aufgaben übertragen, die man verantworten kann. Je größer der Radius, desto größer das Risiko. Man muss vor allem darauf achten, dass Agenten nicht in die Rechte anderer Menschen eingreifen.
Das ist eher nicht der Handlungsraum der meisten Unternehmen…
SCHWARTMANN: Na, da gibt es schon ein paar Fragen, die sich ein Unternehmer stellen muss: Etwa dann, wenn der der Agent im hochriskanten Bereich eingesetzt wird. Das würde er zum Beispiel wenn er Personalplanungsmaßnahmen durchführen sollte. Oder denken Sie mit Blick auf den Datenschutz an den ganz einfachen Fall, dass er schlicht auf ein E-Mail-Fach zugreift und Mails beantwortet. Wäre in ihrem E-Mail-Postfach meine Mail, dann bräuchten sie eine Erlaubnis. Bereitet ein Agent dann eine Absage an einen Bewerber vor, dann wären wir im hochriskanten Bereich des Personalmanagements. Dann würde sich zusätzlich zum Problem der Zulässigkeit der Datenverarbeitung auch das der Zulässigkeit der automatisierten Einzelentscheidungen stellen, die beim Agent natürlich noch mal exponierter sind. Man muss also drauf achten, Produkte zu kaufen, die für den Zweck entwickelt und angeboten werden und die dann auch korrekt einsetzen. KI-Kompetenz ist ein wichtiges Thema, aber das war es ja schon auch im Zeitalter vor dem Agenten.
Da macht die EU doch gerade die Rolle rückwärts, eine Aufweichung der KI-Verordnung bei der Verpflichtung zur KI-Kompetenz…
SCHWARTMANN: Moment, Moment, das ist so nicht richtig. Eine Verpflichtung ist es geblieben. Die Verpfllchtung besteht nur darin, KI-Kompetenz zu fördern, nicht mehr sie zu vermitteln. Und jetzt müssen sie mal den Unterschied zwischen fördern und vermitteln benennen. Wenn für Sie fördern darin legt, dass sie ein Flugblatt oder auch mein Buch austeilen, dann ist das so nicht gemeint. Man muss die Aufgabe schon ernst nehmen.
Woher weiß der Unternehmer denn, was gemeint ist?
SCHWARTMANN: Indem er sich fragt, was redlicherweise eine Förderungsmaßnahme zum kompeteten Umgang mit einem komplexen und potentiell riskanten Werkzeug ist. Wenn man die Betriebssicherheit fördert, dann legt man ja auch nicht einfach ein Flugblatt aus oder verweist auf eine Website, sondern man macht mit den Leuten Schulungen. Also insofern bin ich froh, dass wir darüber reden, es hat sich durch den Omnibus (EU-Verfahren zur Änderung von Gesetzen/Anm. von mv-works) mit Blick auf die Verpflichtung nämlich aus meiner Sicht nichts Substantielles geändert.
Was, wenn meine Beschäftigten ihre eigenen KI-Tools einsetzen?
SCHWARTMANN: Wenn sie Schatten-KI einsetzen und sie als Unternehmer oder Unternehmerin das wissen, dann haben sie ein Problem. Dann ist es wie im Produktsicherheitsrecht. Wenn sie Unternehmer sind und wissen und es geschehen lassen, dass ihre Beschäftigten beim Betriebsfest immer den Grill mit zwei Flaschen Spiritus und einem Bunsenbrenner anmachen, dann wird man sie verantwortlich machen, wenn am Ende die Bude brennt. Dann können sie nicht sagen, ‚das wusste ich doch nicht, dass das gefährlich ist‘.Insofern sind Unternehmer da schon in der Verpflichtung, den Einsatz von Schatten-KI zu unterbinden. Wenn ihre Mitarbeiter Schatten-KI einsetzen, ohne dass sie es wissen können und das auch verboten haben, dann haben eher die Beschäftigten ein Problem, weil sie dann in die Stellung des Betreibers oder gar des Anbieters dieser KI kommen können. Diese harte Folge setzt die KI-Verordnung, das will natürlich keiner. Darüber sollten wir auf der Agenten-Konferenz reden.
Mal weg von den Risiken: Wo sind denn jetzt die großen Chancen der KI-Agenten?
SCHWARTMANN: Sie liegen in verantwortungsvoll entwickelter KI. Unter der Leitung der Neuropathologie der Uniklinik Heidelberg soll für die Diagnostik und Behandlung von Gehirntumoren ein KI-Agent eingesetzt werden. Ich bin an diesem Projekt für die juristische Seite beteiligt. So ewas zu bauen und zu haben, ist natürlich eine Riesen-Errungenschaft. Die Entwicklung soll in besonderen staatlichen Räumen, sogenannten KI-Reallaboren erfolgen, in denen Staat und Unternehmen gemeinsam erarbeiten, was verantwortbar ist. Das ist vielleicht gerade im Gesundheitsbereich auch eine gute Möglichkeit für Mecklenburg-Vorpommern. Ich glaube, dass viele Forschungseinrichtungen und Unternehmen in wirklich relevanten Bereichen, also wo es auch um wichtige Gemeinwohlbelange geht, solche KI-Reallabore aufsuchen werden, weil sie für ihre Produktentwicklung große Rechnerkapazitäten brauchen. Für die Nutzung dieser Einrichtung werden Gebühren erhoben werden und der Staat kann diese Einrichtungen so refinanzieren. Für ein Land, dass robuste und sichere KI-Entwicklung auf seine Fahnen schreibt, ist das eine wichtige Sache. Man sagt ja auch nicht, bei uns werden Autos ohne Bremsen gebaut oder Medizinprodukte ohne Kontrolle durchgewunken. Europa ist wichtig, denn sichere KI wird ihren Platz auf der Welt finden. Das wird kommen, da bin ich mir sicher.
Letzte Frage: Human in the Loop oder Human in the Lead?
SCHWARTMANN: Das kann man spitzfindig beantworten. Wenn der Mensch in den Lead geht bei der Diagnostik von Gehirntumoren, dann passiert nichts Neues, denn es sollen ja gerade die Fähigkeiten der KI erprobt werden, die der Mensch nicht hat. Also wir müssen schon akzeptieren, dass eine wirklich belastbar gebaute KI, die alle Anforderungen der KI-Verordnung an hochriskante Einsatzzwecke erfüllt, auch autonom entscheidet. Sonst entfalten sich deren Produkteigenschaften. Die Kontrolle durch den Menschen im Rahmen des Human in the Loop ist einerseits zentral, andererseits bei Vorliegen der gesetzlichen Voraussetzungen eher so etwas wie eine funktionale Stopptaste, ohne dass der Mensch Maschinenentscheidungen permanent in der Sache kontrollieren soll.
Das Interview führte Axel FICK.