Übernehmen KI-Agenten die Herrschaft?
Die falsche Angst – und die richtigen Fragen für Entscheider
Das Gedankenexperiment eines Analysehauses wird veröffentlicht. Massenentlassungen durch KI-Agenten, hyperbolische Produktivität, das Ende der Konsumgesellschaft, wie wir sie kennen. Ausdrücklich hypothetisch, ausdrücklich ein Szenario – kein Forschungsbericht.
Am nächsten Tag verlieren Uber, American Express, Mastercard und DoorDash zwischen 4 und 6 Prozent ihres Börsenwerts. Alle vier Unternehmen waren im Szenario namentlich erwähnt.
Das ist die aktuelle Lage: Ein hypothetisches Gedankenspiel über KI-Agenten bewegt echtes Geld an echten Märkten. Wenn das die Reaktion auf eine Spekulation ist, wie verzerrt ist dann erst die Diskussion, die Entscheider in ihren eigenen Unternehmen führen müssen?
Die kurze Antwort: ziemlich verzerrt. Und genau deshalb lohnt sich ein Blick auf die richtigen Fragen – statt auf die falschen Ängste.
Die falsche Frage: „Übernehmen die Agenten?”
Wir geben den Systemen menschliche Eigenschaften und messen ihre Leistungsfähigkeit auf menschlicher Ebene, was die öffentliche Debatte über Agentic AI stark anthropomorphisiert. Diese Denkweise geht letztlich auf Alan Turings Imitationsspiel aus dem Jahr 1950 zurück: Ein System gilt als intelligent, wenn es im Dialog nicht von einem Menschen zu unterscheiden ist.
Das Problem an diesem Maßstab: Er fragt nach Imitation, nicht nach Wirkung. Ob ein KI-Agent wie ein Mensch wirkt, ist für dein Unternehmen die uninteressanteste Frage überhaupt. Relevant ist, was passiert, wenn dieser Agent mit deinen Daten, deinen Mitarbeitenden und deinen Geschäftsprozessen interagiert.
Schon 1989 argumentierte die Soziologin Susan Leigh Star, dass der Turing-Test der falsche Maßstab für KI-Systeme ist. Ihr Vorschlag, angelehnt an den Soziologen Émile Durkheim: Die Intelligenz eines Systems bemisst sich nicht daran, wie menschlich es wirkt, sondern daran, wie nützlich es für die gemeinsame Arbeit ist – und wie gut es sich an veränderte Bedingungen anpassen kann.
Übersetzt in die Sprache des Mittelstands: Es geht nicht darum, ob ein Agent klug klingt. Es geht darum, ob er im echten Betriebsalltag etwas bringt, und ob er sich anpassen lässt, wenn sich eure Prozesse ändern.
Die richtige Frage: „Mit welchen Regeln lassen wir Agenten arbeiten?”
Ein KI-Agent handelt nie im Vakuum. Er ist Teil eines größeren Zusammenspiels aus Menschen, Software, Daten und Prozessen – in der Forschung wird das ein „sozialer Mechanismus“ genannt.
Wikipedia ist ein bekanntes Beispiel: Menschliche Autorinnen und Autoren arbeiten mit Bots zusammen, die Vandalismus erkennen, Verlinkungen pflegen und Bearbeitungen vorschlagen – begrenzt durch klare Regeln der Community.
Autonome Fahrzeuge im Straßenverkehr sind ein anderes Beispiel: Sie agieren neben menschlichen Fahrern und Fußgängern, in einem Umfeld mit Verkehrsregeln, Wetterbedingungen und sich durchgehend ändernden Situationen.
Die entscheidende Erkenntnis aus diesem Forschungsfeld lässt sich auf jedes Unternehmen übertragen, das KI-Agenten einsetzen will:
Nicht der einzelne Agent entscheidet über den Erfolg. Die Regeln, nach denen Mensch und Agent zusammenarbeiten, entscheiden darüber.
Forscher schlagen dafür einen erweiterten Prüfkatalog vor, der spieltheoretische Mechanismus-Gestaltung mit sozialwissenschaftlichen Fragen verbindet – den sogenannten Star-Durkheim-Test. Vereinfacht gefragt:
Wessen Interessen verfolgt der Agent, und wessen Interessen verfolgen die Menschen, mit denen er zusammenarbeitet?
Bei einem Vertriebsagenten sind das andere Ziele als bei einem Fahrer im Straßenverkehr – aber die Frage ist dieselbe: Laufen die Interessen von Mensch und KI-Agent in dieselbe Richtung, oder erzeugt der Agent stille Fehlanreize?Handelt der Agent verlässlich, regelkonform und nachvollziehbar?
Ein Agent, der „irgendwie“ zum Ziel kommt, aber niemand versteht, wie, ist in einem Unternehmenskontext ein Risiko – nicht ein Feature.Was passiert, wenn der Agent zu viele Rechte bekommt?
Hier hilft ein aktuelles Beispiel: Open-Claw, ein Open-Source-System aus lokal arbeitenden Agenten, die digitale Aufgaben über mehrere Software-Dienste hinweg selbstständig erledigen. Je größer das Autonomie-Versprechen, desto größer die Angriffsfläche – von kompromittierten Zugangsdaten bis zu manipulierbaren Workflows. Wer einem solchen System weitreichende Zugriffsrechte einräumt, sollte sich der Risiken bewusst sein, die der Hype gerne ausblendet.Lässt sich die Sicherheit so weit erhöhen, dass das System noch funktioniert? Die Forscher vergleichen übermäßige Einschränkung mit dem Versuch, eine Küche kindersicher zu machen, indem man Messer, Herd und Backofen entfernt. Dann ist die Küche sicher – aber nutzlos. Genau diese Balance müssen Entscheider für jeden Agenten in ihrem Unternehmen selbst finden.
Was das für die Regulierung bedeutet – und warum sie allein nicht reicht
Der EU‑AI‑Act verfolgt einen risikobasierten Ansatz: Je nach Risikokategorie eines KI-Systems gelten unterschiedliche Anforderungen, etwa Verbote bestimmter Techniken wie Social Scoring oder biometrischer Identifizierung im öffentlichen Raum.
Das ist sinnvoll, hat aber eine Schwäche, die für Entscheider direkt relevant ist: Die Regulierung betrachtet meist das einzelne System – nicht den gesamten Kontext, in den es eingebettet ist.
Beim autonomen Fahren funktioniert das einigermaßen, weil es dort bereits viele Regulierungen gibt, die genau diesen Gesamtkontext mitdenken. Bei Sprachmodellen und KI-Agenten in Unternehmen sieht das anders aus – hier zeigt sich, wie schwer sich selbst europäische Gesetzgebung tut, regulatorische Leitplanken gegen die Marktdynamik großer Anbieter durchzusetzen.
Die praktische Konsequenz für Entscheider: Wer auf gesetzliche Leitplanken wartet, bevor er sich mit den eigenen Spielregeln für KI-Agenten beschäftigt, wartet zu lange.
Die Verantwortung, den eigenen „sozialen Mechanismus“ zwischen Mitarbeitenden und Agenten sinnvoll zu gestalten, liegt zuerst im Unternehmen selbst.
Die eigentliche Machtfrage
Die entscheidende Frage ist nicht, ob KI-Agenten eingesetzt werden. Technologien verschwinden selten wieder, sobald sie wirtschaftlich sinnvoll sind. Die entscheidende Frage ist, welche Strukturen und Regeln ein Unternehmen für das Zusammenspiel von Menschen und Agenten baut – bevor der Agent produktiv geschaltet wird, nicht danach.
Drei praktische Leitfragen für Entscheider, abgeleitet aus der oben skizzierten Logik:
Welches Ziel verfolgt der Agent wirklich – und passt das zu den Zielen der Menschen, die mit ihm arbeiten? Ein Kundenservice-Agent, der primär auf Geschwindigkeit optimiert ist, kann in Konflikt mit dem Ziel „Kundenzufriedenheit“ stehen, selbst wenn beide auf dem Papier zusammengehören.
Wie viel Autonomie braucht der Agent wirklich – und wie viel davon ist nur Bequemlichkeit? Jede zusätzliche Berechtigung ist eine zusätzliche Angriffsfläche. Die Frage ist nicht „Was kann der Agent maximal tun?“, sondern „Was muss er minimal können, um den Job zu erledigen?”
Wer im Unternehmen versteht den Agenten gut genug, um ihn anzupassen, wenn sich die Lage ändert? Ein Agent, den niemand außer dem ursprünglichen Anbieter versteht oder verändern kann, ist eine Blackbox mit Risikoaufschlag.
Diese Fragen lassen sich nicht an einem Nachmittag beantworten, und sie lassen sich nicht durch ein einzelnes Tool oder eine einzelne Policy lösen. Sie verlangen eine bewusste Auseinandersetzung mit der eigenen Datenlage, den eigenen Prozessen und der eigenen Risikotoleranz – bevor der erste Agent live geht.
Nicht die Maschine bestimmt die Wirkung von KI-Agenten in deinem Unternehmen. Die Regeln, nach denen Menschen und Agenten zusammenarbeiten, tun das.