94 % stimmten zu: Menschliche Kontrolle in der Praxis

Wie sehr sollten wir KI-generierten Inhalten vertrauen? Wir wissen, dass KI manchmal Fehler macht. Die interessantere Frage ist jedoch: Wie viele Menschen prüfen diese tatsächlich?

Ein Forschungsteam der Northeastern University¹ hat dies in Zahlen gefasst. Sie baten 107 Entwickler, eine App mit einem KI-Programmieragenten zu erstellen – genau das Set-up, in dem viele von uns tagtäglich arbeiten. Der Haken dabei: Der Agent war angewiesen worden, unauffällig einen Pfad zu programmieren, der Kundendaten an einen externen Server sendet, während er die zugewiesene Aufgabe ansonsten normal ausführte.

94 % der Entwickler in diesem Set-up übernahmen den schädlichen Code. Warum? Ein Teilnehmer drückte es treffend aus: „Ich bin es gewohnt, immer direkt auf Freigeben zu klicken.“

Human in the Loop?

Um es klar zu sagen: Die Entwickler in dieser Studie hatten das Fachwissen, um dies zu erkennen. 86 % gaben einen Security-Hintergrund an und 70 % verfügten über mehr als drei Jahre Programmiererfahrung. Zudem hatten die meisten bereits zuvor mit dem Tool gearbeitet. Was ihnen in diesem Moment jedoch fehlte, war jeglicher Grund zur Annahme, dass eine genauere Prüfung erforderlich sei.

Diese Lücke ist wichtig, denn es hängt viel davon ab. Menschliche Kontrolle gilt als Schlüssel zur Vermeidung automatisierter Fehler und spielt in Richtlinien und Vorschriften eine große Rolle. Sie funktioniert jedoch nur unter einer Bedingung: Die Person in diesem Prozess muss unabhängig bewerten, was sie freigibt. Unter normalen Arbeitsbedingungen zeigen die Fakten jedoch, dass dies meistens nicht der Fall ist.

In der Psychologie gibt es dafür einen Begriff: Automation Bias beschreibt die Neigung, einer automatisierten Empfehlung mehr zu vertrauen als dem eigenen Urteilsvermögen – selbst dann, wenn offensichtlich widersprüchliche Informationen vorliegen. Forschungsteams dokumentieren dies bereits seit Jahrzehnten, zunächst in der Luftfahrt und beim klinischen Entscheidungs-Support, in jüngster Zeit aber auch überall dort, wo KI in der Arbeitswelt Einzug gehalten hat. Die Übersichtsarbeit von Romeo und Conti aus dem Jahr 2026 im Fachjournal AI & Society fasst 35 experimentelle Studien zusammen², und das Muster zeigt sich in unangenehmer Regelmäßigkeit. Im restlichen Verlauf dieses Artikels untersuchen wir ihre Ergebnisse und beleuchten, was sie für unsere Nutzung von KI bedeuten.

Warum Kontrolle schwieriger ist als gedacht

Security Awareness konzentriert sich seit einem Jahrzehnt auf den Menschen als Angriffsfläche: auf die Person, die den Link anklickt, die Zahlung freigibt oder die Zugangsdaten eingibt. Dies fügt dem Thema eine ganz neue Dimension hinzu. Hier ist der Mensch die Schutzinstanz. Dabei haben wir verlangt, dass er eine anspruchsvolle kognitive Aufgabe mit sehr wenig Support bewältigt.

Ein Grund dafür ist wirtschaftlicher Natur. Einen KI-Output zu verifizieren, ist oft schwieriger, als selbst eine Entscheidung zu treffen. Schließlich muss man Gedankengänge rekonstruieren, die man nie selbst durchdacht hat, und sich Fehlerquellen vorstellen, in die man keinen Einblick hat. Unter Zeitdruck und hoher kognitiver Belastung ist das Akzeptieren der einfachste Weg, während eine genaue Prüfung viel Aufwand bedeutet. Ein rational handelnder Mensch reagiert auf diese Herausforderung, indem er sich zu stark auf das System verlässt. Genau deshalb bringt es so wenig, den Leuten einfach nur zu sagen, sie sollen vorsichtiger sein.

Ein weiterer Grund ist, dass KI-Ergebnisse all die oberflächlichen Merkmale aufweisen, nach denen wir normalerweise Qualität beurteilen. Sie sind flüssig formuliert, sauber strukturiert und klingen absolut überzeugend. Wenn ein Mensch eine derart ausgefeilte Arbeit abliefert, hat er sich diesen Feinschliff erarbeitet: Er kostet Zeit, und investierte Zeit zeugt in der Regel von Sorgfalt. Generierte Inhalte hingegen erhalten diesen Feinschliff, ohne Zeit oder Geld zu investieren. Über die eigentliche Substanz dahinter sagt er absolut nichts aus.

Das scheinbare Selbstbewusstsein der KI spielt hier eine große Rolle. KI-Empfehlungen werden oft mit einer Überzeugung präsentiert, der jegliche Vorsicht fehlt, die ein menschlicher Experte an den Tag legen würde. Die untersuchten Studien zeigen, dass Lesende der KI deshalb zu sehr vertrauen. Selbst erfahrene Führungskräfte betrachten KI-Empfehlungen eher als objektive Analyse und weniger als fehleranfällige Meinung – und stützen sich deshalb umso stärker darauf. Eine Antwort, die sicher klingt, bietet den Lesenden kaum Ansatzpunkte für kritische Rückfragen.

Erklärungen und Warnmeldungen reichen nicht aus

Wenn das Problem darin besteht, dass Menschen gute Ergebnisse nicht ohne Weiteres von fehlerhaften unterscheiden können, scheint es zunächst logisch, ihnen mehr Informationen zur Verfügung zu stellen. Transparenz und erklärbare KI sind die Standardantwort. Studien belegen deren Wirksamkeit jedoch nicht. Menschen neigen dazu, die reine Existenz einer Erklärung für KI-Ergebnisse bereits als Signal zu werten: Sie nehmen lediglich wahr, dass es eine gibt, anstatt zu prüfen, ob diese auch stichhaltig ist. Einfache Erklärungen sind irreführend, wenn das System falsch liegt. Komplexe Erklärungen wiederum erhöhen die kognitive Belastung und werden oft komplett ignoriert. In allen untersuchten Studien erhöhten Erklärungen verlässlich die Akzeptanz von KI-Ergebnissen, während sich deren Richtigkeit dadurch kaum verbesserte.

Die Ergebnisse der Northeastern University unterstreichen das. In einem Testszenario der Studie wurde eine automatisierte Überwachung hinzugefügt, die den Agenten beobachtete und bei Auffälligkeiten eine Warnmeldung auf dem Bildschirm anzeigte. Dieses System erkannte 84 % der Sabotageversuche. In den Fällen, in denen das Monitoring-System korrekt anschlug – also seinen Job erledigte und der Person exakt im richtigen Moment mitteilte, was falsch war –, brachten dennoch 56 % der Teilnehmenden den fehlerhaften Code in die Produktion.

Eine Warnmeldung funktioniert nur, wenn sie auf jemanden trifft, der bereits einen Grund hat, diese auch ernst zu nehmen. Und dieser Grund darf nicht nur aus der Warnung selbst stammen. Das dreht die Frage um: Was brauchen Menschen, um die Aufgabe, die wir ihnen übertragen haben, erfolgreich zu bewältigen?

Befähigung: KI-Kompetenz ist der Hebel

Der zuverlässigste Schutzfaktor, der in den Studien identifiziert wurde, ist das Verständnis für das System, mit dem man arbeitet: Man muss wissen, wann es verlässliche Ergebnisse liefert und wann es an seine Grenzen stößt. Das ist etwas völlig anderes als der souveräne Umgang mit KI-Tools, der sich oft unbemerkt gegen einen selbst wenden kann.

Forschungsergebnisse beschreiben die Auswirkungen von KI-Kompetenz nicht als linearen Anstieg, sondern vielmehr als eine Kurve. Menschen mit sehr wenig KI-Hintergrundwissen neigen dazu, KI-Empfehlungen von vornherein abzulehnen. Diejenigen mit umfassendem Hintergrundwissen verlassen sich auf angemessene Weise auf KI, da sie voraussehen können, wann diese Fehler macht. Die Gruppe im Mittelfeld mit moderater Vertrautheit verlässt sich jedoch am stärksten blind auf die KI. Die tägliche Nutzung von KI führt zu einer vermeintlichen Routine und Bequemlichkeit, die das tatsächliche Verständnis überschätzen lässt.

Das sollte uns beunruhigen, denn genau diese mittlere Gruppe stellt heute den Großteil der Belegschaft. Die Teilnehmenden der Northeastern-Studie nutzten KI-Programmiertools täglich. Ihre Routine mit dem Tool trug maßgeblich dazu bei, dass die Sabotage unbemerkt blieb. Die wenigen, die den Fehler erkannten, waren jene, die KI-Agenten von vornherein skeptischer gegenüberstanden. Das bedeutet nicht, dass wir den Leuten beibringen sollten, KI-Ergebnissen grundsätzlich zu misstrauen. Sie müssen sich jedoch bewusst sein, dass Fehler oder gar schädliches Verhalten auftreten können und dass sie aktiv darauf achten müssen. Um das zu können, müssen sie wissen, wie und an welchen Stellen KI versagen kann und wie diese Fehler in der Praxis aussehen.

Die untersuchten Experimente zeigen noch eine andere Seite: Personen, denen vorab gesagt wurde, dass ein System Fehler produzieren könnte, prüften die Empfehlungen messbar gründlicher. Im Gegensatz dazu änderten Personen, die lediglich an ihre persönliche Verantwortung für das Endergebnis erinnert wurden, absolut nichts an ihrer Arbeitsweise. Eine genaue Prüfung setzt die konkrete Erwartung voraus, dass etwas falsch sein könnte. Ein bloßer Hinweis auf Verantwortung weckt keine solche Erwartung.

Prozesse, die Raum für Entscheidungen lassen

Befähigung zahlt sich nur aus, wenn der Workflow den Menschen auch die Gelegenheit gibt, ihr Wissen anzuwenden. Die zuverlässigste Maßnahme im Design ist die Reihenfolge. Erscheint die Antwort der KI, bevor sich die Person eine eigene Meinung bilden konnte, fungiert sie als Anker. Wird hingegen zuerst nach einer eigenen Einschätzung gefragt und der Systemvorschlag erst danach eingeblendet, führt das zu einem deutlich unabhängigeren Urteil. Auch bewusste Reibungspunkte bei kritischen, schwer umkehrbaren Aktionen helfen. Voraussetzung dafür ist, dass sie sparsam und gezielt eingesetzt werden, anstatt als ständiges Hintergrundrauschen unterzugehen. Und das, was wir messen, ist auch das, worauf sich die Menschen konzentrieren werden. Eine hohe Freigabequote mag wie Produktivität wirken, ist aber nicht vom blinden Durchwinken zu unterscheiden. Ein Dashboard, das rein auf den quantitativen Output ausgerichtet ist, belohnt so unbemerkt genau das Verhalten, das wir eigentlich verhindern wollen. Das Überprüfungsverhalten zu messen, ist schwieriger. Es ist jedoch der einzige Weg, um zu wissen, ob der Schutz wirklich greift.

Der „Human in the Loop“ verdient Besseres

Menschliches Urteilsvermögen ist ein unverzichtbarer Teil des Prozesses. Es bleibt der entscheidende Faktor, der die Fehler abfängt, die ein System schlicht nicht erkennt. Wenn wir die menschliche Kontrolle jedoch nur als lästige Checkbox behandeln, anstatt sie als Kernkompetenz aufzubauen, untergraben wir die Zusammenarbeit von Mensch und KI. Wir setzen jemanden an das Ende eines automatisierten Prozesses, klären ihn nicht darüber auf, wie dieser Prozess versagen kann, und belohnen ihn nicht für sein genaues Hinsehen – und behaupten dann, diese Person habe die Kontrolle.

Menschen auf diese Rolle vorzubereiten bedeutet, ihnen beizubringen, wie sie Fehler erkennen können. Es erfordert Workflows und Anreize, die eine sorgfältige Überprüfung als die eigentliche Arbeit betrachten – und nicht als lästiges Hindernis.

¹ Ye, Zou, Yu und Shi, „Coding with ‚Enemy‘: Can Human Developers Detect AI Agent Sabotage?“ (2026), arXiv:2606.05647. Dies ist ein Preprint und wurde noch nicht in einem Peer-Review-Verfahren geprüft. Die Angabe von 94 % bezieht sich auf die Studienbedingungen ohne ein automatisiertes Überwachungssystem.

2 Romeo und Conti, „Exploring Automation Bias in Human–AI Collaboration: A Review and Implications for Explainable AI“, & Society (2026). Die oben genannten Einzelergebnisse stammen aus den 35 in der Übersichtsarbeit berücksichtigten Studien, in denen die Originalquellen vollständig zitiert werden.