Human-in-the-loop ist keine KI-Strategie: Wofür sollten Menschen verantwortlich bleiben?

„Keep a human in the loop“ ist zu einer der Standardantworten auf die Risiken von KI geworden.

Es macht jedoch einen erheblichen Unterschied, ob ein Mensch lediglich technisch im Prozess vorkommt oder ob er tatsächlich urteilen, das System hinterfragen und Verantwortung für das Ergebnis übernehmen kann.

Wenn Mitarbeitende Hunderte von KI-Empfehlungen prüfen, aber selten einen Anlass – oder die Befugnis – haben, ihnen zu widersprechen, kann aus menschlicher Aufsicht schnell menschliche Beobachtung werden. Umgekehrt kann es Prozesse verlangsamen, wenn Menschen jede KI-gestützte Handlung freigeben müssen, ohne dass sie dadurch zwangsläufig sicherer oder besser werden.

Diese Frage gewinnt an Bedeutung, je tiefer KI in den Geschäftsbetrieb vordringt. Im September 2026 meldete der Bitkom, dass 57 % der deutschen Unternehmen mit mindestens 20 Beschäftigten KI nutzen, nach 36 % ein Jahr zuvor. Dennoch sehen sich neun von zehn weiterhin am Anfang ihrer KI-Reise (Bitkom, 2026). KI-Systeme klassifizieren zunehmend Informationen, erkennen Auffälligkeiten, priorisieren Fälle, empfehlen Maßnahmen und führen in einigen Workflows Teile des Prozesses selbst aus.

Die eigentliche Frage des Operating Models lautet deshalb nicht nur, wo Unternehmen einen Menschen im Prozess brauchen. Sie lautet: Wofür sollten Menschen verantwortlich bleiben, wenn immer mehr Ausführung auf KI übergeht – und wo verändern ihr Urteilsvermögen, ihre Entscheidungsbefugnis und ihre Rechenschaft tatsächlich das Ergebnis?

Wo steht Ihre Organisation? Unser AI Operating Model Check ermöglicht eine schnelle Einschätzung Ihres aktuellen AI Operating Models.

1. Menschliche Aufsicht bedeutet nicht automatisch bessere Entscheidungen

Human-in-the-loop-Systemen liegt die Annahme zugrunde, dass KI Geschwindigkeit, Skalierung und analytische Leistungsfähigkeit beisteuert, während der Mensch sein Urteilsvermögen einbringt. In der Theorie sollte die Kombination beider ein stärkeres Ergebnis liefern. In der Praxis stellt sich das nicht automatisch ein.

Eine 2024 in Nature Human Behaviour veröffentlichte Metaanalyse wertete 106 experimentelle Studien mit 370 Effektgrößen aus. Mensch-KI-Kombinationen schnitten im Allgemeinen besser ab als Menschen allein, im Durchschnitt aber schlechter als der jeweils Bessere von beiden – Mensch oder KI. Bei Entscheidungsaufgaben erzielten Mensch-KI-Kombinationen im Durchschnitt schlechtere Ergebnisse als der bessere von Mensch oder KI allein (Vaccaro et al., 2024).

Das ist von Bedeutung, weil menschliche Prüfung leicht zur Formalie werden kann. Erhalten Mitarbeitende Hunderte von KI-Empfehlungen und liegt das System meistens richtig, besteht die natürliche Neigung, dessen Ergebnis zu übernehmen. Haben Prüfende wenig zusätzliche Informationen oder keine klaren Kriterien für ein Eingreifen, kostet ein Freigabeschritt unter Umständen Zeit, ohne zusätzliches Urteilsvermögen einzubringen.

Untersuchungen des Policy Lab der Europäischen Kommission zeigen, wie schwierig das bei folgenreichen Entscheidungen werden kann. In einem Experiment mit rund 1.400 Fachleuten aus HR und Bankwesen in Deutschland und Italien trafen die Teilnehmenden Einstellungs- und Kreditentscheidungen mit KI-Unterstützung. Menschliche Aufsicht beseitigte diskriminierende Ergebnisse nicht zuverlässig; individuelle Vorurteile beeinflussten weiterhin, wie Menschen KI-Empfehlungen nutzten oder ignorierten (European Commission Policy Lab, 2024).

Es geht nicht darum, dass menschliche Aufsicht wertlos wäre. Es geht darum, dass menschliche Präsenz nicht dasselbe ist wie echte menschliche Verantwortung. Aufsicht wirkt nur, wenn die Rolle des Menschen selbst richtig gestaltet wurde.

2. Unterschiedliche Branchen brauchen unterschiedliche Grenzen für den Menschen

Das zeigt sich bereits in deutschen Branchen.

Die Industrie bewegt sich vergleichsweise schnell in Richtung operativer KI. 2025 nutzten bereits 42 % der deutschen Industrieunternehmen mit mindestens 100 Beschäftigten KI in der Produktion, weitere 35 % planten dies. Zu den häufigsten Anwendungen zählten Analytik und Maschinenüberwachung; Unternehmen erproben KI außerdem in Robotik, Energiemanagement und weiteren Bereichen der Produktion (Bitkom, 2025).

Die Qualitätskontrolle zeigt, wie sich die Arbeitsteilung verändern kann. Wenn ein KI-Bildverarbeitungssystem große Mengen an Bauteilen prüfen und Normalfälle zuverlässig erkennen kann, ist es wenig sinnvoll, dass ein erfahrener Techniker dieselbe Prüfung manuell wiederholt. Die sinnvollere Rolle des Menschen besteht darin, unsichere Fälle zu untersuchen, ungewöhnliche Fehlerbilder zu verstehen, zu entscheiden, ob die Produktion gestoppt werden muss, und festzulegen, ob die Prüfregeln angepasst werden müssen. Die KI übernimmt einen Teil der Ausführung, während sich die menschliche Verantwortung hin zu Ausnahmen, Eskalation und Prozessverbesserung verlagert.

Bei Finanzdienstleistungen verläuft die Grenze anders. Laut Deutscher Bundesbank erreichte die KI-Nutzung im deutschen Finanz- und Versicherungssektor 2025 einen Wert von 54 %. Kleinere und mittlere Banken und Sparkassen setzen KI jedoch weiterhin hauptsächlich in unterstützenden Prozessen ein, etwa bei Textgenerierung, internen Assistenten, Betrugserkennung und Kundeninteraktion. In Kernaktivitäten wie der Bonitätsbewertung und dem Handel ist KI deutlich seltener (Deutsche Bundesbank, 2025).

Diese Unterscheidung ist wichtig. Ein interner Assistent, der Mitarbeitenden hilft, Informationen zu finden, birgt ein ganz anderes Risiko als ein System, das wesentlich darüber mitentscheidet, ob ein Kunde einen Kredit erhält. Die Versicherungswirtschaft deutet an, wie sich diese Grenze entwickeln könnte: Ein 2026 veröffentlichter EIOPA-Bericht auf Basis einer Umfrage unter 347 europäischen Versicherern im Jahr 2025 ergab, dass knapp zwei Drittel bereits generative KI nutzten, die meisten berichteten Anwendungsfälle sich aber noch im Proof-of-Concept- oder Experimentierstadium befanden. Die Anwendungen konzentrierten sich auf interne Produktivität und Back-Office-Prozesse. Gleichzeitig erwarten die Versicherer, dass Agentic-AI-Anwendungen in den nächsten drei Jahren häufiger werden (EIOPA, 2026).

Je autonomer KI wird, desto weniger praktikabel wird es, jede KI-gestützte Handlung zu prüfen. Organisationen werden stattdessen entscheiden müssen, welche Fälle automatisch durchlaufen dürfen und welche Bedingungen ein menschliches Eingreifen auslösen sollen.

3. Wofür sollten Menschen verantwortlich bleiben?

Es gibt keine einzelne Antwort, die für jeden Workflow gilt. Ein repetitiver Prozess mit geringem Risiko erfordert ein anderes Maß an menschlicher Beteiligung als eine Einstellungsentscheidung, eine Kreditprüfung oder ein Thema der Produktionssicherheit. Vier Verantwortungsbereiche werden jedoch besonders wichtig, wenn KI mehr Ausführung übernimmt.

Erstens müssen Menschen für das Ziel und die Regeln verantwortlich bleiben. KI kann auf ein Ziel hin optimieren, doch jemand muss weiterhin entscheiden, was optimiert werden soll und innerhalb welcher Grenzen. Ein Produktionssystem könnte beispielsweise den Durchsatz optimieren, aber das Management entscheidet weiterhin, wie der Durchsatz gegenüber Produktqualität, Sicherheit, Energieverbrauch oder Stillstandszeiten abzuwägen ist. Diese Abwägungen sind unternehmerische Entscheidungen und keine technischen Ergebnisse.

Zweitens sollten Menschen für wesentliche Ausnahmen verantwortlich bleiben. KI schafft den größten Nutzen dort, wo Muster hinreichend stabil sind und sich Ergebnisse messen lassen. Die Rolle des Menschen gewinnt an Bedeutung, wenn diese Bedingungen wegfallen, etwa bei einem ungewöhnlichen Maschinenausfall, widersprüchlichen Angaben in einem Versicherungsfall oder Umständen, die in den verfügbaren Daten nicht angemessen abgebildet sind.

Frühere Forschung zur Entscheidungsfindung von Mensch und KI trifft eine ähnliche Unterscheidung. KI ist stark darin, große Informationsmengen und rechnerische Komplexität zu verarbeiten, während Menschen besonders dort wichtig bleiben, wo Kontext, Unsicherheit und Mehrdeutigkeit die Entscheidung beeinflussen (Jarrahi, 2018). Aus Sicht des Operating Models sollten Organisationen den Menschen daher nicht in jeden Loop einbinden. Sie sollten die Ausnahmen definieren, die ein menschliches Eingreifen erfordern.

Drittens brauchen Menschen echte Befugnis zum Eingreifen. Dieser Punkt spiegelt sich auch im EU AI Act wider. Bei Hochrisiko-Systemen muss die menschliche Aufsicht dem Risiko und dem Grad der Autonomie angemessen sein. Die verantwortlichen Personen müssen die Grenzen des Systems verstehen, das Risiko einer übermäßigen Abhängigkeit vom KI-Ergebnis erkennen, eine Empfehlung gegebenenfalls außer Acht lassen oder umkehren und das System bei Bedarf unterbrechen können. Betreiber sind außerdem verpflichtet, die Aufsicht Personen zu übertragen, die über die nötige Kompetenz, Ausbildung und Befugnis verfügen (Europäische Union, 2024, Art. 14 und 26).

Das wichtige Wort ist hier Befugnis. Wenn Mitarbeitende ein Problem erkennen, das System aber nicht übersteuern oder die Entscheidung nicht eskalieren können, hat die Organisation keine wirksame menschliche Aufsicht. Sie hat menschliche Beobachtung.

Schließlich muss jemand für die Leistung des gesamten Prozesses verantwortlich bleiben. Das geht über die Freigabe einzelner Fälle hinaus. Organisationen müssen verstehen, ob sich Fehlerquoten verändern, welche Ausnahmen wiederholt auftreten, wie oft Mitarbeitende das System übersteuern, ob diese Eingriffe berechtigt sind und ob die ursprünglichen Entscheidungsregeln noch sinnvoll sind. Je mehr Ausführung die KI übernimmt, desto wichtiger – nicht unwichtiger – wird diese Form von Prozessverantwortung.

4. Was das für das Operating Model bedeutet

Hier wird Human-in-the-loop zu einer Frage des Operating Models.

Wenn KI die Standardausführung übernimmt, sollten Mitarbeitende nicht gebeten werden, jedes Ergebnis zu prüfen, nur weil die Organisation einen Menschen beteiligt sehen möchte. Menschliche Arbeit sollte sich dorthin verlagern, wo Urteilsvermögen das Ergebnis tatsächlich verändert: Ausnahmen, Eskalation, Qualitätskontrolle und Entscheidungen mit wesentlichen Zielkonflikten.

Bleiben Menschen für diese Entscheidungen verantwortlich, brauchen sie auch die Informationen, Fähigkeiten und Befugnisse, um sie zu treffen. Andernfalls schafft die Organisation eine weitere Freigabeebene, ohne wirksame Kontrolle zu schaffen.

Verantwortung muss außerdem über den einzelnen Nutzer hinaus definiert werden. Prozessverantwortliche legen Schwellenwerte und Eskalationsregeln fest. Fachexperten definieren Qualitätsstandards. Technologieteams überwachen die Systemleistung. Das Management bleibt für das Geschäftsergebnis verantwortlich. Für deutsche Organisationen kann KI am Arbeitsplatz außerdem Informations-, Beratungs- und Mitbestimmungsrechte nach dem Betriebsverfassungsgesetz berühren, je nachdem, wie die Technologie eingesetzt wird.

Der vorherige Artikel dieser Reihe argumentierte, dass Automatisierung und Augmentierung keine Gegensätze sind. Wenn KI die Standardausführung übernimmt, verlagert sich menschliche Arbeit zunehmend auf Aufsicht, Ausnahmebehandlung und Urteilsvermögen.

Human-in-the-loop ist der nächste Teil dieser Diskussion. Die Frage lautet nicht, wie sich in jedem KI-gestützten Prozess ein Mensch beteiligen lässt, sondern wie sich der Prozess so gestalten lässt, dass KI dort ausführt, wo sie zuverlässig ist, während Menschen dort verantwortlich bleiben, wo Urteilsvermögen, Befugnis und Rechenschaft das Ergebnis wesentlich beeinflussen.

So wird menschliche Aufsicht vom Freigabeschritt zum Bestandteil des Operating Models.

Möchten Sie diese Gedanken in die Praxis umsetzen? Nutzen Sie unseren AI Operating Model Check, um zu sehen, wo Ihre Organisation steht, und Handlungsfelder zu erkennen. Weitere Perspektiven zu KI, menschlicher Verantwortung und Operating Models finden Sie bei ProNexum Consulting auf LinkedIn.

Dieser Beitrag erschien zuerst auf LinkedIn: Originalfassung (Englisch). Die deutsche Fassung ist eine Übersetzung des englischsprachigen Originals. Der Beitrag dient der allgemeinen Information und stellt keine Rechts-, Steuer- oder Anlageberatung dar.

Weitere Artikel

AI Operating Model

Automatisierung vs. Augmentierung ist die falsche Debatte

Weiterlesen →AI Operating Model

Conversational AI, Operational AI und Agentic AI: Der Unterschied, den Führungskräfte kennen sollten

Weiterlesen →