Human-in-the-loop není strategie AI: za co mají lidé zůstat odpovědní?

„Člověk ve smyčce“ (human-in-the-loop) se stal jednou ze standardních odpovědí na rizika AI.

Je však podstatný rozdíl mezi člověkem, který je v procesu technicky přítomen, a tím, kdo skutečně dokáže uplatnit úsudek, zpochybnit systém a převzít odpovědnost za výsledek.

Pokud zaměstnanec posuzuje stovky doporučení AI, ale jen zřídka má důvod – nebo pravomoc – je zpochybnit, může se lidský dohled rychle změnit v lidské pozorování. Požadavek, aby lidé schvalovali každou akci podpořenou AI, zároveň může procesy zpomalovat, aniž by je nutně činil bezpečnějšími nebo lepšími.

Tato otázka je stále naléhavější, jak AI proniká hlouběji do provozu firem. V září 2026 Bitkom uvedl, že AI využívá 57 % německých firem s nejméně 20 zaměstnanci, oproti 36 % o rok dříve. Přesto se devět z deseti firem stále považuje za firmy na začátku své cesty s AI (Bitkom, 2026). Systémy AI stále častěji třídí informace, odhalují anomálie, určují priority případů, doporučují kroky a v některých pracovních postupech samy provádějí části procesu.

Skutečná otázka z hlediska operačního modelu proto nezní jednoduše, kde firmy potřebují člověka ve smyčce. Zní: za co mají lidé zůstat odpovědní, když se stále více provádění přesouvá na AI – a kde jejich úsudek, pravomoc a odpovědnost skutečně mění výsledek.

Kde se nachází Vaše organizace? Náš Test AI Operating Model nabízí rychlé zhodnocení Vašeho současného operačního modelu AI.

1. Lidský dohled automaticky neznamená lepší rozhodnutí

Základním předpokladem systémů human-in-the-loop je, že AI poskytuje rychlost, rozsah a analytické schopnosti, zatímco člověk přispívá úsudkem. Teoreticky by spojení obou mělo přinést silnější výsledek. V praxi to však automaticky neplatí.

Metaanalýza z roku 2024 publikovaná v Nature Human Behaviour zkoumala 106 experimentálních studií s 370 uváděnými velikostmi účinku. Kombinace člověka a AI obecně dosahovaly lepších výsledků než samotní lidé, ale v průměru horších než lepší z obou subjektů – člověk, nebo AI – pracující samostatně. V úlohách rozhodování dosahovaly kombinace člověka a AI v průměru horších výsledků než lepší z obou subjektů pracující samostatně (Vaccaro a kol., 2024).

Na tom záleží, protože lidská kontrola se snadno může stát pouhou formalitou. Pokud zaměstnanec dostává stovky doporučení AI a systém má většinou pravdu, přirozeně se objevuje sklon jeho výstup přijímat. Mají-li kontrolující jen málo dodatečných informací nebo nemají jasná kritéria pro zásah, může schvalovací krok přidat čas, aniž by přidal smysluplný úsudek.

Výzkum Policy Lab Evropské komise ukazuje, jak obtížné to může být při rozhodnutích s vážnými důsledky. V experimentu se zhruba 1 400 odborníky na HR a bankovnictví v Německu a Itálii rozhodovali účastníci o přijetí zaměstnanců a poskytnutí úvěrů s podporou AI. Lidský dohled spolehlivě neodstranil diskriminační výsledky; individuální předsudky nadále ovlivňovaly, jak lidé doporučení AI využívali nebo ignorovali (European Commission Policy Lab, 2024).

Nejde o to, že by lidský dohled neměl hodnotu. Jde o to, že lidská přítomnost není totéž co skutečná lidská odpovědnost. Dohled funguje jen tehdy, když byla správně navržena sama role člověka.

2. Různá odvětví potřebují různé hranice role člověka

Je to patrné už dnes napříč německými odvětvími.

Výroba směřuje k operational AI poměrně rychle. V roce 2025 už 42 % německých průmyslových firem s nejméně 100 zaměstnanci využívalo AI ve výrobě a dalších 35 % to plánovalo. K nejčastějším aplikacím patřila analytika a monitorování strojů; firmy zkoumaly také AI v robotice, energetickém hospodářství a dalších částech výroby (Bitkom, 2025).

Kontrola kvality ukazuje, jak se může změnit dělba práce. Pokud systém AI pro strojové vidění dokáže třídit velké objemy součástek a spolehlivě rozpoznávat standardní případy, nedává smysl, aby zkušený technik tutéž kontrolu opakoval ručně. Užitečnější rolí člověka je zkoumat nejisté případy, chápat neobvyklé vzorce vad, rozhodovat, zda je nutné zastavit výrobu, a posuzovat, zda je třeba změnit pravidla kontroly. AI přebírá část provádění, zatímco lidská odpovědnost se přesouvá k výjimkám, eskalaci a zlepšování procesů.

Finanční služby ukazují jinou hranici. Podle Deutsche Bundesbank dosáhlo využívání AI v německém finančním a pojišťovacím sektoru v roce 2025 hodnoty 54 %. Menší a střední banky a spořitelny však AI stále využívají hlavně v podpůrných procesech, jako je tvorba textů, interní asistenti, odhalování podvodů a komunikace se zákazníky. V základních činnostech, jako je posuzování bonity a obchodování, je AI stále mnohem méně běžná (Deutsche Bundesbank, 2025).

Tento rozdíl je důležitý. Interní asistent, který zaměstnanci pomáhá najít informace, přináší zcela jiné riziko než systém, který podstatně ovlivňuje, zda zákazník získá úvěr. Pojišťovnictví naznačuje, jak se tato hranice může vyvíjet: zpráva EIOPA zveřejněná v roce 2026, vycházející z průzkumu mezi 347 evropskými pojistiteli z roku 2025, zjistila, že téměř dvě třetiny z nich už generativní AI využívají, ačkoli většina uváděných případů užití byla stále ve fázi proof of concept nebo experimentování. Aplikace se soustředily na interní produktivitu a back-office procesy. Pojistitelé zároveň očekávají, že agentic aplikace budou v příštích třech letech běžnější (EIOPA, 2026).

S rostoucí autonomií AI bude kontrola každé akce podpořené AI stále méně praktická. Organizace se budou muset místo toho rozhodnout, které případy mohou procházet automaticky a které podmínky mají spouštět zásah člověka.

3. Za co mají lidé zůstat odpovědní?

Neexistuje jediná odpověď, která by platila pro každý pracovní postup. Opakující se proces s nízkým rizikem vyžaduje jinou míru zapojení člověka než rozhodnutí o přijetí zaměstnance, posouzení bonity nebo otázka bezpečnosti výroby. Čtyři odpovědnosti však nabývají zvláštního významu, jakmile AI přebírá stále více provádění.

Za prvé, lidé musí zůstat odpovědní za cíl a pravidla. AI dokáže optimalizovat směrem k zadanému cíli, ale někdo musí stále rozhodnout, co se má optimalizovat a v jakých mezích. Výrobní systém může například optimalizovat propustnost, ale management nadále rozhoduje, jak ji vyvážit s kvalitou produktu, bezpečností, spotřebou energie nebo prostoji. Tyto kompromisy jsou obchodními rozhodnutími, nikoli technickými výstupy.

Za druhé, lidé mají zůstat odpovědní za podstatné výjimky. AI vytváří nejvyšší hodnotu tam, kde jsou vzorce dostatečně stabilní a výsledky lze měřit. Role člověka nabývá na významu, když tyto podmínky přestanou platit, například při neobvyklé poruše stroje, rozporných informacích v pojistné události nebo okolnostech, které dostupná data správně nezachycují.

Podobné rozlišení nachází i starší výzkum rozhodování člověka a AI. AI je silná při zpracování velkého množství informací a výpočetní složitosti, zatímco lidé zůstávají zvlášť důležití tam, kde rozhodnutí ovlivňují kontext, nejistota a nejednoznačnost (Jarrahi, 2018). Z pohledu operačního modelu by tedy organizace neměly umisťovat člověka do každé smyčky. Měly by vymezit výjimky, které vyžadují zásah člověka.

Za třetí, lidé potřebují skutečnou pravomoc zasáhnout. Odráží se to i v nařízení EU o umělé inteligenci (EU AI Act). U vysoce rizikových systémů musí být lidský dohled přiměřený riziku a míře autonomie. Odpovědné osoby musí rozumět omezením systému, rozpoznávat riziko přílišného spoléhání na výstupy AI, v případě potřeby doporučení ignorovat nebo zvrátit a v nutných případech systém zastavit. Zavádějící subjekty (deployers) jsou rovněž povinny pověřit dohledem osoby s potřebnou kompetencí, vyškolením a pravomocí (European Union, 2024, čl. 14 a 26).

Klíčové slovo je zde pravomoc. Pokud zaměstnanec problém zjistí, ale nemůže systém přepsat ani rozhodnutí eskalovat, organizace nemá smysluplný lidský dohled. Má lidské pozorování.

A konečně, někdo musí zůstat odpovědný za výkonnost procesu jako celku. To přesahuje schvalování jednotlivých případů. Organizace musí chápat, zda se mění míra chyb, které výjimky se opakují, jak často zaměstnanci systém přepisují, zda jsou tyto zásahy oprávněné a zda původní rozhodovací pravidla stále dávají smysl. S tím, jak AI přebírá více provádění, tento druh odpovědnosti za proces nabývá na významu, nikoli naopak.

4. Co to znamená pro operační model

Právě zde se human-in-the-loop stává otázkou operačního modelu.

Pokud AI zajišťuje standardní provádění, neměli by zaměstnanci kontrolovat každý výstup jen proto, že organizace chce mít zapojeného člověka. Práce lidí by se měla přesunout k místům, kde úsudek skutečně mění výsledek: k výjimkám, eskalaci, kontrole kvality a rozhodnutím zahrnujícím podstatné kompromisy.

Pokud lidé za tato rozhodnutí zůstávají odpovědní, potřebují také informace, dovednosti a pravomoc nutné k jejich přijímání. Jinak organizace vytváří další schvalovací vrstvu, aniž by vytvořila smysluplnou kontrolu.

Odpovědnost je třeba vymezit i nad rámec jednotlivého uživatele. Vlastníci procesů stanovují prahové hodnoty a pravidla eskalace. Odborníci z jednotlivých funkcí definují standardy kvality. Technologické týmy sledují výkon systémů. Management zůstává odpovědný za obchodní výsledek. V německých organizacích může využívání AI na pracovišti navíc souviset s právy na informování, projednání a spolurozhodování podle německého zákona o podnikové ústavě (Betriebsverfassungsgesetz), podle toho, jak se technologie používá.

Předchozí článek této série argumentoval, že automatizace a augmentace nejsou protiklady. S tím, jak AI přebírá standardní provádění, se práce lidí stále více přesouvá k dohledu, řešení výjimek a úsudku.

Human-in-the-loop je dalším tématem této diskuse. Otázka nezní, jak zajistit zapojení člověka do každého procesu s podporou AI, ale jak proces navrhnout tak, aby AI provádění zajišťovala tam, kde je spolehlivá, a lidé zůstali odpovědní tam, kde úsudek, pravomoc a odpovědnost podstatně mění výsledek.

Právě to mění lidský dohled ze schvalovacího kroku v součást operačního modelu.

Chcete tyto myšlenky uvést do praxe? Využijte náš Test AI Operating Model, abyste zjistili, kde se Vaše organizace nachází, a určili oblasti ke zlepšení. Další pohledy na AI, lidskou odpovědnost a operační modely najdete, pokud budete na LinkedInu sledovat ProNexum Consulting.

Tento článek byl poprvé zveřejněn na LinkedInu (anglicky): originál. Česká verze je překladem anglického originálu. Článek slouží pouze k obecné informaci a nepředstavuje právní, daňové ani investiční poradenství.

Další články

AI Operating Model

Automatizace versus augmentace je špatná debata

Číst dále →AI Operating Model

Conversational AI, Operational AI a Agentic AI: rozdíl, který by měli znát firemní lídři

Číst dále →