AI Act už platí. Ví to vaše firma?

Zákon o umělé inteligenci není science fiction z Bruselu, ale realita, která se týká i výrobních podniků. Dotýká se náboru, reklamy i interních dat. Advokátka Petra Stupková vysvětluje, co musí firmy řešit už dnes, kde hrozí zbytečná panika a kdo ve firmě nese odpovědnost za chyby AI.

Jaká pravidla dnes firma při využívání AI musí dodržovat a co konkrétně se mění s AI Actem? Co začít řešit hned a co počká?

Je důležité nejprve identifikovat rizika. Ty potom zhodnotit a teprve potom máte nějaký ucelený přehled pravidel, které firma skutečně musí dodržet. To je pud sebezáchovy. Řada lidí si myslí, že AI je regulována pouze AI Actem. Nemůžete být dál od pravdy. Existuje řada vztahů, které AI zásadně ovlivňuje. V takovém případě je potřeba se ohlížet na to, co nám k tomu relevantní předpis říká. Disruptuje AI náborový proces do zaměstnání? Pak nás bude zajímat zákoník práce, GDPR a AI Act. Tvoříte obsah na zakázku a pomáháte si AI, pak vás bude zajímat autorský zákon, zákoník práce, občanský zákoník a okrajově AI Act. Předpisy, které dávají pravidla řadě životních situací, tu byly už před rozšířením generativní umělé inteligence a nikam neodešly. Akorát je potřeba pochopit, jak funguje AI právě v mojí profesi, firmě nebo projektu a správně a komplexně je aplikovat. Takže zpátky k AI Actu, většiny organizací se ale bude týkat splnění AI gramotnosti a pravidla pro označení obsahu. A pak je tady pravidlo transparentnosti, kdy potřebujeme spotřebitelům říkat, že tady mluvíte s umělou inteligencí a ne s reálnou osobou. To opravdu nepočká, poněvadž už platí.

Které firmy se AI Actu bojí zbytečně a které ho naopak podceňují?

Vždy s oblibou říkám, že optimismus je jen důsledek nedostatku informací. AI Actem se často straší jako brzdou inovace. Podle mého názoru zbytečně. Těžiště problému leží více v tom, jak technologie AI funguje, ne v jednom z mnoha nařízení z dílny EU. Organizace neumí nežádoucí účinky AI ani pojmenovat, natož je řešit, neví o nich. Přitom pokud tím nástrojem řídíte lidi, hodnotíte úvěry nebo rozhodujete o zdraví, velmi často na vás budou dopadat i povinnosti. Rozdíl vnímám u subjektů ze silně regulovaných oborů, typicky zdravotnictví nebo financí, které už jsou zvyklé pracovat v prostředí, kde regulace hraje zásadní roli a bývají na tuto oblast velmi dobře připravené.

Kdo ve firmě reálně nese odpovědnost za nasazení AI a za její chyby?

Je to taková kaskáda. Typickým příkladem bude agentura, která obsluhuje e-shop. V e-shopu pracují nějací lidé a v té agentuře pracují také. Každý z těch lidí se zodpovídá ke svému zaměstnavateli, případně je OSVČ a firmy mají smlouvu mezi sebou. Agentura vytvoří nějakou kampaň a licencuje ji e-shopu. No a když se něco pokazí, tak se e-shop bude samozřejmě dotazovat agentury a bude říkat, že to je její odpovědnost, protože to měla dodat tak, aby to bylo v souladu se zákonem.

Agentura se pak podívá dovnitř a bude hledat odpovědného člověka. Tam už nastupují pravidla zákoníku práce. Pokud to nejsou zaměstnanci, ale kontraktoři, tak ti jsou v tom celým svým majetkem a plnou odpovědností. Záleží to na nastavení vztahů, ale rozhodně bych si nepředstavovala, že někdo dožene k odpovědnosti firmy, které provozují ekosystémy AI. V některých ohledech nám už dnes pomáhají předpisy jako DSA, ale pořád je naivní si myslet, že odpovědnost ponesou provozovatelé modelů AI.

Jak bezpečně pracovat s citlivými a firemními daty, když zaměstnanci používají AI nástroje? Kde je největší riziko úniku dat?

Ptáte se na data citlivá z pohledu zákona nebo na data, které organizace sama za citlivé považuje? Asi všichni cítíme, že rady typu “ do AI nedávejte osobní údaje” a “všechno anonymizovat” nejsou účinné, ale ani reálné. Data, jejichž ztrátu může společnost pociťovat velmi citelně totiž vůbec nemusí být osobní. Na druhou stranu osobní údaje budou vždy podléhat režimu GDPR. Takže je to opět o nastavení procesů v organizaci, kde je potřeba identifikovat, co jsou vlastně citlivá data a co je zákonné minimum, které se vyplatí dodržovat. A tyto procesy se vyplatí nastavit efektivně, jelikož trestem nebývá ani tak pokuta ze strany státu, ale prostý fakt, že organizace často akvírují data, které pak nemůže použít. Typicky proto, že lidé o tom, co se děje s jejich daty, nebyli dopředu informováni a nemohli říct, že třeba nechtějí být profilováni, nebo nechtějí, aby o jejich právěch rozhodoval stroj. Navibecodit si aplikaci, která nerespektuje zákon, je snadné a nikdo vás preventivně varovat nebude.

Co má obsahovat interní směrnice pro používání AI, aby chránila firmu, ale nezadusila práci?

Rámovat dodržování zákona jako dušení byznysu je nesprávné. Rozumím tomu, že není snadné se v právní džungli předpisů vyznat. Chápu, že právní řád není dokonalý. Ale v zájmu každé společnosti je generovat zisk.

Dobrá směrnice by měla být učiněná hlavně tak, aby ochránila schopnost společnosti generovat zisk. Především proto, aby chránila společnost před chybou vlastních lidí. Možná je to naivní pohled a určitě to není snadná cesta, ale já ji vnímám jako jedinou efektivní. Dobrá směrnice není zákaz, ale návod, který jasně řekne, které nástroje jsou schválené, jaká data se do nich smí a nesmí vkládat, a kdo je kontaktní osoba, když si někdo není jistý. Musí obsahovat i to, jak se výstup z AI kontroluje před použitím, protože odpovědnost za chybu v dokumentu nenese model, ale člověk, který ho podepsal. Přidala bych jasná pravidla pro označování AI generovaného obsahu, hlavně tam, kde to vyžaduje AI Act nebo kde jde o komunikaci s klienty. Směrnice pak musí respektovat potřeby běžného pracovního dne, jinak ji lidé obejdou.

Jaká jsou největší rizika neřízeného používání AI zaměstnanci („shadow AI“) — a jak je podchytit?

Shadow AI je nejzrádnější v tom, že o něm vedení neví a nemůžete ho tím pádem řídit. Zaměstnanci si najdou vlastní nástroje, protože jim ušetří čas, a firma tak ztrácí kontrolu nad tím, kam putují data a jestli výstupy vůbec odpovídají realitě. Podchytit to jde jedině správnou AI Governance, tedy principy řízení umělé inteligence, které dávají jejímu využití jasné mantinely a jsou jasně komunikované i následně kontrolované. Lidé musí rizika poznat, pochopit a pak jsou ochotni respektovat pravidla. Zákaz bez náhrady zpravidla nefunguje nikdy.

Co konkrétně by mělo vedení společnosti v oblasti AI Governance vyřešit jako první?

Úplně první krok je mapování, jaké nástroje se v organizaci využívají a k čemu. Dále silně doporučuji určit jednoho člověka nebo tým, který agendu AI Governance ve firmě vede a nese za ni zodpovědnost. Jinak zpravidla není jasné, kdo je jejím vlastníkem. Až potom přichází na řadu klasifikace rizik podle AI Actu, interní směrnice a školení lidí.

BIO:
Mgr. Petra Stupková, advokátka a spoluzakladatelka advokátní kanceláře Legitas, se specializuje na právo v oblasti AI, e-commerce a technologií. Je také spoluzakladatelkou České asociace umělé inteligence, pravidelně školí a přednáší na oborových akcích i vysokých školách. Je autorkou připravované knihy Právo a generativní umělá inteligence od nakladatelství C. H. Beck. V roce 2025 získala ocenění Osobnosti.ai v kategorii Právo.