Akt o umělé inteligenci směřuje do finále. Čeho se týká a jak se připravit?

Dne 13. března 2024 Evropský parlament schválil akt o umělé inteligenci („AI Akt“), jehož cílem je zajistit, aby vývoj a užití systémů umělé inteligence („systém AI“) v Evropské unii („EU“) byly bezpečné a respektovaly základní práva a hodnoty EU. AI Akt má rovněž podpořit investice a inovace v oblasti umělé inteligenci v EU. Dle komisaře pro vnitřní trh, Thierryho Bretona, se má v tomto ohledu jednat o vyváženou regulaci. Thierry Breton k tomuto na platformě X po schválení AI Aktu uvedl následující: „Regulujeme tak málo, jak je to jen možné - ale tolik, kolik je potřeba.“[1]

Návrh AI Aktu byl představen Evropskou komisí dne 21. dubna 2021. Dne 6. prosince 2022 dosáhla Rada EU o návrhu AI Aktu dohody „obecného přístupu.“ Evropský parlament potvrdil svůj postoj k návrhu AI Aktu dne 14. června 2023. Dne 8. prosince 2023 byla mezi Radou EU a Evropským parlamentem dosažena politická dohoda o podobě AI Aktu v rámci tzv. trialogu.[2] Začátkem února 2024 byl v souladu s dohodou učiněnou v rámci trialogu návrh AI Aktu schválen Výborem stálých zástupců (tzv. Coreper) a dále ve výborech Evropského parlamentu. AI Akt musí být dále schválen Radou EU, přičemž se má již jednat o formální krok s ohledem na politický závazek Rady EU vůči Evropskému parlamentu k jeho schválení.

AI Akt vstoupí v platnost dvacátým dnem po vyhlášení v Úředním věstníku Evropské unie (očekáváno v květnu nebo červnu 2024). AI Akt má dělenou účinnost (k tomu dále níže) a plně aplikovatelný bude 24 měsíců po svém vstupu v platnost.

Významným aspektem z hlediska zpřesnění požadavků AI Aktu bude mít přijetí harmonizovaných norem vydaných evropskými normalizačními organizacemi a pokynů Evropskou komisí, a případně též členskými státy a jejich příslušnými vnitrostátními orgány zodpovědnými za provádění AI Aktu. Klíčovou roli z hlediska zpřesnění pravidel pro obecné modely umělé inteligence („modely GPAI“) – jde např. o model, na kterém je založen ChatGPT od společnosti OpenAI – a modely GPAI se systematickým rizikem (k těmto viz dále) budou mít rovněž kodexy správné praxe, které mají být pod záštitou Evropského úřadu pro umělou inteligenci (jedná se o nově založený úřad – podrobněji viz dále) vypracovány do 9ti měsíců od vstupu AI Aktu v platnost.

Stěžejní roli při provádění AI Aktu na úrovni EU bude mít nově založený Evropský úřad pro umělou inteligenci, skrze který má Evropská komise rozvíjet expertízu v oblasti umělé inteligence. Evropskému úřadu pro umělou inteligenci jsou rovněž svěřeny pravomoci v oblasti dohledu nad dodržováním AI Aktu. K provádění AI Aktu jak na úrovni jednotlivých členských států, tak na úrovni EU, má dále přispět Evropská rada pro umělou inteligenci, která se bude skládat ze zástupců členských států. Evropská rada pro umělou inteligenci má zastávat poradní funkci vůči Evropské komisi a členským státům za účelem usnadnění jednotné a účinné aplikace AI Aktu. Významnou poradní funkci pro Evropskou radu pro umělou inteligenci a Evropskou komisi z hlediska technické expertízy a k plnění jejich úkolů dle AI Aktu bude zajišťovat poradní fórům, ve kterém mají být mimo jiného zástupci z odvětví, startupů, malých a středních podniků, občanské společnosti a akademické obce. Na podporu vymáhání pravidel stanovených AI Aktem má být rovněž ze strany Evropské komise založena vědecká komise složená z nezávislých odborníků.

Reklama

AI a LinkedIn efektivně (online - živé vysílání) - 7.1.2025

7.1.2025 13:003 975 Kč s DPH
3 285 Kč bez DPH

Koupit

Čeho se AI Akt týká?

AI Akt se primárně vztahuje na systémy AI. Systém AI je v čl. 3 odst. 1 AI Aktu definován široce a to mimo jiného z důvodu technické neutrality, a to jako: „Strojový systém navržený tak, aby fungoval s různými úrovněmi autonomie, který může po zavedení vykazovat adaptabilitu a který z obdržených vstupů odvozuje pro explicitní nebo implicitní cíle to, jak generovat výstupy, jako jsou predikce, obsah, doporučení nebo rozhodnutí, které mohou ovlivnit fyzické nebo virtuální prostředí“[3]

Výše uvedená definice odpovídá definici užívané Organizací pro hospodářskou spolupráci a rozvoj a byla vybrána za účelem sjednocení užívané terminologie z důvodu zajištění právní jistoty a široké akceptace na mezinárodní úrovni. Zároveň má tato definice odolat rychlému technologickému pokroku a být v tomto směru použitelná i do budoucna. Definice je dále založena na klíčových charakteristikách systémů AI, které systémy AI odlišují od jednoduššího tradičního softwaru nebo přístupů v programování. Pod tuto definici nemají spadat systémy, které jsou založeny na pravidlech definovaných výhradně fyzickými osobami pro automatické provádění operací.[4]

Pravidla obsažená v AI Aktu stojí na přístupu založeném na posuzování rizik (tzv. „risk-based approach“), kdy rozsah a přísnost příslušných pravidel týkajících se jednotlivých systémů AI závisí na pravděpodobnosti a závažnosti rizika, které mohou systémy AI představovat pro zdraví, bezpečnost a základní práva zakotvená v Listině základních práv Evropské unie.

Dle AI Aktu lze rozlišovat následující kategorie systémů AI: (i) systémy AI s nepřijatelným rizikem; (ii) systémy AI s vysokým rizikem; (iii) systémy AI s omezeným rizikem; a (iv) systémy AI s nízkým rizikem.

Systémy AI s nepřijatelným rizikem jsou AI Aktem zakázány. Na systémy AI s vysokým rizikem se vztahuje nejvíce požadavků dle AI Aktu. Na systémy AI, které představují omezené riziko (např. chatboti) AI Akt klade požadavky transparentnosti a na systémy AI, které představují nízké riziko se AI Akt nevztahuje (např.  videohry užívající umělou inteligenci a antispamové filtry).

 AI Akt dále stanovuje samostatná pravidla pro modely GPAI, které AI Akt definuje jako: „Model AI, včetně případů, kdy je tento model AI trénován velkým množstvím dat s využitím vlastního dohledu ve velkém měřítku, který vykazuje významnou obecnost a je schopen kompetentně plnit širokou škálu různých úkolů bez ohledu na způsob, jakým je daný model uveden na trh, a který lze začlenit do různých navazujících systémů nebo aplikací, s výjimkou modelů AI, které se používají pro činnosti výzkumu, vývoje nebo činnosti zaměřené na tvorbu prototypů před jejich uvedením na trh.“[5]

AI Akt stanoví přísnější pravidla pro modely GPAI se systémovým rizikem. Rizikovost těchto modelů je určena jejich výpočetním výkonem užívaným k jejich trénování. Výpočetní výkon stanovený AI Aktem činí 10^25 (FLOPs), tj. v jednotkách nastavených operací s pohyblivou řádovou čárkou za sekundu („floating point operations per second“).[6] Modely GPAI, které přesáhnou tento práh budou považovány za modely GPAI se systémovým rizikem. Výše uvedená hranice může být Evropskou komisí prostřednictvím aktů v přenesené působnosti měněna z důvodů technologického pokroku.

Z technického a právního hlediska je nutné rozlišovat mezi modely umělé inteligence („modely AI“) a systémy AI. Modely AI jsou nedílnou součástí systémů AI, ale samostatný systém AI samy o sobě nepředstavují. Modely AI vyžadují integrací dalších komponentů, jako např. uživatelského rozhraní, aby představovaly systém AI. Například ChatGPT od společnosti OpenAI představuje systém AI, který je (ve své nejvýkonnější verzi) založen na velkém multimodálním modelu GPT-4.  

Z působnosti AI Aktu jsou některé systémy AI a modely GPAI vyloučeny, a to např. systémy AI určené výlučně pro vojenské účely, účely obrany nebo národní bezpečnosti a dále systémy AI a modely GPAI vyvinuté a uvedené do provozu výhradně pro účely vědeckého výzkumu a vývoje.   

Koho se AI Akt týká?

AI Akt se vztahuje na poskytovatele[7] systémů AI uvádějící systémy AI na trh[8] nebo do provozu[9] v EU a dále na poskytovatele modelů GPAI uvádějící modely GPAI na trh. Na tyto subjekty se AI Akt vztahuje bez ohledu na to, zda jsou tyto subjekty usazeni či zda se nachází v EU.

Dále je AI Akt aplikovatelný na subjekty, které zavádějí[10] („deployers“) systémy AI a jsou usazeni či se nacházejí na území EU. V původním návrhu představeném Evropskou komisí v roce 2021 byl místo pojmu „zavádějící subjekt“ používán pojem „uživatel“ („user“).

Pokud jsou zavádějící subjekty či poskytovatelé systémů AI usazeni či se nachází mimo EU, ale výstup vytvořených jejich systémem AI je užíván na území EU, spadají taktéž do působnosti AI Aktu.

Identifikace toho, zda je daný subjekt poskytovatelem či zavádějícím subjektem systému AI je stěžejní z hlediska určení povinností, které musí příslušný subjekt dle AI Aktu dodržovat. Na tyto dva subjekty klade AI Akt nejvíce požadavků. Nejvíce povinností je však uloženo poskytovatelům, kteří oproti zavádějícím subjektům budou činit podstatně méně početnou skupinu.

AI Akt stanovuje povinnosti rovněž dalším subjektům v hodnotovém řetězci, a to dovozcům systémů AI,[11] distributorům systémů AI,[12] výrobcům výrobků uvádějícím systémy AI na trh nebo do provozu společně s jejich výrobky pod jejich vlastním jménem nebo ochrannou známkou a zplnomocněné zástupce[13] poskytovatelů systémů AI nebo modelů GPAI, kteří nejsou usazeni v EU.

Jaké povinnosti AI Akt ukládá a co zakazuje?

Zakázané systémy AI

AI Akt zakazuje uvádění na trh a do provozu a užití následujících systémů AI, které využívají následujících praktik (u některých praktik AI Akt stanovuje specifické výjimky z tohoto zákazu):

• kognitivně behaviorální manipulace lidí nebo využívají zranitelnosti osob nebo určitých zranitelných skupin
• sociálního skórování: klasifikace osob na základě jejich chování nebo známých, odvozených nebo předpokládaných charakterových nebo osobnostních vlastností
• určování pravděpodobnosti spáchání trestného činu určitou osobou, a to výhradně na základě jejího profilování nebo posouzení jejích osobnostních rysů nebo vlastností
• vytváření nebo rozšiřování databází rozpoznávání obličejů prostřednictvím necíleného sběru obličejových snímků z internetu nebo záznamů z CCTV
• odvozování emocí fyzických osob na pracovištích a ve vzdělávacích institucí
• biometrické kategorizace osob, které kategorizují jednotlivé fyzické osoby na základě jejich biometrických údajů s cílem dovodit jejich rasu, politický názor, náboženské vyznání apod.
• biometrické identifikace v reálném čase na dálku na veřejně přístupných místech pro účely vymáhání práva (např. rozpoznávání obličeje).

Vysoce rizikové systémy AI

Systém AI je považován za vysoce rizikový v případě naplnění následujících podmínek:

1. systém AI je určen k užití jako bezpečností komponent výrobku nebo samotný systém AI je výrobkem a vztahují se na tyto výrobky harmonizační právní předpisy EU uvedené v příloze I AI Aktu; a
2. výrobek, jehož bezpečnostní komponent dle předchozího bodu (i) je systém AI, nebo samotný systém AI, který je výrobkem, musí být podroben posouzení shody třetí stranou s ohledem na účel uvedení tohoto výrobku na trh nebo do provozu podle harmonizačních právních předpisů EU uvedených v příloze I AI Aktu.

Příloha I AI Aktu zahrnuje například právní předpisy EU týkající strojních zařízení, bezpečnosti hraček, zdravotnických prostředků či interoperability železničních systémů.

Vedle případů uvedených výše se systém AI považuje za vysoce rizikový dále v případě, pokud spadá do přílohy III AI Aktu a pokud představuje významné riziko vzniku újmy na zdraví, základních právech fyzických osob nebo bezpečnosti. Systém AI se dále považuje za vysoce rizikový rovněž v případě, kdy spadá do přílohy III AI Aktu a provádí profilování fyzických osob. Příloha III AI Aktu zahrnuje následující oblasti: biometrické metody identifikace, pokud jejich použití je povoleno vnitrostátním právem či právem EU; kritickou infrastrukturu (tj. kritickou digitální infrastrukturu, silniční dopravu, dodávky vody, plynu, tepla nebo elektřiny); vzdělávání a odbornou přípravu; zaměstnanost a přístup k samostatné výdělečné činnosti; přístup a využívání základních soukromých a veřejných služeb a výhod (např. zdravotnictví a bankovnictví); některé systémy vymáhání práva; migraci, řízení azylové a hraniční kontroly hranic; soudnictví a demokratické procesy (např. ovlivňování voleb).

Povinnosti stanovené poskytovatelům vysoce rizikových systémů AI

Na poskytovatele systému AI jsou AI Aktem kladeny nejpřísnější požadavky, a to včetně následujících povinností:

• vytvoření, zavedení, dokumentování a udržování systému řízení rizik a systému řízení kvality
• vyvíjení systému s užitím datových setů, které splňují kritéria kvality ohledně trénování, validace a testování, včetně požadavků na zmírnění zaujatosti („biases“) dat
• vypracování a vedení technické dokumentace před tím, než je systém uveden na trh či do provozu a její aktualizace
• vyvíjení systémů tak, aby umožňovaly automatické vedení záznamů a protokolování
• navržení a vývoj systémů způsobem, který umožňuje účinný lidský dohled
• navržení a vývoj systémů způsobem, který zajišťuje odpovídající úroveň přesnosti, robustnosti a kybernetické bezpečnosti
• registrování systémů v databázi EU (tato povinnost se vztahuje na všechny vysoce rizikové systémy obsažené v příloze III AI Aktu kromě oblasti kritické infrastruktury)
• zajištění toho, aby systém prošel příslušným postupem posuzování shody
• včasné vypracování EU prohlášení o shodě
• připojení „označení shody CE“ na systém AI
• provedení nápravných opatření a splnění informační povinnost vůči orgánu dozoru nad trhem a dalším subjektům v hodnotovém řetězci (např. distributorům, zavádějícím subjektům atd.).

Za poskytovatele vysoce rizikového systému AI se dle AI Aktu považuje (a vztahují se tedy na něj příslušné požadavky dle AI Aktu) rovněž distributor, dovozce, zavádějící subjekt nebo jakákoli třetí osoba pokud:

1. připojí na vysoce rizikový systém AI, který byl již uveden na trh nebo do provozu, své jméno či ochrannou známku, a to bez ohledu na smluvní ujednání příslušných stran
2. provedou významnou změnu vysoce rizikového systému AI, který byl již uveden na trh nebo do provozu, a to takovým způsobem, že systém AI zůstane nadále vysoce rizikovým systémem AI
3. změní zamýšlený účel systému AI, který nebyl klasifikován jako vysoce rizikový systém AI a který byl již uveden na trh nebo do provozu, a to způsobem, že se příslušný systém AI stane vysoce rizikovým systémem AI

Pokud nastane některý z výše uvedených případů, poskytovatel systému AI, který původně uvedl systém AI na trh nebo do provozu, nebude pro účely AI Aktu považován za poskytovatele tohoto systému AI. Původní poskytovatel je povinen novému poskytovateli poskytnout stanovenou součinnosti (s výjimkou případu, kdy původní poskytovatel jasně uvedl, že systém AI nemá být změněn na vysoce rizikový systém AI).

Povinnosti stanovené subjektům zavádějícím vysoce rizikové systémy AI

AI Akt klade dále významné požadavky pro subjekty zavádějící systémy AI, a to včetně následujících:

• přijmutí vhodných technických a organizačních opatření k zajištění používání těchto systémů v souladu s jejich návodem k použití
• lidského dohledu nad systémem AI osobě s potřebnými schopnostmi, školením a pravomocemi
• pokud zavádějící subjekt vykonává kontrolu nad vstupními daty, je povinen zajistit, aby tato data byla relevantní a dostatečně reprezentativní s ohledem na zamýšlený účel systému AI
• monitorování provozu systému AI dle návodu k použití a plnění příslušných informačních povinností vůči poskytovatelům a dalším osobám v hodnotovém řetězci a orgánům dozoru nad trhem
• povinností týkajících se uchovávání protokolů
• subjekty zavádějící vysoce rizikové systémy AI, kteří jsou zaměstnavateli, jsou povinni před uvedením systémů do provozu informovat zástupce zaměstnanců a dotčené zaměstnance o tom, že budou podléhat užití vysoce rizikového systému AI
• provedení posouzení dopadu na základní práva u stanovených vysoce rizikových systémů AI obsažených před jejich uvedením do provozu
• v případě, že rozhodnutí přijaté zavádějícím subjektem na základě výstupu některého vysoce rizikového systému AI (tato povinnost se vztahuje na všechny vysoce rizikové systémy AI obsažené v příloze III AI Aktu kromě oblasti kritické infrastruktury) vyvolá právní účinky nebo podobně významně ovlivní dotčenou osobu způsobem, který tato považuje za nepříznivý na její zdraví, bezpečnost nebo základní práva, má tato osoba právo na poskytnutí jasného a smysluplného vysvětlení úlohy systému AI v rozhodovacím postupu zavádějícího subjektu a hlavních prvků přijatého rozhodnutí.

Povinnosti stanovené pro systémy AI s omezeným rizikem

AI Akt stanovuje následující povinnosti pro určité systémy AI (v některých případech jsou stanoveny výjimky):

• povinnost transparentnosti pro poskytovatele systémů AI, které jsou určeny k přímé interakci s fyzickými osobami. Tito mají zajistit, že fyzické osoby jsou informovány o tom, že komunikují se systémem AI, pokud to není zřejmé např. z okolností a kontextu použití systému AI
• povinnost poskytovatelů systémů AI označit uměle vytvořený zvukový, obrazový, textový nebo video obsah ve strojově čitelném formátu a identifikace toho, že byl obsah uměle vytvořen nebo upraven
• subjekty zavádějící systémy rozpoznávání emocí nebo biometrické kategorizační systémy jsou povinni informovat fyzické osoby, které jsou těmto systémům vystaveny, o provozu těchto systémů
• subjekty zavádějící systémy AI, které generují nebo upravují obrazový, zvukový nebo video obsah, který představuje tzv. deep fake[14] musí uvést, že obsah byl uměle vytvořen nebo upraven
• subjekty zavádějící systémy AI, které generují nebo upravují text, který je publikován s cílem informování veřejnosti o otázkách veřejného zájmů, jsou povinni uvést, že text byl uměle vytvořen nebo upraven.

Povinnosti stanovené pro GPAI modely

Na poskytovatele modelů GPAI se vztahují zejména následující povinnosti:

• vypracování a vedení technické dokumentace
• zpřístupnění informací a dokumentace poskytovatelům systémů AI, kteří hodlají model integrovat do svého vlastního systému AI
• zavedení pravidel pro dodržování autorského práva EU
• vypracování a zveřejnění dostatečně podrobného shrnutí obsahu použitého k trénování modelu podle vzoru poskytnutého Evropským úřadem pro umělou inteligenci.

Na poskytovatele modelů GPAI se systémovým rizikem se vztahují vedle povinností stanovených pro modely GPAI další povinnosti, včetně posouzení a zmírnění případného systémového rizika a zajištění odpovídající úrovně ochrany kybernetické bezpečnosti.

Jaké AI Akt ukládá sankce?

Za nedodržení příslušných ustanovení AI Aktu hrozí uložení následujících pokut:

• pokuta až ve výši 35 milionů EUR nebo 7 % ročního celosvětového obratu za předchozí finanční rok (podle toho která hodnota je vyšší) za porušení týkající se zakázaných systémů AI
• pokuta až ve výši 7,5 milionů EUR nebo 1 % ročního celosvětového obratu za předchozí finanční rok (podle toho která hodnota je vyšší) za poskytnutí nesprávných, neúplných nebo zavádějících informací oznámeným subjektům[15] a příslušným vnitrostátním orgánům
• pokuta až ve výši 15 milionů EUR nebo 3 % ročního celosvětového obratu za předchozí finanční rok (podle toho která hodnota je vyšší) za ostatní porušení AI Aktu
• pokuta až ve výši 15 milionů EUR nebo 3 % ročního celosvětového obratu za předchozí finanční rok (podle toho která hodnota je vyšší) za porušení ustanovení AI Aktu ze strany poskytovatelů modelů GPAI

Kdy AI Akt nabývá účinnosti?

Ustanovení AI Aktu budou plně aplikovatelná 24 měsíců po jeho vstupu v platnost s výjimkou zejména následujících částí:

• 6 měsíců od vstupu AI Aktu v platnost budou vymahatelná ustanovení týkající se zakázaných systémů AI
• 9 měsíců od vstupu AI Aktu v platnost mají být k dispozici kodexy správné praxe
• 12 měsíců od vstupu AI Aktu v platnost mají být účinná pravidla týkající se modelů GPAI, které byly uvedeny na trh po 12ti měsících od vstupu AI Aktu v platnost
• 36 měsíců od vstupu AI Aktu v platnost mají být účinné povinnosti pro vysoce rizikové systémy AI, na které se vztahují harmonizační právní předpisy EU uvedené v příloze I AI Aktu a dále poskytovatelé modelů GPAI, které byly uvedeny na trh před 12ti měsíci od vstupu AI Aktu v platnost, jsou povinni dodržovat požadavky stanovené AI Aktem

Jak se připravit?

S ohledem na komplexnost požadavků AI Aktu je žádoucí začít se strategickým plánováním na přípravu nové regulace již nyní. Hlavní kroky v závislosti na typu regulovaného subjektu mohou spočívat ve:

• zhodnocení dopadů nové regulace, včetně zmapování a kategorizace používaných a/nebo vyvíjených či zvažovaných systémů AI/modelů GPAI
• provedení GAP analýzy a posouzení mezer mezi stávajícími compliance směrnicemi a postupy a požadavky nové regulace, včetně provedení analýzy datových souborů a správy dat a nových požadavků na transparentnost
• identifikace a vypracování příslušné dokumentace, reportingu a postupů
• promítnutí požadavků nové regulace do dodavatelských smluv a obchodních podmínek
• pravidelný monitoring přijatých harmonizovaných norem, pokynů, prováděcích předpisů, kodexů praxe a dalších doporučení či pokynů ze strany příslušných orgánů.

Mgr. Klára Krbušek (Mikešová),
advokátka

© EPRAVO.CZ – Sbírka zákonů, judikatura, právo | www.epravo.cz

• Tweet