Z pohledu kyberbezpečnosti jde o vážné riziko. Tyto systémy sbírají nejcitlivější data jako obličejové skeny nebo hlasové profily. Útočníci po získání těchto dat mohou vytvářet deepfake videa, falešné hlasové autorizace nebo obcházet biometrické ověření. Nejde už jen o částečné informace o lidech, ale hotové klíče k jejich identitě.
Školy měsíc nevěděly, že sbírají biometrická data studentů
V březnu 2025 začala videokonferenční platforma Teams automaticky sbírat hlasová a obličejová data uživatelů prostřednictvím funkce nazvané ‚voice and face enrolment‘. Úřad pro školství v australském Novém Jižním Walesu, kde Teams používají školy jako hlavní komunikační platformu pro učitele a studenty, se o tom dozvěděl až po měsíci.
Funkce vytváří hlasový a obličejový profil každého účastníka videohovorů. Poskytovatel platformy tvrdil, že to zlepšuje kvalitu zvuku a umožňuje softwaru rozpoznat, kdo mluví. Data navíc proudí do AI chatbota Copilot.
Úřad funkci vypnul v dubnu a profily smazal do 24 hodin poté, co se o problému dozvěděl. Případ ukazuje, jak snadno se může stát, že firma nebo instituce sbírá biometrická data, aniž by o tom věděla. Poskytovatel změnu nastavení oznámil na konci roku 2024, ale ne všichni zákazníci si upozornění všimli nebo pochopili jeho dosah. Situací se v dubnu 2025 začal zabývat i Europol, který upozornil, že zatímco běžná hesla lze měnit, u biometrie to není možné, a proto je prolomení těchto dat velmi nebezpečné.
Co říká AI Act a jaké pokuty hrozí
AI Act, který vstoupil v platnost v srpnu 2024, přímo zakazuje některé praktiky s behaviorální AI. Od 2. února 2025 platí zákaz rozpoznávání emocí na pracovištích a ve školách. Výjimky jsou pouze pro medicínské nebo bezpečnostní účely.
Zákon také zakazuje biometrickou kategorizaci podle chráněných znaků jako je politické přesvědčení, náboženství nebo sexuální orientace. A zakazuje nekontrolované stahování obličejů z internetu nebo kamerových systémů k vytváření databází.
Pokuty jsou vysoké. Za porušení zákazů hrozí až 35 milionů eur nebo sedm procent celosvětového obratu, podle toho, co je vyšší. Za jiná porušení povinností až 15 milionů eur nebo tři procenta obratu.
Oblast řízení lidských zdrojů spadá mezi vysoce rizikové. Firmy musí informovat pracovníky, zajistit lidský dohled, uchovávat záznamy minimálně šest měsíců a u některých nasazení provést posouzení dopadů na základní práva.
Kde se behaviorální AI schovává
Funkce využívající biometrii se můžou objevit v nástrojích, které firma už běžně používá. Často jako volitelný modul nebo doplněk, který někdo zapnul, aniž by si uvědomil právní dopady.
Mezi nejčastější zdroje rizika patří videokonference a doplňky. Například Zoom v roce 2020 zrušil funkci attention tracking po kritice kvůli narušování soukromí. Dnes ale nabízí analýzu sentimentu v kontaktních centrech, kde některé verze zkoumají nejen text, ale i tón hlasu. To už může spadat pod rozpoznávání emocí z biometrických dat.
Další riziko představují kamerové systémy a retailová analytika. Například britský Network Rail testoval na nádražích AI analýzu emocí a demografie. Podobné moduly přitom nabízí řada kamerových systémů jako volitelné doplňky. Firmy si často neuvědomují, že demografická analýza je forma biometrické kategorizace, která může spadat pod regulaci.
Zvláštní pozornost vyžadují docházka a přístupové systémy založené na biometrii. Britský úřad ICO v únoru 2024 nařídil společnosti Serco Leisure přestat používat rozpoznávání obličeje pro docházku. Byl to první případ, kdy úřad zakázal zaměstnavateli biometrickou docházku.
Okamžitá ochrana není složitá
Prvním krokem je inventura platforem. Firma by měla projít všechny nástroje pro videokonference, HR, kontaktní centra, docházku a kamerové systémy. U každého nástroje zkontrolovat nastavení a seznam aktivních doplňků.
U často používaných komunikačních platforem jako Teams je nutné zkontrolovat aplikace třetích stran a nastavit povinné schvalování. U Zoomu prověřte AI Companion. Vyhledejte a vypněte jakékoliv funkce s názvem ‚emotion‘, ‚mood‘ nebo ‚engagement score‘. U kamerových systémů deaktivujte biometrické nebo demografické moduly.
Kromě technických opatření zaveďte také interní směrnici, že firma nepoužívá systémy k rozpoznávání emocí. Do smluv s dodavateli přidejte klauzuli, že řešení neobsahuje zakázané funkce, a definujte možnost odstoupení a smluvní pokutu při porušení. Tím se firma chrání nejen technicky, ale i smluvně.
Případ britské inženýrské firmy Arup potvrzuje, že riziko je reálné. V roce 2024 přišla o 25 milionů dolarů při deepfake videohovoru. Policie v Hongkongu případ nadále vyšetřuje. Jde o ilustraci toho, jaké následky může mít únik hlasových a obličejových dat.
Firmy musí mít průběžný dohled
Podle průzkumu Evropské komise z října 2025 používá v práci AI nástroje přibližně 30 až 33 % pracovníků v EU a 37 % je sledováno kvůli pracovní době. To ukazuje, jak běžné monitorování a AI v práci už jsou. Zaměstnanci by měli vědět, co se s jejich daty děje a proč.
Častý předpoklad je, že pokud firma nic speciálně nezapínala, nemá žádné rizikové funkce. Případ australského úřadu pro školství ale ukazuje opak. Dodavatel může funkci zapnout automaticky a uživatel se o tom dozví až s odstupem.
AI Act se snaží regulovat oblast, která se velmi rychle vyvíjí. Některé funkce, které dnes vypadají neškodně, můžou být za rok zakázané. A naopak, některé zakázané praktiky už dnes běží v nástrojích, které firma používá, aniž by o tom věděla.
Nejlepší ochranou je pravidelný audit nástrojů, jasná politika a školení zaměstnanců. A hlavně pozornost k tomu, co dodavatelé přidávají do svých produktů. Protože to, co dnes vypadá jako užitečná funkce pro zlepšení kvality zvuku, může být zítra důvod k pokutě ve výši 35 milionů eur.
