Firemní chatbot, který bez mrknutí oka potvrdí převod milionů eur. Jiný, který zákazníkovi přislíbí auto za jeden dolar. A další, který krok za krokem vydá interní dokument, jen proto, že byl správně „ukecán“. Nejde o chyby softwaru ani hackerské útoky v tradičním slova smyslu. Jde o důsledek toho, že firmy začínají používat generativní AI bez stejných bezpečnostních pravidel, jaká léta platí pro internet nebo e-mail. Upozorňují na to zástupci společnosti Soitron.
„V posledních měsících vidíme výrazný nárůst situací, kdy firmy nasazují AI nástroje bez jasných pravidel a dohledu. To otevírá dveře útokům, únikům dat i reputačním problémům,“ říká Martin Lohnert, ředitel security operations centra void SOC technologické společnosti Soitron.
Nový typ útoku necílí na podnikovou infrastrukturu, ale přímo na chování AI modelů. Takzvané prompt injection nebo promptware dokážou přimět chatboty a asistenty k porušení interních pravidel, potvrzování neplatných transakcí nebo zpřístupnění citlivých informací.
„V rámci testování jsme vytvořili fiktivní finanční společnost s chatbotem, který měl striktně nastavená pravidla. Stačilo ale několik promyšlených vět a bot začal potvrzovat milionové převody. V reálném prostředí by to znamenalo obrovské riziko,“ popisuje Martin Lohnert.
Podobné incidenty se už objevují i v praxi. Známý je například případ letecké společnosti Air Canada, která prohrála soud kvůli chybným informacím poskytnutým chatbotem, nebo incident amerického dealera značky Chevrolet, kde se zákazníkovi podařilo „vyjednat“ nové auto za jeden dolar.
Dalším typem útoku je data leakage – tedy únik dat z AI modelu. „V jednom chatbotu jsme zkoušeli, zda nám poskytne informace o slevách obsažených v interním dokumentu. Celé jeho znění nám nevydal, ale když jsme ho požádali o první větu, tak nám ji předal. Potom jsme požádali o další a další…no a text nám postupně vydal celý,“ říká Martin Lohnert.
Jiné „měkké vyjednávání“ dokazují, že jazykové modely dokážou obcházet i licenční ochranu. Například vydavatel New York Times se kvůli tomu soudí s OpenAI, protože z chatbotu lze větou po větě získat celé články, které jsou placené.
Podle Soitronu ale nejde o selhání AI jako takové. „Největším problémem je lidská slepá důvěra v technologii. AI dnes vystupuje jménem firmy a právo ji tak i vnímá. Pokud chatbot něco slíbí, firma za to nese odpovědnost,“ vysvětluje Martin Lohnert.
Zkušenosti z provozu void SOCu ukazují, že firmám často chybí základní pravidla pro používání AI, školení zaměstnanců i monitoring toho, co do systémů vstupuje a co z nich vychází. To může vést nejen k finančním ztrátám, ale i k porušení legislativy, například v oblasti ochrany osobních údajů.
Podle nejnovějšího průzkumu mezinárodní profesní asociace ISACA až 83 % IT a obchodních profesionálů v Evropě tvrdí, že jejich zaměstnanci používají umělou inteligenci. Přesto jen 31 % firem má zavedenou oficiální a komplexní politiku pro její používání, což odhaluje výrazný nesoulad mezi každodenní praxí a formalizovanou správou AI.
„Nikdo dnes neuvažuje o vypnutí internetu jen proto, že je nebezpečný. Místo toho máme firewally, pravidla a dohled. U AI bychom měli postupovat úplně stejně,“ uzavírá Martin Lohnert.
