Skrytý text v běžném dokumentu Word může přimět Microsoft Copilot ke kopírování škodlivých instrukcí do nově vytvářených souborů a vytvořit tak řetězec, který se šíří při běžné práci s dokumenty. Tento mechanismus, označovaný autorem jako cross-domain prompt injection (XPIA), popisuje norský bezpečnostní výzkumník Håkon Måløy ve třetí části své studie Context Collapse. Útok nevyužívá klasickou softwarovou zranitelnost, ale způsob, jakým velké jazykové modely pracují se vstupním textem. Nedokážou totiž vždy spolehlivě rozlišit, co je obsah dokumentu a co instrukce určené pro model.
K provedení útoku stačí jediný dokument obsahující instrukce v přirozeném jazyce, které nejsou pro běžného uživatele viditelné. Mohou být například zapsány bílým písmem na bílém pozadí nebo jinak skryty pomocí formátování. Pokud uživatel požádá Copilot o shrnutí, úpravu nebo vytvoření nového dokumentu na základě takového souboru, model zpracuje i tento skrytý obsah. Ve svém proof-of-conceptu Måløy ukázal, že lze Copilotu podsunout instrukci, aby při vytváření finančního reportu nenápadně změnil všechny číselné hodnoty na polovinu a současně vložil stejný skrytý prompt i do nově vytvořeného dokumentu.
Nově vytvořený dokument se pak může stát dalším zdrojem pro Copilot. Pokud jej někdo později použije při další práci, model převezme i skryté instrukce a vloží je do dalšího výstupu. Původní dokument už přitom nemusí být vůbec použit – škodlivý prompt se šíří prostřednictvím dokumentů vytvořených samotným Copilotem. Podle Måløye je právě tato ztráta návaznosti jedním z největších rizik. Dokumenty vznikají běžnými pracovními postupy, působí důvěryhodně a jejich původ lze jen obtížně dohledat.
Måløy zranitelnost oznámil Microsoftu prostřednictvím programu MSRC. Microsoft nasadil dvě mitigace – nejprve změny v uživatelském rozhraní a později aktualizaci modelu používaného Copilotem pro Word. Måløy však ukázal, že mírně upravené formulace dokázaly tehdejší ochrany obejít. Ve svém stanovisku Microsoft upozorňuje, že jde o obecný problém práce jazykových modelů s nedůvěryhodným obsahem: aby model mohl posoudit, zda je text bezpečný, musí jej nejprve zpracovat.
Pro podnikové prostředí je to další argument pro důsledné řízení přístupových práv AI asistentů. Copilot by měl mít přístup pouze k dokumentům, které uživatel skutečně potřebuje ke své práci, a citlivé výstupy by měly podléhat lidské kontrole. Důležitou součástí obrany zůstává také vícevrstvý přístup zahrnující klasifikaci dat, Data Loss Prevention a další bezpečnostní mechanismy. Samotné antivirové skenování dokumentů totiž podobný útok neodhalí – škodlivý obsah tvoří obyčejný text, nikoli spustitelný kód.
