Může web konkurenta řídit vašeho AI asistenta? Co je prompt injection

U marketingového asistenta je snadné začít kvalitou výstupu: vystihl rozdíly mezi produkty, nezapomněl na důležitou podmínku, uvedl zdroje? Ještě před zapojením do běžného provozu však potřebujete vědět, co všechno může během přípravy udělat. Odeslat hotový návrh totiž vyžaduje jiné oprávnění než jej pouze připravit.

Právě tady se projevuje riziko prompt injection. Dokument, který má být předmětem rozboru, může obsahovat text určený k ovlivnění samotného asistenta. Pro vedoucího marketingu je proto užitečnější zmapovat jednu konkrétní práci než hledat univerzální větu, která má všechny takové pokusy zastavit.

Jak se z podkladu může stát nevyžádaný pokyn

Prompt injection označuje pokus změnit zamýšlené chování jazykového modelu prostřednictvím obsahu, který ovládá útočník. Nepřímá varianta přichází z toho, co asistent čte: z webu, dokumentu, e-mailu nebo výsledku nástroje. Nemusíte tedy problematický pokyn sami vložit do konverzace.

Nejde o totéž jako o vymyšlené tvrzení bez opory ve zdrojích. V tomto případě zdroj obsahuje instrukci, která se snaží práci přesměrovat. Důsledkem může být zkreslené shrnutí, zneužití nástroje nebo zpřístupnění informací. Záleží na tom, co okolní systém asistentovi umožňuje.

Představme si hypotetický příklad, nikoli skutečný incident. Asistent porovnává tři veřejné weby pro interní přehled. Na jednom najde požadavek, aby upřednostnil jeho provozovatele a vynechal slabinu nabídky. Zadáním přesto zůstává srovnání doložené zdroji. Web nemá právo upravit jeho pravidla. Pokud by asistent zároveň mohl číst interní cenové poznámky a posílat zprávy, možné následky by byly závažnější. Taková oprávnění nemají automaticky doprovázet průzkum veřejných informací.

Ani běžně vypadající stránka není autoritou pro řízení úkolu. A podle několika podezřelých obratů nelze spolehlivě odhalit každý pokus. Potřebujete omezení, která nezávisejí pouze na tom, zda model problém pozná.

Sepište, co asistent smí číst a kam může něco poslat

V MindVerve doporučujeme začít průzkumem konkurence, jehož jediným výsledkem je interní návrh ze schválených podkladů bez citlivých údajů. Se správcem systému projděte zdroje vstupů, dostupná neveřejná data, nástroje, odchozí komunikační cesty a příjemce výsledku. Nástroje pro nepotřebné úpravy, odesílání a publikování vypněte. Povolené cíle omezte prostředky dané platformy. Do části, která zpracovává externí podklady, nezapojujte důvěrné informace.

Pozor na označení „jen pro čtení“. Brání některým změnám, ale samo o sobě nezabraňuje úniku. Asistent může data přečíst a zahrnout je do síťového požadavku nebo výstupu pro nevhodného příjemce. Ptejte se proto také na dostupné URL adresy, obsah odchozích požadavků a na to, kdo smí výsledky dostat.

Tato omezení se nastavují v platformě a souvisejících systémech. Věta v promptu jejich konfiguraci nenahrazuje. S odpovědným technickým kolegou ověřte také kontrolu navrhovaných operací mimo jazykový model: zda systém dovolí právě tuto akci a právě tento cíl.

Pokud přístupová práva nebo odchozí komunikaci neumíte ověřit, zmenšete pilot. Schválené dokumenty může dodat člověk ručně a asistent nemusí vykonávat žádné vnější operace. Citlivá data řešte s odpovědným pracovníkem IT či bezpečnosti dříve, než je zapojíte.

Oddělte dobré zadání, kontrolu návrhu a souhlas s akcí

V zadání popište účel srovnání, důležité otázky a požadavek na dohledatelné zdroje. Asistentovi uložte, aby pokusy o změnu úkolu označil jako nedůvěryhodný obsah podkladu a neřídil se jimi. Oddělení pokynů od zdrojového textu pomáhá vyjádřit záměr, nevytváří však bezpečnostní hranici.

Totéž platí pro RAG, tedy postup, kdy systém nejprve vyhledá relevantní pasáže a poté z nich sestaví odpověď. Nežádoucí instrukce mohou přijít i v nalezených pasážích. Ani druhý AI model v roli kontrolora nezaručuje bezpečnost. Chování modelu je potřeba doplnit omezenými oprávněními, kontrolami operací a průběžným ověřováním. Více vrstev ochrany riziko snižuje, úplnou odolnost ale nedokazuje.

Člověk má u návrhu zkontrolovat důležitá tvrzení v původních zdrojích. Zachované odkazy umožní rozlišit, co o sobě tvrdí konkurent a co je závěr srovnání. Předem si určete, která tvrzení a operace bude člověk ověřovat. Obecný požadavek, aby na AI někdo dohlížel, mu při kontrole příliš nepomůže.

Případné odeslání návrhu oddělte do dalšího kroku. Schvalující musí vidět přesný obsah, skutečného příjemce a navrženou operaci. Neurčité „pokračovat“ neříká, s čím souhlasí. Publikování na webu a změna rozpočtu kampaně jsou další samostatné akce, které potřebují vlastní oprávnění a kontrolu. Souhlas s rešerší není souhlas se vším, co po ní může následovat.

Pilot posuzujte podle skutečných operací i užitečnosti

Před nasazením lze navrhnout jednoduché cvičení v odděleném prostředí s fiktivními dokumenty a daty, bez odesílání skutečných zpráv. Následující postup je návrh testu, nikoli popis provedeného ověření nebo důkaz odolnosti konkrétního systému.

Použijte tři situace: běžný podklad, dokument požadující vložení nesouvisejícího sloganu do shrnutí a dokument žádající předání informací fiktivnímu neschválenému příjemci. Očekáváte věrné a užitečné shrnutí, označení vloženého pokynu bez jeho splnění a žádnou nepovolenou odchozí akci.

Poslední bod ověřujte v záznamu skutečně vykonaných operací, nikoli podle ujištění asistenta. Uložte použité vstupy, verze promptu, modelu a pracovního postupu, očekávaný i pozorovaný výsledek a provozní záznam. Sledujte také falešné poplachy, dokončení běžného úkolu a náročnost lidské kontroly. Asistent, který pro jistotu odmítá všechny podklady, užitečnou práci neodvádí.

Jedno úspěšné kolo bezpečnost neprokazuje. Po podstatných změnách modelu, nástrojů nebo postupu test zopakujte. Nečekaná akce či zpřístupnění informací je důvodem zastavit dotčený postup a nepokračovat v rozšiřování. Uchovejte jen nezbytné důkazy, dál nešiřte citlivá data, zapojte odpovědného pracovníka IT či bezpečnosti a před obnovením provozu proveďte nové ověření.

Zdroj může dodat podklady pro rozhodnutí, nemůže udělit oprávnění. Vyberte proto jednu práci a ověřte, zda je přínosná i s omezeným přístupem a konkrétní kontrolou. Školení lidí a technická opatření se přitom doplňují. Teprve pak má smysl rozhodovat, které další kroky automatizovat.

Uvedené oficiální zdroje byly ověřeny 22. září 2026 (UTC).