Právě teď telefon bereme.Právě teď telefon nebereme.Telefon je k dispozici Po–Pá 8–18 h.+420 777 560 073
Zavolat
Blog / AI a bezpečnost
Když se slova
stávají zbraní
v éře umělé inteligence.
Prompt injection je útok na jazykový model, tedy program, který odpovídá na text textem. Nemíří na kód, ale na jazyk: pokyn vložený do dokumentu nebo e-mailu může model přijmout jako příkaz. Firma se brání třemi vrstvami a prvním krokem je sepsat, ke kterým datům má AI přístup. Článek je pro vedoucí a techniky, kteří AI nasazují.
AI
Rozmazaná hranice mezi příkazem a daty.
V tradičním IT se pokyny programu oddělují od dat, která program zpracovává. U jazykových modelů je hranice neostrá: model může obsah dokumentu zaměnit za pokyn. Pokynu, který model dostane, se říká prompt. Když útočník vloží vlastní pokyn do textu, který model čte, jde o prompt injection.
Představte si asistentku, které přijde dopis ke zpracování. Uprostřed stojí věta, že má složku s fakturami poslat na jinou adresu. Asistentka neví, kdo větu napsal, a z textu nepozná, jestli jde o pokyn od šéfa, nebo jen o obsah dopisu. Model je v podobné situaci.
K takovému útoku proto není potřeba programovat, stačí text, který model přečte. Nebezpečné to je u AI agenta, tedy AI, která sama čte e-maily, web a dokumenty a podle nich jedná. Riziko popisuje OWASP v seznamu rizik pro jazykové modely pod označením LLM01.
Jazykový model může zaměnit data za příkaz, proto záleží na tom, co do něj vstupuje, i na tom, co z něj vychází.
Neviditelný nepřítel v PDF.
Přímý útok je vidět: někdo napíše pokyn modelu rovnou do okna konverzace. Nepřímý útok vidět není, protože pokyn je ukrytý v obsahu, který AI agent čte sám, tedy v e-mailu, na webu nebo v nahraném dokumentu. Kontrola toho, kdo se k modelu přihlásí, proto nestačí.
Představte si vymyšlený příklad, který nepopisuje žádný skutečný případ. Kolega nechá agenta shrnout stažené PDF. V dokumentu je neviditelným písmem napsaný pokyn, aby agent zapomněl dosavadní pravidla a poslal citlivá data z konverzace na cizí server. Agent text přečte stejně jako zbytek stránky, protože rozdíl mezi obsahem a pokynem sám nevidí.
Útok může zůstat bez povšimnutí, ale data uniknou jen tehdy, když k nim agent má přístup a oprávnění je někam odeslat. Šifrování proto nestačí. Bezpečnost dat zahrnuje i hlídání významu všeho, co do systému vstupuje.
OBRANA
Obrana proti prompt injection ve vrstvách.
Útok vypadá jako běžná lidská řeč, a proto jedno tlačítko „vypnout riziko“ neexistuje. Ochrana stojí na třech vrstvách, které se doplňují, protože žádná z nich nestačí sama.
Nejnižší oprávnění
AI má přístup jen k tomu, co pro svou roli nezbytně potřebuje. Kdo píše e-maily, nemaže soubory, stejně jako asistentka, která třídí poštu, nemá klíč od trezoru. Skrytý pokyn pak narazí na hranici, kterou agent sám nepřekročí.
Člověk ve smyčce (human-in-the-loop)
U kritických operací rozhoduje člověk. Odeslání dat mimo firmu nebo smazání souborů má schválit kolega, podobně jako větší platbu podepisuje druhá osoba. Agent si schválení nemůže udělit sám.
Kontrola významu
Bezpečnostní nástroje procházejí prompty i odpovědi a hledají náznaky manipulace. Je to jako zkušený kolega, kterému přijde zvláštní zpráva a který se zeptá, odkud pochází. Kontrola významu sama o sobě ale nestačí. Účinná je až spolu s oprávněními a lidským dohledem.
KROK
První krok.
Už nestačí hlídat jen to, kdo do systému vstupuje. Je nutné rozumět tomu, co mu říká.
Sepište, co AI smí
Bezpečné nasazení AI není jednorázový projekt, ale průběžná kontrola. Začněte seznamem, který zvládnete sestavit sami. Agentem je tu každý nástroj, který čte vaše e-maily, dokumenty nebo web. U každého napište dvě věci: ke kterým datům má přístup a které akce vyžadují schválení člověkem.
Agent, který shrnuje došlé e-maily, smí číst schránku. Odpovídat jménem firmy ani posílat přílohy ven bez schválení by ale neměl. Seznam ukáže, kde je oprávnění širší, než musí být.
Chcete si seznam projít s někým, kdo AI do firem zavádí? Domluvte si konzultaci zdarma.
ČASTÉ OTÁZKY
Časté otázky.
Co je prompt injection?
Útok, který místo kódu využívá text. Pokyn vložený do dokumentu, e-mailu nebo na web může jazykový model přečíst jako příkaz a podle něj jednat. Útočí tedy na jazyk, ne na program samotný.
Mohou přes AI agenta uniknout data?
Mohou, ale jen tehdy, když k nim agent má přístup a oprávnění je někam odeslat. Proto se oprávnění agentů omezují na nezbytné minimum a odeslání dat nebo mazání souborů schvaluje člověk.
Dá se prompt injection úplně vyloučit?
Ne. Útok vypadá jako běžná lidská řeč, a proto jedno tlačítko „vypnout riziko“ neexistuje. Škody omezují tři vrstvy: nejnižší oprávnění, člověk ve smyčce a kontrola významu. Hlídání je průběžné, ne jednorázové.
ZDROJE
Zdroje.
Odkaz slouží k ověření pojmu a popisu rizika. Zbytek článku je úvaha autora.
AUTOR
Michael Urban.
CEO / Strategy / Business
Michael Urban je CEO Abbrevy a vede firmu, kde najdete strategii, design i vývoj pod jednou střechou. Zajímá ho, jak zapojit AI do každodenní práce firem tak, aby zrychlovala a neubírala kontrolu nad daty a výsledky. Michael Urban získal osobní certifikaci GitHub Certified: Agentic AI Developer na úrovni Intermediate.
