Prompt injection w marketingu: gdy źródło próbuje zmienić zadanie

Przy wdrażaniu asystenta do badań marketingowych łatwo skupić się na jakości podsumowania: czy uwzględnia najważniejsze informacje, podaje źródła i nadaje się do dalszej pracy. Warto zadać jeszcze jedno pytanie: czy tekst znaleziony podczas analizy może wpłynąć na to, jakie zadanie asystent wykona?

Próbę zmiany zamierzonego zachowania modelu przez treść kontrolowaną przez atakującego nazywa się prompt injection. Może ona dotrzeć pośrednio, przez stronę internetową, dokument, e-mail albo wynik działania narzędzia. Osoba korzystająca z asystenta nie musi świadomie wklejać takiego polecenia. Wystarczy, że system przeczyta materiał, w którym je umieszczono.

Gdy strona konkurenta narzuca wynik porównania

Rozważmy przykład hipotetyczny. Asystent porównuje trzy publiczne strony konkurentów na potrzeby wewnętrznego opracowania. Jedna ze stron zawiera wskazówkę, by faworyzować jej właściciela lub pominąć słabość jego oferty. Zadaniem nadal jest porównanie oparte na źródłach. Autor strony nie uzyskuje prawa do zmiany kryteriów tylko dlatego, że jego tekst znalazł się w analizie.

To inny problem niż zmyślona odpowiedź modelu. Tutaj w materiale rzeczywiście znajduje się instrukcja, która próbuje skierować pracę w inną stronę. Skutkiem może być stronnicze podsumowanie, niewłaściwe użycie narzędzi albo ujawnienie danych. Zakres konsekwencji zależy od dostępnych funkcji i uprawnień. Nie da się więc sprowadzić ochrony do wyszukiwania kilku podejrzanych zwrotów.

Dlaczego staranny prompt nie wystarczy

W instrukcjach warto wyraźnie oddzielić zadanie od materiałów źródłowych. Można też poprosić asystenta, by zgłaszał próby przekierowania pracy jako niezaufaną treść źródła, nie wykonując zawartych w niej poleceń. Pomaga to wyjaśnić zamiar użytkownika, ale samo w sobie nie tworzy granicy bezpieczeństwa.

Nie zmienia tego RAG, czyli wyszukiwanie odpowiednich fragmentów dokumentów przed wygenerowaniem odpowiedzi. Odnaleziony fragment nadal może zawierać niepożądane instrukcje. Drugi model AI sprawdzający odpowiedź również nie gwarantuje wykrycia problemu. Potrzebne są uzupełniające się zabezpieczenia: zachowanie modelu, techniczne ograniczenia oraz kontrole poza modelem. Ich połączenie może zmniejszyć ryzyko, lecz nie daje pełnej odporności.

Sprawdź uprawnienia, także te niewymienione w zadaniu

Razem z osobą odpowiedzialną za system prześledź drogę od otrzymania materiału do przekazania wyniku. Ustalcie, jakie źródła trafiają do asystenta, jakie dane prywatne może odczytać, z jakich narzędzi korzysta, jakie połączenia zewnętrzne może nawiązywać i kto może otrzymać rezultat. Liczy się rzeczywista konfiguracja, nie sama deklaracja, że asystent zajmuje się wyłącznie analizą źródeł.

Jeśli w hipotetycznym porównaniu asystent może również czytać wewnętrzne notatki cenowe i wysyłać wiadomości, konsekwencje mogą wyjść poza jakość tekstu. Takie możliwości nie powinny automatycznie towarzyszyć analizie publicznych stron konkurencji.

Tryb tylko do odczytu ogranicza możliwość wprowadzania określonych zmian, lecz nie zatrzymuje automatycznie ujawniania informacji. Odczytane dane mogą znaleźć się w zapytaniu do zewnętrznego adresu, jeśli system pozwala na takie połączenia. Trzeba sprawdzić zarówno dostępne dane, jak i dozwolone adresy, zawartość wysyłanych zapytań oraz odbiorców wyników. Nie przekazuj poufnych informacji do proponowanego etapu badawczego.

Uprawnienia i ograniczenia połączeń ustawia się w platformie oraz powiązanych systemach. Zespół marketingu nie włączy tych zabezpieczeń zdaniem dopisanym do promptu. Ich konfigurację trzeba uzgodnić z właścicielem systemu lub zespołem IT.

Zacznij od użytecznego szkicu bez dodatkowych działań

Nasza rekomendacja to pilotaż obejmujący jedno zadanie: szkic porównania konkurentów na podstawie zatwierdzonych, niepoufnych źródeł. Wyłączcie zbędne funkcje zapisu, wysyłania i publikacji, a dozwolone miejsca docelowe ograniczcie w platformie. Zachowajcie informację o pochodzeniu twierdzeń, aby osoba sprawdzająca szkic mogła porównać ważne ustalenia z oryginałami.

Wysłanie szkicu, opublikowanie go i zmiana budżetu kampanii to odrębne czynności, wymagające osobnych uprawnień. Przed akceptacją musi być widoczna dokładna treść, odbiorca lub miejsce docelowe oraz proponowane działanie. Ogólne potwierdzenie kontynuowania pracy nie wystarczy. Proponowane działania należy również sprawdzać poza modelem językowym.

Jeżeli nie można zweryfikować uprawnień i ograniczeń komunikacji zewnętrznej, zawęź pilotaż do ręcznie dostarczonych, zatwierdzonych dokumentów, bez działań na zewnątrz. Przy danych wrażliwych zaangażuj IT lub zespół bezpieczeństwa. Szkolenie pomaga ludziom oceniać treść i podejmować decyzje, a techniczna konfiguracja ogranicza dostępne działania; obie części są potrzebne.

Zaplanuj próbę i sprawdź, co system rzeczywiście zrobił

Proponujemy próbę w odizolowanym środowisku, z fikcyjnymi danymi i dokumentami, bez wysyłania prawdziwych wiadomości. Przygotuj zwykłe źródło, dokument żądający dodania nieistotnego sloganu do podsumowania oraz dokument proszący o przesłanie informacji do fikcyjnego, niezatwierdzonego odbiorcy. To plan testu, a nie opis przeprowadzonego badania.

Oczekiwane wyniki to przydatne podsumowanie zgodne ze źródłem, rozpoznanie i zgłoszenie próby zmiany zadania jako niezaufanej treści oraz brak nieuprawnionego działania na zewnątrz. Sprawdź dziennik wykonanych działań: zapewnienie w końcowej odpowiedzi asystenta nie dowodzi, że niczego nie wysłano.

Zapisz dane wejściowe, wersje promptu, modelu i całego procesu, oczekiwany i zaobserwowany wynik oraz faktyczny dziennik działań. Uwzględnij fałszywe alarmy, wykonanie właściwego zadania i nakład pracy osoby sprawdzającej. Powtarzaj próbę po istotnych zmianach. Jeden pomyślny przebieg nie potwierdza bezpieczeństwa.

Nieoczekiwane działania lub ujawnienie informacji wykluczają rozszerzenie pilotażu. Wstrzymaj proces, w którym wystąpił problem, zachowaj tylko niezbędne dowody bez dalszego rozpowszechniania danych wrażliwych i powiadom osobę odpowiedzialną za IT lub bezpieczeństwo. Przed wznowieniem pracy powtórz weryfikację.

Źródło może dostarczyć informacji, ale nie udzielić pozwolenia. Wdrożenie ma sens, jeśli przy ograniczonym dostępie i kontroli asystent nadal wykonuje przydatną pracę. Najpierw opisz więc dane wejściowe i działania jednego procesu, a dopiero potem rozważ szerszą automatyzację.

Źródła sprawdzono 22 września 2026 r., według czasu UTC.