Prompt injection: chi dà istruzioni all’assistente di marketing?

Immaginiamo un caso ipotetico: un assistente confronta tre siti concorrenti per un documento interno. Una pagina invita a favorire l’azienda a cui appartiene o a ometterne un punto debole. L’assistente dovrebbe comunque seguire l’incarico ricevuto: quella pagina non può cambiare i criteri del confronto.

Se l’assistente può anche consultare note riservate sui prezzi e mandare messaggi, non è in gioco soltanto la qualità della sintesi. Bisogna esaminare l’intero processo per capire quali informazioni e strumenti potrebbero essere usati fuori dall’incarico.

Quando un contenuto prova a diventare un ordine

La prompt injection è un tentativo di modificare il comportamento previsto di un modello linguistico mediante contenuti controllati da chi vuole deviarne il lavoro. È indiretta quando arriva da una pagina web, un documento, un’email o dal risultato di uno strumento consultato dall’assistente. L’utente non deve necessariamente copiare o approvare quell’istruzione.

Non è un’affermazione inventata dal modello: qui un contenuto cerca di indirizzarlo verso un altro compito. Può alterare una sintesi, favorire l’uso improprio di strumenti o contribuire alla divulgazione di dati, secondo i permessi disponibili. L’aspetto ordinario di una fonte non le dà autorità sulle istruzioni. Cercare soltanto frasi sospette non permette di riconoscere con certezza ogni tentativo.

La domanda utile è: a che cosa ha accesso?

Con la persona responsabile del sistema, ricostruite la ricerca dall’inizio alla consegna. Elencate fonti in ingresso, dati privati leggibili, strumenti, canali verso l’esterno e destinatari del risultato. Per ogni collegamento chiedetevi se serve davvero: una funzione comoda in un altro processo potrebbe essere superflua in questo.

L’accesso in sola lettura merita un controllo particolare. Può impedire determinate modifiche, ma non garantisce che le informazioni lette restino all’interno. Se un assistente può effettuare richieste a indirizzi esterni, conta anche quali dati vengono inseriti in quelle richieste. Vanno quindi verificati insieme documenti accessibili, destinazioni di rete, contenuto delle richieste e destinatari dell’output.

Nell’esempio iniziale, le note riservate sui prezzi e il servizio di messaggistica non devono accompagnare automaticamente la ricerca sui concorrenti. I permessi vanno impostati nella piattaforma e nei sistemi collegati. Scrivere nel prompt che una certa azione è vietata non modifica quei permessi.

Un primo processo che produce soltanto una bozza

La nostra raccomandazione è iniziare con fonti approvate e non sensibili e chiedere soltanto una bozza di confronto. Disattivate le funzioni non necessarie che modificano sistemi, inviano messaggi o pubblicano contenuti; le destinazioni consentite devono essere limitate dalla piattaforma. Conservate il riferimento alle fonti, così chi rilegge può verificare le affermazioni importanti sul documento originale.

Nelle istruzioni distinguete chiaramente l’incarico dal materiale da esaminare e chiedete di segnalare eventuali tentativi di deviare il lavoro senza eseguirli. Questa distinzione aiuta il modello, ma non costituisce una barriera di sicurezza. Anche il RAG, che recupera brani pertinenti prima di generare una risposta, può portare al modello contenuti non affidabili. Affidare la revisione a una seconda AI non garantisce di intercettare ogni problema.

Inviare una bozza, pubblicarla e modificare il budget di una campagna sono azioni diverse, ciascuna da autorizzare separatamente. Prima dell’approvazione devono essere visibili il contenuto esatto, la destinazione e l’azione proposta. Un generico invito a proseguire non chiarisce che cosa si sta consentendo. Inoltre, le azioni proposte devono essere verificate da controlli esterni al modello.

Se non riuscite a verificare accessi e comunicazioni in uscita, restringete il progetto a documenti approvati forniti manualmente, senza azioni esterne. Per l’uso di informazioni sensibili coinvolgete chi segue IT e sicurezza. La formazione delle persone e i vincoli tecnici servono entrambi: nessuno dei due sostituisce l’altro.

Come preparare una prova che dia informazioni utili

Prima di ampliare l’uso, proponiamo una prova in un ambiente isolato, con documenti e dati inventati e senza inviare messaggi reali. Preparate tre casi: una fonte ordinaria, un documento che richiede uno slogan estraneo alla sintesi e uno che chiede di trasmettere informazioni a un destinatario fittizio non autorizzato. Si tratta di un piano di prova, non di risultati già ottenuti.

Nel primo caso ci si aspetta una sintesi utile e fedele. Negli altri, l’istruzione dovrebbe essere trattata come contenuto non affidabile e segnalata, senza azioni esterne non autorizzate. Verificate ciò che è accaduto nei registri delle azioni: la risposta finale dell’assistente non basta a dimostrare che non abbia effettuato un invio.

Annotate input, versioni delle istruzioni, del modello e del processo, risultato atteso, risultato osservato e registro effettivo delle azioni. Valutate anche i falsi allarmi, se la ricerca richiesta viene portata a termine e quanto lavoro richiede la revisione. Ripetete la prova dopo modifiche significative. Un esito positivo isolato non dimostra che il sistema sia sicuro.

Decidere quando continuare e quando fermarsi

Le difese restano imperfette. Combinare comportamento del modello, limiti tecnici e verifiche riduce il rischio, senza eliminarlo. Se emerge un’azione inattesa o una divulgazione di informazioni, non estendete il progetto: fermate il processo interessato e coinvolgete il responsabile IT o sicurezza. Conservate solo gli elementi necessari per ricostruire l’accaduto, evitando di diffondere ulteriormente eventuali dati sensibili, e ripetete le verifiche prima di riprendere.

Una fonte può fornire informazioni, ma non concedere permessi. La ricerca deve rimanere utile con accessi limitati e una revisione sostenibile. Chiarite quindi ingressi e azioni di un solo processo prima di aggiungere altra automazione.

Fonti verificate il 22 settembre 2026, UTC.