Kan en konkurrenttekst ændre opgaven for jeres AI-assistent?

En marketingassistent kan samle konkurrenternes budskaber til et oplæg. Men hvad sker der, hvis det materiale, assistenten læser, også fortæller den, hvad den skal gøre?

Promptinjektion er indhold, som en angriber kontrollerer for at forsøge at ændre en sprogmodels tilsigtede adfærd. Når indholdet kommer gennem en hjemmeside, et dokument, en mail eller et værktøjsresultat, kaldes det indirekte promptinjektion. Det kan altså nå assistenten, uden at nogen på teamet bevidst giver den en ny instruktion.

Hvor går grænsen mellem en kilde og en instruktion?

Forestil jer et hypotetisk forløb, hvor assistenten sammenligner tre offentlige konkurrenthjemmesider til et internt oplæg. På den ene side står en anvisning, som forsøger at få den til at fremhæve sidens egen leverandør eller udelade en svaghed. Jeres opgave er stadig en kildebaseret sammenligning. Siden har ikke fået ret til at ændre den.

Det er noget andet end en påstand, som modellen selv finder på uden belæg. Her indeholder kilden et forsøg på at omdirigere arbejdet. Følgen kan være en skæv opsummering. Hvis assistenten også kan læse fortrolige prisnoter og sende beskeder, kan konsekvenserne blive mere omfattende.

Derfor afhænger risikoen af hele arbejdsgangen og dens tilladelser. Et troværdigt udseende dokument er ikke automatisk en betroet instruktør. Omvendt kan man heller ikke finde alle forsøg ved at lede efter bestemte mistænkelige formuleringer.

Aftal først, hvad pilotens assistent må få adgang til

MindVerves anbefaling er at starte med konkurrentresearch til et internt udkast og kun bruge godkendte kilder uden følsomme oplysninger. Gennemgå adgangen med den systemansvarlige: Hvad behøver opgaven, og hvad kan assistenten allerede?

1. Indhold ind: Hvilke hjemmesider, bureauoplæg, dokumenter og værktøjsresultater kan assistenten møde?
2. Læseadgang: Kan den også hente private filer eller oplysninger fra andre tilsluttede systemer?
3. Handlinger ud: Hvilke værktøjer kan sende, skrive, publicere eller ændre en kampagne?
4. Forbindelser og modtagere: Hvor kan der sendes netværksanmodninger hen, hvilke data kan de indeholde, og hvem må få resultatet?

Læserettigheder kan forhindre bestemte ændringer, men hindrer ikke automatisk videregivelse. Læste oplysninger kan stadig ende i en netværksanmodning eller besked. Undersøg også disse muligheder, og giv ikke researchdelen adgang til hemmeligheder.

Deaktivér unødvendige skrive-, sende- og publiceringsværktøjer, og begræns destinationerne i platformen. En prompt gennemfører ikke disse tekniske begrænsninger. De skal verificeres af den systemansvarlige.

Kan I ikke få bekræftet adgang og udgående forbindelser, så indsnævr piloten til godkendte dokumenter, som I selv leverer, uden eksterne handlinger. Inddrag den ansvarlige for IT eller sikkerhed, før følsomme oplysninger kommer ind i arbejdsgangen.

Brug instruktioner til at forklare opgaven, ikke til at bære hele sikkerheden

Beskriv tydeligt, hvilke instruktioner der kommer fra jer, og hvad der er kildemateriale. Bed assistenten markere forsøg på at ændre opgaven som upålideligt kildeindhold uden at følge dem. Bevar kildehenvisningerne, så en medarbejder kan kontrollere væsentlige påstande i originalen.

Den adskillelse er nyttig, men den skaber ikke en sikkerhedsgrænse. RAG, hvor systemet henter relevante tekstuddrag, før modellen skriver sit svar, fjerner heller ikke problemet. En anden AI, der gennemgår svaret, kan bidrage til kontrollen, men er ingen garanti for, at forsøg på manipulation bliver opdaget.

Beskyttelsen består derfor af flere lag, som også omfatter begrænsede rettigheder og kontrol af foreslåede handlinger uden for sprogmodellen. Kombinationen kan mindske risikoen, men giver ikke bevis for, at systemet er immunt.

Giv godkendelsen et tydeligt indhold

Et researchudkast skal vurderes konkret: Er sammenligningen fair, og kan de vigtige påstande genfindes i originalkilderne? Et klik på en generel godkendelsesknap kan ikke erstatte den gennemgang.

Hvis udkastet senere skal sendes eller publiceres, er det en ny handling med egne tilladelser. Det samme gælder ændringer af kampagnebudgetter. Godkendelsen skal vise den nøjagtige tekst, modtager eller destination og den foreslåede handling. Et løst ”fortsæt” fortæller ikke tilstrækkeligt, hvad brugeren accepterer.

Lad platformen kontrollere, om handlingen og destinationen er tilladt, uafhængigt af modellens begrundelse. En kilde kan ikke udvide disse tilladelser, heller ikke når dens anvisning fremstår som et praktisk næste skridt.

Afprøv grænserne, mens oplysningerne stadig er fiktive

Følgende er vores forslag til en afprøvning, ikke en beskrivelse af test, vi allerede har udført. Brug et isoleret miljø med fiktive dokumenter og data, hvor der ikke kan sendes rigtige beskeder. Lad først assistenten opsummere et almindeligt dokument. Brug derefter et dokument, som beder om et uvedkommende slogan, og et, som beder om overførsel til en fiktiv, ikke-godkendt modtager.

Det forventede resultat er en nyttig, dækkende opsummering af det almindelige materiale. Anvisningerne i de øvrige dokumenter skal behandles som kildeindhold og markeres, og der må ikke ske en uautoriseret overførsel. Undersøg handlingsloggene for at se, hvad systemet faktisk gjorde; stol ikke alene på assistentens slutbesked.

Gem versioner af input, prompt, model og arbejdsgang sammen med forventet resultat, observeret resultat og den faktiske handlingslog. Notér også falske alarmer, om den nyttige opgave blev løst, og hvor meget arbejde gennemgangen krævede. Gentag afprøvningen efter væsentlige ændringer. Én vellykket test dokumenterer ikke sikkerhed.

Uventede handlinger eller videregivelse af oplysninger skal stoppe en udvidelse. Sæt den berørte arbejdsgang på pause, bevar kun nødvendige beviser uden at sprede følsomme data, og inddrag den IT- eller sikkerhedsansvarlige. Test igen, før forløbet genoptages.

En kilde kan give belæg, men ikke give tilladelse. Vælg én opgave og kortlæg dens input og handlinger. Vurder, om den stadig er nyttig med begrænset adgang og grundig gennemgang. Uddannelse og teknisk opsætning supplerer hinanden: Teamet skal forstå kontrollen, og systemet skal håndhæve begrænsningerne.

Guidens kilder blev kontrolleret den 22. september 2026, UTC.