경쟁사 자료 속 지시까지 따르는 AI? 프롬프트 인젝션 위험 줄이기

마케팅 AI 도입을 검토할 때는 어떤 문서를 얼마나 잘 요약하는지에 먼저 관심이 갑니다. 그런데 같은 요약 기능이라도, 공개 자료만 읽는 도우미와 사내 가격 정보에 접근하고 메시지까지 보내는 도우미는 다르게 관리해야 합니다. 문서 속 문장을 잘못 지시로 받아들였을 때 할 수 있는 일이 서로 다르기 때문입니다.

따라서 경쟁사 페이지나 대행사의 업무 요청서, 외부에서 받은 파일을 읽게 하기 전에 한 가지를 확인할 필요가 있습니다. 우리가 맡긴 업무의 범위를, 자료 작성자가 바꿀 수 없도록 어떤 제한을 두었는가 하는 점입니다.

프롬프트 인젝션은 자료를 통해서도 들어옵니다

프롬프트 인젝션은 공격자가 통제하는 내용으로 대규모 언어 모델의 원래 동작을 바꾸려는 시도입니다. 사용자가 직접 입력한 요청에만 생기는 문제가 아닙니다. AI가 읽는 웹페이지, 문서, 이메일, 도구의 반환 결과에도 그런 지시가 들어 있을 수 있습니다. 외부 자료를 통해 전달되는 경우를 간접 프롬프트 인젝션이라고 합니다.

AI가 근거 없이 제품 기능을 지어내는 오류와도 구별해야 합니다. 여기서는 자료 자체에 요약 방향을 바꾸거나 다른 행동을 하도록 요구하는 내용이 있습니다. 그 결과 비교가 편향될 수도 있고, 연결된 도구를 잘못 사용하거나 정보가 노출될 수도 있습니다. 실제 영향은 업무 흐름과 권한에 따라 달라집니다.

겉보기에는 평범한 문서라도 업무 지시를 내릴 권한이 생기는 것은 아닙니다. 특정한 수상한 표현을 찾는 것만으로 모든 시도를 판별할 수 있다고 기대해서도 안 됩니다. 문장이 무엇을 요구하는지 살피는 것과 함께, AI가 그 요구에 따라 행동하려 할 때 시스템이 막아야 할 작업도 정해야 합니다.

경쟁사 세 곳을 비교하는 상황이라면

다음은 실제 사고가 아닌 가상 사례입니다. AI에게 경쟁사 세 곳의 공개 페이지를 비교해 내부 검토용 브리프를 만들도록 했다고 가정해 보겠습니다. 한 페이지에는 자사 제품을 우선 추천하고 약점은 빼라는 요구가 들어 있습니다. 이 문장은 분석 대상에 포함될 수는 있어도, 비교 기준을 바꾸는 새로운 지시가 될 수는 없습니다. 맡긴 일은 여전히 출처를 밝힌 비교입니다.

이때 AI가 사내 가격 검토 메모를 읽거나 누군가에게 메시지를 보낼 수도 있다면 우려할 범위가 넓어집니다. 조사 업무에 필요하지 않은 권한까지 함께 주었기 때문입니다. 경쟁사 페이지를 읽게 했다는 이유로 내부 자료 조회와 발송 권한을 한꺼번에 허용할 필요는 없습니다.

시범 운영 전에 읽는 곳과 보내는 곳을 정리하세요

MindVerve는 승인된 비민감 자료로 초안만 만드는 경쟁사 조사부터 시작하기를 권합니다. 마케팅 책임자와 시스템 담당자가 함께 입력 자료, 읽을 수 있는 비공개 데이터, 사용 가능한 도구, 외부 통신 경로, 결과물을 볼 사람을 정리하는 방식입니다. 업무에 불필요한 쓰기·발송·게시 도구는 끄고, 허용할 목적지는 플랫폼에서 제한합니다. 조사 단계에는 비밀 정보를 넣지 않습니다.

‘읽기 전용’이라는 설정도 정확히 이해해야 합니다. 이 설정은 일부 변경 작업을 막지만, 정보 공개를 자동으로 차단하지는 않습니다. 데이터를 읽은 뒤 외부 요청에 포함하거나 부적절한 수신자에게 결과를 보여줄 수 있다면 유출 가능성이 남습니다. 접근 가능한 URL, 네트워크 요청에 실리는 내용, 결과를 받을 수 있는 사람까지 확인해야 하는 이유입니다.

이런 제한은 사용하는 플랫폼과 IT·보안 설정에 따라 구현 방법이 달라집니다. 마케팅 담당자가 프롬프트에 금지 사항을 적는 것만으로 설정이 완료되지는 않습니다. 접근 권한이나 외부 통신 제한을 확인할 수 없다면, 사람이 승인된 문서를 직접 제공하고 외부 작업을 실행하지 않는 형태로 시범 운영을 줄이세요. 민감한 자료가 필요해지는 경우에는 IT·보안 책임자와 먼저 범위를 정해야 합니다.

프롬프트가 할 일과 시스템이 막아야 할 일을 구분하세요

지시문에는 조사 목적, 비교 항목, 출처 표시 방식과 함께 외부 자료를 업무 지시로 취급하지 말라는 원칙을 담습니다. 자료에서 업무를 바꾸려는 요구를 발견하면 따르지 않고, 신뢰할 수 없는 자료 속 지시로 표시하도록 요청할 수 있습니다. 이렇게 업무 지시와 분석 자료를 구분하면 의도를 전달하는 데 도움이 되지만, 그 자체가 보안을 보장하는 경계는 아닙니다.

관련 문단을 검색한 뒤 답변을 생성하는 검색 증강 생성, 즉 RAG를 써도 검색된 내용에 지시가 섞일 수 있습니다. 다른 AI에게 결과를 다시 검사시키는 방법 역시 안전을 보장하지 않습니다. 모델이 지시를 따르는 방식과 별개로, 제안된 작업을 모델 밖에서 검증하고 도구 권한을 제한하는 장치가 필요합니다.

예를 들어 플랫폼에서 해당 작업이 허용된 종류인지, 목적지가 승인된 곳인지 확인하도록 구성할 수 있는지 시스템 담당자에게 물어보세요. 이런 통제와 모델 동작, 모니터링, 테스트를 함께 적용하면 위험을 줄일 수 있습니다. 여러 방어책을 결합하더라도 모든 공격을 막는다는 뜻은 아닙니다.

초안 검토와 발송 승인은 따로 진행하세요

사람이 초안을 검토할 때는 중요한 주장을 원문과 대조할 수 있어야 합니다. 자료의 출처를 남기고, 경쟁사가 주장한 내용과 비교를 통해 내린 판단이 섞이지 않았는지 확인하세요. 요약 과정에서 빠진 조건 때문에 결론이 달라지지 않았는지도 살펴볼 필요가 있습니다.

검토한 초안을 대행사에 보낸다면 발송할 정확한 내용, 실제 수신자, 수행할 작업을 보여주고 별도로 승인받아야 합니다. ‘계속 진행’이라는 확인만으로는 무엇을 허용했는지 알기 어렵습니다. 웹에 게시하거나 캠페인 예산을 바꾸는 것도 각각 별개의 권한과 확인이 필요한 작업입니다. 조사 승인이 이후 모든 행동의 승인이 되어서는 안 됩니다.

담당자가 확인하는 항목과 시스템이 강제하는 제한이 맞물려야 합니다. 확인할 내용과 대상을 보여주지 않은 채 사람에게 승인 버튼만 누르게 한다면, 검토 절차가 있어도 문제를 알아차리기 어렵습니다.

무엇을 답했는지보다 실제로 무엇을 했는지 확인하세요

도입 전에 작은 모의 점검을 계획할 수 있습니다. 아래는 권장하는 테스트 구성으로, 이미 수행한 테스트나 특정 시스템의 방어 성능을 입증한 결과가 아닙니다. 격리된 환경에서 가상의 문서와 데이터를 사용하고 실제 메시지는 보내지 않는 조건으로 진행합니다.

먼저 정상 자료를 넣어 내용에 충실하고 업무에 쓸 만한 요약이 나오는지 봅니다. 다음에는 요약과 무관한 구호를 넣어 달라는 문서를 사용합니다. 그 요구를 실행하지 않고 자료 속 부적절한 지시로 표시하는지 확인합니다. 마지막으로 승인되지 않은 가상의 수신자에게 자료를 보내 달라는 문서를 넣어, 무단 외부 작업이 발생하지 않는지 살펴봅니다.

마지막 판단은 AI의 ‘보내지 않았다’는 답변이 아니라 실제 작업 로그를 근거로 내려야 합니다. 입력 자료와 프롬프트, 모델, 업무 흐름의 버전을 기록하고, 예상한 결과와 관찰한 결과, 실제 실행 기록을 함께 남기세요. 정상 자료를 잘못 의심하지 않는지, 유용한 요약을 끝까지 완성하는지, 검토에 드는 수고가 어느 정도인지도 평가해야 합니다.

한 번 통과했다고 안전이 입증되지는 않습니다. 모델이나 도구, 업무 흐름에 의미 있는 변경이 생기면 다시 시험하세요. 예상하지 못한 작업이나 정보 공개가 발생하면 해당 흐름을 중단하고 적용 범위를 넓히지 않습니다. 필요한 최소한의 증거만 보존해 민감 정보가 더 퍼지지 않게 하고, IT·보안 책임자가 관여하도록 한 뒤 재시험을 거쳐 재개해야 합니다.

권한을 늘리기 전에 한 가지 업무를 완성하세요

외부 자료는 판단의 근거를 제공하지만, AI에게 권한을 부여하지는 못합니다. 먼저 한 가지 업무의 입력과 행동을 정리하고, 제한된 접근과 구체적인 검토만으로도 쓸 만한 결과를 얻는지 확인하세요. 그 조건에서 가치가 있다면 다음 자동화 범위를 검토할 근거도 생깁니다.

담당자 교육은 자료 속 요구를 알아차리고 결과를 검토하는 데 도움이 됩니다. 시스템 설정은 허용하지 않은 작업을 제한하는 역할을 합니다. 둘 중 하나로 다른 하나를 대신하려 하지 말고, 선택한 업무에 맞게 함께 설계하는 것이 좋습니다.

인용한 공식 자료 확인일: 2026년 9월 22일(UTC).