حين تحاول صفحة المنافس توجيه مساعدك: ما هو حقن التعليمات؟

لنفترض أنك طلبت من مساعد ذكاء اصطناعي إعداد مقارنة بين عروض ثلاثة منافسين. المتوقع أن يقرأ الصفحات، ويستخرج ما تدعمه من معلومات، ويبيّن الفروق. لكن إحدى الصفحات قد تتضمن نصًا يحاول التأثير في طريقة عمله، كأن يطلب تفضيل صاحب الصفحة أو حذف نقطة ضعف من المقارنة. هنا تصبح جودة الملخص مرتبطة بسؤال أسبق: من يحق له تحديد المهمة؟

هذا مثال افتراضي، لا واقعة رصدناها. وهو يوضح مشكلة تخص أي فريق يُدخل مواد خارجية إلى مساعده، سواء أكانت صفحات عامة أم موجزات من وكالة أم مستندات واردة. المطلوب أن يستفيد المساعد من هذه المواد بوصفها مصادر، من دون أن يمنحها سلطة تغيير التكليف.

كيف يصل توجيه غريب إلى مهمة بحث عادية؟

يُسمى هذا الأسلوب «حقن التعليمات»: محتوى يتحكم فيه مهاجم ويحاول به تغيير السلوك المقصود للنموذج اللغوي. ويكون الحقن غير مباشر حين يصل عبر صفحة أو مستند أو بريد أو نتيجة أداة يقرأها المساعد. لا يشترط أن ينسخ أحد أعضاء الفريق التوجيه بنفسه إلى نافذة المحادثة.

وهو يختلف عن اختلاق معلومة بلا سند. في الاختلاق، يقدم المساعد ادعاءً لا تؤيده الأدلة؛ أما هنا فتحتوي المادة التي يقرأها على محاولة لتغيير عمله. قد يؤدي ذلك إلى مقارنة منحازة، وقد يمتد إلى كشف بيانات أو إساءة استخدام أداة، بحسب الصلاحيات المتاحة. ولا تكفي قائمة عبارات مشبوهة لاكتشاف كل محاولة: المظهر المهني للمصدر لا يمنحه حق إصدار التعليمات.

ابدأ بما يستطيع المساعد الوصول إليه

توصيتنا في MindVerve هي البدء بمهمة واحدة: إعداد مسودة داخلية لبحث عن المنافسين من مصادر معتمدة وغير حساسة. قبل تحسين صياغة الطلب، اجلس مع المسؤول عن النظام وافحص المسار الكامل للمعلومات. ما الذي يدخل إلى المساعد؟ وما البيانات الخاصة التي يمكنه قراءتها؟ وما الأدوات التي يستطيع تشغيلها؟ وإلى أين يمكن أن يرسل معلومات، ومن سيقرأ النتيجة؟

تعبير «للقراءة فقط» يحتاج إلى تدقيق. قد يمنع تعديل ملف، لكنه لا يمنع تلقائيًا الإفصاح عما قرأه المساعد. فالروابط التي يمكنه طلبها، والمعلومات المرفقة بهذه الطلبات، والجهات التي تتلقى المخرجات، كلها مهمة. لهذا لا تُدخل أسرارًا أو ملاحظات تسعير خاصة في مرحلة البحث، حتى لو لم يكن المساعد مخولًا تعديلها.

في مثال المنافسين، تتغير الآثار المحتملة إذا كان المساعد قادرًا أيضًا على الاطلاع على تسعيرك الداخلي وإرسال رسائل. لا ينبغي أن ترافق هذه الصلاحيات مهمة المقارنة تلقائيًا. اطلب تعطيل أدوات الكتابة والإرسال والنشر غير اللازمة، وقصر الوجهات الخارجية على ما هو معتمد في المنصة. هذه إعدادات ينفذها صاحب النظام بالتعاون مع تقنية المعلومات أو الأمن، وليست نتيجة مضمونة لإضافة جملة إلى الطلب.

ما الذي يفعله الطلب الجيد، وما الذي لا يفعله؟

وضّح للمساعد أن نصوص المصادر مادة للتحليل، وأن مهمته تظل المقارنة الموثقة. اطلب منه الإشارة إلى أي محاولة لتغيير التكليف باعتبارها جزءًا غير موثوق من المصدر، من دون تنفيذها. واحتفظ برابط المصدر أو مرجعه مع الادعاءات المهمة، حتى يستطيع المراجع العودة إلى الأصل بدل الاعتماد على ملخص آخر.

يساعد هذا الفصل على شرح قصدك، لكنه لا ينشئ حاجزًا أمنيًا. وكذلك فإن استرجاع مقاطع من قاعدة معرفة قبل توليد الإجابة، وهو ما يُعرف بالتوليد المعزز بالاسترجاع، لا يجعل المقاطع المسترجعة موثوقة تلقائيًا. وإضافة مساعد ثانٍ لمراجعة الأول لا تضمن اكتشاف الحقن.

الحماية هنا متعددة الطبقات: سلوك مناسب للنموذج، وصلاحيات محدودة، وفحص للإجراءات خارج النموذج، ومراقبة واختبارات. تقلل هذه الطبقات المخاطر، لكنها لا تثبت استحالة نجاح الهجوم. أما المراجع البشري فله مهمة واضحة: التحقق من الادعاءات المؤثرة بالرجوع إلى المصادر الأصلية.

اجعل إرسال المسودة قرارًا مستقلًا

إعداد ملخص وإرساله إلى وكالة إجراءان مختلفان. وكذلك نشره أو تغيير ميزانية حملة بناءً عليه. أبقِ البحث في مرحلة المسودة، وانقل أي إجراء لاحق إلى خطوة منفصلة بصلاحية مستقلة وفحص لما سيحدث فعلًا.

يجب أن تعرض الموافقة النص النهائي، والجهة المقصودة، والإجراء المطلوب. سؤال عام مثل «هل نتابع؟» لا يبيّن ما الذي يجيزه الشخص. وعلى النظام أن يتحقق من السماح بالإجراء والوجهة خارج استدلال النموذج نفسه. إذا تعذّر التحقق من الصلاحيات أو قيود الاتصال الخارجي، فقلّص التجربة إلى مستندات معتمدة تُقدَّم يدويًا، من دون إجراءات خارجية، وأشرك المسؤول المختص قبل إدخال بيانات حساسة.

اختبار صغير يكشف أين تحتاج إلى ضبط العمل

نقترح الاختبار التالي قبل توسيع الاستخدام؛ لم ننفذه بوصفه جزءًا من هذا المقال. استخدم بيئة معزولة، وبيانات ومستندات خيالية، ومن دون إرسال أي رسائل حقيقية. جرّب مصدرًا عاديًا، ثم مستندًا يطلب إدراج عبارة دعائية لا علاقة لها بالملخص، ثم مستندًا يطلب نقل النتيجة إلى جهة خيالية غير معتمدة.

في الحالة الأولى، ينبغي أن تحصل على ملخص مفيد وأمين للمصدر. وفي الحالتين الأخريين، ينبغي التعامل مع التوجيه الدخيل كمحتوى والإشارة إليه، من دون تنفيذ إرسال غير مصرح به. افحص سجل الإجراءات الفعلي؛ قول المساعد إنه لم يرسل شيئًا ليس بديلًا عن هذا السجل.

سجّل نسخ المدخلات والطلب والنموذج وسير العمل، والنتيجة المتوقعة وما حدث فعلًا. راقب أيضًا التنبيهات الخاطئة: هل يرفض المساعد مستندات سليمة، أو يجعل المراجعة مرهقة إلى حد يفقد المهمة فائدتها؟ أعد الاختبار بعد التغييرات المؤثرة، ولا تعتبر نجاح جولة واحدة دليلًا على الأمان.

إذا ظهر إجراء غير متوقع أو إفصاح عن معلومات، فلا توسّع التجربة. أوقف سير العمل المتأثر، واحتفظ بالحد الأدنى اللازم من الأدلة من دون نشر بيانات حساسة، وأشرك مسؤول تقنية المعلومات أو الأمن، ثم أعد الاختبار قبل الاستئناف.

وسّع الاستخدام عندما تظل المهمة مفيدة وحدودها واضحة

يستطيع المصدر أن يقدّم دليلًا، لكنه لا يستطيع أن يمنح إذنًا. ابدأ بمهمة تظل نافعة رغم محدودية الوصول ووجود مراجعة واضحة، ثم قرر ما يستحق إضافة مزيد من الأتمتة. تدريب الفريق على تمييز الأدلة من التعليمات يكمل الضوابط التقنية ولا يحل محلها.

رُوجعت المصادر الرسمية المشار إليها في 22 سبتمبر 2026 بتوقيت UTC، الموافق 23 سبتمبر في بانكوك.