Saat sumber riset mencoba memberi perintah kepada asisten AI

Asisten AI yang diminta menyiapkan ringkasan pemasaran perlu membaca bahan dari luar tim. Bisa berupa halaman kompetitor, brief agensi, atau dokumen yang baru masuk. Masalah muncul ketika bahan tersebut memuat teks yang mencoba menyuruh asisten melakukan sesuatu di luar tugasnya.

Pertanyaan praktisnya bukan sekadar apakah asisten bisa mengenali teks mencurigakan. Kita juga perlu tahu informasi apa yang bisa dibacanya, alat apa yang tersedia, dan ke mana informasi dapat keluar. Jawaban atas pertanyaan itu menentukan seberapa jauh sebuah instruksi dari sumber luar bisa berdampak.

Ketika bahan bacaan mencoba mengambil alih tugas

Prompt injection adalah konten yang dikendalikan penyerang dan berusaha mengubah perilaku yang seharusnya dijalankan model bahasa. Bentuk tidak langsung dapat masuk melalui halaman web, dokumen, email, atau hasil dari alat yang dibaca asisten. Pengguna tidak harus sengaja menyalin perintah itu ke percakapan.

Bayangkan contoh hipotetis berikut. Asisten membandingkan tiga halaman publik milik kompetitor untuk brief internal. Salah satu halaman meminta agar penyedia di halaman itu diunggulkan atau kelemahannya dihilangkan. Tugas asisten tetap menyusun perbandingan berbasis sumber; halaman tersebut tidak boleh menentukan ulang isi brief.

Ini berbeda dari klaim yang dibuat-buat tanpa dukungan bukti. Pada prompt injection, sumber memuat upaya untuk mengarahkan tugas. Dampaknya dapat berupa ringkasan bias, penyalahgunaan alat, atau pengungkapan data, bergantung pada izin dan alur kerja. Daftar frasa mencurigakan tidak menjamin semua upaya terdeteksi. Tampilan profesional sebuah sumber tidak memberinya wewenang untuk mengubah tugas.

Periksa akses sebelum menyempurnakan instruksi

Rekomendasi MindVerve adalah memulai dari satu tugas: membuat draf riset kompetitor dengan sumber yang telah disetujui dan tidak sensitif. Bersama pengelola sistem, petakan masukan, data internal yang dapat dibaca, alat yang tersedia, saluran komunikasi keluar, dan pihak yang menerima hasilnya. Pemetaan ini membantu menemukan izin yang tidak diperlukan untuk tugas tersebut.

Dalam contoh tadi, akibatnya berubah jika asisten juga dapat membaca catatan harga internal dan mengirim pesan. Kedua kemampuan itu tidak perlu otomatis melekat pada tugas membaca halaman publik. Nonaktifkan alat menulis, mengirim, atau menerbitkan yang tidak diperlukan, serta batasi tujuan komunikasi melalui platform.

Label baca-saja perlu diperiksa lebih lanjut. Izin itu mungkin mencegah perubahan file, tetapi tidak otomatis mencegah pengungkapan isinya. Perhatikan data yang dapat dibaca, URL atau permintaan jaringan yang diizinkan, informasi yang disertakan dalam permintaan tersebut, serta penerima hasil. Karena itu, jangan memasukkan rahasia ke tahap riset.

Pengaturan ini memerlukan konfigurasi platform oleh pengelola sistem atau tim TI dan keamanan. Menambahkan kalimat dalam prompt tidak mengaktifkan pembatasan teknis. Jika izin dan kendali komunikasi keluar belum dapat diverifikasi, persempit uji coba menjadi pembacaan dokumen yang disetujui dan diberikan secara manual, tanpa tindakan eksternal. Libatkan penanggung jawab TI atau keamanan sebelum menggunakan data sensitif.

Prompt yang jelas tetap berguna, dengan batas yang perlu dipahami

Pisahkan instruksi tugas dari bahan sumber. Minta asisten memperlakukan upaya pengalihan sebagai konten sumber yang tidak tepercaya, menandainya, dan tidak menjalankannya. Sertakan rujukan untuk setiap informasi penting agar peninjau dapat memeriksa klaim terhadap sumber asli.

Langkah ini memperjelas maksud, tetapi tidak membentuk batas keamanan. RAG, yakni pengambilan potongan informasi sebelum model menghasilkan jawaban, juga tidak membuat materi yang diambil bebas dari injeksi. Menggunakan AI kedua sebagai pemeriksa pun tidak menjamin perlindungan.

Perlu beberapa lapisan yang saling melengkapi: perilaku model, pembatasan akses, pemeriksaan tindakan di luar model, pemantauan, dan pengujian. Kombinasi tersebut mengurangi risiko tanpa membuktikan sistem kebal. Peninjau manusia tetap perlu memeriksa klaim penting, khususnya yang menjadi dasar keputusan pemasaran.

Draf selesai bukan berarti boleh dikirim

Menyusun ringkasan, mengirimnya ke agensi, menerbitkannya, dan mengubah anggaran kampanye adalah tindakan berbeda. Letakkan tindakan setelah penyusunan draf pada tahap terpisah, dengan izin tersendiri dan pemeriksaan atas apa yang benar-benar akan dilakukan.

Permintaan persetujuan harus memperlihatkan isi akhir, tujuan, dan tindakan yang diusulkan. Pertanyaan umum seperti “lanjutkan?” tidak cukup menjelaskan keputusan yang diminta. Sistem perlu memeriksa apakah tindakan dan tujuannya diizinkan melalui mekanisme di luar penalaran model, bukan hanya menerima penilaian asisten sendiri.

Rancang uji coba yang memeriksa hasil dan tindakan

Kami menyarankan latihan di lingkungan terisolasi dengan dokumen serta data fiktif, tanpa pesan sungguhan. Ini rencana pengujian, bukan laporan pengujian yang telah kami jalankan. Bandingkan sumber normal, dokumen yang meminta slogan tidak relevan dimasukkan ke ringkasan, dan dokumen yang meminta pengiriman ke penerima fiktif yang tidak disetujui.

Sumber normal seharusnya menghasilkan ringkasan yang berguna dan sesuai dengan isi sumber. Instruksi sisipan seharusnya diperlakukan sebagai konten dan ditandai, tanpa tindakan keluar yang tidak diizinkan. Pastikan bagian terakhir melalui catatan tindakan aktual, bukan hanya pernyataan asisten bahwa ia tidak mengirim apa pun.

Catat versi masukan, prompt, model, dan alur kerja, beserta hasil yang diharapkan, hasil yang diamati, dan log tindakan. Periksa juga peringatan keliru, keberhasilan menyelesaikan tugas, serta beban peninjau. Jika dokumen normal terus ditolak atau setiap ringkasan harus ditulis ulang, kegunaan alur kerja masih perlu diperbaiki.

Ulangi pengujian setelah perubahan yang berarti. Satu kali lolos bukan bukti keamanan. Jika ada tindakan tak terduga atau pengungkapan informasi, jangan memperluas penggunaan. Hentikan alur yang terdampak, simpan bukti seminimal mungkin tanpa menyebarkan data sensitif, libatkan penanggung jawab TI atau keamanan, dan uji ulang sebelum melanjutkan.

Perluas penggunaan setelah batas kerjanya jelas

Pilih satu alur yang tetap berguna saat aksesnya dibatasi dan hasilnya diperiksa. Petakan masukan serta tindakannya sebelum menambahkan otomatisasi. Pelatihan tim membantu orang memahami apa yang harus ditinjau, sementara pengaturan teknis membatasi apa yang dapat dilakukan sistem; keduanya dibutuhkan.

Sumber resmi yang dirujuk diperiksa pada 22 September 2026 UTC, atau 23 September di Bangkok.