Agent mengatakan berhasil membuat pesanan, tetapi ternyata tool pengujian terhubung ke ERP produksi. Kegagalan semacam ini tidak selesai dengan menambahkan kalimat “jangan melakukan tindakan nyata” pada prompt. Sandbox AI agent memerlukan pemisahan akses dan efek samping yang ditegakkan oleh sistem.
Sandbox adalah lingkungan terbatas untuk menjalankan dan mengamati perilaku agent. Tujuannya menguji keputusan, urutan tool, penanganan kegagalan, serta bukti hasil tanpa memberi kewenangan produksi yang belum disetujui.
Tiga batas yang perlu dipisahkan
Data
Gunakan data sintetis atau salinan yang sudah diizinkan dan diproses sesuai kebijakan. Mengganti nama pelanggan belum tentu menghilangkan seluruh informasi sensitif. Batasi siapa yang dapat membaca dataset, trace, dan hasil pengujian.
Kredensial dan tool
Tool sandbox memakai identitas serta tujuan yang berbeda dari produksi. Simulasi pengiriman email, perubahan saldo, atau penerbitan dokumen harus menghasilkan bukti uji yang jelas. Jangan menyimpan kredensial produksi di lingkungan yang dapat dipanggil agent selama pengujian.
Jaringan dan efek samping
Tentukan tujuan koneksi yang diizinkan. Pemisahan nama database saja tidak cukup apabila tool masih dapat mengakses layanan eksternal nyata. Kontrol harus diterapkan pada lapisan eksekusi, bukan bergantung pada kepatuhan model terhadap instruksi.
Contoh pilot agent pemroses pesanan
Dalam rancangan ilustratif, agent membaca pesanan uji, memeriksa stok simulasi, lalu membuat draf tindakan. Tool tidak mengirim barang atau mengubah stok produksi. Pemeriksa dapat melihat input, argumen tool, hasil, dan keadaan data setelah aksi.
Dokumentasi pengujian agent Microsoft Business Central membahas pengujian putaran eksekusi tugas, bukan hanya teks jawaban. Prinsip yang relevan adalah memeriksa perjalanan tugas hingga selesai atau berhenti untuk meminta masukan. Implementasi sandbox tetap harus disesuaikan dengan sistem perusahaan.
Masukkan kegagalan yang mungkin terjadi
- Tool mengembalikan timeout setelah aksi sebenarnya tersimpan.
- Pesanan dikirim ulang dengan ID yang sama.
- Data stok berubah di antara pemeriksaan dan tindakan.
- Dokumen berisi instruksi yang bertentangan dengan kewenangan agent.
- Persetujuan belum ada, kedaluwarsa, atau diberikan untuk transaksi berbeda.
Periksa bahwa agent berhenti, merekonsiliasi hasil, atau meminta bantuan sesuai desain. Jawaban “berhasil” harus cocok dengan keadaan sistem uji. Jika tool simulasi selalu mengembalikan sukses, pengujian tidak memberi bukti tentang penanganan kegagalan.
Kapan boleh beralih ke pilot terbatas?
Siapkan hasil uji per risiko, daftar tool dan izin, pemilik proses, pemantauan, serta prosedur penghentian. Lingkungan uji yang lulus belum membuktikan produksi siap; perbedaan data, beban, dan integrasi harus dinilai sebelum akses nyata diberikan.
Mulai dari mode baca atau rekomendasi jika masih ada ketidakpastian. Aksi tulis memerlukan batas kewenangan, persetujuan yang dapat diverifikasi, dan perlindungan terhadap pengulangan. Lihat panduan uji aksi tulis AI agent untuk kontrak tindakan, serta risiko prompt injection untuk input tidak tepercaya.
Untuk memetakan tool, data, dan batas pilot, diskusikan kebutuhan AI bersama Layana. Gunakan contoh alur bisnis dan daftar tindakan yang ingin diuji, tanpa membagikan kredensial produksi.