Demo AI berhasil menjawab lima pertanyaan yang sudah dipilih tim. Bukti itu belum menunjukkan bagaimana sistem menangani pertanyaan ambigu, dokumen lama, atau akses yang ditolak. Dataset evaluasi AI adalah kumpulan kasus beserta kriteria hasil yang digunakan untuk menilai perilaku sistem secara konsisten.
Dataset yang berguna mewakili pekerjaan dan risiko pengguna. Seratus pertanyaan yang sangat mirip dapat memberi cakupan lebih sempit daripada kumpulan lebih kecil dengan variasi proses yang dirancang secara sadar.
Mulai dari keputusan yang akan dibuat
Tentukan apakah pengujian dipakai untuk memilih pendekatan, menyetujui pilot, membandingkan versi, atau memantau penurunan mutu. Keputusan itu menentukan jenis kasus dan bukti yang dibutuhkan.
Untuk asisten pencarian SOP, hasil yang diharapkan dapat mencakup jawaban sesuai versi dokumen, rujukan yang benar, dan penolakan ketika pengguna tidak memiliki akses. Untuk agent, hasilnya juga mencakup tool yang digunakan, batas tindakan, serta kapan harus meminta persetujuan.
Isi minimum setiap kasus
- ID kasus dan kelompok proses.
- Input pengguna serta konteks yang boleh diakses.
- Versi sumber atau kondisi awal sistem.
- Hasil yang diwajibkan dan perilaku yang dilarang.
- Cara menilai, tingkat dampak kegagalan, dan peninjau.
Jangan menyimpan satu kalimat jawaban sebagai satu-satunya kebenaran jika beberapa rumusan dapat sama-sama benar. Nilai fakta, sumber, kelengkapan, dan tindakan dengan rubrik yang dapat dipakai pemeriksa lain.
Susun variasi, bukan hanya pertanyaan mudah
Masukkan pekerjaan yang sering terjadi, istilah tidak baku, sumber bertentangan, informasi tidak tersedia, hak akses berbeda, serta permintaan di luar kewenangan. Tambahkan kasus yang pernah gagal setelah penyebabnya dipahami. Pisahkan kegagalan model dari data sumber yang memang salah.
Dokumentasi Microsoft mengenai evaluasi agent menempatkan dataset dan evaluator sebagai bagian dari proses membandingkan kinerja. Tim tetap perlu menetapkan kriteria bisnis sendiri; skor evaluator otomatis tidak menggantikan pemeriksaan kasus berdampak tinggi.
Pisahkan pengembangan dan pengujian akhir
Gunakan satu kelompok kasus untuk memperbaiki prompt dan alur. Simpan kelompok uji terpisah yang tidak terus-menerus dijadikan bahan optimasi. Jika kasus akhir sudah digunakan untuk menyetel sistem, catat perubahan perannya dan siapkan pembanding baru.
Untuk dokumen, pertimbangkan pemisahan menurut sumber, format, atau waktu, sesuai risiko kebocoran pola. Data sintetis dapat menambah variasi, tetapi harus ditinjau agar tidak berisi asumsi palsu atau hanya meniru gaya model pembuatnya. Penggunaan data bisnis memerlukan izin dan pembatasan akses yang sesuai.
Contoh rubrik keputusan pilot
Secara ilustratif, jawaban dinilai pada ketepatan fakta, kecocokan sumber, dan kepatuhan akses. Pelanggaran akses diperlakukan sebagai kegagalan kritis meskipun jawaban terdengar benar. Ambang angka ditetapkan pemilik proses berdasarkan risiko; artikel ini tidak menetapkan persentase kelulusan universal.
Laporkan hasil per kelompok beserta contoh kegagalan, bukan hanya rata-rata. Simpan versi dataset dan penjelasan perubahan agar perbandingan tetap bermakna. Gunakan hasilnya bersama uji regresi saat model berubah.
Jika tim belum memiliki contoh kerja dan rubrik yang disepakati, mulai diskusi kebutuhan AI dengan Layana dari proses serta keputusan pilot yang hendak dibuktikan.