Jika perusahaan mencari cara membandingkan model lewat Vertex AI, cari menu Agent Platform di Google Cloud. Google kini memakai nama Gemini Enterprise Agent Platform untuk platform yang sebelumnya bernama Vertex AI. Untuk memilih model layanan pelanggan, mulai dari pertanyaan nyata dan aturan perusahaan. Jawaban yang terdengar sopan bisa tetap berbahaya jika menjanjikan pengembalian uang yang belum disetujui.
Tentukan satu pekerjaan, misalnya membuat draf jawaban tiket retur. Bandingkan dua model dengan pertanyaan, sumber kebijakan, dan akses data yang sama. Untuk pilot, simpan jawaban sebagai draf. Staf tetap memutuskan apakah jawaban boleh dikirim atau kasus perlu diteruskan ke supervisor.
Susun Kasus Uji yang Mengubah Keputusan
Pilih contoh yang mewakili pekerjaan harian dan kondisi saat jawaban harus ditahan. Gunakan data yang boleh diproses. Untuk setiap kasus, simpan pertanyaan, bagian kebijakan yang berlaku, jawaban yang diharapkan, dan alasan kapan percakapan harus dialihkan ke staf.
- Kasus rutin: pelanggan menanyakan prosedur retur dan syaratnya lengkap. Jawaban perlu menyebut langkah serta dokumen yang benar.
- Data belum lengkap: pelanggan mengaku sudah mengirim barang tetapi tidak menyertakan nomor pesanan. Jawaban perlu meminta informasi minimum tanpa menyatakan status yang belum diketahui.
- Kasus pengecualian: pesanan melewati batas retur dan pelanggan meminta persetujuan khusus. Model tidak boleh menjanjikan pengembalian dana; arahkan ke penanggung jawab yang berwenang.
- Kebijakan berubah: dua versi panduan muncul di lampiran. Tetapkan versi yang berlaku sebagai pembanding dan catat jika suatu model mengutip versi lama.
Pisahkan kasus yang dipakai memperbaiki instruksi dari kasus untuk ujian akhir. Jika contoh kegagalan yang sama dipakai berulang untuk memperbaiki dan menilai model, tim belum melihat apakah perbaikan berlaku pada tiket baru. Lihat panduan menyiapkan set uji AI bisnis untuk melengkapi variasi kasus.
Gunakan Rubrik yang Sama untuk Kedua Model
Panduan layanan evaluasi Gen AI Google Cloud menjelaskan rubrik, yaitu kriteria untuk menilai keluaran model, termasuk kriteria tetap yang dapat dipakai lintas pertanyaan. Daftar perubahan nama Google Cloud membantu mencocokkan istilah di panduan lama dengan nama di konsol saat ini.
Bagi penilaian menjadi tiga pertanyaan: apakah jawaban mengikuti kebijakan, apakah informasi yang dibutuhkan lengkap, dan apakah kasus yang perlu ditangani staf benar-benar dialihkan? Gunakan pemeriksaan otomatis untuk pola sederhana, misalnya nomor tiket wajib. Untuk keputusan mengenai retur atau kompensasi, minta penilai manusia membaca jawaban tanpa melihat nama model. Jika penilaian otomatis berbeda, buka kembali kebijakan dan perbaiki rubrik sebelum membandingkan hasil.
Jaga prompt, versi panduan dan jenis alat yang boleh dipakai tetap sama. Catat versi model, waktu uji, instruksi, dan pengaturan. Jika salah satu model memerlukan instruksi khusus, laporkan perbandingan tambahan sebagai uji sistem yang berbeda sehingga tim tahu apa yang sebenarnya berubah.
Hitung Ulang Manfaat pada Jawaban yang Bisa Dipakai
Lihat persentase jawaban yang diterima tanpa koreksi, jumlah janji di luar kewenangan, waktu tunggu di kondisi sibuk, dan biaya per jawaban yang benar-benar bisa dipakai. Pada biaya, hitung pemanggilan ulang dan waktu staf memperbaiki draf. Contoh ilustratif: model A menjawab lebih cepat, tetapi beberapa kali menjanjikan refund sebelum pemeriksaan; peningkatan kecepatan tidak cukup untuk membuka pengiriman otomatis.
Jika hasilnya memenuhi kriteria, jalankan uji terbatas dengan draf untuk satu antrean. Jika muncul pelanggaran kebijakan, tahan perluasan dan periksa sumber jawaban, instruksi atau pemilihan kasus. Baca layanan AI dan Machine Learning Layana.ID atau diskusikan rancangan uji pemilihan model dengan membawa contoh tiket yang disamarkan serta dua aturan yang tidak boleh dilanggar.
