Merangkum memo singkat dan menelaah dokumen teknis panjang tidak selalu membutuhkan jalur pemrosesan yang sama. Model routing AI mengarahkan permintaan ke model atau alur yang dipilih berdasarkan karakteristik tugas, batas data, kualitas yang dibutuhkan, serta kondisi layanan.
Tujuannya adalah membuat keputusan pemrosesan dapat diukur. Model yang lebih murah belum tentu menghasilkan biaya akhir lebih rendah jika banyak jawaban harus diulang atau diperbaiki manusia.
Apa yang dilakukan router?
Router menerima permintaan, mengenali batas yang relevan, lalu memilih jalur yang diizinkan. Aturannya dapat sederhana, misalnya berdasarkan jenis tugas yang dipilih pengguna. Pendekatan lain memakai klasifikasi otomatis, tetapi hasil klasifikasi itu sendiri harus dievaluasi.
Panduan arsitektur Microsoft tentang pemilihan model menjelaskan routing sebagai komponen yang memilih model di belakang satu titik akses. Artikel ini membahas rancangan keputusan bisnisnya, bukan menjanjikan fitur atau harga vendor tertentu.
Urutkan aturan dari batas wajib ke optimasi
- Hak akses dan kebijakan data. Singkirkan tujuan yang tidak diizinkan menerima data tersebut.
- Kemampuan tugas. Periksa kebutuhan gambar, panjang dokumen, struktur keluaran, dan penggunaan tool.
- Mutu minimum. Pilih jalur yang terbukti memenuhi kriteria untuk kelas tugas itu.
- Biaya dan waktu. Optimalkan di antara jalur yang sudah memenuhi batas sebelumnya.
Urutan ini mencegah fallback murah mengirim dokumen ke layanan yang tidak disetujui. Perubahan model juga tidak boleh memperluas akses pengguna atau menambah kewenangan agent.
Contoh rancangan tiga jalur
Untuk pilot ilustratif, jalur pertama menangani ringkasan memo dengan format sederhana. Jalur kedua menangani sintesis beberapa dokumen dengan rujukan. Jalur ketiga menahan permintaan untuk klarifikasi atau pemeriksaan manusia ketika sumber tidak cukup, hak akses tidak jelas, atau konsekuensi tindakan lebih besar.
Contoh tersebut adalah pola rancangan, bukan hasil implementasi Layana. Tetapkan contoh uji untuk masing-masing jalur. Jangan mengandalkan panjang prompt sebagai satu-satunya penanda kesulitan; permintaan pendek dapat memerlukan penalaran atau izin yang kompleks.
Fallback perlu membawa konteks kegagalan
Bedakan timeout, format keluaran salah, informasi sumber kurang, dan penolakan karena kebijakan. Mengirim ulang semua kegagalan ke model lain dapat menambah biaya tanpa menyelesaikan masalah. Jika sumber tidak ada, langkah yang tepat mungkin meminta klarifikasi.
Pada agent yang menggunakan tool, pastikan percobaan ulang tidak mengulang aksi yang sudah berhasil. Catat ID tindakan dan hasilnya; kegagalan menerima respons tidak membuktikan aksi belum terjadi.
Cara menguji manfaatnya
Bandingkan routing dengan baseline satu jalur menggunakan kumpulan tugas yang sama. Ukur keberhasilan tugas per kelas, biaya per kasus selesai, latensi, proporsi fallback, serta waktu koreksi manusia. Tetapkan batas penurunan mutu sebelum pilot dimulai.
Simpan versi aturan routing, model, prompt, dan bukti keputusan. Hubungkan evaluasi ke biaya per kasus pilot AI serta pengukuran latensi agent. Untuk memetakan jalur yang sesuai dengan data dan proses perusahaan, diskusikan arsitektur AI bersama Layana.