Petugas layanan mengetik “apakah pompa PX-240 bisa dipakai untuk cairan panas?” Sistem menemukan petunjuk untuk pompa PX-420 karena kedua dokumen membahas suhu. Jawabannya terdengar masuk akal, tetapi merujuk ke model yang salah. Hybrid search untuk RAG menggabungkan pencarian kata atau kode dengan pencarian berdasarkan makna. Gabungan itu layak diuji ketika pengguna perlu menemukan nomor yang persis sekaligus menjelaskan masalah dengan bahasa sehari-hari.
Kapan Pencarian Kata dan Vektor Saling Melengkapi?
Pencarian kata cocok untuk kode komponen, nomor SOP, dan nama unit. Pencarian vektor membantu saat pengguna menulis “barang telat datang” sedangkan dokumen menggunakan “keterlambatan penerimaan”. Jika korpus berisi kedua jenis pertanyaan, jalankan kedua pencarian pada kumpulan dokumen yang sama, gabungkan urutannya, lalu kirim beberapa potongan paling relevan ke model. Panduan retrieval RAG Microsoft menjelaskan pilihan pencarian, pengurutan ulang, dan konsekuensi latensinya.
Jadikan Kode dan Revisi sebagai Data Terstruktur
Simpan kode produk, revisi, tanggal berlaku, dan unit pemilik sebagai metadata. Jika pertanyaan menyebut PX-240, batasi pencarian pada kode itu sebelum memberi kandidat ke model. Simpan daftar alias resmi jika kode lama masih dipakai. Bila hasil hanya menemukan model lain, minta pengguna memeriksa kode atau alihkan pertanyaan ke teknisi. Kemiripan bahasa tidak membuktikan dua komponen dapat dipertukarkan.
Saring Izin sebelum Mengurutkan Hasil
Gunakan identitas pengguna untuk menyaring dokumen yang boleh dibaca sebelum potongan masuk ke model. Uji peran berbeda pada pertanyaan yang sama, termasuk dokumen yang baru dicabut aksesnya. Selaraskan aturan di indeks, cache, dan tautan sumber. Jika akses berubah di sistem dokumen, tetapkan siapa yang mengawasi pembaruan indeks serta berapa lama perubahan izin boleh tertunda.
Uji Retrieval Terpisah dari Jawaban AI
Susun pertanyaan dari tiket layanan atau catatan operasional yang sudah disanitasi. Pemilik proses menandai dokumen, revisi, dan paragraf acuan. Kelompokkan kasus menjadi kode persis, sinonim, revisi yang bertentangan, pertanyaan tanpa jawaban, dan sumber yang tidak boleh diakses. Panduan menyusun dataset evaluasi AI bisnis bisa membantu memilih contoh yang mewakili pekerjaan harian.
- Bandingkan kandidat. Jalankan pencarian kata, vektor, dan hybrid pada indeks serta kelompok pertanyaan yang sama. Hitung persentase kasus saat sumber acuan masuk ke lima hasil teratas. Catat versi dokumen yang salah secara terpisah.
- Uji jawaban. Gunakan prompt dan model yang sama untuk setiap metode. Ukur berapa jawaban didukung kutipan yang tepat dan berapa kasus tanpa sumber yang ditangani dengan permintaan klarifikasi.
- Ukur waktu dan biaya. Catat waktu respons median dan persentil ke-95. Jika ingin menambah reranker, bandingkan apakah peningkatan temuan sumber sepadan dengan tambahan waktu dan biaya pada pertanyaan yang sering muncul.
Tetapkan Batas Pilot sebelum Memperluas Indeks
Pilih satu perpustakaan yang punya pemilik dan revisi jelas. Misalnya, mulai dengan panduan pemasangan untuk satu lini produk dan jadikan petugas layanan sebagai pengguna pertama. Ahli produk menilai jawaban yang berkaitan dengan suhu, keselamatan, dan kecocokan komponen. Ketika dua revisi memberikan instruksi berbeda, sistem menampilkan sumber yang berlaku atau meminta bantuan ahli. Simpan keputusan penilai untuk mengevaluasi perubahan indeks berikutnya.
Bawa contoh pertanyaan kode, pertanyaan sehari-hari, dan daftar hak akses yang berlaku untuk membahas pilot pencarian dokumen dengan Layana.ID. Tiga bahan itu membantu menentukan apakah perbaikan perlu dimulai dari struktur dokumen, aturan pencarian, atau jawaban model.