Distilasi LLM adalah cara melatih model AI yang lebih kecil dengan belajar dari model yang lebih mampu. LLM sendiri berarti model bahasa besar, yaitu jenis AI yang dapat memahami dan menghasilkan teks. Dalam proses ini, model yang memberi contoh disebut guru, sedangkan model yang dilatih disebut siswa.
Bagi perusahaan, daya tariknya adalah menjalankan tugas tertentu dengan model yang lebih kecil. Namun, investasi ini masuk akal hanya jika tugas cukup stabil, tersedia contoh bermutu, dan hasilnya tetap memenuhi kebutuhan pengguna.
Model kecil bukan salinan lengkap kemampuan model guru. Tim harus memilih kemampuan yang ingin dipertahankan, misalnya mengubah uraian gangguan menjadi kategori dan alasan singkat. Jangan memulai dengan target umum “membuat AI perusahaan yang bisa menjawab semuanya”.
Apa yang Berubah Saat Model Didistilasi?
Dokumentasi Amazon SageMaker AI menjelaskan hubungan model guru dan model siswa serta membedakan distilasi dari pendekatan adaptasi lain. Bahan atau penilaian untuk latihan dapat berasal dari respons guru atau penilaian terhadap keluaran siswa, bergantung pada metode.
Dalam penerapan bisnis, salah satu jalur yang dapat dievaluasi adalah membuat contoh instruksi dan respons menggunakan guru, memeriksa respons tersebut, lalu melatih siswa. Prosesnya tetap memerlukan seleksi data dan evaluasi. Kesalahan guru yang lolos pemeriksaan dapat diwariskan kepada siswa.
Distilasi berbeda dari kuantisasi, yang menurunkan presisi representasi numerik. Distilasi juga berbeda dari memilih model kecil siap pakai. Model siap pakai layak menjadi pembanding awal karena mungkin sudah memenuhi tugas tanpa proyek pelatihan tambahan.
Uji Dulu Apakah Pelatihan Memang Diperlukan
Untuk tugas bervolume rendah atau sering berubah, perbaikan instruksi, contoh dalam instruksi kepada AI, atau penggunaan model yang sudah ada mungkin lebih praktis. Jika masalahnya adalah dokumen tidak ditemukan, perbaiki pencarian sumber. Pelatihan perilaku tidak otomatis memperbaiki sumber yang hilang atau hak akses yang keliru.
Dalam skenario ilustratif, perusahaan mengelompokkan laporan masalah dukungan internal ke kategori yang sudah stabil. Tim membandingkan aturan sederhana, model kecil dengan instruksi, model guru, dan siswa hasil distilasi. Keempatnya menerima kumpulan uji yang sama. Pilihan ditentukan oleh mutu serta biaya operasional total, bukan oleh ukuran model saja.
Susun Batas Tugas dan Data
- Masukan: uraian masalah dan konteks yang boleh digunakan, tanpa kunci akses sistem atau catatan pribadi yang tidak diperlukan.
- Hasil: kategori dari daftar resmi, alasan yang dapat diperiksa, serta status perlu tinjauan.
- Batas: model tidak menutup tiket, mengubah prioritas kritis, atau mengirim instruksi pemulihan otomatis.
- Pemilik keputusan: tim layanan TI menentukan kategori dan jalur eskalasi; penanggung jawab pengembangan AI mengelola pelatihan; TI mengelola alamat layanan model dan catatan aktivitas.
Periksa lisensi model, hak penggunaan data, dan ketentuan penyedia guru sebelum menghasilkan contoh. Akses antarmuka pertukaran data (API) tidak otomatis memberi izin untuk setiap bentuk pelatihan model turunan. Simpan asal contoh, versi guru, instruksi, hasil pemeriksaan, dan versi kumpulan data sebagai jejak internal.
Hindari Evaluasi yang Bocor
Asingkan kumpulan uji sebelum membuat data pelatihan. Pisahkan keluarga kasus yang sangat mirip agar variasi satu tiket tidak tersebar ke pelatihan dan pengujian. Sertakan bahasa Indonesia yang tidak baku, input panjang, kategori langka, serta pertanyaan di luar tugas.
Staf yang memahami proses bisnis perlu menilai kesalahan menurut dampaknya. Salah membedakan dua kategori administratif tidak sama risikonya dengan menganggap gangguan kritis sebagai permintaan rutin. Laporkan hasil per kategori dan tingkat risiko; rata-rata keseluruhan dapat menyembunyikan kelemahan yang menentukan kelayakan uji coba.
Jangan menjadikan penilaian guru sebagai satu-satunya ukuran kebenaran. Guru mungkin menyukai gaya respons yang mirip dengan keluarannya sendiri. Gunakan label acuan manusia dan uji penerimaan pada pekerjaan yang benar-benar akan dilakukan pengguna.
Hitung Biaya Sesudah Model Dijalankan
Masukkan pembuatan contoh, pemeriksaan, pelatihan, eksperimen gagal, penyediaan server, pemantauan, dan pembaruan. Ukur waktu respons saat jumlah permintaan bersamaan meningkat, proporsi kasus yang perlu kembali ke guru, serta waktu koreksi manusia. Model siswa dengan biaya pemrosesan rendah dapat tetap mahal jika terlalu banyak keluaran harus diperbaiki.
Perluasan layak dipertimbangkan saat siswa memenuhi ambang mutu tugas dan biaya totalnya lebih sesuai pada volume realistis. Bila hanya sebagian kasus yang layak ditangani siswa, pertimbangkan pemilihan model berdasarkan jenis pekerjaan. Jangan menyatakan seluruh proses selesai ketika kasus sulit masih tertahan di antrean penanganan lanjutan.
Mulai dari Keputusan Investasi yang Bisa Dibandingkan
Siapkan satu tugas berulang, sampel berizin, standar jawaban, dan perkiraan volume beserta pola puncaknya. Gunakan bahan itu untuk membahas kelayakan model khusus dengan Layana.ID melalui layanan AI dan machine learning. Hasil awal yang diperlukan adalah pembanding yang adil antara model siap pakai, guru, dan siswa—baru kemudian keputusan pelatihan berikutnya.