Berikan adaptasi Anda kapasitas yang dibutuhkannya.

Tetapkan target hasil yang akan menjadi dasar kampanye Anda.

Tentukan tugas yang dapat diamati: mengklasifikasikan tiket, mengekstrak bidang, atau mematuhi bentuk respons. Kerjakan dulu instruksi referensi dan simpan outputnya. Jika perubahan prompt sudah cukup, itu menjadi kandidat untuk dibandingkan. Tanpa kontrol ini, keuntungan yang dikaitkan dengan fine-tuning bisa berasal hanya dari perumusan yang lebih baik atau penanganan respons yang berbeda.

Pisahkan validitas format dari ketepatan isi. Objek JSON yang lolos parser bisa saja memuat kategori yang salah. Tambahkan perilaku yang harus dipertahankan, misalnya penanganan bidang yang tidak ada atau kelas yang jarang. Tetapkan aturan penerimaan dan alasan penolakan sebelum memilih rank, learning rate, atau jumlah langkah.

Pilih data yang memungkinkan Anda mengambil keputusan.

Simpan varian dari percakapan, dokumen, atau sumber yang sama dalam satu himpunan ketika kedekatannya mengancam independensi evaluasi. Lakukan pemisahan sebelum transformasi yang dipelajari atau penyetelan yang dipandu oleh hasil. Pemotongan acak per baris bisa memberi kesan kemajuan pada contoh yang hampir pernah dilihat.

Contoh pedagogis: 1.200 tiket yang dikelompokkan per percakapan dibagi menjadi 840 contoh pelatihan, 180 validasi, dan 180 pengujian setelah kelompok dihormati. Angka-angka ini menggambarkan rencana ilustratif, bukan korpus yang disediakan. Validasi dipakai untuk memilih varian; pengujian akhir disisihkan. Periksa kategori dan panjang di setiap himpunan daripada percaya bahwa rasio semata menjamin kualitasnya.

Tetapkan adaptasi yang akan dibandingkan dengan basis Anda.

Adaptasi penuh mengubah bobot dasar yang bersangkutan. LoRA menambahkan matriks ber-rank rendah ke modul yang ditargetkan dan mempelajari kontribusinya. Rank, modul yang dituju, skala, dan opsi yang dipilih menentukan eksperimen. Rank yang lebih tinggi menambah jumlah parameter adaptor, tanpa membuktikan bahwa ia akan meningkatkan tugas Anda.

Untuk matriks ilustratif berukuran 4.096 × 4.096, dua matriks LoRA ber-rank 8 memuat 8 × (4.096 + 4.096) = 65.536 nilai, dibandingkan 16.777.216 pada matriks padat, di luar bias dan modul lainnya. Perbandingan angka ini tidak menggambarkan seluruh model maupun puncak memori: dasar, aktivasi, dan status parameter yang dipelajari tetap perlu dipertimbangkan.

Sumber teknis: PEFT — konfigurasi dan matriks LoRA

Pilih presisi untuk seluruh siklus kerja.

Dasar yang dimuat dalam empat bit tidak berarti semua operasi, semua tensor, dan cache menggunakan empat bit. Metadata kuantisasi dan modul yang dipertahankan dalam presisi lain memengaruhi alokasi. Di bitsandbytes, pelatihan model yang dimuat dalam empat atau delapan bit menyangkut parameter tambahan; ini bukan pembaruan umum atas bobot terkuantisasi.

Catat format dasar, jenis komputasi, modul yang dapat dilatih, dan versi. Bandingkan langkah nyata, evaluasi, dan operasi ekspor yang ingin Anda gunakan. Menggabungkan, mendekuantisasi, atau menghasilkan format lain bisa memerlukan ruang yang berbeda dari pelatihan. Metode yang bertahan selama adaptasi belum menjadi bukti bahwa seluruh siklus akan bertahan di kartu yang sama.

Sumber teknis: Transformers 5.17 — bitsandbytes dan parameter tambahan

Bandingkan varian Anda dengan anggaran uji coba yang telah ditetapkan.

Pada himpunan ilustratif, pertahankan referensi tanpa adaptasi, LoRA ber-rank 8, dan varian ber-rank 16, dengan modul, data, anggaran langkah, dan aturan evaluasi yang sama. Rank kemudian menjadi faktor yang diteliti. Jika Anda mengubah rank dan learning rate sekaligus, Anda menciptakan pertanyaan lain; panduan ablasi menjelaskan cara membuat interaksi ini terbaca.

Sebelum setiap uji coba, periksa beberapa contoh yang telah ditokenisasi dan bagian yang menyumbang pada loss. Setelah uji coba, bandingkan prediksi yang teridentifikasi dengan evaluator yang sama. Catat keluaran yang hilang dan regresi, bukan hanya rata-rata. Kelas langka yang menjadi selalu salah bisa membatalkan keuntungan global menurut kontrak kualitas Anda.

Dokumentasikan juga alpha, dropout, dan inisialisasi. Dengan pengaturan LoRA klasik, skalanya adalah alpha/r; nyatakan apakah Anda mempertahankan alpha atau rasio alpha/r ketika rank berubah. Protokol-protokol ini tidak menjawab pertanyaan yang persis sama. Aturan skala lain, seperti rsLoRA, harus diidentifikasi secara terpisah.

Sumber teknis: PEFT — rank, alpha, dan aturan skala LoRA

Putuskan apa yang perlu diperbaiki sebelum menggunakan lebih banyak komputasi.

Loss yang turun sementara kualitas validasi mandek menuntut analisis, bukan otomatis lebih banyak langkah. Periksa kesalahan label, pengulangan frasa, entri yang terpotong, dan perbedaan antara format pelatihan dan format inferensi. Simpan sampel kesalahan per kategori untuk memilih koreksi.

Jika Anda memperbaiki taksonomi atau parsing, versioning evaluator dan hitung ulang skor kandidat yang diperlukan. Jangan membandingkan langsung dua angka yang diperoleh dengan aturan berbeda. Jika Anda memeriksa test akhir untuk memilih koreksi, test itu kini menjadi bagian dari pengembangan: siapkan evaluasi independen baru untuk kesimpulan berikutnya.

Verifikasi hasil yang ingin Anda gunakan kembali.

Format PEFT menyimpan parameter adaptor dan konfigurasinya; umumnya tidak memuat bobot base. Karena itu simpanlah identifikasi dan revisi persis base tersebut bersama artefak. Nama model saja yang menunjuk ke versi yang terus berubah tidak cukup untuk merekonstruksi kondisinya.

Muat ulang dalam proses baru hasil yang benar-benar diperuntukkan bagi penggunaan. Jalankan ulang beberapa entri kontrol, lalu protokol evaluasi. Arsipkan tokenizer, template, parameter generasi, dependensi, metrik, dan asal-usul data. Jika artefak digabungkan, catat transformasi ini dan periksa outputnya; itu merupakan langkah yang harus diverifikasi, bukan formalitas tak terlihat.

Sumber teknis: PEFT — isi checkpoint dan model base

Pilih langkah berikutnya berdasarkan hasil.

Bandingkan GPU berdasarkan puncak langkah lengkap dan evaluasi, entri maksimum yang diperlukan, serta tumpukan perangkat lunak yang kompatibel. Sisihkan waktu dalam paket untuk kontrol, varian prioritas, pembacaan kesalahan, dan pemulihan. Pilihan lingkungan saat pemesanan menyatakan persiapan yang diinginkan, tanpa kualifikasi otomatis atas adaptasi Anda.

Kesimpulan harus menyebutkan kandidat yang dipilih atau tidak adanya perolehan yang memadai, kelompok yang tercakup, regresi yang diketahui, dan kondisi pemuatan ulang. Catatan Anda menyimpan referensi dan alasan pemilihannya. Paket pengukuran memori membantu memahami instrumentasi; itu tidak menyediakan pelatihan LoRA yang sudah teruji untuk Anda.