Pertahankan evaluasi yang masih bisa mengejutkan Anda.

Tentukan apa yang direpresentasikan setiap contoh

Mulailah dengan satu kalimat keputusan: mengenali kategori tiket baru, mengekstrak tiga bidang dari sebuah dokumen, atau menjawab pertanyaan beserta lampirannya. Jelaskan input yang tersedia pada saat prediksi, output yang diharapkan, dan kasus di luar cakupan. Informasi yang ditambahkan setelah tiket diselesaikan tidak boleh muncul dalam input yang seharusnya merepresentasikan saat tiket masuk.

Bedakan kemudian antara baris dan unit independen. Lima pesan dalam satu percakapan berbagi konteks; sepuluh halaman dalam satu berkas berbagi asalnya. Jika tujuan Anda menyangkut berkas baru, simpan setiap berkas dalam satu partisi saja. Pemisahan berdasarkan pengguna, dokumen, peralatan, atau periode menjawab pertanyaan yang berbeda: pilih yang paling mirip dengan penggunaan di masa depan, lalu cantumkan alasannya dalam manifes.

Sumber teknis: scikit-learn 1.9 — validasi dengan grup dan dependensi temporal

Tetapkan peran untuk setiap himpunan

Himpunan pembelajaran digunakan untuk penyesuaian model. Himpunan validasi memandu keputusan pengembangan: prompt, ambang batas, hyperparameter, atau pilihan varian. Test akhir menjawab pertanyaan yang sudah ditetapkan. Melihatnya untuk memilih pengaturan terbaik secara bertahap mengubah test ini menjadi alat pengembangan, meskipun tidak ada gradien yang dihitung padanya.

Pisahkan juga data yang digunakan untuk mempelajari suatu transformasi. Normalisasi, pemilihan variabel, atau imputasi yang disesuaikan pada seluruh korpus dapat meneruskan informasi ke model. Pelajari transformasi ini pada partisi yang diizinkan, lalu terapkan transformasi yang disimpan ke himpunan lainnya. Sebuah pipeline mempermudah kontrol ini; ia tidak dengan sendirinya memperbaiki grup yang salah dipisahkan.

Sumber teknis: scikit-learn 1.9 — kebocoran data dan transformasi

Menangani duplikat tanpa menghapus kasus sulit

Simpan korpus mentah, lalu bangun inventaris kerja dengan pengenal, asal, dan grup. Sidik jari konten mendeteksi salinan persis sesuai representasi yang dipilih. Dokumentasikan representasi ini: menghapus semua tanda baca atau mengubah teks menjadi huruf kecil dapat menggabungkan entri yang perbedaannya penting bagi tugas. Pertahankan pemetaan antara salinan yang dibuang dan contoh yang disimpan.

Hampir-duplikat memerlukan tinjauan tambahan: ekspor yang dimodifikasi, jawaban yang dirumuskan ulang, bagian yang sama, atau dokumen yang diterbitkan ulang. Kemiripan yang tinggi adalah sinyal untuk diperiksa, bukan bukti bahwa dua anotasi dapat dipertukarkan. Kelompokkan varian yang terkait sebelum membagi data. Jika dua salinan memuat rujukan yang bertentangan, buka pertanyaan anotasi; jangan memilih secara otomatis salinan yang paling baik diprediksi oleh model.

Contoh yang dikerjakan: 1.200 baris bukan 1.200 observasi independen

Contoh ini sepenuhnya ilustratif: tidak ada korpus atau model yang diukur. Misalkan 240 percakapan, masing-masing diekspor menjadi lima baris. Satu baris adalah salinan persis di setiap percakapan; empat lainnya berbeda. Menghapus 240 salinan ini menyisakan 960 contoh, yang tetap tersusun dalam 240 grup. Pilihan pedagogis berikut menyisihkan 70% grup untuk pelatihan, 15% untuk validasi, dan 15% untuk pengujian.

Diperoleh 168, 36, dan 36 percakapan, yaitu 672, 144, dan 144 contoh. Kesamaan proporsi dalam baris dan grup di sini berasal dari empat contoh per percakapan. Dalam korpus nyata dengan ukuran yang bervariasi, hal itu tidak akan terjadi secara otomatis. Proporsi ini bukan aturan universal: proporsi tersebut harus menyisakan cukup banyak grup dan kasus penting di setiap himpunan.

Sumber teknis: scikit-learn 1.9 — GroupShuffleSplit menghitung grup

Periksa kelas, panjang, dan kronologi

Setelah partisi, hitung kelas dan grup yang memuatnya. Kelas yang muncul pada banyak baris tetapi hanya dalam satu percakapan tidak menawarkan banyak kasus independen. Periksa juga panjang, bahasa yang benar-benar tercakup, dokumen yang tidak lengkap, dan kategori yang penting bagi keputusan. Rata-rata yang melegakan dapat menyembunyikan partisi tanpa satu pun contoh dari kasus kritis.

Stratifikasi dengan grup berupaya mempertahankan proporsi kelas tanpa menyebarkan grup. Stratifikasi ini tidak menjamin keseimbangan sempurna ketika grup sedikit atau sangat tidak seimbang. Jika tugasnya adalah memprediksi observasi di masa depan, pemisahan kronologis bisa lebih relevan daripada pengacakan. Periksa juga bahwa variabel-variabel tersedia pada tanggal prediksi.

Sumber teknis: scikit-learn 1.9 — StratifiedGroupKFold dan keterbatasannya · scikit-learn 1.9 — validasi data temporal

Buat rujukan cukup presisi untuk menilai keluaran

Tulis instruksi anotasi dengan contoh dan kasus batas. Untuk ekstraksi, jelaskan arti bidang yang tidak ada, format tanggal, mata uang, dan padanan yang diterima. Untuk klasifikasi, jelaskan batas antar kategori. Jawaban yang berbeda dari rujukan tidak selalu merupakan kesalahan model: rujukan bisa ambigu atau keliru.

Mintalah peninjauan ulang atas pilihan yang beragam, khususnya ketidaksepakatan dan kasus penting, lalu catat arbitrasenya. Simpan koreksi dalam versi baru kumpulan data. Jika suatu koreksi mengubah hasil perbandingan, hitung ulang semua varian terkait pada rujukan yang sama; jangan hanya mengoreksi baris yang merugikan model favorit Anda.

Hasilkan paket evaluasi sebelum kampanye GPU

Luaran dari persiapan ini adalah himpunan yang dapat diidentifikasi, disertai aturannya. Ini memungkinkan reproduksi pemilihan data tanpa bergantung pada ingatan dari notebook. Menyiapkan paket ini sebelum penyewaan menghindari habisnya periode komputasi untuk menyelesaikan perbedaan berkas atau kriteria.

• Tetapkan pengenal, grup, partisi, dan justifikasinya; simpan skrip atau daftar yang menghasilkannya.
• Periksa irisan antara pengenal, grup, dan sidik jari antarpartisi. Setiap irisan yang tidak terduga harus dijelaskan atau diperbaiki.
• Ekspor jumlah unit per partisi, kelas, dan subgrup yang relevan, serta daftar pengecualian dan alasannya.
• Kunci referensi, aturan normalisasi, metrik utama, dan ambang batas sebelum perbandingan.
• Simpan revisi, sidik jari, hak penggunaan, dan lokasi data. Sidik jari menjamin identifikasi, bukan anonimitas.
• Batasi akses ke uji akhir hingga keputusan yang direncanakan; simpan catatan akses dan perubahan protokol.

Memahami apa yang dibuktikan oleh pengujian

Persiapan dapat diterima ketika jumlah unit selaras dengan inventaris, tumpang tindih terkendali, dan setiap keluaran dapat dinilai berdasarkan aturan yang jelas. Hal ini tidak membuktikan bahwa model akan berhasil, maupun bahwa semua penggunaan di masa depan terwakili. Kumpulan data kecil dapat mendeskripsikan masalah tertentu namun tetap tidak memadai untuk menarik kesimpulan tentang kelas yang jarang.

Jika Anda menggunakan kesalahan dari uji akhir untuk meningkatkan sistem, simpan uji tersebut sebagai riwayat dan siapkan konfirmasi independen yang baru. Untuk model yang telah dilatih sebelumnya yang data aslinya tidak diketahui, partisi Anda tidak dapat menjamin tidak adanya paparan sebelumnya. Dokumentasikan keterbatasan ini daripada menyebut kumpulan data tersebut sepenuhnya murni.

Pertanyaan praktis