Menghasilkan embeddings yang tetap dapat dibandingkan
Sebuah kampanye embedding harus menetapkan model, tokenisasi, aturan pemotongan, pooling, dan normalisasi. Pilihan-pilihan ini mengubah representasi yang diperoleh. Untuk teks dengan panjang yang bervariasi, cobalah batch yang dikelompokkan berdasarkan panjang dan bandingkan dengan pengelompokan awal Anda. Catat jumlah dokumen yang diproses dan token yang berguna, agar perubahan padding batch tidak tampak seperti peningkatan yang tidak dapat dijelaskan.
Membagi 48 GB antara model dan pekerjaan yang berguna
Tingkatkan batch pada sampel yang berisi teks terpanjang atau gambar terbesar. Pengukuran pada rata-rata bisa melewatkan saturasi yang terjadi terlambat di tengah korpus. Ekspor representasi seiring pemrosesan daripada menumpuk semua hasil di GPU secara tidak perlu. Simpan pengenal yang stabil misalnya untuk menghubungkan setiap keluaran dengan masukannya dan melanjutkan kampanye yang terhenti.
Untuk adaptasi, gunakan disiplin yang sama pada checkpoint: model dasar, parameter yang dilatih, dan data harus tetap terkait. Kapasitas 48 GB tidak menghilangkan kebutuhan untuk mengukur aktivasi dan status optimizer.
Ampere atau Ada pada kapasitas yang sama
RTX A6000 dan RTX 6000 Ada adalah dua model yang berbeda meskipun keduanya 48 GB. Periksa kernel CUDA yang ditargetkan dan versi PyTorch proyek Anda sebelum membandingkan. Uji singkat dapat memisahkan biaya korpus lengkap, dengan keluaran yang sama diharapkan. A40 adalah opsi Ampere lain dengan 48 GB; A100 SXM menjadi relevan ketika memori yang dibutuhkan melebihi rentang ini.
Memesan dengan rencana pemulihan
Tiga hari dapat mencakup profiling dan batch embedding pertama. Tujuh hari memberi ruang untuk menghasilkan lalu memeriksa sebuah korpus. Tiga puluh hari mendampingi beberapa versi representasi atau kampanye adaptasi. Siapkan kredensial, direktori ekspor, dan daftar batch sebelum penyewaan. Pilih durasi dan jumlah, sebutkan lingkungan yang diinginkan serta data kontak Anda, lalu temukan pembayaran kripto dan kemajuan di dalam pesanan.