Tentukan lebih dulu apa yang dibagi kedua kartu
Dalam paralelisme data klasik, setiap GPU menyimpan satu salinan model dan menerima sebagian batch. Untuk model yang terlalu besar pada satu kartu, diperlukan pembagian parameter atau lapisan. Jadi 360 GB jika dijumlahkan tidak otomatis menjadi satu alokasi tunggal. Tuliskan hipotesis Anda sebelum menyewa: memperbesar batch global, mempersingkat waktu satu langkah, atau memungkinkan suatu eksekusi.
Uji pembagian yang menghasilkan kesimpulan
Mulailah dengan kumpulan data kecil yang sama pada satu kartu, jika modelnya muat, lalu pada dua kartu. Catat puncak memori setiap GPU, waktu per langkah setelah pemanasan, dan biaya pertukaran. Satu kartu hampir kosong dan kartu lain jenuh menandakan pembagian yang tidak seimbang. Dua eksperimen independen bisa lebih berguna daripada pelatihan terdistribusi ketika pertanyaan Anda menyangkut beberapa hyperparameter.
Jaga presisi dan jumlah contoh yang diproses tetap konstan selama perbandingan ini. Peningkatan yang diperoleh dengan mengubah format numerik sekaligus ukuran batch akan sulit dikaitkan dengan perangkat keras.
Siapkan tumpukan Blackwell dan pilih alternatif
Pastikan versi PyTorch, distribusi CUDA, dan ekstensi terkompilasi Anda menargetkan Blackwell dengan benar. Kernel khusus yang kompatibel dengan generasi lain tidak cukup untuk menetapkan kompatibilitas ini. Uji operasi penting sebelum kampanye penuh. Jika model dan cadangan eksekusi Anda muat dalam 141 GB, H200 memungkinkan pengujian eksekusi pada satu GPU; MI300X membuka jalur lain untuk proyek yang disiapkan untuk ROCm.
Pesan jendela riset yang dapat dieksploitasi
Tiga hari cocok untuk validasi alokasi yang disiapkan sebelumnya. Tujuh hari memungkinkan pengorganisasian beberapa varian dan evaluasinya. Tiga puluh hari setara dengan kampanye terpantau, dengan checkpoint dan kriteria penghentian yang ditetapkan. Pilih jumlah lot dua kartu, durasi, dan lingkungan yang diinginkan, lalu isi data kontak Anda. Setelah transfer crypto Anda, gunakan "Saya sudah bayar" pada pesanan; kemudian ikuti langkah pembayaran dan persiapan akses.