Önce iki kartın neyi paylaştığını seçin
Klasik veri paralelliğinde her GPU modelin bir kopyasını tutar ve batch'in bir bölümünü alır. Tek bir karta sığmayacak kadar büyük bir model için parametrelerin veya katmanların bölüştürülmesi gerekir. Dolayısıyla toplanan 360 GB otomatik olarak tek bir tahsis oluşturmaz. Kiralamadan önce varsayımınızı yazın: genel batch'i artırmak, bir adımın süresini kısaltmak veya bir çalıştırmayı mümkün kılmak.
Bir sonuç üreten dağıtım denemesi
Model sığıyorsa önce tek kartta, ardından iki kartta aynı küçültülmüş veri kümesiyle başlayın. Her GPU'nun bellek zirvesini, ısınma sonrası adım başına süreyi ve alışveriş maliyetini kaydedin. Bir kartın neredeyse boş, diğerinin dolu olması dengesiz bir dağıtıma işaret eder. Sorunuz birden çok hiperparametreyi kapsıyorsa, iki bağımsız deney dağıtılmış bir eğitimden daha faydalı olabilir.
Bu karşılaştırma sırasında hassasiyeti ve işlenen örnek sayısını sabit tutun. Sayısal biçimi ve batch boyutunu aynı anda değiştirerek elde edilen bir iyileştirmeyi donanıma atfetmek zor olurdu.
Blackwell yığınını hazırlayın ve bir alternatif seçin
PyTorch sürümünüzün, CUDA dağıtımınızın ve derlenmiş uzantılarınızın doğru şekilde Blackwell'i hedeflediğinden emin olun. Başka bir nesille uyumlu özel bir çekirdek bu uyumluluğu sağlamaya yetmez. Tam kampanyadan önce temel işlemleri test edin. Modeliniz ve çalıştırma rezerviniz 141 GB'a sığıyorsa H200 tek GPU üzerinde çalıştırmayı incelemenizi sağlar; MI300X ise ROCm için hazırlanmış bir proje için başka bir yol açar.
Kullanılabilir bir araştırma penceresi ayırtın
Üç gün, önceden hazırlanmış bir dağıtım doğrulaması için uygundur. Yedi gün, birden fazla varyantı ve değerlendirmesini organize etmenizi sağlar. Otuz gün, checkpoints ve tanımlı durdurma ölçütleriyle takip edilen bir kampanyaya karşılık gelir. İstediğiniz iki kartlık lot sayısını, süreyi ve ortamı seçin, ardından iletişim bilgilerinizi girin. Kripto transferinizden sonra siparişteki « Ödedim » seçeneğini kullanın; ardından ödeme ve erişim hazırlığı adımlarını takip edin.