Projeyi sorusunu kaybetmeden küçültme
Bir yeniden üretim için, sınıfları veya önemli zorlukları koruyan bir veri alt kümesiyle başlayın. Yükleme, eğitim, doğrulama ve kaydetmeyi bu kapsamda çalıştırın. Bu ara sonuç, tam deneyin yerini tutmaz, ancak tüm süreyi taahhüt etmeden önce hesaplama yolunu doğrulamaya olanak tanır. Tüm külliyata veya daha büyük bir yapılandırmaya geçmeyi hangi sinyalin haklı çıkaracağına önceden karar verin.
Testi 24 GB'a sığdırma
Kolları ayırın: ağırlık formatı, hesaplama hassasiyeti, örnek uzunluğu ve microbatch. İki bellek ölçümü arasında yalnızca bir kolu değiştirin. Birkaç parametrenin uyarlanması, modele ve aktivasyonlara bağlı olarak bu zarf için uygun olabilir, ancak aynı modelin tam eğitimi çok farklı bir iz bırakabilir. Gözlemlenen tepe değeri, doğrulama parametreleri dahil olmak üzere tam parametrelerle kaydedin.
Bir checkpoint'ten devam etmeyi test edin ve yeniden yüklemeden sonra birkaç çıktıyı doğrulayın. İlk paketin faydalı sonucu, genellikle bellek ve veri seçimlerinizi yeniden oluşturmadan yeniden başlatabileceğiniz bir deneydir.
Tamamlanmış bir sonuç üzerinde nesilleri karşılaştırın
CUDA/PyTorch ortamınızın ve derlenmiş uzantıların Ampere'ı desteklediğinden emin olun. Eski bir araştırma deposu için kilitlenmiş bir bağımlılık dosyası teşhisi kolaylaştırır. RTX 4090, daha yeni bir mimariyi aynı 24 GB kapasiteyle karşılaştırmayı sağlar. RTX A6000 başka bir soruya yanıt verir: özellikle örnekleri kısaltmak protokolünüzü bozuyorsa, daha fazla bellek korumak.
3, 7 veya 30 günlük bir ilerleme planlayın
Üç gün, uçtan uca tekrarlanabilir bir test için uygundur. Yedi gün, stabilize edilmiş bir korpus üzerinde birkaç varyanta izin verir. Otuz gün, tarif doğrulandıktan sonra daha fazla tekrarı kapsayabilir. Verilerinizi ve dışa aktarımlarınızı düzenleyin, süre ve miktarı seçin, ardından ad, soyad ve e-posta bilgilerinizi girin. Kiralama, kimlik belgesi talebi olmadan kripto ile ödenir; siparişiniz takip adımlarını korur.