Sonsuz bir dizi değil, bir karar satın alın.

Kampanyayı kapatmayı sağlayacak şeyi tanımlamak

«Bir model eğitmek» ne satın alınacak işi ne de işin bittiği anı tanımlar. Sabit bir korpus üzerinde bir kontrol ile iki varyantı karşılaştırmak, ardından tahminlerini, bir hata analizini ve yeniden yüklenebilir bir artefaktı teslim etmek gibi bir hedefi tercih edin. Olumsuz sonuç yeterli olabilir: hiçbir varyantın eşiğe uymadığını göstermek, kötü hedeflenmiş daha uzun bir kampanyayı önler.

Siparişten önce üç kategoriyi ayırın: sonuç çıkarmak için vazgeçilmez, zaman kalırsa yararlı, keşifsel. Kontrol, veri denetimi ve bir yeniden başlatma doğrulaması genellikle birinci gruba girer. Pilottan sonra bir karar noktası belirleyin: devam etmek, isteğe bağlı bir varyantı azaltmak ya da soruyu yeniden ele almak. Mevcut paket, her saati doldurma zorunluluğuna dönüşmemelidir.

Baştan sona bir takvim kurmak

Zaten ısınmış bir eğitim adımından yapılan bir ekstrapolasyon bazen yüklemeyi, uzun girdileri, doğrulamayı ve çıktı dosyalarını unutur. Makinenin meşgul olduğu aralıklar ile insan hazırlık süresini ayırın. Bağımsız aralıklar örtüşebilir; aynı GPU'yu kullanan iki adım, bir tabloda iki satırı olduğu için paralel hale gelmez.

İşte örnek niteliğinde bir takvim; ölçülmüş GPU hızı içermez. Hazırlığın başlangıcından sonuçların alınmasına kadar 48 saatlik bir diziyi ayırır. 72 saatlik bir pencere içinde 24 saati taahhüt edilmemiş bırakır. Bu çıkarma yalnızca takvimi doğrular: ne kurulum ne de on saatlik bir varyant IteraGPU tarafından vaat edilen sürelerdir.

Saatlik ücret uydurmadan paketleri karşılaştırın

Bir lotun fiyatı seçilen süreyi kapsar. Katalogdaki bir RTX 4090 üç gün için 47,14 USD, yedi gün için 110 USD ve otuz gün için 390 USD tutarındadır. Bu tutarlar IteraGPU tarifeleridir; eğitilen model sayısını ölçmez. Üç günlük iki lot 94,28 USD eder. B200 lotu zaten iki GPU içerir: yapısı fiyatını ikinci kez çarpıtmaz.

Örnek takvim 30 saat uzarsa 78 saate ulaşır ve üç günü altı saat aşar. O zaman yedi günlük paketi ya da soruyu hâlâ yanıtlayan daha küçük bir protokolü inceleyin. İki lot satın almak, ortamınız izin veriyorsa bağımsız varyantlara yardımcı olabilir; bir çalıştırmayı otomatik olarak kısaltmaz ve bellekleri birleştirmez.

Teknik kaynaklar: IteraGPU tarifeleri ve kiralama birimleri · Paketleri hesaplayın ve pencereyi doğrulayın

Varyantları karar için faydalarına göre önceliklendirin

Pilot sonrasında süre varsayımlarınızı güncelleyin ve hangi sonucun seçimi değiştireceğini sorun. Referansa neredeyse özdeş bir varyant, bir nedeni yalıtan bir kontrolden daha az bilgilendirici olabilir. Sıralama, hassasiyet, öğrenme oranı ve uzunluğun tüm kombinasyonlarını bir çırpıda başlatmaktan kaçının. Ablasyon rehberi, küçük ve yorumlanabilir bir planın nasıl kurulacağını gösterir.

Durdurma kuralını denemelerden önce yazın: sonlu olmayan kayıp, eşiğin altında kalite, vazgeçilmez bir girdinin kesilmesi veya kullanılabilir bir yeniden başlatmanın bulunmaması. Durdurma gerçekleşirse kimliğini ve gerekçesini saklayın. Kesintiye uğrayan bir çalıştırma kabul edilen bir teslimata dönüşmez, ancak bir harcama ve bazen belirleyici bir bilgi olarak kalır. Düzeltmeden sonraki yeni bir yapılandırma yeni bir kimliği hak eder.

Bir kesintinin maliyetini öngörün

Eğitimi yeniden başlatmak yalnızca ağırlıklardan fazlasını gerektirir. PyTorch belgeleri model parametreleri ile optimizer durumunu ayırır; ilerleme de saklanmalıdır. Döngüye bağlı olarak planlayıcının, scaler'ın, rastgeleliklerin ve veri akışının gerekli durumlarını ekleyin. Öğrenmeyi sürdürmek mi yoksa yalnızca bir çıkarımı yeniden başlatmak mı istediğinize karar verin.

Erken bir kaydı ve ardından yeni bir süreçte yeniden yüklenmesini test edin. Yazma, aktarma ve geri yükleme süresini takvime ekleyin. Bir kayıt aralığı yalnızca çok sayıda dosya üretmek için seçilmez: tolere edilebilir iş kaybını ve işlemin gözlenen maliyetini birbirine yaklaştırın. Ayrıca bu dosyaların nerede durduğunu ve dönem bitmeden onları nasıl geri alacağınızı doğrulayın.

Teknik kaynaklar: PyTorch — kaydetme ve yeniden başlatma

Bütçeyi faydalı sonuca bağlayın

Kapanışta taahhüt edilen paketi, gerçekten dahil edilen diğer harcamaları ve duyurulan kontrolleri geçen teslimat sayısını verin. Olası dış harcamalar kiralama fiyatından ayrı kalır; ne sağlanmayan bir vergi oranı ne de transfer maliyeti uydurun. Bir kampanyanın maliyeti, sonucu olumsuz olduğunda silinmez.

Koşullu aritmetik örnek: 47,14 USD'lik bir paket iki ayrı, eksiksiz ve kabul edilmiş korpus teslim ediyorsa, korpus başına kiralama payı 23,57 USD'dir. Aynı korpusu süre ölçmek için beş kez yeniden oynatmak beş faydalı korpus vermez. Kabul edilmiş korpus sıfırsa oran tanımsızdır; harcanan maliyeti ve reddin nedenini gösterin, asla sıfır maliyet göstermeyin. Bir araştırma kararı için, yapay bir birim oluşturmak yerine elde edilen sonucu betimleyin.

Yeniden okuyabileceğiniz dosyalarla kapatın

Çıktı klasörünü kampanya sırasında hazırlayın: manifest, parametreler, ham ölçümler, tahminler, durdurma nedenleri ve yeniden yükleme talimatları. Beklenen tanımlayıcıları, boş dosyaları ve geçici bir klasöre bağlı yolları kontrol edin. Bir adaptör için, temel modelin tam revizyonunu saklayın. Var olan ama yeniden yüklenemeyen bir dosya doğrulanmış bir çıktı değildir.

Öngörülen ile gerçekleşeni, başlangıç planını yeniden yazmadan karşılaştırın: ayrılan süre, gözlenen süre, açıklanan sapmalar, alınan kararlar. IteraGPU defteri özeti ve sipariş referansını saklayabilir; ham dosyalarınız ve yedekleriniz düzenlenmeyi bekler. Böylece bir sonraki kampanya daha iyi bir tahminle ve daha kısa bir belirsizlikler listesiyle başlar.

Pratik sorular