Hipoteziniz için ne kadar bellek?

Tanımlı bir yük için bir yapılandırma seçin

Bir GPU listesi, modeliniz için bir öneri ve mevcut yapılandırmanıza bir alternatif aynı başlangıç fiche'ini gerektirir: model ve revizyon, çıkarım veya adaptasyon, ağırlık formatı, gereken uzunluk, eşzamanlılık veya microbatch ve kalite kriteri. Teklifleri karşılaştırırken bu gereksinimleri koruyun. Daha az bağlam işleyen bir yapılandırma veya basitleştirilmiş bir görev otomatik olarak aynı ihtiyaca yanıt vermez.

Her zorunlu gereksinim için sınıflandırma yapın: mevcut belge bunu kapsamınızda doğruluyorsa kabul edilebilir; eksikse doğrulanacak; kanıtlanmış bir başarısızlık yükü karşılamayı engelliyorsa hariç tut. Bir aday ancak tüm bu gereksinimler karşılandığında seçilir. Ardından kabul edilebilir adayları paketin toplam maliyeti, faydalı marj ve belgelenmiş takvime göre sıralayın. Bir tercih, eleyici bir kriteri telafi etmez.

Her kriteri bir belgeye ve bir karara bağlayın

Satış belgesi teklif edileni doğrular; protokolünüz yük üzerinde neyin çalıştığını ortaya koyar. Sipariş sırasında istenen ortam, hazırlık tercihi olarak kalır. Nominal bellek kapasitesi veya beyan edilen stok ne bir yazılım kurulumunu ne de kullanıma sunma süresini kanıtlar.

Belgeyi sürümü ve kapsamıyla birlikte saklayın. Zorunlu bir bilgi belgelenmemişse doğrulanacak koşulu tam olarak yazın. Tablo, bu bilinmeyenleri garantiye dönüştürmeden bir ön seçim oluşturmanızı sağlar.

Teknik kaynaklar: Çıkarım için yük fişi · Aşamaları ve sayaçları ölçün · Kalite kriterlerini belirleyin · Deneyin maliyetini planlayın

Sonucun neyi hesapladığını bilin

Parametre sayısı, yoğun hesaplamada temsil ettiğiniz değerlere karşılık gelir. Format, her değerin kaç bit olduğunu gösterir. «Yalnızca ağırlıklar» sonucu bu hacmi Gio'ya dönüştürür, ardından «Gösterge niteliğinde zarf» payınızı ekler. Araçtaki eğitim veya uyarlama seçimi gizli bir evrensel çarpan uygulamaz; eksik kalemleri belgelemenizi teşvik eder.

Bu basitlik, varsayımı yeniden okumayı mümkün kılar. Aynı zamanda hesaplamanın dışında kalanları bilmeyi gerektirir: niceleme üst verileri, başka bir formata ait modüller, çalışma belleği, geçici yükleme ve süreç dışı kullanımlar. Önerilen GPU fişi incelenecek bir adaydır, modelinizin orada çalışacağının garantisi değildir. Bir kartın adı ve nominal belleği, sunucusunun geri kalanını tanımlamaz.

Bir kartı karşılaştırmadan önce birimleri okuyun

Ondalık bir GB bir milyar bayta karşılık gelir; bir Gio ise 2³⁰ bayta. Katalog nominal kapasiteyi GB cinsinden gösterir. Araç ondalık kuralı uygular; bir yapılandırmayı doğrulamak için cihazın beyan ettiği bayt cinsinden kapasiteyi de not edin. Programınızın sayaçları bayt veya Gio olarak gösterilebilir. Boyutlarını karşılaştırmadan önce aynı tanıma sahip miktarları dönüştürün; nominal bellek, boş bellek ve ayrılmış zirveyi karıştırmayın.

Hesaplama örneği: 24 milyar bayt yaklaşık 22,35 Gio eder. Bu sonuç 24 GB'lık bir kartın boş miktarını bildirmez. Sistem, çalıştırma bağlamı ve diğer ayırmalar da hesaba katılabilir. Deneme sayfanızdaki her sütunun adında birimi ve kapsamı koruyun.

Teknik kaynaklar: NIST — ikili ve ondalık önekler

İşlenmiş örnek: yedi milyar parametre

16 bitte 7 milyar parametre için yoğun hacim 14 milyar bayt, yani yaklaşık 13,04 GiB'dir. Seçilen 6 GiB rezervle birlikte toplam 19,04 GiB olur. Bu hesaplama, 6 GiB'lik bir rezervin modelinize uygun olduğunu kanıtlamaz: bu tam olarak girdiler ve seçilen işlemlerle doğrulanması gereken varsayımdır.

Tablo, yalnızca ağırlık formatının aritmetik etkisini göstermek için aynı rezervi korur. Gerçek bir çalıştırmada diğer tahsisler farklı şekilde değişebilir. Dört bitlik bir gösterim genellikle ek bilgiler içerir ve bazı katmanları başka bir formatta bırakabilir. Bu nedenle son satırı garanti edilmiş toplam tepe değer olarak okumayın.

Teknik kaynaklar: Transformers 5.17 — bitsandbytes formatları ve sınırları

Açıklanabilir bir rezerv oluşturmak

Alışkanlıkla bir yüzde seçmek yerine rezervi bileşenlerine ayırın. Otoregresif çıkarımda mimariyi, önbelleği, saklanan tokenları ve eşzamanlı dizileri kaydedin. Eğitimde öğrenilen parametreleri, gradyanları, optimizasyonu, aktivasyonları ve arabellekleri not edin. Parametre sayısı değişmese bile girdi uzunluğu ve mikro yığın bu belgenin parçasıdır.

Bazı kalemler aynı anda maksimumlarına ulaşmaz. Bağımsız maksimum marjların toplanması, bu şekilde beyan edildiği takdirde muhafazakâr bir üst sınır olarak hizmet edebilir, ancak gözlemlenen bir tepe değer değildir. Tahmin edilen, ölçülen ve hâlâ bilinmeyen kalemleri yazın. KV önbelleği kılavuzu bu hesaplamalardan birini ayrıntılı olarak ele alır; bellek dosyası sayaçları programın aşamalarına yerleştirir.

Görevi sessizce değiştirmeden kademeli olarak doğrulamak

Hazırlık hatalarını tespit etmek için kısa bir girdi ve küçük bir yığınla başlayın. Ardından normal bir girdiye, sonra gerçekten gerekli olan sınırınıza geçin. Program verileri kesiyorsa, daha az token saklıyorsa veya derlemin bir kısmını atlıyorsa, çalışan durum beyan edilen iş yükünü doğrulamaz. Gerçekte yürütülen boyutları not edin.

Aşama ve GPU başına tepe değeri sayacıyla birlikte kaydedin. Tensörlere tahsis edilen bellek ile PyTorch ayırıcısının ayırdığı bellek toplanmaz. Bir sistem okuması, enstrümante edilen süreçten daha fazlasını kapsayabilir. Birden fazla yığın düşünülüyorsa, bunların yazılımsal dağılımını belgeleyin; iki kart otomatik olarak tek bir bellek alanı oluşturmaz.

Teknik kaynaklar: PyTorch — CUDA bellek yönetimi

İlk aşımdan sonra karar vermek

Yüklemede bir hata, ağırlıklara, formata veya geçici bir tahsise işaret eder. Üretimde bir hata, bağlam ve eşzamanlılığın incelenmesini gerektirir. Geri geçişte bir hata, mikro yığına, aktivasyonlara veya hesaplama stratejisine işaret edebilir. Bu yerelleştirme, hassasiyeti, modeli ve verileri aynı anda rastgele değiştirmenizi önler.

Her düzeltmeden sonra kaliteyi ve kapsanan alanı doğrulayın. Gerekli uzunluğu azaltmak kabul edilemez olabilir; niceleştirmeyi değiştirmek çıktıları değiştirebilir. Başka bir kapasite gerekliyse, gözlemlenen tepe değeri, gerekçeli marjı, sürümleri ve sınır girdileri belirten bir belgeyle kataloğa dönün. Gerekçesiz bir marj, GB'a yuvarlanmış bir sonuçtan daha güvenilir değildir.

Aynı gereksinimler altında kısa bir seçki

16 bit ve 6 GiB rezervle 7 milyar parametreli örnek çıkarım için, çözümlü örnek 19,04 GiB verir. 24 GB'lık RTX 4090'a veya 48 GB'lık RTX 6000 Ada'ya bakabilirsiniz. 3 günlük tek kartlık parti için belirtilen teklifleri sırasıyla 47,14 USD ve 55,71 USD'dir. Bunlar farklı kapasitede iki adaydır: bağlam, rekabet, gerçekte kullanılabilir bellek, uyumluluk ve kalite hâlâ doğrulanmalıdır. Bu fiyatlar hiçbir hız sıralaması oluşturmaz.

Bir uyarlama için aynı çizelgeyi öğrenilmiş parametreler ve ek fazlarla yeniden alın: geri geçiş, ilk güncelleme, doğrulama ve dışa aktarma. LoRA parametrelerinin sayısı toplam belleği doğrulamaya yetmez. İnce ayar akışı sonucu nitelendirmeye yardımcı olur; batch ve birikim karşılaştırılabilir bir güncellemeyi belgelemeye yarar.

Bir aşım sonrasında alternatif arıyorsanız, hatalı fazı yerelleştirin ve çıkış gereksinimlerinizi koruyun. Her seferinde tek bir değişikliği karşılaştırın: kapasite, önbellek, microbatch veya hassasiyet. Farklı bir format, belirlenen asgari kaliteyi yeniden yakalamalıdır. İhtiyacınız yönetilen bir uygulama, belirli bir RAM veya kanıtlanmış bir ara bağlantı gerektiriyorsa, tek bir GPU künyesi kararı doğrulanmaya bırakır. İki kart doğrulanmış bir yazılım yerleşimi gerektirir; bellekleri otomatik olarak tek bir alan oluşturmaz.

Teknik kaynaklar: RTX 4090 — parti, kapasite ve paketler · RTX 6000 Ada — parti, kapasite ve paketler · Nicemleme sonrası kalite · Bir uyarlama hazırlamak · Batch ve birikimi tanımlamak

Hesaplamayı onu doğrulayanla birlikte korumak

Başlangıç hipotezini, kalemler tablosunu, prosedürü ve ham kayıtları saklayın. Tahmini, ölçülen sayacı ve ticari kararı birbirinden ayırın. IteraGPU Lab not defteri bu enstrümantasyonu küçük bir ağ üzerinde anlamaya yardımcı olur; modelinizin denemesinin yerini tutmaz. Bu sayfadaki sayısal örnekler hesaplamadır; gözlemlendiği iddia edilen bir verim veya GPU tüketimi içermez.

İyi bir boyutlandırma çıktısı tek bir künyeye sığar: model ve revizyon, görev, hassasiyet, uzunluk, microbatch veya eşzamanlılık, GPU başına bellek ve ölçüm koşulları. Sonucu geçersiz kılacak şeyleri de ekleyin; örneğin daha uzun bir pencere veya farklı bir değerlendirme. Böylece her varyantta tüm tahmini yeniden başlatmak yerine kampanyaya karşılık gelen bir paket seçebilirsiniz.

Pratik sorular