Bugün hangi soru sizi tıkıyor?
İlk yüklemeden checkpoint'lere kadar, bir hesaplama kampanyası öncesinde kontrol edilecek noktaları düzenleyin. Boyutlandırma, ölçme ve kullanılabilir sonuçları saklama rehberlerini bulun.
Modelim henüz çalışmadı. Nereden başlamalıyım?
Bir bellek zarfı ve ilk denemenin girdileri.
GPU belleğini boyutlandırma: hesaplama, rezervler ve doğrulama
Ağırlıkları Gio cinsinden hesaplayın, açık bir rezerv oluşturun ve zirveyi aşama aşama doğrulayın. Sayısal örnekler, niceleme tuzakları ve karta göre seçim.
GPU belleği: tahmin ile zirve arasındaki farkı açıklayın
Ağırlıkları, önbelleği ve aktivasyonları birbirinden ayırın, aşamaya göre allocated ve reserved değerlerini ölçün, ardından bir notebook ve PyTorch protokolü ile bir marj seçin.
KV önbelleği: belleği bağlam, GQA ve batch'e göre hesaplayın
KV önbelleğini KV başları, bağlam ve eşzamanlı dizilerle hesaplayın. Gerçek bir denemeden önce GQA, hassasiyet ve statik önbelleği birbirinden ayırın.
Puan ilerliyor, ama ona güvenebilir miyim?
İzole bir değerlendirme seti, gözden geçirilmiş hatalar ve nitelendirilmiş bir fark.
Veri sızıntısı olmadan bir ML değerlendirme kümesi oluşturun
Grupları, kopyaları ve veri kullanımlarını ayırarak ayrılmış, denetlenebilir ve kararınıza uygun bir ML değerlendirme kümesi oluşturun.
Bir sonraki deneyi seçmek için ML hatalarını analiz edin
Sınıflandırma ve çıkarım hatalarını analiz edin: karışıklık matrisi, referanslar, taksonomi, regresyonlar ve sonraki düzeltmenin kontrolü.
Seed'ler arası değişkenlik: bir ML farkı ikna edici mi?
ML tekrarlarını eşleştirilmiş tohumlarla, dağılımla ve faydalı etki eşiğiyle yorumlayın. Hesaplanmış örnek ve küçük bir örneklemin sınırları.
Bir eğitim hazırlıyorum. Seriden önce neyi doğrulamalıyım?
Tam bir güncelleme, açık bir batch ve kullanılabilir izler.
GPU eğitimi: kampanyadan önce döngüyü doğrulamak
Bir eğitimin verilerini, batch'ini ve devam ettirilmesini hazırlayın. Belleği, gradyanları, doğrulamayı ve çıktı dosyalarını kontrol etmek için faz başına bir protokol.
Mikrobatch ve birikim: etkin batch'i hesaplamak
Etkin batch'i hesaplayın, kaybı normalize edin ve bir veya birden fazla kartta gradyan birikimini eşdeğerlik sınırlarıyla birlikte doğrulayın.
ML deneylerinizi izlemek: run'dan karara
Veriyi, kodu, parametreleri, tahminleri ve kararı bir ML deney manifestosuyla ilişkilendirin. Zorunlu bir araç olmadan run ve artefakt kontrolüne örnek.
Modeli uyarlamak mı sıkıştırmak mı: bir varyant nasıl seçilir?
Bir referans, kontrollü bir değişiklik ve karşılaştırılabilir bir kalite.
Fine-tuning: bir adaptasyon seçme ve katkısını doğrulama
Bir referans, ayrılmış veriler ve yeniden yükleme kontrolü ile bir fine-tuning hazırlayın. LoRA, nicemlenmiş taban, bütçe ve gerileme analizi.
Niceleştirmeleri karşılaştırma: bellek, kalite ve faydalı maliyet
Referansı, kalibrasyonu, ağırlık formatını ve KV cache'ini aynı verilerle karşılaştırın. GPU bütçesine karar vermeden önce bellek ve kaliteyi ölçün.
ML ablasyonlarını planlama: kontrol, etkiler ve bütçe
Kontrol, faktörler, etkileşimler ve deneme bütçesiyle bir ML ablasyon planı oluşturun. Varyantları önceliklendirmek ve sonuca varmak için hesaplanmış bir örnek.
Bütçe sınırlı. Önce hangi denemeler yapılmalı?
Bir deney sırası ve forfait maliyetinin faydalı sonuçlara göre değerlendirilmesi.
Bir ML kampanyasını bütçelemek: denemeler, kararlar ve tüm paket
Bir ML kampanyasını parçalara ayırın, varyantları önceliklendirin ve GPU paketini yararlı sonuçlarla ilişkilendirin; örnek bir takvim ve USD cinsinden bütçeyle.
ML ablasyonlarını planlama: kontrol, etkiler ve bütçe
Kontrol, faktörler, etkileşimler ve deneme bütçesiyle bir ML ablasyon planı oluşturun. Varyantları önceliklendirmek ve sonuca varmak için hesaplanmış bir örnek.
ML benchmark: eşit kalitede maliyeti karşılaştırma
Kaliteyi sabitleyin, aynı derlemi ölçün ve 3, 7 veya 30 günlük GPU paketlerinin tüm maliyetini karşılaştırın. Protokol ve indirilebilir ham tablo.