Tek bir istekten gerçekçi bir yüke geçme
Tek bir istekle başlayın, ardından eşzamanlı istek sayısını kademeli olarak artırın. Sabit bir girdi kümesini farklı uzunluklar ve içerik türleriyle yeniden oynatın. Yalnızca bir ortalamayı değil, medyanı ve yavaş isteklerin bir ölçüsünü de kaydedin. Üretim için ilk token öncesi süreyi toplam süreden ayırın. Bu gözlemler, etkileşimli bir arayüz veya çevrimdışı belge işleme gibi farklı kullanımlara karşılık gelir.
24 GB içinde marjı koruma
Hatasız yüklenen bir model, birden fazla istek altında yine de doygunluğa ulaşabilir. Önbelleği, arabellekleri ve uzun girdilerinizdeki davranışı ölçün. Bir marj koruyan eşzamanlılık sınırını test edin ve bu sınırı modelle birlikte not edin. Ağırlıkları nicemlerseniz, varyantı eşdeğer saymadan önce yanıtları değerlendirme kümenizde doğrulayın.
Çevrimdışı işleme için, bireysel gecikmeyi artırsa bile daha büyük bir batch kabul edilebilir. Gerçek ihtiyaca göre bir yapılandırma seçmek için bu iki hedefi defterinizde ayrı ayrı sunun.
Ada ile uyumlu bir motor seçme
L4, Ada mimarisini kullanır. CUDA, PyTorch veya çıkarım motoru sürümlerini, ayrıca nicemleme formatlarını ve gereken operatörleri doğrulayın. İlk yükleme, tüm girdi biçimlerini doğrulamaz: en zorlu örneği teste dahil edin. 24 GB'lık başka bir yapılandırma için bir RTX 4090 ile veya daha fazla bağlam ya da eşzamanlılık 48 GB gerektirdiğinde L40S ile karşılaştırın.
Ölçülmüş bir kapasite tanımlamak için kiralama
Üç gün, eşzamanlılık ile gecikme arasındaki ilk ilişkiyi çizmenize olanak tanır. Yedi gün, birkaç ayarı değerlendirme ve testi tekrarlama zamanı verir. Otuz gün, düzenli bir çıkarım veya doğrulama kampanyasına eşlik eder. İstekleri, modeli ve kalite ölçütlerini siparişten önce hazırlayın. Paketinizi seçin, iletişim bilgilerinizi girin ve kripto talimatlarını izleyin; « Ödemeyi yaptım » gerçekleştirilen transferi bildirir.