Karşılaştırılabilir kalan embeddings üretin
Bir embedding kampanyası modeli, tokenizasyonu, kısaltma kuralını, pooling ve normalizasyonu sabitlemelidir. Bu seçimler elde edilen temsilleri değiştirir. Değişken uzunluktaki metinler için uzunluğa göre gruplanmış partiler deneyin ve bunları başlangıçtaki düzeninizle karşılaştırın. İşlenen belge sayısını ve kullanışlı tokenları kaydedin; böylece parti dolgunluğundaki bir değişiklik açıklanamayan bir kazanç gibi görünmesin.
48 GB'ı model ve faydalı iş arasında paylaştırın
En uzun metinleri veya en büyük görselleri içeren bir örneklem üzerinde batch boyutunu artırın. Ortalamaya dayalı bir ölçüm, korpusun ortasında geç ortaya çıkan bir doygunluğu gözden kaçırabilir. Tüm sonuçları gereksiz yere GPU üzerinde biriktirmek yerine, temsilleri işleme sırasında dışa aktarın. Her çıktıyı kendi girdisiyle ilişkilendirmek ve yarıda kesilen bir kampanyayı sürdürebilmek için örneğin sabit bir tanımlayıcı tutun.
İnce ayar için checkpoint'lerde de aynı disiplini uygulayın: temel model, eğitilmiş parametreler ve veriler birbiriyle ilişkili kalmalıdır. 48 GB kapasite, aktivasyonları ve optimizer durumlarını ölçme gereğini ortadan kaldırmaz.
Eşit kapasitede Ampere veya Ada
RTX A6000 ve RTX 6000 Ada, 48 GB olmalarına rağmen iki farklı modeldir. Karşılaştırma yapmadan önce projenizin hedeflediği CUDA kernellarını ve PyTorch sürümlerini kontrol edin. Kısa bir deneme, aynı beklenen çıktılarla tam corpus maliyetini ayrıştırabilir. A40, 48 GB'lık bir başka Ampere seçeneğidir; gerekli bellek bu aralığı aştığında A100 SXM anlamlı hale gelir.
Yedekleme planıyla sipariş verin
Üç gün, profilleme ve ilk embedding grubunu kapsayabilir. Yedi gün, bir derlem üretip ardından denetlemeye imkân tanır. Otuz gün, birkaç temsil sürümüne veya bir uyarlama kampanyasına eşlik eder. Kiralamadan önce kimlik bilgilerini, dışa aktarma dizinlerini ve parti listesini hazırlayın. Süre ve miktarı seçin, istediğiniz ortamı ve iletişim bilgilerinizi belirtin, ardından kripto ödemesini ve ilerlemeyi siparişte bulun.