Створювати ембеддинги, які залишаються порівнюваними
Кампанія зі створення ембеддингів має визначити модель, токенізацію, правило обрізання, пулінг і нормалізацію. Ці вибори змінюють отримані представлення. Для текстів змінної довжини спробуйте пакети, згруповані за довжиною, і порівняйте їх із вашим початковим групуванням. Записуйте кількість оброблених документів і корисних токенів, щоб зміна наповнення пакетів не виглядала як незрозуміле покращення.
Розподілити 48 ГБ між моделлю та корисною роботою
Збільшуйте batch на вибірці, що містить найдовші тексти або найбільші зображення. Вимірювання на середньому може пропустити пізнє насичення десь у середині корпусу. Експортуйте представлення в міру обробки, а не накопичуйте без потреби всі результати на GPU. Зберігайте стабільний ідентифікатор, наприклад, щоб пов'язати кожен вихід із його входом і відновити перервану кампанію.
Для адаптації використовуйте ту саму дисципліну з checkpoint'ами: базова модель, навчені параметри та дані мають залишатися пов'язаними. Обсяг у 48 ГБ не звільняє від необхідності вимірювати активації та стани оптимізатора.
Ampere чи Ada за однакового обсягу
RTX A6000 і RTX 6000 Ada — це дві різні моделі, попри їхні 48 ГБ. Перевірте цільові ядра CUDA та версії PyTorch вашого проєкту, перш ніж порівнювати. Короткий тест може визначити вартість повного корпусу за однакових очікуваних виходів. A40 — це інший варіант Ampere на 48 ГБ; A100 SXM стає доречною, коли потрібна пам'ять перевищує цю межу.
Замовляти з планом відновлення
Три дні можуть охопити профілювання та перший пакет ембеддингів. Сім днів дозволяють створити, а потім перевірити корпус. Тридцять днів супроводжують кілька версій представлення або кампанію адаптації. Підготуйте ідентифікатори, каталоги експорту та список пакетів до оренди. Виберіть тривалість і кількість, укажіть бажане середовище та свої контакти, а потім відстежуйте криптооплату й поступ у замовленні.