Поставити бюджет на службу абляціям
Корисна абляція прибирає або змінює один елемент за раз: категорію даних, аугментацію, компонент функції втрат або навчений модуль. Опишіть варіанти до першого запуску та збережіть базову спробу. Доступний час має також фінансувати їхнє оцінювання. Велика таблиця непорівнюваних конфігурацій менш корисна, ніж невеликий набір, який дозволяє чітко приписати різницю в результаті.
Використати пам'ять, щоб зберегти стабільний рецепт
48 ГБ можуть дати запас, щоб зберігати однакову роздільну здатність або довжину між варіантами. Це методологічна перевага, якщо менша карта змушує вас змінювати протокол при кожній спробі. Однак вимірюйте піки кожної варіанти: зміна компонента моделі може змінити пам'ять активацій. Дотримуйтеся спільного правила ефективного batch і документуйте будь-яке зменшення microbatch.
Передбачте ідентифіковані checkpoint'и та назви експортів, які містять ідентифікатор експерименту. Перед довгою серією перевірте, що перезапущений запуск відновлює правильні параметри, а не тихо починає з нуля.
Зберегти перевірюваний стек Ampere
Перевірте сумісність CUDA, PyTorch і специфічних операторів вашої моделі з Ampere. Стара версія, збережена для відтворення статті, заслуговує на повний тест перед кампанією. RTX A6000 дозволяє порівняння з іншою картою Ampere на 48 ГБ. Якщо тривалість одного етапу стає головною перешкодою, виміряйте також конфігурацію Ada, як-от L40S, не змінюючи одночасно ваші дані чи точність.
Три вікна для матриці експериментів
Три дні слугують для перевірки базової конфігурації та першого аблаційного експерименту. Сім днів дозволяють скласти коротку матрицю та її перевірити. Тридцять днів підходять для повторів із кількома зернами та перевірок стійкості. Оберіть тривалість, кількість карт і бажане середовище, а потім свої контактні дані. Ви самостійно готуєте програмне забезпечення та обчислення; відстеження криптооплати залишається доступним у вашому кабінеті замовлення.