Купуйте рішення, а не нескінченну серію.

Визначити, що дозволить закрити кампанію

«Навчити модель» не визначає ані роботу, яку потрібно придбати, ані момент її завершення. Віддайте перевагу меті на кшталт порівняти контрольний варіант і два варіанти на зафіксованому корпусі, а потім надати їхні прогнози, аналіз помилок і артефакт, який можна завантажити. Негативний результат може бути достатнім: показати, що жоден варіант не відповідає порогу, дозволяє уникнути довшої погано націленої кампанії.

Розділіть три категорії до замовлення: необхідне для висновку, корисне за наявності часу, дослідницьке. Контрольний варіант, перевірка даних і перевірка повторного запуску зазвичай належать до першої. Визначте точку рішення після пілоту: продовжити, скоротити необов’язковий варіант або переглянути питання. Доступний тариф не повинен стати зобов’язанням заповнити кожну годину.

Побудувати календар від початку до кінця

Екстраполяція від уже розігрітого кроку навчання іноді забуває про завантаження, довгі входи, валідацію та вихідні файли. Розрізняйте проміжки, протягом яких задіяна машина, і людський час на підготовку. Незалежні проміжки можуть перекриватися; два етапи, які використовують той самий GPU, не стають паралельними лише тому, що мають два рядки в таблиці.

Ось ілюстративний графік без виміряної швидкості GPU. Він резервує 48 послідовних годин від початку підготовки до отримання результатів. У вікні на 72 години він залишає 24 години незадіяними. Це віднімання перевіряє лише графік: ні встановлення, ні десятигодинний варіант не є строками, обіцяними IteraGPU.

Порівнювати пакети, не вигадуючи погодинної оплати

Ціна лота покриває вибрану тривалість. RTX 4090 із каталогу коштує 47,14 USD за три дні, 110 USD за сім днів і 390 USD за тридцять днів. Це тарифи IteraGPU; вони не вимірюють кількість навчених моделей. Два лоти на три дні становлять 94,28 USD. Лот B200 вже містить два GPU: його склад не множить ціну вдруге.

Якщо ілюстративний графік подовжиться на 30 годин, він сягне 78 годин і перевищить три дні на шість годин. Тоді розгляньте пакет на сім днів або скорочений протокол, який усе ще відповідає на питання. Купівля двох лотів може допомогти з незалежними варіантами, якщо ваше середовище це дозволяє; це не скорочує виконання автоматично і не об'єднує пам'ять.

Технічні джерела: Тарифи IteraGPU та одиниці оренди · Розрахувати пакети та перевірити вікно

Пріоритезувати варіанти за їхньою користю для рішення

Після пілота оновіть свої припущення щодо тривалості й запитайте, який результат змінив би вибір. Варіант, майже ідентичний до контролю, може бути менш інформативним, ніж контроль, що ізолює одну причину. Уникайте запуску одразу всіх комбінацій рангу, точності, швидкості навчання та довжини. Посібник з абляцій показує, як скласти невеликий інтерпретований план.

Запишіть правило зупинки до початку випробувань: нескінченна втрата, якість нижче порогу, обов'язковий вхід обрізано або відсутність придатного відновлення. Якщо зупинка сталася, збережіть її ідентифікатор і причину. Перерване виконання не стає прийнятим результатом, але воно залишається витратою і часом вирішальною інформацією. Нова конфігурація після виправлення заслуговує на новий ідентифікатор.

Передбачити вартість переривання

Відновлення навчання потребує більше, ніж самих ваг. Документація PyTorch розрізняє параметри моделі та стан оптимізатора; прогрес також потрібно зберігати. Залежно від циклу додайте потрібні стани планувальника, scaler, випадкових величин і проходження даних. Вирішіть, чи хочете відновити навчання, чи просто перезапустити інференс.

Перевірте раннє збереження, а потім його перезавантаження в новому процесі. Врахуйте час запису, передавання й відновлення в графіку. Інтервал збереження обирають не лише для того, щоб створити багато файлів: зіставте прийнятну втрату роботи та спостережувану вартість операції. Також перевірте, де зберігаються ці файли і як ви їх отримаєте до кінця періоду.

Технічні джерела: PyTorch — збереження та відновлення

Співвіднести бюджет із корисним результатом

Наприкінці вкажіть залучений пакет, інші витрати, фактично включені, і кількість результатів, що пройшли заявлені перевірки. Можливі зовнішні витрати залишаються окремими від ціни оренди; не вигадуйте ні ставку податку, ні вартість переказу, якої не надали. Вартість кампанії не зникає, коли її результат негативний.

Умовний арифметичний приклад: якщо тариф за 47,14 USD дозволяє видати два окремі повні прийняті корпуси, його частка оренди становить 23,57 USD на корпус. Повторення того самого корпусу п'ять разів для вимірювання часу не дає п'яти корисних корпусів. За нуля прийнятих корпусів співвідношення невизначене; покажіть понесені витрати та причину відхилення, але ніколи не нульову вартість. Для дослідницького рішення опишіть отриманий висновок, а не створюйте штучну одиницю.

Завершити файлами, які ви можете перечитати

Готуйте вихідний пакет під час кампанії: маніфест, параметри, необроблені вимірювання, прогнози, причини зупинки та інструкції з перезавантаження. Перевірте очікувані ідентифікатори, порожні файли та шляхи, що залежать від тимчасової теки. Для адаптера збережіть точну ревізію базової моделі. Файл, який присутній, але його неможливо перезавантажити, не є перевіреним результатом.

Порівняйте заплановане та фактичне, не переписуючи початковий план: зарезервований час, фактичний час, пояснені відхилення, ухвалені рішення. Журнал IteraGPU може зберігати зведення та посилання на замовлення; ваші необроблені файли та резервні копії залишаються за вами. Наступна кампанія тоді стартує з кращою оцінкою та коротшим списком невизначеностей.

Практичні питання