Покупайте решение, а не бесконечную серию.

Определить, что позволит закрыть кампанию

«Обучить модель» не определяет ни то, какую работу нужно купить, ни момент её завершения. Предпочтите цель вроде сравнения контрольного варианта и двух вариантов на зафиксированном корпусе с последующей выдачей их предсказаний, анализа ошибок и перезагружаемого артефакта. Отрицательный результат может быть достаточным: показать, что ни один вариант не достигает порога, — значит избежать плохо нацеленной более длительной кампании.

Разделите три категории до заказа: необходимое для вывода, полезное при наличии времени, исследовательское. Контрольный вариант, проверка данных и проверка возобновления обычно относятся к первой. Задайте точку принятия решения после пилота: продолжать, сократить необязательный вариант или пересмотреть вопрос. Доступный пакет не должен превращаться в обязательство заполнить каждый час.

Построить календарь от начала до конца

Экстраполяция от уже разогретого шага обучения иногда упускает загрузку, длинные входные данные, валидацию и файлы результата. Различайте интервалы, в которых задействована машина, и человеческое время на подготовку. Независимые интервалы могут пересекаться; два этапа, использующие один и тот же GPU, не становятся параллельными только потому, что у них две строки в таблице.

Вот иллюстративный график, без измеренной скорости GPU. Он резервирует 48 последовательных часов с начала подготовки до получения результатов. В окне в 72 часа остаётся 24 незанятых часа. Это вычитание проверяет только график: ни установка, ни десятичасовой вариант не являются сроками, обещанными IteraGPU.

Сравнивайте тарифы, не выдумывая почасовую оплату

Цена лота покрывает выбранную длительность. RTX 4090 из каталога стоит 47,14 USD за три дня, 110 USD за семь дней и 390 USD за тридцать дней. Эти суммы — тарифы IteraGPU; они не измеряют число обученных моделей. Два лота на три дня — это 94,28 USD. Лот B200 уже включает два GPU: его состав не удваивает его цену повторно.

Если иллюстративный график удлинится на 30 часов, он достигнет 78 часов и превысит три дня на шесть часов. Тогда рассмотрите тариф на семь дней или сокращённый протокол, который всё ещё отвечает на вопрос. Покупка двух лотов может помочь независимым вариантам, если ваше окружение это позволяет; это не сокращает автоматически один прогон и не объединяет памяти.

Технические источники: Тарифы IteraGPU и единицы аренды · Рассчитать тарифы и проверить окно

Расставляйте приоритеты вариантов по их пользе для решения

После пилота обновите свои предположения о длительности и спросите, какой результат изменил бы выбор. Вариант, почти идентичный контрольному, может быть менее информативным, чем контроль, изолирующий одну причину. Не запускайте сразу все комбинации ранга, точности, скорости обучения и длины. Руководство по абляциям показывает, как составить небольшой интерпретируемый план.

Запишите правило остановки до испытаний: неконечная потеря, качество ниже порога, усечённый обязательный вход или отсутствие пригодного возобновления. Если остановка произошла, сохраните её идентификатор и причину. Прерванный прогон не становится принятым результатом, но он остаётся расходом и иногда решающей информацией. Новая конфигурация после исправления заслуживает нового идентификатора.

Предусмотрите стоимость прерывания

Возобновление обучения требует большего, чем только веса. Документация PyTorch различает параметры модели и состояние оптимизатора; прогресс также должен сохраняться. В зависимости от цикла добавьте необходимые состояния планировщика, scaler, генераторов случайных чисел и обхода данных. Решите, хотите ли вы возобновить обучение или просто перезапустить инференс.

Проверьте раннее сохранение, а затем его загрузку в новом процессе. Учтите время записи, передачи и восстановления в графике. Интервал сохранения выбирают не только ради создания множества файлов: соотнесите допустимую потерю работы и наблюдаемую стоимость операции. Также проверьте, где находятся эти файлы и как вы их получите до конца периода.

Технические источники: PyTorch — сохранение и возобновление

Соотносите бюджет с полезным результатом

По завершении укажите задействованный тариф, другие реально включённые расходы и число результатов, прошедших заявленные проверки. Возможные внешние расходы остаются отдельно от цены аренды; не выдумывайте ни ставку налога, ни стоимость перевода, если они не предоставлены. Стоимость кампании не стирается, когда её результат отрицательный.

Условный арифметический пример: если тариф за 47,14 USD позволяет выполнить два отдельных полных и принятых корпуса, его доля аренды составляет 23,57 USD на корпус. Пятикратный прогон одного и того же корпуса для замера времени не даёт пяти полезных корпусов. При нуле принятых корпусов соотношение не определено; показывайте понесённые затраты и причину отклонения, но никогда не нулевую стоимость. Для исследовательского решения лучше опишите полученный вывод, чем создавать искусственную единицу.

Завершайте работой с файлами, которые можно перечитать

Подготовьте выходные материалы во время кампании: манифест, параметры, необработанные измерения, предсказания, причины остановки и инструкции по перезапуску. Проверьте ожидаемые идентификаторы, пустые файлы и пути, зависящие от временной папки. Для адаптера сохраните точную ревизию базовой модели. Файл, который присутствует, но не может быть перезагружен, — это не проверенный результат.

Сопоставьте план и факт, не переписывая исходный план: запланированное время, фактическое время, объяснённые отклонения, принятые решения. Журнал IteraGPU может хранить сводку и ссылку на заказ; ваши исходные файлы и резервные копии остаётся организовать вам. Следующая кампания тогда начнётся с более точной оценки и более короткого списка неопределённостей.

Практические вопросы