Сначала решите, что именно карты делят между собой
При классическом параллелизме по данным каждый GPU хранит копию модели и получает часть batch. Для модели, слишком большой для одной карты, требуется разделение параметров или слоёв. Таким образом, суммарные 360 ГБ автоматически не образуют единое выделение. Запишите свою гипотезу до аренды: увеличить глобальный batch, сократить время шага или сделать выполнение возможным.
Эксперимент по разделению, который приводит к выводу
Начните с одного и того же уменьшенного набора данных на одной карте, если модель на неё помещается, затем на двух. Фиксируйте пиковую память каждого GPU, время на шаг после прогрева и стоимость обменов. Одна почти пустая карта и другая заполненная указывают на несбалансированное разделение. Два независимых эксперимента могут быть полезнее распределённого обучения, когда ваш вопрос касается нескольких гиперпараметров.
Поддерживайте точность и число обработанных примеров постоянными во время этого сравнения. Улучшение, полученное при одновременном изменении числового формата и размера batch, было бы трудно отнести к аппаратному обеспечению.
Подготовить стек Blackwell и выбрать альтернативу
Убедитесь, что ваша версия PyTorch, ваша сборка CUDA и скомпилированные расширения корректно ориентированы на Blackwell. Пользовательское ядро, совместимое с другим поколением, не подтверждает эту совместимость. Протестируйте ключевые операции до полной кампании. Если ваша модель и её рабочий резерв умещаются в 141 ГБ, H200 позволяет изучить запуск на одном GPU; MI300X открывает другой путь для проекта, подготовленного под ROCm.
Забронировать рабочий интервал для исследования
Трёх дней достаточно для проверки заранее подготовленного распределения. Семь дней позволяют организовать несколько вариантов и их оценку. Тридцать дней соответствуют длительной кампании с заданными чекпоинтами и критериями остановки. Выберите количество комплектов из двух карт, длительность и нужное окружение, затем укажите свои контактные данные. После перевода криптовалюты нажмите «Я оплатил» в заказе; далее следуйте шагам оплаты и подготовки доступа.