Замерить, что ваше приложение действительно делает
Тест на тензорах, уже находящихся на GPU, описывает только вычисление. Сервис или обучение также должны декодировать, подготавливать и передавать свои входные данные. Поэтому постройте два измерения: изолированный цикл вычисления и цикл, который исходит из ваших обычных данных. Разрыв показывает, где искать улучшение. Дожидайтесь фактического завершения работы GPU, прежде чем фиксировать время; запуски CUDA часто асинхронны.
Использовать батч как контролируемую переменную
Для офлайн-инференса сравните несколько размеров пакета, сохраняя длину и тип входных данных. Для интерактивного приложения измерьте также задержку одного запроса и самых медленных запросов. Батч, максимизирующий обработанный объём, может сделать ожидание менее приемлемым. На 80 ГБ зарезервируйте место для кэша или активаций, вместо того чтобы останавливать подбор размеров на загрузке модели.
Фиксируйте точность весов и вычислений отдельно. Модель, хранимая в сокращённом формате, всё ещё может использовать буферы или операции более высокой точности во время выполнения.
Сравнивать, не отождествляя варианты H100
Карточка касается H100 PCIe 80 ГБ. Результаты H100 SXM или набора из нескольких карт не описывают автоматически эту конфигурацию. Проверьте CUDA, PyTorch и специализированные библиотеки для вашей архитектуры, затем выберите общий рецепт для сравниваемых GPU. Если 80 ГБ не хватает, изучите H200; если потребность укладывается в 48 ГБ, добавьте L40S в ваше экономическое сравнение.
Подготовить заказ с ориентацией на конвейер
Три дня помогут определить долю вычислений и передач. Семь дней позволяют протестировать исправления и повторить измерения. Тридцать дней сопровождают кампанию инференса или запланированное обучение. Выберите длительность и количество, укажите ваше окружение, затем свои контактные данные для отслеживания. Криптоинструкции заказа указывают сеть и сумму; кнопка «Я оплатил» сообщает о вашем переводе.