Elegir primero qué comparten las dos tarjetas
En el paralelismo de datos clásico, cada GPU conserva una copia del modelo y recibe una parte del batch. Para un modelo demasiado voluminoso para una sola tarjeta, hace falta un reparto de los parámetros o de las capas. Por tanto, los 360 GB sumados no constituyen automáticamente una asignación única. Escribe tu hipótesis antes del alquiler: aumentar el batch global, reducir el tiempo de una etapa o hacer posible una ejecución.
Un ensayo de reparto que produzca una conclusión
Empieza con el mismo conjunto de datos reducido en una tarjeta, si el modelo cabe en ella, y luego en dos. Registra el pico de memoria de cada GPU, el tiempo por etapa tras el calentamiento y el coste de los intercambios. Una tarjeta casi vacía y la otra saturada sugieren un reparto desequilibrado. Dos experimentos independientes pueden ser más útiles que un entrenamiento distribuido cuando tu pregunta versa sobre varios hiperparámetros.
Mantén constantes la precisión y el número de ejemplos procesados durante esta comparación. Una mejora obtenida cambiando a la vez el formato numérico y el tamaño del batch sería difícil de atribuir al hardware.
Preparar la pila Blackwell y elegir una alternativa
Verifica que tu versión de PyTorch, tu distribución CUDA y las extensiones compiladas apunten correctamente a Blackwell. Un kernel personalizado compatible con otra generación no basta para establecer esa compatibilidad. Prueba las operaciones esenciales antes de la campaña completa. Si tu modelo y su reserva de ejecución caben en 141 GB, el H200 permite estudiar una ejecución en una sola GPU; el MI300X abre otra vía para un proyecto preparado para ROCm.
Reservar una ventana de investigación aprovechable
Tres días son adecuados para una validación de reparto preparada de antemano. Siete días permiten organizar varias variantes y su evaluación. Treinta días corresponden a una campaña continuada, con checkpoints y criterios de parada definidos. Elige el número de lotes de dos tarjetas, la duración y el entorno deseado, y luego introduce tus datos de contacto. Tras tu transferencia cripto, usa «He pagado» en el pedido; después sigue los pasos de pago y de preparación del acceso.