Escolher primeiro o que as duas placas compartilham
No paralelismo de dados clássico, cada GPU mantém uma cópia do modelo e recebe uma parte do batch. Para um modelo grande demais para uma única placa, é preciso uma repartição dos parâmetros ou das camadas. Os 360 GB somados, portanto, não constituem automaticamente uma alocação única. Escreva sua hipótese antes do aluguel: aumentar o batch global, reduzir o tempo de uma etapa ou tornar uma execução possível.
Um teste de repartição que produz uma conclusão
Comece com o mesmo conjunto de dados reduzido em uma placa, se o modelo couber nela, e depois em duas. Registre o pico de memória de cada GPU, o tempo por etapa após o aquecimento e o custo das trocas. Uma placa quase vazia e a outra saturada sugerem uma repartição desequilibrada. Dois experimentos independentes podem ser mais úteis que um treinamento distribuído quando sua pergunta envolve vários hiperparâmetros.
Mantenha a precisão e o número de exemplos processados constantes durante essa comparação. Uma melhoria obtida alterando simultaneamente o formato numérico e o tamanho do batch seria difícil de atribuir ao hardware.
Preparar a pilha Blackwell e escolher uma alternativa
Verifique se a sua versão do PyTorch, a sua distribuição CUDA e as extensões compiladas têm como alvo o Blackwell corretamente. Um kernel personalizado compatível com outra geração não basta para estabelecer essa compatibilidade. Teste as operações essenciais antes da campanha completa. Se o seu modelo e a sua reserva de execução couberem em 141 GB, o H200 permite estudar uma execução em uma única GPU; o MI300X abre outro caminho para um projeto preparado para ROCm.
Reservar uma janela de pesquisa útil
Três dias são adequados para uma validação de distribuição preparada com antecedência. Sete dias permitem organizar várias variantes e a sua avaliação. Trinta dias correspondem a uma campanha acompanhada, com checkpoints e critérios de parada definidos. Escolha o número de lotes de dois cartões, a duração e o ambiente desejado, depois preencha os seus dados. Após a sua transferência crypto, use « J'ai payé » no pedido; em seguida, siga as etapas de pagamento e de preparação do acesso.