Colocar o orçamento a serviço das ablações
Uma ablação útil retira ou modifica um elemento de cada vez: uma categoria de dados, uma augmentation, um componente da perda ou um módulo treinado. Escreva as variantes antes do primeiro lançamento e mantenha um teste de base. O tempo disponível também deve financiar a avaliação delas. Uma grande tabela de configurações incomparáveis é menos útil do que um pequeno conjunto que permite atribuir claramente uma diferença de resultado.
Usar a memória para manter a receita estável
Os 48 GB podem dar margem para manter a mesma resolução ou comprimento entre as variantes. É uma vantagem metodológica se uma placa menor o obriga a modificar o protocolo a cada teste. Meça, no entanto, os picos de cada variante: mudar um componente do modelo pode mudar a memória de ativação. Mantenha uma regra comum de batch efetivo e documente qualquer redução do microbatch.
Preveja checkpoints identificáveis e nomes de exportação que contenham o identificador da experiência. Antes de uma série longa, verifique se uma execução reiniciada retoma os parâmetros corretos em vez de recomeçar silenciosamente do zero.
Manter uma pilha Ampere verificável
Controle a compatibilidade do CUDA, do PyTorch e dos operadores específicos do seu modelo com Ampere. Uma versão antiga mantida para reproduzir um artigo merece um teste completo antes da campanha. A RTX A6000 permite uma comparação com outra placa Ampere de 48 GB. Se a duração de uma etapa se tornar o principal obstáculo, meça também uma configuração Ada como a L40S, sem modificar simultaneamente os seus dados ou a sua precisão.
Três janelas para uma matriz de experiências
Três dias servem para validar a base e uma primeira ablação. Sete dias permitem uma matriz curta e sua revisão. Trinta dias são adequados para repetições com várias sementes e controles de robustez. Escolha a sua duração, o número de GPUs e o ambiente desejado, depois os seus dados de contato. Você prepara os seus softwares e os seus cálculos de forma autônoma; o acompanhamento do pagamento em cripto continua disponível no seu espaço de pedido.