Comprar uma decisão, não uma série sem fim.

Definir o que permitirá encerrar a campanha

“Treinar um modelo” não define nem o trabalho a comprar nem o momento em que ele termina. Prefira um objetivo como comparar um controle e duas variantes em um corpus fixo, depois entregar suas previsões, uma análise dos erros e um artefato recarregável. O resultado negativo pode bastar: mostrar que nenhuma variante respeita o limiar evita uma campanha mais longa mal direcionada.

Separe três categorias antes do pedido: indispensável para concluir, útil se o tempo permitir, exploratório. O controle, a verificação dos dados e uma checagem de retomada geralmente pertencem à primeira. Fixe um ponto de decisão após o piloto: continuar, reduzir uma variante facultativa ou rever a questão. O forfait disponível não deve se tornar uma obrigação de preencher cada hora.

Construir um calendário de ponta a ponta

Uma extrapolação a partir de um passo de treinamento já aquecido às vezes esquece o carregamento, as entradas longas, a validação e os arquivos de saída. Distinga os intervalos nos quais a máquina está mobilizada e o tempo humano de preparação. Intervalos independentes podem se sobrepor; duas etapas que usam a mesma GPU não se tornam paralelas só porque têm duas linhas em uma tabela.

Aqui está um calendário ilustrativo, sem velocidade de GPU medida. Ele reserva 48 horas sequenciais desde o início da preparação até a recuperação dos resultados. Em uma janela de 72 horas, ele deixa 24 horas não comprometidas. Essa subtração verifica apenas o calendário: nem a instalação, nem uma variante de dez horas são prazos prometidos pela IteraGPU.

Comparar os pacotes sem inventar uma cobrança por hora

O preço de um lote cobre a duração selecionada. Uma RTX 4090 do catálogo custa 47,14 USD por três dias, 110 USD por sete dias e 390 USD por trinta dias. Esses valores são as tarifas da IteraGPU; eles não medem o número de modelos treinados. Dois lotes de três dias representam 94,28 USD. O lote B200 já inclui duas GPUs: sua composição não multiplica uma segunda vez o seu preço.

Se o calendário ilustrativo se estender por 30 horas, ele chega a 78 horas e ultrapassa três dias em seis horas. Examine então o pacote de sete dias, ou um protocolo reduzido que ainda responda à pergunta. Comprar dois lotes pode ajudar variantes independentes se o seu ambiente permitir; isso não encurta automaticamente uma execução e não funde as memórias.

Fontes técnicas: Tarifas da IteraGPU e unidades de locação · Calcular os pacotes e verificar a janela

Priorizar as variantes pela sua utilidade para a decisão

Após o piloto, atualize suas hipóteses de duração e pergunte qual resultado mudaria a escolha. Uma variante quase idêntica ao controle pode ser menos informativa que um controle que isola uma causa. Evite disparar de uma vez todas as combinações de rank, precisão, taxa de aprendizado e comprimento. O guia de ablações mostra como montar um pequeno plano interpretável.

Inscreva a regra de parada antes dos testes: perda não finita, qualidade abaixo de um limiar, entrada indispensável truncada ou ausência de retomada utilizável. Se a parada ocorrer, conserve seu identificador e seu motivo. Uma execução interrompida não se torna um entregável aceito, mas continua sendo uma despesa e às vezes uma informação decisiva. Uma nova configuração após correção merece um novo identificador.

Prever o custo de uma interrupção

Uma retomada de treinamento exige mais do que apenas os pesos. A documentação do PyTorch distingue os parâmetros do modelo e o estado do otimizador; a progressão também deve ser conservada. Dependendo do loop, adicione os estados necessários do agendador, do scaler, dos aleatórios e do percurso dos dados. Decida se você quer retomar o aprendizado ou simplesmente relançar uma inferência.

Teste um salvamento precoce e depois seu recarregamento em um novo processo. Conte o tempo de escrita, de transferência e de restauração no calendário. Um intervalo de salvamento não se escolhe apenas para produzir muitos arquivos: aproxime a perda de trabalho tolerável e o custo observado da operação. Verifique também onde vivem esses arquivos e como você os recuperará antes do fim do período.

Fontes técnicas: PyTorch — salvamento e retomada

Reportar o orçamento ao resultado útil

No encerramento, informe o pacote comprometido, as outras despesas realmente incluídas e o número de entregáveis que passaram nos controles anunciados. As eventuais despesas externas permanecem separadas do preço da locação; não invente taxa de imposto nem custo de transferência não fornecido. O custo de uma campanha não é apagado quando seu resultado é negativo.

Exemplo aritmético condicional: se um pacote de 47,14 USD permite entregar dois corpus distintos completos e aceitos, sua parcela de locação é de 23,57 USD por corpus. Repetir cinco vezes o mesmo corpus para cronometrar não gera cinco corpus úteis. Com zero corpus aceito, a razão é indefinida; exiba o custo incorrido e a causa da rejeição, nunca um custo nulo. Para uma decisão de pesquisa, descreva a conclusão obtida em vez de criar uma unidade artificial.

Encerrar com arquivos que você consegue recarregar

Prepare o diretório de saída durante a campanha: manifesto, parâmetros, medições brutas, previsões, motivos de parada e instruções de recarregamento. Verifique os identificadores esperados, os arquivos vazios e os caminhos que dependem de um diretório temporário. Para um adaptador, mantenha a revisão exata da base. Um arquivo presente mas impossível de recarregar não é uma saída verificada.

Compare o previsto e o realizado sem reescrever o plano inicial: tempo reservado, tempo observado, desvios explicados, decisões tomadas. O caderno IteraGPU pode guardar a síntese e a referência do pedido; seus arquivos brutos e backups continuam por organizar. A campanha seguinte começa então com uma melhor estimativa e uma lista mais curta de incertezas.

Perguntas práticas