Produzir embeddings que permaneçam comparáveis
Uma campanha de embeddings deve fixar o modelo, a tokenização, a regra de truncamento, o pooling e a normalização. Essas escolhas alteram as representações obtidas. Para textos de comprimentos variáveis, experimente lotes agrupados por comprimento e compare-os com a sua organização inicial. Registre o número de documentos processados e os tokens úteis, para que uma mudança no preenchimento dos lotes não pareça um ganho inexplicado.
Repartir os 48 GB entre modelo e trabalho útil
Aumente o batch em uma amostra contendo os textos mais longos ou as imagens maiores. Uma medição pela média pode deixar passar uma saturação tardia no meio do corpus. Exporte as representações ao longo do processamento em vez de acumular inutilmente todos os resultados na GPU. Mantenha um identificador estável, por exemplo, para ligar cada saída à sua entrada e retomar uma campanha interrompida.
Para o ajuste fino, use a mesma disciplina com os checkpoints: modelo base, parâmetros treinados e dados devem permanecer associados. A capacidade de 48 GB não dispensa medir as ativações e os estados do otimizador.
Ampere ou Ada com capacidade igual
A RTX A6000 e a RTX 6000 Ada são dois modelos diferentes apesar dos seus 48 GB. Verifique os kernels CUDA visados e as versões do PyTorch do seu projeto antes de comparar. Um teste curto pode decidir o custo do corpus completo, com as mesmas saídas esperadas. A A40 é outra opção Ampere de 48 GB; a A100 SXM torna-se relevante quando a memória necessária ultrapassa esse envelope.
Encomendar com um plano de retomada
Três dias podem cobrir o profiling e um primeiro lote de embeddings. Sete dias permitem produzir e depois controlar um corpus. Trinta dias acompanham várias versões de representação ou uma campanha de ajuste fino. Prepare os identificadores, os diretórios de exportação e a lista dos lotes antes da locação. Selecione a duração e a quantidade, indique o ambiente desejado e os seus dados de contato, e depois acompanhe o pagamento em cripto e o progresso no pedido.