Construir um conjunto de avaliação de ML sem vazamento de dados
Separe grupos, duplicatas e usos dos dados para construir um conjunto de avaliação de ML mantido à parte, controlável e adequado à sua decisão.
Cache KV: calcular a memória conforme contexto, GQA e batch
Calcule o cache KV com as cabeças KV, o contexto e as sequências simultâneas. Distinga GQA, precisão e cache estático antes de um teste real.
Planejar ablações de ML: controle, efeitos e orçamento
Construa um plano de ablação de ML com controle, fatores, interações e orçamento de testes. Um exemplo calculado para priorizar as variantes e concluir.
Analisar os erros de ML para escolher a próxima experiência
Analise os erros de classificação e de extração: matriz de confusão, referências, taxonomia, regressões e controle da próxima correção.