Mantenha uma avaliação que ainda possa surpreendê-lo.

Definir o que cada exemplo representa

Comece por uma frase de decisão: reconhecer a categoria de um novo ticket, extrair três campos de um documento ou responder a uma pergunta com seus anexos. Descreva a entrada disponível no momento da predição, a saída esperada e os casos fora do escopo. Uma informação adicionada após a resolução do ticket não deve aparecer em uma entrada que se supõe representar sua chegada.

Distinga em seguida linha e unidade independente. Cinco mensagens de uma conversa compartilham um contexto; dez páginas de um processo compartilham sua origem. Se seu objetivo envolve novos processos, mantenha cada processo em uma única partição. Uma separação por usuário, documento, equipamento ou período responde a perguntas diferentes: escolha a que se parece com o uso futuro e registre sua justificativa no manifesto.

Fontes técnicas: scikit-learn 1.9 — validação com grupos e dependências temporais

Atribuir um papel a cada conjunto

O conjunto de treinamento serve aos ajustes do modelo. O conjunto de validação orienta as decisões de desenvolvimento: prompt, limiar, hiperparâmetros ou escolha de uma variante. O teste final responde a uma pergunta já fixada. Consultá-lo para reter o melhor ajuste transforma progressivamente esse teste em ferramenta de desenvolvimento, mesmo que nenhum gradiente seja calculado sobre ele.

Separe também os dados usados para aprender uma transformação. Uma normalização, uma seleção de variáveis ou uma imputação ajustada sobre todo o corpus pode transmitir informação ao modelo. Aprenda essas transformações na partição autorizada e depois aplique a transformação conservada aos outros conjuntos. Um pipeline facilita esse controle; ele não corrige por si só grupos mal separados.

Fontes técnicas: scikit-learn 1.9 — vazamento de dados e transformações

Tratar duplicatas sem apagar os casos difíceis

Conserve o corpus bruto e depois construa um inventário de trabalho com identificador, origem e grupo. Uma impressão digital do conteúdo detecta as cópias exatas conforme a representação escolhida. Documente essa representação: remover toda a pontuação ou colocar um texto em minúsculas pode fundir entradas cuja diferença importa para a tarefa. Mantenha a correspondência entre a cópia descartada e o exemplar conservado.

Os quase-duplicados exigem uma revisão adicional: exportação modificada, resposta reformulada, trecho comum ou documento reeditado. Uma forte similaridade é um sinal a examinar, não uma prova de que duas anotações são intercambiáveis. Agrupe as variantes relacionadas antes de distribuir os dados. Se duas cópias carregam referências contraditórias, abra uma questão de anotação; não escolha automaticamente aquela que o modelo prevê melhor.

Exemplo prático: 1.200 linhas não são 1.200 observações independentes

Este exemplo é inteiramente ilustrativo: nenhum corpus nem modelo foi medido. Suponhamos 240 conversas, cada uma exportada em cinco linhas. Uma linha é uma cópia exata em cada conversa; as outras quatro são distintas. Remover essas 240 cópias deixa 960 exemplos, ainda organizados em 240 grupos. A escolha pedagógica seguinte reserva 70% dos grupos para o aprendizado, 15% para a validação e 15% para o teste.

Obtêm-se 168, 36 e 36 conversas, ou seja, 672, 144 e 144 exemplos. A igualdade das proporções em linhas e em grupos decorre aqui dos quatro exemplos por conversa. Em um corpus real de tamanhos variáveis, ela não seria automática. Essas proporções não são uma regra universal: elas devem deixar grupos e casos importantes suficientes em cada conjunto.

Fontes técnicas: scikit-learn 1.9 — GroupShuffleSplit conta os grupos

Verificar classes, comprimentos e cronologia

Após a partição, conte as classes e os grupos que as carregam. Uma classe presente em muitas linhas mas em uma única conversa não oferece muitos casos independentes. Examine também comprimentos, idiomas realmente cobertos, documentos incompletos e categorias importantes para a decisão. Uma média tranquilizadora pode mascarar uma partição sem nenhum exemplo de um caso crítico.

Uma estratificação com grupos busca preservar as proporções de classes sem dispersar os grupos. Ela não garante um equilíbrio perfeito quando os grupos são poucos ou muito desiguais. Se a tarefa consiste em prever observações futuras, uma separação cronológica pode ser mais pertinente do que uma mistura aleatória. Verifique também que as variáveis estavam disponíveis na data da predição.

Fontes técnicas: scikit-learn 1.9 — StratifiedGroupKFold e seus limites · scikit-learn 1.9 — validação de dados temporais

Tornar a referência precisa o bastante para julgar uma saída

Escreva uma instrução de anotação com exemplos e casos limite. Para uma extração, precise o sentido de um campo ausente, o formato das datas, a moeda e as equivalências aceitas. Para uma classificação, descreva as fronteiras entre categorias. Uma resposta diferente da referência não é sempre um erro do modelo: a referência pode ser ambígua ou incorreta.

Faça revisar uma seleção variada, em particular as discordâncias e os casos importantes, e depois registre a arbitragem. Conserve as correções em uma nova versão do conjunto. Se uma correção mudar o resultado de uma comparação, recalcule todas as variantes afetadas sobre a mesma referência; não corrija apenas a linha desfavorável ao seu modelo preferido.

Produzir o pacote de avaliação antes da campanha de GPU

O entregável dessa preparação é um conjunto identificável, acompanhado de suas regras. Ele permite reproduzir a seleção dos dados sem depender de uma lembrança de notebook. Preparar esse pacote antes da locação evita consumir o período de cálculo resolvendo diferenças de arquivos ou de critérios.

• Fixe os identificadores, os grupos, as partições e sua justificativa; conserve o script ou a lista que os produz.
• Verifique as interseções de identificadores, grupos e impressões digitais entre partições. Qualquer interseção inesperada deve ser explicada ou corrigida.
• Exporte os efetivos por partição, classe e subgrupo útil, bem como a lista de exclusões e seu motivo.
• Fixe a referência, as regras de normalização, a métrica principal e os limiares antes da comparação.
• Conserve revisão, impressões digitais, direitos de uso e localização dos dados. Uma impressão digital garante uma identificação, não um anonimato.
• Reserve o acesso ao teste final até a decisão prevista; mantenha um registro das consultas e mudanças de protocolo.

Saber o que o controle demonstra

A preparação é aceitável quando os efetivos se conciliam com o inventário, as sobreposições estão sob controle e cada saída pode ser julgada segundo uma regra explícita. Ela não prova que o modelo terá sucesso, nem que todos os usos futuros estão representados. Um conjunto pequeno pode descrever um problema preciso e ainda assim ser insuficiente para concluir sobre uma classe rara.

Se você usar os erros do teste final para melhorar o sistema, conserve esse teste como histórico e prepare uma nova confirmação independente. Para um modelo pré-treinado cujos dados de origem são desconhecidos, sua partição não pode certificar a ausência de exposição anterior. Documente essa limitação em vez de qualificar o conjunto como totalmente virgem.

Perguntas práticas