Classificação e extração: as tarefas que mais retornam
Por que justamente essas
Classificação e extração têm uma resposta certa que dá para verificar, uma saída curta e barata e integração simples com sistemas existentes. São também os casos em que um modelo substitui trabalho manual repetitivo — rotear consultas, ler faturas, etiquetar leads.
Por outro lado, uma interface de chat aberta é difícil de medir, cara e convida a expectativas que o sistema nem sempre cumpre.
Como construir corretamente
Defina categorias fechadas com uma definição escrita para cada uma, incluindo uma categoria 'não está claro'. Sem ela, o modelo vai empurrar cada caso para a categoria mais próxima e mentir para você nos números.
Na extração: defina um esquema estrito, valide no código e retorne um valor vazio em vez de um palpite. Um campo alucinado é mais perigoso do que um campo ausente.
Pessoa no loop
Direcione casos de baixa confiança para uma pessoa e use suas decisões para ampliar o conjunto de avaliação. Assim o sistema melhora com o uso, sem nenhum projeto de treinamento.
Indo mais fundo
Meça cada categoria separadamente — uma acurácia geral de 92% pode esconder uma categoria crítica a 60%. E construa uma matriz de confusão: ela mostra não só quantos erros há, mas quais categorias se trocam mutuamente, o que costuma ser uma falha de definição, não do modelo.