Operar um sistema de IA ao longo do tempo
Um ritmo de manutenção
Executar o conjunto de avaliação uma vez por mês mesmo sem mudanças; uma revisão semanal de uma amostra de conversas reais; e atualizar a base de conhecimento no ritmo em que as fontes mudam.
Mover entre versões do modelo
Fornecedores mudam e descontinuam modelos. Mantenha uma camada de abstração, execute o conjunto de avaliação na nova versão antes da mudança e faça a transição gradualmente com uma comparação ao vivo.
Não assuma que uma nova versão é sempre melhor na sua tarefa — às vezes ela muda o estilo da saída e quebra uma análise que depende dele.
O que se observa
A parcela de respostas marcadas negativamente, a taxa de encaminhamento a uma pessoa, a taxa de 'sem resposta', custo por requisição e tempo de resposta. Cinco números em um painel.
Indo mais fundo
Atribua um dono a cada sistema baseado em modelo, como a qualquer serviço. Esses sistemas tendem a ficar sem dono após o fim do projeto, e então a degradação continua por meses até que alguém reclame — e a investigação começa do zero.