Como trabalhamos
Quatro passos, nesta ordem, sempre.
A ordem é o método. Nada é construído antes de ser definido, nada entra em produção antes de ser medido e nada é transferido sem as pessoas capazes de manter tudo funcionando.
Como trabalhamos
01. Definir
Deixar claros a tarefa, o responsável e a medida de sucesso antes de escolher qualquer modelo.
Sentamos com quem opera o processo, mapeamos onde ele falha, decidimos quais dados o sistema pode acessar e registramos o que seria um bom resultado. Se não cabe um agente ali, dizemos isso nesta etapa.
Entregas
- A definição da tarefa
- O responsável identificado
- A medida de sucesso e sua meta
- O escopo de acesso aos dados
- A decisão de construir ou não
02. Instrumentar
Construir primeiro a bancada de avaliação, para distinguir melhora de sorte.
Casos reais viram um conjunto de testes, as métricas correspondem à tarefa, as linhas de base são registradas e toda mudança passa a ser avaliada do mesmo jeito.
Entregas
- O conjunto de avaliação com casos reais
- As métricas e linhas de base
- O código de pontuação
- O primeiro relatório
- O tamanho de amostra necessário para detectar uma diferença
03. Integrar
Pôr o sistema em produção no fluxo de trabalho que já existe, com fallbacks, logs e controle de acesso.
O sistema entra onde o trabalho já acontece, no ERP, no CRM, no sistema de chamados ou no repositório de documentos, com escalonamento dos casos que não deve resolver sozinho e registro de tudo o que faz.
Entregas
- O sistema em produção nas ferramentas existentes
- Controle de acesso e permissões
- Logs e monitoramento
- Fallbacks e rotas de escalonamento
- A trilha de auditoria
04. Transferir
Deixar o runbook (manual de operação), os testes e uma equipe capaz de operar o sistema sem depender de nós.
Formamos as pessoas que vão responder pelo sistema e documentamos como operá-lo e como alterá-lo.
Entregas
- O runbook (manual de operação)
- A suíte de testes e o histórico de avaliação
- A formação da equipe de operação
- A documentação
Exemplo de projeto
O que pode acontecer em seis semanas.
Cronograma ilustrativo. Projetos reais são dimensionados na definição e variam conforme o processo, os dados e a equipe.
Definir
Semana 1
Workshop com os responsáveis pelo processo, escopo de acesso aos dados e medida de sucesso acordada.
Instrumentar
Semana 2
Conjunto de avaliação com casos reais, linhas de base registradas e primeiro relatório.
Integrar
Semana 3
Primeira versão em ambiente de homologação, conectada aos sistemas corporativos.
Integrar
Semana 4
Cada mudança passa pela avaliação, fallbacks e logs são testados e o controle de acesso é revisado.
Integrar
Semana 5
Entrada em produção com escopo limitado, medida diariamente.
Transferir
Semana 6
Runbook, testes e formação entregues; a equipe opera o sistema.
Cada mudança passa pela avaliação.
Nenhuma mudança de prompt, modelo ou código chega à produção sem passar pela bancada e ser comparada com a linha de base. Se não superar a linha de base por uma margem maior que o acaso, com o tamanho de amostra combinado, a mudança não vai para produção. A regra continua valendo depois da transferência, e o runbook explica como rodar a bancada.
Como funciona a transferência.
A transferência é a última etapa e é planejada desde a primeira. A equipe aprende no sistema em funcionamento, o runbook cobre a rotina e as falhas, e os testes, o histórico de avaliação e a documentação ficam no seu repositório. O sistema funciona sem depender de nós.
Traga o processo que vive quebrando.
Uma conversa costuma bastar para saber se cabe um agente ali, como avaliá-lo e o que seria preciso para mantê-lo funcionando.