TLDR;

SimulationMaxxing é o uso de simulações para gerar dados de avaliação em vez de esperar por dados de produção, permitindo que o Nubank envie agentes de IA 20 vezes mais rápido. O Nubank aplica simulações para avaliar agentes de suporte ao cliente, elevando o TNPS de forma massiva em poucos meses e alcançando qualidade próxima ou superior à humana. Dados simulados substituem traços de produção e curadoria manual, encurtando o ciclo de release de semanas para horas ao permitir experimentação rápida sem impactar usuários reais.

Resumo

A palestra de Shrea, CEO da Snow Globe, e Aman, engenheiro principal de machine learning do Nubank, aborda como o uso de simulações permite desenvolver e lançar agentes de IA 20 vezes mais rápido. O Nubank, maior banco digital da América Latina com 135 milhões de clientes, utiliza agentes de IA para suporte ao cliente, combinando automação de tarefas rotineiras com atendimento humano em casos complexos. Os palestrantes destacam que as avaliações (evals) são essenciais, mas o gargalo está na obtenção de dados de qualidade: métodos manuais são lentos e caros, enquanto dados de produção expõem usuários reais a riscos. As simulações superam isso ao gerar trajetórias realistas de forma controlada, sem depender de dados reais. Com o SDK da Snow Globe, é possível mockar ferramentas e avaliar agentes rapidamente, reduzindo o ciclo de testes de semanas para horas. Resultados em produção mostram aumento significativo no TNPS, com agentes alcançando ou superando a qualidade humana, comprovando a eficácia da abordagem em escala.