Chatbots baseados em modelos de linguagem de grande porte (LLMs) estão ganhando muita popularidade e estamos observando técnicas emergentes para colocá-los em produção. Um dos desafios da produtização é entender como as pessoas estão conversando com um chatbot orientado por algo tão genérico como um LLM, onde a conversa pode seguir por muitos caminhos. Compreender a realidade dos fluxos de conversação é crucial para melhorar o produto e as taxas de conversão. Uma técnica para enfrentar esse problema é a análise de grafos para conversas baseadas em LLM. Os agentes que suportam um chat com um objetivo específico - como uma ação de compra ou a resolução bem-sucedida do problema de uma cliente - geralmente podem ser representados como uma máquina de estados desejada. Ao carregar todas as conversas em um grafo, você pode analisar os padrões reais e procurar discrepâncias em relação à máquina de estados esperada. Isso ajuda a encontrar bugs e oportunidades para melhoria do produto.
