Ragas é um framework projetado para avaliar o desempenho de pipelines de geração aumentada por recuperação (RAG), que endereça o desafio de avaliar tanto os componentes de recuperação quanto de geração nesses sistemas. Ele fornece métricas estruturadas como fidelidade, relevância das respostas e utilização de contexto, que ajudam a avaliar a eficácia dos sistemas baseados em RAG. Nossas desenvolvedoras acharam o framework útil para realizar avaliações periódicas, com o objetivo de ajustar parâmetros como recuperações top-k e modelos de embedding. Algumas equipes integraram o Ragas em pipelines que são executados diariamente, sempre que o template do prompt ou o modelo muda. Embora suas métricas ofereçam insights sólidos, temos receio de que o framework possa não capturar todas as nuances e interações complexas dos pipelines RAG, e recomendamos considerar frameworks adicionais de avaliação. No entanto, Ragas se destaca por sua capacidade de simplificar a avaliação de RAG em ambientes de produção, oferecendo melhorias valiosas baseadas em dados.
