ColPali é uma ferramenta emergente para recuperação de documentos PDF utilizando modelos de linguagem visual (VLMs), abordando os desafios de construir uma aplicação robusta de geração aumentada por recuperação (RAG) que pode extrair dados de documentos multimídia contendo imagens, diagramas e tabelas. Diferentemente dos métodos tradicionais que dependem de embeddings baseados em texto ou técnicas de reconhecimento óptico de caracteres (OCR), o ColPali processa páginas inteiras de PDFs, utilizando um transformador visual para criar embeddings que consideram tanto o conteúdo textual quanto o visual. Essa abordagem holística permite uma recuperação mais eficaz, além de fornecer justificativas para a seleção de certos documentos, aprimorando significativamente o desempenho do RAG em relação a PDFs ricos em dados. Nós testamos o ColPali com várias clientes e ele demonstrou resultados promissores, mas a tecnologia ainda está nos estágios iniciais. Vale a pena avaliar, particularmente para organizações com dados em documentos visuais complexos.
