Um dos principais pontos de atrito para cientistas de dados e analistas em seu fluxo de trabalho é localizar os dados de que precisam, entendê-los e avaliar se são confiáveis para uso. Isso permanece um desafio devido aos metadados faltantes sobre as fontes de dados disponíveis e falta de funcionalidade adequada para pesquisar e localizar os dados. Encorajamos times que estão fornecendo conjuntos de dados analíticos ou construindo plataformas de dados a tornar a detecção de dados uma função de primeira classe de seus ambientes, para fornecer a habilidade de localizar facilmente dados disponíveis, detectar sua qualidade, entender sua estrutura e linhagem e ter acesso a eles. Tradicionalmente, essa função tem sido fornecida por soluções de catalogação de dados inchadas. Nos últimos anos, temos visto o crescimento de projetos de código aberto que estão melhorando a experiência de desenvolvimento tanto para fornecedores quanto para consumidores de dados para fazer uma coisa muito bem: tornar os dados detectáveis. O Amundsen, da Lyft, e o WhereHows, do Linkedin, estão entre essas ferramentas. O que gostaríamos de ver é uma mudança no comportamento dos fornecedores para compartilharem intencionalmente os metadados que ajudam na descoberta em favor de ferramentas de detecção que inferem informações de metadados parciais de silos de bases de dados de aplicações.
