Uno de los principales puntos de fricción para data scientists, en su flujo de trabajo, es ubicar los datos que necesitan, darles sentido y evaluar si es confiable usarlos. Esto sigue siendo un desafío debido a la falta de metadatos sobre las fuentes de datos disponibles y la falta de funcionalidad adecuada y necesaria para buscar y localizar datos. Alentamos a los equipos que están proporcionando conjuntos de datos analíticos o construyendo plataformas de datos para que el descubrimiento de datos sea una función de primera clase en sus entornos; para proporcionar la capacidad de localizar fácilmente los datos disponibles, detectar su calidad, comprender su estructura, linaje y tener acceso a ellos. Tradicionalmente, esta función ha sido proporcionada por soluciones de catalogación de datos inflados. En los últimos años, hemos visto el crecimiento de proyectos de código abierto que están mejorando las experiencias de las/os desarrolladoras/es, tanto para proveedores de datos como para consumidores de datos, para hacer una cosa realmente bien: hacer que los datos sean reconocibles. Amundsen de Lyft, y WhereHows de LinkedIn están entre estas herramientas. Lo que nos gusta ver es un cambio en el comportamiento de los proveedores para compartir intencionalmente los metadatos que ayudan a la capacidad de descubrimiento en favor de las herramientas de descubrimiento que infieren información de metadatos parcial de silos de bases en datos de aplicaciones.
