Cualquier sistema de software debe representar adecuadamente el ámbito dado en el que se emplea y siempre debe tener en cuenta objetivos y metas clave. Los proyectos de machine learning (ML) no son diferentes. Feature engineering es un aspecto crucial de la ingeniería y diseño de sistemas de software de ML. Feature Store es un concepto arquitectónico relacionado que facilita la identificación, el descubrimiento y la supervisión de las características (features) relevantes para un determinado dominio o problema comercial. La implementación de este concepto implica una combinación de diseño arquitectónico, ingeniería de datos y gestión de infraestructuras para crear un sistema de ML escalable, eficiente y fiable. Desde el punto de vista de las herramientas, se pueden encontrar plataformas de código abierto y completamente gestionadas, pero son sólo una parte de este concepto. En el diseño integral de los sistemas de ML, la implementación de un feature store permite las siguientes capacidades: la habilidad de (1) definir las features adecuadas; (2) mejorar la reutilización y hacer que las features estén disponibles de forma coherente, independientemente del tipo de modelo, lo que también incluye la configuración de las pipelines de feature engineering que curan los datos como se describe en el feature store; (3) permitir el descubrimiento de features y (4) permitir su consumo. Nuestros equipos aprovechan los feature stores en producción para ver sus frutos en los sistemas de ML de extremo a extremo.
Feature Store es una plataforma de datos específica para aprendizaje automático que resuelve algunos de los principales retos que encontramos hoy en la ingeniería de características con tres capacidades fundamentales: (1) usa pipelines de datos gestionados para eliminar conflictos con los pipelines cuando llegan nuevos datos; (2) cataloga y almacena datos de las características para fomentar su visibilidad y colaboración entre modelos; y (3) consistentemente provee datos de características durante el entrenamiento y la interferencia.
Desde que Uber reveló su plataforma Michelangelo, muchas organizaciones y startups han construido sus propias versiones de almacenes de características, como Hopsworks, Feast y Tecton. Vemos potencial en Feature Store y recomendamos realizar un análisis cuidadoso.
