Se pronostica que la inteligencia artificial generativa (GenAI) se convertirá en un mercado de $1.3 billones de dólares para el 2032 y representa una de las mayores y más claras oportunidades para organizaciones en una amplia gama de industrias. Pero cuando estás construyendo e implementando tus propios casos de uso de GenAI, el éxito está lejos de estar garantizado.
Entre el 60% y el 80% de todos los proyectos de inteligencia artificial fallan. Hay muchos factores diferentes que contribuyen o causan el fracaso de proyectos de inteligencia artificial, pero los más comunes que hemos encontrado son organizaciones que se lanzan a abrazar GenAI sin primero establecer una base de datos lista para la inteligencia artificial, o sin articular cómo GenAI se integrará en sus flujos de trabajo para crear valor para empleados y clientes.
La inteligencia artificial generativa exige plataformas de datos altamente capaces
Para generar salidas valiosas y confiables, los modelos de inteligencia artificial requieren cantidades significativas de datos descubribles y de alta calidad. Para muchas organizaciones que dan sus primeros pasos en este espacio, aquí es donde las cosas se complican.
Es un área fresca de oportunidad digital, pero una que requiere que las organizaciones aborden muchos de sus desafíos de datos subyacentes antes de que pueda ser totalmente explotada y utilizada para crear valor empresarial. Prácticamente, adoptar GenAI requiere que los equipos hagan cinco cosas clave:
1) Alinear sus estrategias de datos e inteligencia artificials: Si GenAI está a punto de convertirse en uno de los casos de uso más exigentes para tus datos, tu estrategia de datos debe evolucionar para respaldarlo. Las estrategias deben alinearse para garantizar que se recopilen, procesen y almacenen los datos adecuados de la manera correcta para alimentar tus modelos y aplicaciones.
2) Adoptar el pensamiento de productos de datos: La inteligencia artificial generativa es, como su nombre indica, un generador de salidas valiosas. Pero también es un consumidor de datos. Por lo tanto, es muy útil comenzar a gestionar y tratar tus datos como un producto, y evolucionar tus productos en torno a las necesidades de las aplicaciones que los consumen.
3) Automatizar tanto como sea posible: Llevar modelos de inteligencia artificial a producción puede ser un proceso largo y complejo. MLOps puede ayudarte a automatizar la capacitación, implementación, monitoreo y ciclos de retroalimentación para ayudarte a comenzar a generar valor a partir de GenAI de manera rápida y repetible.
4) Crear procesos repetibles y auditables: El uso responsable y ético de la inteligencia artificial exige total transparencia en el proceso. Al construir procesos repetibles y auditables, puedes simplificar la gobernanza de la inteligencia artificial y asegurarte de que los modelos sean explicables, y que tus operaciones cumplan con las regulaciones emergentes.
5) Construir plataformas de datos robustas: Cada organización que utiliza GenAI necesita una plataforma de datos que esté equipada con las capacidades adecuadas para garantizar que los datos correctos de la más alta calidad estén disponibles y se entreguen de la manera correcta.
Centrémonos en ese último punto y exploremos cómo los equipos pueden construir plataformas de datos con las capacidades para respaldar sus objetivos de inteligencia artificial generativa.
Las 4 etapas de la evolución de la plataforma de datos para la inteligencia artificial generativa
La clave para proyectos de GenAI exitosos es asegurarse de que tus plataformas de datos tengan las capacidades necesarias para respaldarlo y habilitarlo. Hablando en términos generales, las capacidades que tu plataforma de datos necesita dependerán de la profundidad y sofisticación de tus planes de GenAI.
Para ilustrar eso, podemos desglosar las evoluciones de la plataforma de datos para GenAI en cuatro niveles.
Nivel 1: Construir aplicaciones a escala con SaaS LLMs (Modelos de Lenguaje Grandes)
A medida que el mercado de inteligencia artificial generativa ha crecido, han surgido numerosos participantes que ofrecen modelos de lenguaje grandes (LLMs) basados en SaaS.
Para la mayoría de las organizaciones, estimamos alrededor del 80%, estos modelos y herramientas son suficientes para construir aplicaciones GenAI alineadas con su estrategia empresarial. Pueden mejorar y optimizar procesos internos y ofrecer una ruta rápida hacia la adopción empresarial.
Incluso en este nivel, es importante para los equipos asegurarse de tener las capacidades para mejorar continuamente las salidas generadas y reducir las alucinaciones. Retrieval Augmented Generation (RAG) puede ayudarte a crear prompts enriquecidos al agregar información contextual de fuentes confiables. Esa fuente confiable generalmente proviene de incrustaciones. Y para gestionar las incrustaciones, deberás usar bases de datos vectoriales.
Al construir incrustaciones como un servicio dentro de tu plataforma de datos, cada dominio puede ajustar finamente los modelos de incrustación para asegurarse de que estén perfectamente alineados con sus casos de uso específicos de GenAI.
Nivel 2: Ajustar SaaS preconstruidos o LLMs de código abierto con datos empresariales del dominio
Si los LLMs de SaaS o de código abierto no pueden lograr lo que se requiere directamente, debido a razones como superar el tamaño máximo de la ventana de contexto por prompt, las organizaciones tienen la opción de mejorar y ajustar esos modelos. Sin embargo, porque este enfoque depende de sus propios datos empresariales, demanda un aumento significativo en la capacidad de la plataforma de datos.
Para respaldar modelos y aplicaciones GenAI ajustados finamente, las organizaciones deben ver y gestionar los datos como productos, de acuerdo con el pensamiento de productos, y asegurarse de que sus productos de datos sean Findables, Accessibles, Interoperables y Reusables (FAIR).
También deberán desarrollar una postura de cumplimiento robusta y asegurarse de tener los procesos, límites y transparencia adecuados para utilizar datos e inteligencia artificial de manera responsable. Eso significa mantener todos los productos y procesos de datos explicables.
En la misma línea, se deben mantener niveles elevados de privacidad y seguridad de datos, para evitar que los datos sean comprometidos o manipulados de maneras que influyan en las salidas generadas por aplicaciones de inteligencia artificial.
El requisito técnico final en este nivel de evolución es aplicar MLOps para habilitar la producción efectiva y la mejora continua de los LLMs a escala.
Nivel 3: Preentrenar la arquitectura de modelos de código abierto para construir un modelo personalizado
Si una organización tiene requisitos de inteligencia artificial muy específicos, ajustar modelos existentes podría no ser suficiente para respaldarlos. Esos equipos deberán considerar entrenar un modelo de inteligencia artificial de código abierto desde cero usando sus propios datos empresariales.
Además de las capacidades requeridas para ajustar modelos basados en SaaS, las organizaciones que deseen entrenar LLMs de código abierto usando sus propios datos para crear aplicaciones GenAI personalizadas necesitarán vastas cantidades de datos FAIR de la empresa.
Para obtener esa escala de datos, la mayoría de los equipos deberán evolucionar su plataforma de datos para respaldar la generación de datos sintéticos, para ampliar sus productos de datos existentes y habilitar el aprendizaje por imitación.
Con modelos que generan salidas únicamente a partir de los datos empresariales de una organización, los equipos deberán habilitar extensas pruebas, evaluación y procesos de validación. Las plataformas de datos deben estar equipadas para comprender la calidad de los datos a niveles profundos, para que los equipos puedan evaluar de manera sólida cuán confiables son las salidas y mejorarlas continuamente con el tiempo.
Nivel 4: Construir capacidades para experimentación continua con inteligencia artificial
Si quieres pasar de construir aplicaciones puntuales a incorporar GenAI en tu organización a un nivel fundamental, debes mirar más allá de modelos y aplicaciones individuales, y evolucionar tus plataformas de datos para construir un entorno para la experimentación continua con inteligencia artificial.
Las capacidades de la plataforma pueden ayudarte a crear un entorno donde cada dominio y equipo tenga el poder de elegir la aplicación o herramienta de GenAI adecuada para todos los casos de uso, construyendo efectivamente tu propio mercado de modelos. Esto permite que las organizaciones construyan una cultura centrada en la inteligencia artificial y maduren continuamente su uso de GenAI y ML.
En este nivel, las organizaciones y sus plataformas de datos necesitan las capacidades para respaldar la capacitación y ejecución de diversos tipos de modelos, incluidos GANs, VAEs, LLMs. Crucialmente, también necesitan la capacidad de supervisar el rendimiento de manera precisa a escala, para ayudar a detectar alucinaciones y sesgos, y mantener la explicabilidad y transparencia en todos los casos de uso de inteligencia artificial empresarial.
Eso es una tarea significativa y requiere una evolución operativa, organizativa y de la plataforma de datos significativa. Pero para obtener el máximo valor de GenAI e incorporarlo a un nivel fundamental, es una necesidad.
Da el primer paso hacia el éxito de la inteligencia artificial generativa y la evolución de la plataforma de datos hoy
Tenemos numerosos diagnósticos y marcos que pueden ayudarte a comprender mejor tus necesidades. También ofrecemos clínicas para ayudarte a evaluar específicamente tu preparación para la inteligencia artificial generativa, o para evaluar cómo obtener un mayor valor de tus datos en general. Hablemos.
Aviso legal: Las declaraciones y opiniones expresadas en este artículo son las del autor/a o autores y no reflejan necesariamente las posiciones de Thoughtworks.
