Plataformas
Adoptar
Probar
-
24. Databricks Unity Catalog
Databricks Unity Catalog es una solución de gobernanza de datos para recursos, tales como archivos, tablas o modelos de machine learning presentes en un lakehouse. Es una versión administrada de la solución open-source Unity Catalog que puede ser usada para administrar y consultar datos guardados externamente o bajo el entorno de Databricks. Nuestros equipos han trabajado con una variedad de soluciones para administración de datos en el pasado, tales como Hive metastore o Microsoft Purview. Sin embargo, el soporte combinado de Unity Catalog para gobernanza, administración de metastore y data discovery la hacen atractiva, debido a que reduce la necesidad de administrar diferentes herramientas. Una complicación que nuestro equipo pudo descubrir en Unity Catalog administrada por Databricks, fue la falta de recuperación de desastre automática. Si bien se pudo configurar una funcionalidad propia de respaldo y restauración, habría sido más conveniente tener una solución provista por Databricks. Hay que tener en cuenta que a pesar de que estas plataformas de gobernanza usualmente implementan una solución centralizada para asegurar la consistencia entre workspaces y workloads, la responsabilidad de gobernar puede ocurrir de forma federada, habilitando a equipos individuales a administrar sus propios recursos.
-
25. FastChat
FastChat es una plataforma abierta para entrenar, servir y evaluar grandes modelos de lenguaje. Nuestros equipos usan la funcionalidad de servir modelos para alojar distintos modelos — Llama 3.1 (8B y 70B), Mistral 7B y Llama-SQL — con distintos propósitos, todos en el formato consistente de OpenAI API. FastChat opera en una arquitectura ejecutor-controlador, permitiendo a múltiples ejecutores alojar modelos diferentes. Soporta tipos de ejecutores como vLLM, LiteLLM y MLX. Nosotros usamos los ejecutores del modelos vLLM por su alto rendimiento. Dependiendo del caso de uso — latencia o rendimiento — se pueden crear o escalar distintos tipos de ejecutores del modelo FastChat. Por ejemplo, el modelo usado para sugerencias de código en los entornos de desarrollo requiere una latencia baja y puede escalarse con múltiples ejecutores de FastChat para gestionar peticiones concurrentes eficientemente. Por el contrario, el modelo usado para Text-to-SQL no necesita muchos ejecutores por su baja demanda o requisitos de rendimiento distintos. Nuestros equipos se valen de la escalabilidad de FastChat para hacer pruebas A/B. Configuramos ejecutores FastChat con el mismo modelo pero con distintos valores para los hiper parámetros y planteamos las mismas preguntas a cada uno, identificando así hiper parámetros óptimos. Cuando migramos modelos de servicios en producción, llevamos a cabo pruebas A/B para asegurar que no haya interrupciones del servicio. Por ejemplo, migramos hace poco de CodeLlama 70B a Llama 3.1 70B para sugerencias de código. Ejecutando ambos modelos concurrentemente y comparando sus salidas, verificamos que el nuevo modelo cumplía o excedía el rendimiento del modelo anterior sin afectar la experiencia de desarrollo.
-
26. Constructor de Agentes de GCP Vertex AI
El Constructor de Agentes de GCP Vertex AI proporciona una plataforma flexible para crear agentes de IA utilizando tanto lenguaje natural como un enfoque basado en código. Esta herramienta se integra perfectamente con datos de negocio a través de conectores de terceros y tiene todas las herramientas necesarias para construir, prototipar y desplegar agentes de IA. A medida que crece la necesidad de agentes de IA, muchos equipos tienen problemas para entender sus beneficios e implementación. Por eso, el Constructor de Agentes de GCP Vertex AI facilita a los desarrolladores el prototipado rápido de agentes, así como el manejo de tareas de datos complejas con una mínima configuración. Nuestros desarrolladores lo han encontrado particularmente útil para construir sistemas basados en agentes, como bases de conocimiento o sistemas de soporte automatizados, que manejan eficientemente tanto datos estructurados como no estructurados, lo que lo convierte en una valiosa herramienta para desarrollar soluciones basadas en IA.
-
27. Langfuse
Los LLMs funcionan como cajas negras, lo que dificulta determinar sus comportamientos. La observabilidad es crucial para abrir esta caja negra y comprender cómo las aplicaciones LLM operan en producción. Nuestros equipos han tenido experiencias positivas con Langfuse observando, monitoreando y evaluando aplicaciones basadas en LLMs. Su trazabilidad, análisis y capacidades de evaluación nos permiten analizar el rendimiento y precisión, administrar costos y latencia, y comprender patrones usados en producción, como por ejemplo, facilitando continuas mejoras basadas en datos. Los datos de instrumentación proporcionan una trazabilidad completa del flujo de petición-respuesta y de los pasos intermedios, la cual puede ser usada para datos de prueba, validando la aplicación antes de desplegar los cambios. Nosotros hemos utilizado Langfuse con RAG (generacion mejorada por recuperacion), entre otras arquitecturas de LLM, y agentes autónomos impulsados por LLMs.
En una aplicación basada en RAG, por ejemplo, analizar trazas de conversaciones con puntuación baja, ayuda a identificar qué partes de la arquitectura - pre-entrenado, entrenado o generación - necesitan refinamiento. Otra opción que merece la pena considerar en este ámbito es Langsmith.
-
28. Qdrant
Qdrant es un motor de búsqueda de similitud vectorial y base de datos de código abierto escrito en Rust. Es compatible con una amplia y densa gama de modelos de incrustación vectorial texto multimodales. Nuestros equipos han utilizado modelos de incrustación de código abierto como MiniLM-v6 y BGE para múltiples bases de conocimiento de productos. Utilizamos Qdrant como almacén vectorial empresarial con multi-tenancy para almacenar incrustaciones vectoriales como colecciones separadas, aislando la base de conocimiento de cada producto en el almacenamiento. Las políticas de acceso de los usuarios se gestionan en la capa de aplicación.
-
29. Vespa
Vespa es un motor de búsqueda de código abierto y una plataforma de procesamiento de big data. Es especialmente adecuado para aplicaciones que requieren baja latencia y alto rendimiento. A nuestros equipos les gusta la capacidad de Vespa para implementar búsquedas híbridas con múltiples técnicas de recuperación, filtrar y ordenar eficazmente muchos tipos de metadatos, implementar ranking multifase, indexar múltiples vectores (por ejemplo, para cada chunk) por documento sin duplicar todos los metadatos en documentos indexados por separado y recuperar datos de múltiples campos indexados a la vez.
Evaluar
-
30. Azure AI Search
Azure AI Search, anteriormente conocido como Cognitive Search, es un servicio de búsqueda basado en la nube diseñado para manejar datos estructurados y no estructurado como bases de conocimientos, particularmente en configuraciones de retrieval augmented generation (RAG). Soporta varios tipos de búsqueda, como búsqueda por palabras clave, vectorial e híbrida, lo que consideramos que será cada vez más importante. El servicio es capaz de ingerir automáticamente formatos de datos no estructurados de los más comunes, como PDF, DOC y PPT, lo que agiliza el proceso de creación de contenidos con capacidad de búsqueda. Además, se integra con otros servicios de Azure, como Azure OpenAI, permitiendo a los usuarios construir aplicaciones con un esfuerzo de integración manual mínimo. Desde nuestra experiencia, Azure AI Search funciona de forma fiable y es idónea para proyectos alojados en el entorno Azure. A través de sus capacidades personalizadas, los usuarios pueden adicionalmente definir pasos específicos para el procesamiento de datos. En general, si trabajas en el ecosistema Azure y necesitas una solución de búsqueda robusta para una aplicación RAG, vale la pena considerar Azure AI Search.
-
31. Databricks Delta Live Tables
Databricks Delta Live Tables es un framework declarativo diseñado para construir pipelines de procesamiento de datos que sean confiables, mantenibles y comprobables. Permite a los ingenieros de datos definir transformaciones de datos utilizando un enfoque declarativo y gestiona automáticamente la infraestructura subyacente y el flujo de datos. Una de las características más destacadas de Delta Live Tables es su robusta capacidad de monitoreo. Proporciona un Grafo Acíclico Dirigido (DAG) de todo tu pipeline de datos, representando visualmente el movimiento de datos desde la fuente hasta las tablas finales. Esta visibilidad es crucial para pipelines complejas, ayudando a los ingenieros de datos y a los científicos de datos a rastrear la procedencia y las dependencias de los datos. Delta Live Tables está profundamente integrado en el ecosistema de Databricks, lo que también presenta algunos desafíos para personalizar las interfaces. Recomendamos a los equipos evaluar cuidadosamente la compatibilidad de las interfaces de entrada y salida antes de usar Delta Live Tables.
-
32. Elastisys Compliant Kubernetes
Elastisys Compliant Kubernetes es una distribución especializada de Kubernetes que está diseñada para cumplir con requerimientos regulatorios y de cumplimiento rigurosos, particularmente para organizaciones que operan en industrias altamente reguladas tales como salud, finanzas o gobierno. Tiene procesos de seguridad automatizados, proporciona soporte a entornos de múltiples nubes (multicloud) y on-premise y está construido sobre una arquitectura de seguridad de confianza cero. El énfasis en cumplimiento incorporado para leyes tales como GDPR y HIPAA y controles como ISO27001 la convierte en una opción atractiva para las empresas que necesiten un entorno de Kubernetes seguro, conforme a regulaciones y confiable.
-
33. FoundationDB
FoundationDB es una base de datos multimodelo adquirida por Apple en 2015 y luego liberada como código abierto en abril de 2018. El núcleo de FoundationDB es un almacén distribuido de clave-valor, lo cual proporciona transacciones con serialización estricta. Desde que lo mencionamos por primera vez en el Radar, ha experimentado mejoras significativas — incluyendo distribuciones de datos inteligentes para evitar hotspots de escritura, un nuevo motor de almacenamiento, optimizaciones de rendimiento y soporte para replicación en múltiples regiones. Estamos utilizando FoundationDB en uno de nuestros proyectos en curso y estamos muy impresionados con su arquitectura modular. Esta arquitectura nos permite escalar diferentes partes del clúster de manera independiente. Por ejemplo, podemos ajustar el número de registros de transacciones, servidores de almacenamiento y proxies en función de nuestra carga de trabajo y hardware específicos . A pesar de sus extensas funcionalidades, FoundationDB sigue siendo notablemente sencillo de ejecutar y operar en grandes clústers.
-
34. Golem
La computación duradera, un movimiento reciente en computación distribuida, usa un estilo de arquitectura de máquina de estados explícita para persistir la memoria de servidores serverless para una mejor tolerancia a fallas y recuperación. Golem es uno de los promotores de este movimiento. El concepto puede funcionar en algunos escenarios, como sagas de microservicios de larga duración o flujos de trabajo de larga duración en la orquestación de agentes de IA. Hemos evaluado Temporal en radares anteriores para fines similares y Golem es otra opción. Con Golem puedes escribir componentes WebAssembly en cualquier lenguaje compatible, además de que Golem es determinista y admite tiempos de inicio rápidos. Creemos que Golem es una plataforma emocionante que vale la pena evaluar.
-
35. Iggy
Iggy, una plataforma de streaming de mensajes con persistencia escrita en Rust, es un proyecto relativamente nuevo con características interesantes. Soporta características como múltiples streams, tópicos y particiones, máximo una entrega, expiración de mensajes y soporte para TLS sobre los protocolos QUIC, TCP y HTTP. Iggy se ejecuta en un único servidor ofreciendo un alto rendimiento para operaciones de lectura y escritura. Con el próximo soporte a clusterización y a io_uring, Iggy puede ser una una alternativa potencial a Kafka.
-
36. Iroh
Iroh es un sistema de almacenamiento de archivos distribuido y entrega de contenido relativamente nuevo, diseñado como una evolución de sistemas descentralizados existentes como IPFS (InterPlanetary File System). Tanto Iroh como IPFS se pueden utilizar para crear redes descentralizadas para almacenar, compartir y acceder a contenido direccionado utilizando identificadores de contenido opacos. Sin embargo, Iroh elimina algunas de las limitaciones de las implementaciones de IPFS, como no tener un tamaño máximo de bloque y proporcionar un mecanismo de sincronización de datos a través de la reconciliación de conjuntos basada en rangos sobre documentos. El roadmap del proyecto incluye llevar la tecnología al navegador a través de WASM, lo que plantea algunas posibilidades interesantes para incorporar la descentralización en aplicaciones web. Si no se desea alojar propios nodos de Iroh, se puede utilizar su servicio en la nube, iroh.network. Ya hay varios SDKs disponibles en una variedad de lenguajes, y uno de los objetivos es ser más amigable para el usuario y más fácil de usar que los sistemas IPFS alternativos. Aunque Iroh aún está en sus primeras etapas, vale la pena seguirlo de cerca, ya que podría convertirse en un actor importante en el espacio de almacenamiento descentralizado.
-
37. Plataformas de modelos de visión de gran tamaño (LVM)
Los modelos de lenguaje de gran tamaño (LLMs, por sus siglas en inglés), han captado tanta de nuestra atención, que tendemos a pasar por alto los avances en los modelos de visión de gran tamaño (LVMs). Estos modelos pueden ser usados para segmentar, sintetizar, reconstruir y analizar videos e imágenes, a veces en combinación con modelos de difusión o redes neuronales convolucionales estándar. A pesar del potencial de las LVMs para revolucionar la manera que trabajamos con datos visuales, aún nos enfrentamos a retos significativos al adaptarlos y aplicarlos en ambientes de producción. Los datos de video, por ejemplo, presentan retos de ingeniería únicos para recolectar datos de entrenamiento, segmentar y etiquetar objetos, refinar modelos y luego desplegar los modelos resultantes y monitorearlos en producción. Así que mientras los LLMs se prestan a simples interfaces chat o APIs de texto plano, un ingeniero de visión computarizada o ingeniero de datos debe manejar, versionar, anotar y analizar grandes cantidades de datos de video; este trabajo requiere de una interfaz visual. Las plataformas LVM son una nueva categoría de herramientas y servicios - incluyendo V7, Nvidia Deepstream SDK y Roboflow — que surgen para atender estos retos. Deepstream y Roboflow son particularmente interesantes para nosotros, dado que combinan un ambiente de desarrollo con interfaz de usuario gráfica integrada para el manejo y creación de anotaciones en video con un conjunto de APIs REST, de Python o C++ para invocar los modelos desde el código de la aplicación.
-
38. OpenBCI Galea
Hay un creciente interés en el uso de interfaces cerebro-computadora (BCIs) y su potencial aplicación en tecnologías de asistencia. Las tecnologías no invasivas que utilizan electroencefalografía (EEG) y otras señales electrofísicas ofrecen una alternativa de menor riesgo a los implantes cerebrales para aquellos que se están recuperando de lesiones. Ahora están surgiendo plataformas sobre las cuales investigadores y emprendedores pueden desarrollar aplicaciones innovadoras sin tener que preocuparse por los desafíos de procesamiento e integración de señales a bajo nivel. Ejemplos de tales plataformas son Emotiv y OpenBCI, que ofrecen hardware y software de código abierto para desarrollar aplicaciones BCI. El último producto de OpenBCI, el OpenBCI Galea, combina BCI con las capacidades de un auricular de realidad virtual. Ofrece a los desarrolladores acceso a una variedad de flujos de datos fisiológicos sincronizados en el tiempo, junto con sensores de posicionamiento espacial y seguimiento ocular. Esta amplia gama de datos de sensores se puede utilizar para controlar una variedad de dispositivos físicos y digitales. El SDK es compatible con varios lenguajes y hace que los datos de los sensores estén disponibles en Unity o Unreal. Estamos entusiasmados de ver esta capacidad ofrecida en una plataforma de código abierto, brindando a los investigadores acceso a las herramientas y datos que necesitan para innovar en este campo.
-
39. PGLite
PGLite es una compilación en WASM de una base de datos PostgreSQL. A diferencia de intentos anteriores que requerían una máquina virtual Linux, PGLite construye directamente PostgreSQL en WASM, lo que permite ejecutarlo completamente en el navegador web. Se puede crear una base de datos efímera en la memoria o persistir en el disco mediante indexedDB. Desde la última vez que mencionamos local-first applications en el Radar, las herramientas han evolucionado considerablemente. Con Electric y PGlite, ahora se puede crear aplicaciones locales y reactivas en PostgreSQL.
-
40. SpinKube
SpinKube es un entorno de ejecución serverless de código abierto para WebAssembly en Kubernetes. Mientras Kubernetes ofrece capacidades de auto escalado robustas, el tiempo de arranque en frío de los contenedores aún puede requerir un aprovisionamiento previo para cargas más elevadas. Creemos que el tiempo de inicio de milisegundos de WebAssembly proporciona una solución serverless más dinámica y flexible para cargas de trabajo bajo demanda. Desde nuestra discusión anterior de Spin, el ecosistema WebAssembly ha hecho avances significativos. Nos entusiasma destacar SpinKube, una plataforma que simplifica el desarrollo y despliegue de cargas de trabajo basadas en WebAssembly en Kubernetes.
-
41. Unblocked
Unblocked ofrece descubrimientos de los ciclos de vida del desarrollo del software (SDLC) y de artefactos. Se integra con herramientas comunes de gestión del ciclo de vida de las aplicaciones (ALM) y con herramientas de colaboración para ayudar a los equipos a comprender las bases de código y los recursos relacionados. Mejora la comprensión del código al brindar un contexto relevante e inmediato sobre el código, lo que facilita la navegación y la comprensión de sistemas complejos. Los equipos de ingeniería pueden acceder de manera segura y conforme a las normas a debates, activos y documentos relacionados con su trabajo. Unblocked también captura y comparte el conocimiento local que a menudo reside en miembros experimentados del equipo, lo que hace que la información valiosa sea accesible para todos, independientemente del nivel de experiencia.
Resistir
¿No encontraste algo que esperabas ver?
Cada edición del Radar presenta noticias que reflejan lo que hemos encontrado durante los seis meses anteriores. Es posible que ya hayamos cubierto lo que busca en un Radar anterior. A veces seleccionamos cosas simplemente porque hay demasiadas de las que hablar. También es posible que falte algún dato porque el Radar refleja nuestra experiencia, no se basa en un análisis exhaustivo del mercado.
