Plataformas
Adoptar
Probar
-
24. Databricks Unity Catalog
Databricks Unity Catalog es una solución de gobernanza de datos para recursos, tales como archivos, tablas o modelos de machine learning presentes en un lakehouse. Es una versión administrada de la solución open-source Unity Catalog que puede ser usada para administrar y consultar datos guardados externamente o bajo el entorno de Databricks. Nuestros equipos han trabajado con una variedad de soluciones para administración de datos en el pasado, tales como Hive metastore o Microsoft Purview. Sin embargo, el soporte combinado de Unity Catalog para gobernanza, administración de metastore y data discovery la hacen atractiva, debido a que reduce la necesidad de administrar diferentes herramientas. Una complicación que nuestro equipo pudo descubrir en Unity Catalog administrada por Databricks, fue la falta de recuperación de desastre automática. Si bien se pudo configurar una funcionalidad propia de respaldo y restauración, habría sido más conveniente tener una solución provista por Databricks. Hay que tener en cuenta que a pesar de que estas plataformas de gobernanza usualmente implementan una solución centralizada para asegurar la consistencia entre workspaces y workloads, la responsabilidad de gobernar puede ocurrir de forma federada, habilitando a equipos individuales a administrar sus propios recursos.
-
25. FastChat
FastChat es una plataforma abierta para entrenar, servir y evaluar grandes modelos de lenguaje. Nuestros equipos usan la funcionalidad de servir modelos para alojar distintos modelos — Llama 3.1 (8B y 70B), Mistral 7B y Llama-SQL — con distintos propósitos, todos en el formato consistente de OpenAI API. FastChat opera en una arquitectura ejecutor-controlador, permitiendo a múltiples ejecutores alojar modelos diferentes. Soporta tipos de ejecutores como vLLM, LiteLLM y MLX. Nosotros usamos los ejecutores del modelos vLLM por su alto rendimiento. Dependiendo del caso de uso — latencia o rendimiento — se pueden crear o escalar distintos tipos de ejecutores del modelo FastChat. Por ejemplo, el modelo usado para sugerencias de código en los entornos de desarrollo requiere una latencia baja y puede escalarse con múltiples ejecutores de FastChat para gestionar peticiones concurrentes eficientemente. Por el contrario, el modelo usado para Text-to-SQL no necesita muchos ejecutores por su baja demanda o requisitos de rendimiento distintos. Nuestros equipos se valen de la escalabilidad de FastChat para hacer pruebas A/B. Configuramos ejecutores FastChat con el mismo modelo pero con distintos valores para los hiper parámetros y planteamos las mismas preguntas a cada uno, identificando así hiper parámetros óptimos. Cuando migramos modelos de servicios en producción, llevamos a cabo pruebas A/B para asegurar que no haya interrupciones del servicio. Por ejemplo, migramos hace poco de CodeLlama 70B a Llama 3.1 70B para sugerencias de código. Ejecutando ambos modelos concurrentemente y comparando sus salidas, verificamos que el nuevo modelo cumplía o excedía el rendimiento del modelo anterior sin afectar la experiencia de desarrollo.
-
26. Constructor de Agentes de GCP Vertex AI
El Constructor de Agentes de GCP Vertex AI proporciona una plataforma flexible para crear agentes de IA utilizando tanto lenguaje natural como un enfoque basado en código. Esta herramienta se integra perfectamente con datos de negocio a través de conectores de terceros y tiene todas las herramientas necesarias para construir, prototipar y desplegar agentes de IA. A medida que crece la necesidad de agentes de IA, muchos equipos tienen problemas para entender sus beneficios e implementación. Por eso, el Constructor de Agentes de GCP Vertex AI facilita a los desarrolladores el prototipado rápido de agentes, así como el manejo de tareas de datos complejas con una mínima configuración. Nuestros desarrolladores lo han encontrado particularmente útil para construir sistemas basados en agentes, como bases de conocimiento o sistemas de soporte automatizados, que manejan eficientemente tanto datos estructurados como no estructurados, lo que lo convierte en una valiosa herramienta para desarrollar soluciones basadas en IA.
-
27. Langfuse
Los LLMs funcionan como cajas negras, lo que dificulta determinar sus comportamientos. La observabilidad es crucial para abrir esta caja negra y comprender cómo las aplicaciones LLM operan en producción. Nuestros equipos han tenido experiencias positivas con Langfuse observando, monitoreando y evaluando aplicaciones basadas en LLMs. Su trazabilidad, análisis y capacidades de evaluación nos permiten analizar el rendimiento y precisión, administrar costos y latencia, y comprender patrones usados en producción, como por ejemplo, facilitando continuas mejoras basadas en datos. Los datos de instrumentación proporcionan una trazabilidad completa del flujo de petición-respuesta y de los pasos intermedios, la cual puede ser usada para datos de prueba, validando la aplicación antes de desplegar los cambios. Nosotros hemos utilizado Langfuse con RAG (generacion mejorada por recuperacion), entre otras arquitecturas de LLM, y agentes autónomos impulsados por LLMs.
En una aplicación basada en RAG, por ejemplo, analizar trazas de conversaciones con puntuación baja, ayuda a identificar qué partes de la arquitectura - pre-entrenado, entrenado o generación - necesitan refinamiento. Otra opción que merece la pena considerar en este ámbito es Langsmith.
-
28. Qdrant
Qdrant es un motor de búsqueda de similitud vectorial y base de datos de código abierto escrito en Rust. Es compatible con una amplia y densa gama de modelos de incrustación vectorial texto multimodales. Nuestros equipos han utilizado modelos de incrustación de código abierto como MiniLM-v6 y BGE para múltiples bases de conocimiento de productos. Utilizamos Qdrant como almacén vectorial empresarial con multi-tenancy para almacenar incrustaciones vectoriales como colecciones separadas, aislando la base de conocimiento de cada producto en el almacenamiento. Las políticas de acceso de los usuarios se gestionan en la capa de aplicación.
-
29. Vespa
Vespa es un motor de búsqueda de código abierto y una plataforma de procesamiento de big data. Es especialmente adecuado para aplicaciones que requieren baja latencia y alto rendimiento. A nuestros equipos les gusta la capacidad de Vespa para implementar búsquedas híbridas con múltiples técnicas de recuperación, filtrar y ordenar eficazmente muchos tipos de metadatos, implementar ranking multifase, indexar múltiples vectores (por ejemplo, para cada chunk) por documento sin duplicar todos los metadatos en documentos indexados por separado y recuperar datos de múltiples campos indexados a la vez.
Evaluar
-
30. Azure AI Search
Azure AI Search, formerly known as Cognitive Search, is a cloud-based search service designed to handle structured and unstructured data for applications like knowledge bases, particularly in retrieval-augmented generation (RAG) setups. It supports various types of search, including keyword, vector and hybrid search, which we believe will become increasingly important. The service automatically ingests common unstructured data formats including PDF, DOC and PPT, streamlining the process of creating searchable content. Additionally, it integrates with other Azure services, such as Azure OpenAI, allowing users to build applications with minimal manual integration effort. From our experience, Azure AI Search performs reliably and is well-suited for projects hosted in the Azure environment. Through its custom skills, users can also define specific data processing steps. Overall, if you're working within the Azure ecosystem and need a robust search solution for a RAG application, Azure AI Search is worth considering.
-
31. Databricks Delta Live Tables
Databricks Delta Live Tables is a declarative framework designed for building reliable, maintainable and testable data processing pipelines. It allows data engineers to define data transformations using a declarative approach and automatically manages the underlying infrastructure and data flow. One of the standout features of Delta Live Tables is its robust monitoring capabilities. It provides a directed acyclic graph (DAG) of your entire data pipeline, visually representing data movement from source to final tables. This visibility is crucial for complex pipelines, helping data engineers and data scientists track data lineage and dependencies. Delta Live Tables is deeply integrated into the Databricks ecosystem, which also brings some challenges to customizing interfaces. We recommend teams carefully evaluate the compatibility of input and output interfaces before using Delta Live Tables.
-
32. Elastisys Compliant Kubernetes
Elastisys Compliant Kubernetes is a specialized Kubernetes distribution designed to meet stringent regulatory and compliance requirements, particularly for organizations operating in highly regulated industries such as healthcare, finance and government. It has automated security processes, provides multicloud and on-premises support and is built on top of a zero-trust security architecture. The emphasis on built-in compliance with laws such as GDPR and HIPAA and controls like ISO27001 makes it an attractive option for companies that need a secure, compliant and reliable Kubernetes environment.
-
33. FoundationDB
FoundationDB is a multi-model database, acquired by Apple in 2015 and then open-sourced in April 2018. The core of FoundationDB is a distributed key-value store, which provides strict serializability transactions. Since we first mentioned it in the Radar, it has seen significant improvements — including smart data distributions to avoid write hotspots, a new storage engine, performance optimizations and multi-region replication support. We're using FoundationDB in one of our ongoing projects and are very impressed by its unbundled architecture. This architecture allows us to scale different parts of the cluster independently. For example, we can adjust the number of transaction logs, storage servers and proxies based on our specific workload and hardware. Despite its extensive features, FoundationDB remains remarkably easy to run and operate large clusters.
-
34. Golem
Durable computing, a recent movement in distributed computing, uses an architecture style of explicit state machine to persist the memory of serverless servers for better fault tolerance and recovery. Golem is one of the promoters of this movement. The concept can work in some scenarios, such as long-running microservices sagas or long-running workflows in AI agent orchestration. We've evaluated Temporal previously for similar purposes and Golem is another choice. With Golem you can write WebAssembly components in any supported language besides Golem being deterministic and supporting fast startup times. We think Golem is an exciting platform worth evaluating.
-
35. Iggy
Iggy, a persistent message streaming platform written in Rust, is a relatively new project with impressive features. It already supports multiple streams, topics and partitions, at-most-once delivery, message expiry and TLS support over QUIC, TCP and HTTP protocols. Running as a single server, Iggy currently achieves high throughput for both read and write operations. With upcoming clustering and io_uring support, Iggy can be a potential alternative to Kafka.
-
36. Iroh
Iroh is a relatively new distributed file storage and content delivery system that’s designed as an evolution of existing decentralized systems like IPFS (InterPlanetary File System). Both Iroh and IPFS can be used to create decentralized networks for storing, sharing and accessing content addressed using opaque content identifiers. However, Iroh removes some of the limitations of IPFS implementations such as having no maximum block size and providing a syncing mechanism for data via range-based set reconciliation over documents. The project's roadmap includes bringing the technology to the browser via WASM, which raises some intriguing possibilities for building decentralization into web applications. If you don't want to host your own Iroh nodes, you can use its cloud service, iroh.network. There are already several SDKs available in a variety of languages, and one goal is to be more user-friendly and easier to use than alternative IPFS systems. Even though Iroh is still in its very early days, it's worth keeping an eye on it, as it could become a significant player in the decentralized storage space.
-
37. Large vision model (LVM) platforms
Large language models (LLMs) grab so much of our attention these days, we tend to overlook ongoing developments in large vision models (LVMs). These models can be used to segment, synthesize, reconstruct and analyze video streams and images, sometimes in combination with diffusion models or standard convolutional neural networks. Despite the potential for LVMs to revolutionize the way we work with visual data, we still face significant challenges in adapting and applying them in production environments. Video data, for instance, presents unique engineering challenges for collecting training data, segmenting and labeling objects, fine-tuning models and then deploying the resulting models and monitoring them in production. So, while LLMs lend themselves to simple chat interfaces or plain text APIs, a computer vision engineer or data scientist must manage, version, annotate and analyze large quantities of streaming video data; this work requires a visual interface. LVM platforms are a new category of tools and services — including V7, Nvidia Deepstream SDK and Roboflow — that have emerged to address these challenges. Deepstream and Roboflow are particularly interesting to us because they combine an integrated GUI development environment for managing and annotating video streams with a set of Python, C++ or REST APIs to invoke the models from application code.
-
38. OpenBCI Galea
There is growing interest in the use of brain-computer interfaces (BCIs) and their potential application to assistive technologies. Non-invasive technologies using electroencephalography (EEG) and other electrophysical signals offer a lower risk alternative to brain implants for those recovering from injuries. Platforms are now emerging on which researchers and entrepreneurs can build innovative applications without having to worry about the low-level signal processing and integration challenges. Examples of such platforms are Emotive and OpenBCI which offer open-source hardware and software for building BCI applications. OpenBCI's latest product, the OpenBCI Galea, combines BCI with the capabilities of a VR headset. It gives developers access to an array of time-locked physiological data streams along with spatial positioning sensors and eye tracking. This wide range of sensor data can then be used to control a variety of physical and digital devices. The SDK supports a range of languages and makes the sensor data available in Unity or Unreal. We're excited to see this capability offered in an open-source platform so researchers have access to the tools and data they need to innovate in this space.
-
39. PGLite
PGLite is a WASM build of a PostgreSQL database. Unlike previous attempts that required a Linux virtual machine, PGLite directly builds PostgreSQL to WASM, allowing you to run it entirely in the web browser. You can either create an ephemeral database in memory or persist it to disk via indexedDB. Since we last mentioned local-first applications in the Radar, the tooling has evolved considerably. With Electric and PGlite, you can now build reactive local-first applications on PostgreSQL.
-
40. SpinKube
SpinKube is an open-source serverless run time for WebAssembly on Kubernetes. While Kubernetes offers robust auto-scaling capabilities, the cold start time of containers can still necessitate pre-provisioning for peak loads. We believe WebAssembly's millisecond startup time provides a more dynamic and flexible serverless solution for on-demand workloads. Since our previous discussion of Spin, the WebAssembly ecosystem has made significant advancements. We're excited to highlight SpinKube, a platform that simplifies the development and deployment of WebAssembly-based workloads on Kubernetes.
-
41. Unblocked
Unblocked provides software development lifecycle (SDLC) asset and artifact discovery. It integrates with common application lifecycle management (ALM) and collaboration tools to help teams understand codebases and related resources. It improves code comprehension by delivering immediate, relevant context about the code, making it easier to navigate and understand complex systems. Engineering teams can securely and compliantly access discussions, assets and documents related to their work. Unblocked also captures and shares local knowledge that often resides with experienced team members, making valuable insights accessible to everyone, regardless of experience level.
Resistir
¿No encontraste algo que esperabas ver?
Cada edición del Radar presenta noticias que reflejan lo que hemos encontrado durante los seis meses anteriores. Es posible que ya hayamos cubierto lo que busca en un Radar anterior. A veces seleccionamos cosas simplemente porque hay demasiadas de las que hablar. También es posible que falte algún dato porque el Radar refleja nuestra experiencia, no se basa en un análisis exhaustivo del mercado.
