平台
采纳
试验
-
24. Databricks Unity Catalog
Databricks Unity Catalog 是一种用于数据治理的解决方案，适用于在lakehouse 中的资产，例如文件、表或机器学习模型。它是开源 Unity Catalog的托管版本，可用于管理和查询存储在外部存储或由 Databricks 管理的数据。过去，我们的团队使用了多种数据管理解决方案，如 Hive metastore或 Microsoft Purview。然而，Unity Catalog 对治理、元数据存储管理和数据发现的综合支持，使其颇具吸引力，因为它减少了管理多个工具的需求。我们团队发现的一个问题是 Databricks 托管的 Unity Catalog 缺乏自动灾难恢复功能。虽然他们能够自行配置备份和恢复功能，但由 Databricks 提供的解决方案会更加便捷。需要注意的是，虽然这些治理平台通常会实施集中化的解决方案，以确保工作空间和工作负载之间的一致性，但可以通过让各个团队管理自己的资产，将治理责任下放，从而实现联邦化的治理模式。
-
25. FastChat
FastChat 是一个开放平台，用于训练、服务和评估大型语言模型。我们的团队利用其模型服务能力来托管多个模型 — Llama 3.1 (8B and 70B) 、Mistral 7B 和 Llama-SQL — 出于不同的目的，所有模型均以一致的 OpenAI API 格式运行。FastChat 采用控制器-工作者架构，允许多个工作者托管不同的模型。它支持不同类型的工作者，如 vLLM、LiteLLM 和 MLX。我们选择使用 vLLM 模型工作者，以利用其在高吞吐量的优势。根据使用案例的不同（比如延迟或吞吐量），可以创建和扩展不同类型的 FastChat 模型工作者。例如，用于开发者 IDE 中代码建议的模型需要低延迟，这就可以通过多个 FastChat 工作者进行扩展，以有效处理并发请求。相反，用于 Text-to-SQL 的模型由于需求较低或性能要求不同，则不需要多个工作者。我们的团队利用 FastChat 的扩展能力进行 A/B 测试。我们用相同的模型但不同的超参数（Hyperparameter）值配置 FastChat 工作者，并向每个工作者提出相同的问题，从而识别最佳的超参数（Hyperparameter）值。在在线服务中切换模型时，我们进行 A/B 测试以确保平滑迁移。 例如，我们最近将代码建议的模型从 CodeLlama 70B 迁移到 Llama 3.1 70B。通过同时运行这两个模型并比较输出，我们验证了新模型在性能上达到了或超过了之前的模型，同时没有打断开发者的使用体验。
-
26. GCP Vertex AI Agent Builder
GCP Vertex AI Agent Builder 提供了一个灵活的平台，可以通过自然语言或代码优先的方式创建 AI 代理。该工具通过第三方连接器无缝集成企业数据，并且拥有构建、原型设计和部署 AI 代理所需的全部工具。随着对 AI 代理需求的增加，许多团队在理解其优势和实施上面临困难。GCP Vertex AI Agent Builder 使开发者能够更快地进行代理的原型设计，并以最小的设置处理复杂的数据任务。我们的开发者发现它特别适用于构建基于代理的系统，例如知识库或自动化支持系统，这些系统可以高效地管理结构化和非结构化数据。因此，这是一款开发 AI 驱动解决方案的有价值工具。
-
27. Langfuse
LLM（大型语言模型）像黑箱一样运作，非常难以确定它的行为。可观察性对于打开这个黑箱并理解 LLM 应用程序在生产环境中的运作至关重要。我们团队在使用 Langfuse 方面有过积极的体验，我们曾用它来观察、监控和评估基于 LLM 的应用程序。它的追踪、分析和评估能力使我们能够分析完成性能和准确性，管理成本和延迟，并理解生产使用模式，从而促进持续的数据驱动改进。仪器数据提供了请求-响应流和中间步骤的完整可追溯性，这可以作为测试数据，在部署新变更之前验证应用程序。我们已将 Langfuse 与 RAG（检索增强生成） 等 LLM 架构，以及 大语言模型驱动的自主代理 一起使用。 例如，在基于 RAG 的应用程序中，分析低评分的对话追踪有助于识别架构的哪个部分（如预检索、检索或生成）需要改进。当然，在这一领域，另一个值得考虑的选项是 Langsmith。
评估
-
30. Azure AI Search
Azure AI Search，前称 Cognitive Search，是一个云端搜索服务，专为处理结构化和非结构化数据而设计，适用于知识库等应用场景，尤其适用于检索增强生成 (RAG) 设置。它支持多种搜索方式，包括关键字搜索、向量搜索和混合搜索，我们认为这些功能将变得越来越重要。该服务可以自动导入常见的非结构化数据格式，例如 PDF、DOC 和 PPT，从而简化创建可搜索内容的流程。此外，它还与其他 Azure 服务集成，如 Azure OpenAI，使用户能够以最少的手动集成工作构建应用程序。根据我们的经验，Azure AI Search 性能可靠，非常适合在 Azure 环境中托管的项目。通过其定制技能，用户还可以定义特定的数据处理步骤。总体而言，如果您在 Azure 生态系统中工作并需要为 RAG 应用构建强大的搜索解决方案，Azure AI Search 值得考虑。
-
31. Databricks Delta Live Tables
Databricks Delta Live Tables是一个声明式框架，旨在构建可靠、可维护和可测试的数据处理管道。它允许数据工程师使用声明式方法定义数据转换，并自动管理底层基础设施和数据流。Delta Live Tables 的一个突出特点是其强大的监控能力。它提供了整个数据管道的有向无环图 (DAG)，直观地表示从源到最终表的数据移动。这种可见性对于复杂的流水线至关重要，帮助数据工程师和数据科学家跟踪数据血缘和依赖关系。Delta Live Tables 深度集成到 Databricks 生态系统中，这也带来了一些定制接口的挑战。我们建议团队在使用 Delta Live Tables 之前仔细评估输入和输出接口的兼容性。
-
32. Elastisys Compliant Kubernetes
Elastisys Compliant Kubernetes 是一个专门设计的 Kubernetes 发行版，旨在满足严格的监管和合规要求，尤其适用于医疗、金融和政府等高度监管的行业。它自动化了安全流程，支持多云和本地部署，并建立在零信任安全架构之上。由于其内置符合 GDPR 和 HIPAA 等法律法规的要求，并具备 ISO27001 等控制措施，对于需要安全、合规且可靠的 Kubernetes 环境的公司来说，这是一个具有吸引力的选择。
-
33. FoundationDB
FoundationDB 是一个多模型数据库，2015 年被苹果公司收购，并于 2018 年 4 月开源。FoundationDB 的核心是一个分布式键值存储，提供严格的可序列化事务。自从我们在技术雷达中首次提到它以来，它已经有了显著的改进，包括智能数据分布以避免写入热点、新的存储引擎、性能优化以及 多区域复制 支持。我们正在一个正在进行的项目中使用 FoundationDB，并对其解耦架构 印象深刻。该架构允许我们独立扩展集群的不同部分。例如，我们可以根据特定的工作负载和硬件调整事务日志、存储服务器和代理的数量。尽管功能丰富，FoundationDB 仍然非常易于运行和操作大型集群。
-
34. Golem
持久计算（Durable computing）是分布式计算中的一个新兴运动，它使用显式状态机的架构风格来持久化无服务器计算的内存，以提高容错性和恢复能力。Golem是推动这一运动的倡导者之一。该概念在某些场景下有效，例如长时间运行的微服务 saga 或 AI 代理的长时间工作流。在之前的雷达报告中，我们评估了Temporal以实现类似目的，而 Golem 是另一个选择。使用 Golem，您可以用除 Golem 之外的任何支持语言编写WebAssembly 组件，同时 Golem 具有确定性并支持快速启动时间。我们认为 Golem 是一个值得评估的令人兴奋的平台。
-
36. Iroh
Iroh 是一个相对较新的分布式文件存储和内容交付系统，旨在作为现有去中心化系统，如IPFS (InterPlanetary File System)的演进。Iroh 和 IPFS 都可以用来创建去中心化网络，以存储、共享和访问使用不透明内容标识符寻址的内容。然而，Iroh 去掉了 IPFS 的一些实现限制 ，例如没有最大区块大小，并通过对文档进行基于范围的集合重整 提供数据同步机制。该项目的路线图包括通过 WASM 将技术带入浏览器，这为在 Web 应用程序中构建去中心化带来了令人兴奋的可能性。如果您不想自己托管 Iroh 节点，可以使用其云服务 iroh.network。目前已经有多个 SDK 可供多种语言使用，其目标是比替代的 IPFS 系统更具用户友好性和易用性。尽管 Iroh 仍处于早期阶段，但值得关注，因为它有可能成为去中心化存储领域的重要参与者。
-
37. 大型视觉模型(LVM)平台
大语言模型（LLMs）在当前吸引了如此多的关注，以至于我们往往忽略了大型视觉模型（LVMs）的持续发展。这些模型可用于分割、合成、重建和分析视频流和图像，有时还结合了扩散模型或标准卷积神经网络。尽管 LVMs 有潜力彻底改变我们处理视觉数据的方式，但在生产环境中适应和应用这些模型仍面临重大挑战。例如，视频数据在收集训练数据、分割和标注对象、微调模型以及部署和监控这些模型时，带来了独特的工程挑战。与 LLMs 更适合简单的聊天界面或纯文本 API 不同，计算机视觉工程师或数据科学家必须管理、版本化、注释和分析大量的视频流数据，这项工作需要一个可视化界面。大型视觉模型(LVM)平台是新兴的一类工具和服务，其中包括 V7、 Nvidia Deepstream SDK 和 Roboflow，这些平台正在解决这些挑战。Deepstream 和 Roboflow 对我们特别有吸引力，因为它们结合了用于管理和标注视频流的集成 GUI 开发环境，同时提供了 Python、C++或 REST API 以便从应用代码中调用模型。
-
38. OpenBCI Galea
对脑机接口（BCI）及其在辅助技术中的潜在应用的兴趣正在不断增长。使用脑电图（EEG）和其他电生理信号的非侵入性技术为恢复中的患者提供了一种比脑植入物更低风险的替代方案。现在，研究人员和企业家可以在新兴的平台上构建创新应用，而不必担心低级信号处理和集成挑战。这样的平台的例子包括Emotive 和 OpenBCI，它们提供开源硬件和软件用于构建 BCI 应用程序。OpenBCI 的最新产品 OpenBCI Galea 将 BCI 与 VR 头显的功能结合在一起。它为开发人员提供了一系列时间锁定的生理数据流，以及空间定位传感器和眼动追踪。这些传感器数据可以用于控制各种物理和数字设备。该 SDK 支持多种语言，并在Unity 或 Unreal 中提供传感器数据。我们很高兴看到这一能力在开源平台上提供，这样研究人员就能获得他们在这一领域创新所需的工具和数据。
-
40. SpinKube
SpinKube 是一个在 Kubernetes 上运行的开源无服务器（serverless）WebAssembly 运行时。虽然 Kubernetes 提供了强大的自动扩展能力，但容器的冷启动时间仍然可能需要预先配置以应对高峰负载。 我们认为，WebAssembly 的毫秒级启动时间为按需工作负载提供了更加动态和灵活的无服务器（serverless）解决方案。 自从我们上次讨论 Spin 以来， WebAssembly 生态系统已经取得了显著的进展。我们很高兴推荐 SpinKube 这一平台，它简化了在 Kubernetes 上基于 WebAssembly 工作负载的开发和部署过程。
暂缓
无法找到需要的信息？
每期技术雷达中的条目都在试图反映我们在过去六个月中的技术洞见，或许你所搜索的内容已经在前几期中出现过。由于我们有太多想要谈论的内容，有时候不得不剔除一些长期没有发生变化的条目。技术雷达来自于我们的主观经验，而非全面的市场分析，所以你可能会找不到自己最在意的技术条目。
