Data mesh是一种数据架构方法。在Data mesh中,数据所有权分配给了跨职能的领域团队,然后由跨职能团队向最终用户提供数据产品。
数据网格分散了数据所有权,挑战了集中数据所有权的传统思维(如数据仓库),解决了数据仓库和数据湖的一些质量问题和规模化问题。
它是什么?
Data mesh只是构建数据平台并组建相关团队的一种分布式或联合方法。数据网格消除了传统方法集中构建数据平台造成的问题。
Data mesh借鉴了现代分布式架构和平台思维的经验,推动了先进技术的发展。物联网等在线业务在过去 15 年中迅速发展壮大,数据和数据管理的重要性也随之以指数级速度提升。其中的大量数据需要用新的架构和工具来进行适当管理,数据网格就是管理大量数据的新方法。
传统观点认为,用于分析的大数据需要集中使用,这些数据要全部储存在同一个位置,或者由统一的数据团队进行管理,才能创造供价值。由于需要几乎实时理解几乎随时不断增加的数据,企业面临的压力日益增大,这种集中式方法对企业来说已经不再合适。
Data mesh方法认为,领域专家最了解如何从数据中获得价值。Data mesh方法鼓励领域专家将数据视为可以以自助方式交付给企业其他部门的产品。 这样,其他数据产品团队可以利用数据生成自己的洞见,构建智能应用,或者以新的方式聚合数据,供平台上的其他人使用。
有何益处?
数据网格解决了集中式方法的一些质量问题和伸缩问题。如果数据网格利用得当,企业可基于大数据提出洞见,并在数据分析时激发创新。团队可以自由探索充分利用数据的新方法。
Data mesh方法认为,组建跨职能领域团队是拥有这些数据并提高数据作用的最佳途径。数据所有权(以及将数据作为产品提供给整个企业的要求)可以确保数据管理得当。
需考量的因素?
数据网格具有复杂性,企业需要转变思维模式,鼓励领域团队负责自己的数据,并以易于使用的方式提供数据。您需要采取某种形式的联合治理,以确保整个企业能共享各领域团队所拥有的数据产品。
由于数据将归领域团队所有,因此不再有哪个中央实体能拥有客户数据——相反,客户数据必须基于整个企业创建的各种数据产品构建起来。您可能需要建立某种激励机制,来奖励将数据作为产品来提供或利用的领域,同时还需要有明确的组织设计来支持这个激励机制。
如何应用?
Data mesh非常适合拥有涉及多个领域、团队和系统的大型数据集的企业。 可以看到,数据网格在零售、卫生和保险等行业日益受到关注。这些行业中的组织能从各种来源获取数据,不仅迫切需要从数据中获得价值,还需要在获取和创建新数据集的同时,扩大平台,更快地产生更多洞见。
Would you like to suggest a topic to be decoded?
Just leave your email address and we'll be in touch the moment it's ready.