很多企业正在使用Data Mesh这种新型解决方案更快速的获得业务洞见。
几十年来,很多企业对数据架构进行了大规模投资,倾注大量资源来搭建架构,力求迅速将不断增长的海量数据转化为切实可行的洞见。
通常,这些投资往往并不能实现预期价值。《麻省理工科技评论》(MIT Technology Review)和Databricks今年早些时候发布的一项研究揭示,只有13%的企业在践行数据战略方面表现出色。NewVantage Partners去年发布的一项研究报告表明,只有26.8%的公司表示在自己的企业中成功建立了强大的数据文化。
对于许多企业,他们所选择的集中式数据架构,例如数据仓库和数据湖,正是问题频发的根源所在。数据录入时间冗长,分析瓶颈难以突破,集中化团队超负荷运转,数据质量问题和发现难题层出不穷,这些都可能是集中式架构产生的“副作用”。
最重要的是,在匆忙录入和处理数据的过程中,可能会忽略架构所生成数据产品的可用性这一关键目标,导致各领域团队发现难以高效利用这些数据产品。此外,发展各领域团队的能力对于创造价值至关重要,但在采用集中式架构的情况下,可能会忽视这一点。
因此,越来越多的企业开始寻找更为灵活的解决方案,而这正是Data Mesh的用武之地。
Data Mesh是什么?
Data Mesh是一种去中心化的数据架构方法,最早由Thoughtworks的Zhamak Dehghani提出。在Data Mesh中,数据并不位于一个集中式数据池,而是分解成不同的“数据产品”,各领域团队分别拥有并管理与自己最为接近的“数据产品”。
Zhamak提出了Data Mesh的四项基本原则,它包括:
- 采用面向领域的去中心化数据架构。在Data Mesh中,数据由与之最为接近的团队拥有并控制,免除了数据生产者和消费者之间的各种环节和交接。
以产品的形式管理数据。借助定制产品,需要数据的团队可以轻松获得数据。这样,各领域团队能够采取自助服务的形式,快速、轻松地访问自己所需的任何数据。
部署自助式数据基础设施。Data Mesh旨在实现自助服务,并为团队提供自动化手段来运作数据和从数据中挖掘价值,而无需集中式专家手动协助。
实施联合治理。在平台层自动进行治理,既能确保维持各项标准,同时又不影响灵活性或限制各个领域对数据的使用。
这一切对您的企业意味着什么?
作为一种架构方法,Data Mesh完全契合当今企业想要实现的数据目标。它拉近了数据生产者与数据消费者之间的距离,并使各领域团队能够采用自助服务、获取高度相关的数据产品。因此,Data Mesh可以很好地帮助企业建立数据驱动的敏捷创新文化和实验文化,并将这类文化融入整个企业当中。
以下是Data Mesh可为企业带来的一些变革性优势:
更快速做出更明智的决策
在集中式数据架构中,从数据创建到根据数据采取行动,需要经历繁杂的专业化人工操作环节。数据提取或录入工作量庞大,而需要数据的团队往往并不清楚这些环节;即使有数据可用,团队也可能需要等待漫长的分析周期才能将其转化为洞见。
有了Data Mesh,很多环节都可以实现自动化或者会失去必要性,从而都可省去。各领域团队自行录入数据,并自行管理数据产品。他们清楚自己有哪些数据,并且可以随时用任何方式自行运作数据。这与集中式数据架构形成鲜明对比,集中式数据架构假设数据视图具有通用性,所以往往生成标准化的数据视图;而在Data Mesh的加持下,各领域团队可以按照自己的意愿采用定制化数据视图。
因此,Data Mesh可显著加速企业的决策过程。各领域团队能够更快地运作数据并依据数据采取行动,企业由此获得竞争优势,并能从收集和持有的大量数据中挖掘更大价值。
某大型金融服务机构利用Data Mesh架构,显著缩短了实现价值的平均时间,效果几乎立竿见影。由于可以获取面向领域的数据产品,并且可以自由快速地运作数据,高管们能够提出更多的问题,获得更可靠的答案,并且比以前更快地根据宝贵洞见采取行动。各领域团队还能够将分析数据直接融入客户数字体验中,从而在市场上提供真正的差异化产品。
打造真正的数据驱动型创新文化
对于像Data Mesh这样去中心化架构,一项重大优势在于,数据终端用户能够控制数据的管理和使用。
在Data Mesh中,各领域团队处于主导地位。作为数据产品的管理者和控制者,他们可以自由地对数据进行实验。他们可以提出更多问题,模拟更多场景,探索更多数据驱动型“登月”创意(即,根据各种创意持续进行重要创新)。
各领域团队都能积极确保其数据产品尽量连贯并得到良好维护,因为它们直接影响团队的分析能力和成果。因此,在整个组织中,就会形成一种文化:各领域中的每个人都会积极参与提升数据质量、开展实验和突破数据创新界限。
盛宝银行(Saxo Bank)与Thoughtworks合作,打造数据驱动型开放式银行机构,在这个过程中,Data Mesh发挥了重要作用。通过实施Data Mesh原则,解决了数据的可见性、质量和访问方面的种种挑战,使各团队不仅能共同推进打造开放式银行的目标,而且还能不断做出改进。
支持人工智能和机器学习计划
人工智能和机器学习已经从高度复杂的专业技术迅速发展成为广泛应用于现代企业各个层面的必备技术。为了实现价值,人工智能和机器学习都离不开两样东西:高质量的相关数据集,以及能够为这些数据集找到强大用例的创新思维。
当各领域团队分别在Data Mesh中控制各自的数据产品时,就会自然而然地开始建立并维护自己所需的各种数据集,推动实现颠覆性的人工智能和机器学习用例。
此外,由于领域团队负责管理数据,因此在进行人工智能实验和创造强大新用例时,他们面临的障碍就少得多。Data Mesh成为人工智能和机器学习创新的推动者,团队甚至可以自由创建专门用于人工智能和机器学习的数据产品,让比以往更多的团队和更多的领域能够获得人工智能和机器学习能力。
变革始于成功的商业案例
这些变革性优势共同为Data Mesh的强大商业案例奠定了基石,不仅适用性广,而且相关性强,但这却远非Data Mesh所能提供的仅有优势。Data Mesh还非常适用于为企业提供以下帮助:
- 改善数据质量和治理,甚至可以利用专门的数据产品实现许多治理和合规要素的自动化
- 改善整个Data Mesh的可视性、质量和治理模式,更快对新出台的法规做出应对
创建数据产品或参与数据产品市场活动,并在不同组织之间安全地共享数据产品,甚至合作创建产品
发现企业数据中的更多机会,因为有更多人员关注重要数据,而且可以激发更多团队积极探索每一个潜在的数据产品用例
然而,值得注意的是,为Data Mesh创建的任何商业案例都需要根据企业所面临的挑战量身定制。在我们重点介绍的一些优势中,有一些优势可能会比其他优势更能引发共鸣,更令人振奋,而这正是您需要关注的领域。