实现数据和人工智能平台的价值
支持增长和创新的基础设施
人工智能(包括生成式人工智能)在业务运营和决策方面的地位迅速崛起,这就凸显出可靠地获取可信最新数据对于企业需采取的一切行动都至关重要。即使企业在短期内不打算构建生成式人工智能应用程序,高质量数据的可用性仍是提供其他数字计划和服务的先决条件。
虽然数据为企业创造了前所未有的机遇,但随之而来的挑战也不容忽视。许多企业仍受限于内部孤岛和多个孤立的数据平台,导致宝贵的情报被封锁,难以利用。
若要将数据存储转化为战略资产,就必须使得数据易于查找、访问、互操作和重复使用,并且要保障其真实可靠,而这一切都需保障安全和隐私。数据平台为此提供了唯一可行的基础。
“平台”一词多义,但无论在何种情况下,我们都建议采用产品思维模式。通过整合各种数据资源,确保实现流畅访问和应用,进而提供形成全面数字战略所需的各大要素。
数据平台一旦就位,就能助您收集数据洞见、创建可靠的人工智能系统、控制风险等。数据平台也是创建、管理和实施数据治理的关键,而数据治理是许多企业面临的最大挑战之一。
拥有强大的数据平台既能促进开放共享,又能保护隐私,让企业能够与其他企业共建蓬勃发展的数据生态系统,对行业乃至整个社会产生更深远的影响。我们认为这是未来几年的一个重要趋势,将催生更多的数字创新,而且有可能为数据存储和交换方式带来巨大变革,但前提是必须实现标准化转型,而且企业要学会适度保护自己的数据资产。
数据本身并不具有任何内在价值, 其价值取决于你是否针对它设定了目的和流程。
数据本身并不具有任何内在价值, 其价值取决于你是否针对它设定了目的和流程。
预兆信号
- 集成数据和人工智能平台崛起。这些系统将分析作为主要优势,而数据对于各种分析都不可或缺,这标志着看待相关解决方案的思维方式发生了根本性变化。
- 数据生态系统带来切实的业务成果,绝非只是炒作。高德纳技术研究和咨询公司(Gartner)认为,数据生态系统已经度过炒作高峰期,在未来十年内将牢牢占据主流地位。我们的实际经验也佐证了这一趋势,随着企业对共享和汇集数据资源的需求不断增长,如今企业更愿意冒险尝试。
- 创建开放数据共享标准和基础设施的势头日益强劲。 “服装行业开放数据标准”和“OSDU ™论坛”等举措表明,有些企业正试图倡导开放协议,以在供应链和其他行业关键职能中安全交换宝贵数据,从而规避现有供应商在数据互操作性方面带来的挑战。
- 用户数据共享隐私保护机制。数据隐私越来越受到用户的重视。为了帮助应对这一挑战,我们研发了一个解决方案,名为“Anonymesh”。 企业也在建立个人数据存储(例如 Solid Pods),重点围绕用户而非收集用户数据的企业。
- 各国政府制定开放数据议程。世界各国都在推行开放数据计划,鼓励自由获取和使用政府收集的信息,用于改善公共服务,创造经济机会。例如,英国政府正在构建一款综合数据服务(IDS) ,以促进跨部门数据交换。同时,新加坡推出开放数据计划,让开发人员能够使用政府机构提供的实时数据集来开发自己的应用程序。
值得关注的趋势
采纳
-
此类方法可以推导出输入数据和机器学习模型结果之间的因果关系。如果机器学习模型能够推而广之,那么使用为数不多的训练数据即可有效运行。
-
生产者和消费者双方就使用数据集或数据产品达成的正式协议。
-
去中心化身份(DiD)也称为身份自主权,是一种基于开放标准的身份架构,使用自主独立的数字 ID 和可验证的凭证来传输可信数据。虽然不依赖于区块链,但目前许多示例都是基于区块链以及其他形式的分布式账本技术和私钥 / 公钥加密技术进行部署,目的是保护在线交互的隐私和安全。
-
更精细的数据访问控制,如基于策略的访问控制(PBAC)或基于属性的访问控制(ABAC),在决定谁有权访问数据时,可以应用更多的情境元素。
-
随着时间的推移,原本设计为去中心化的人机系统变得越来越集中。重新去中心化指有意识地将这些系统恢复去中心化模式。
分析
-
通常以自主方式实现设备间直接交互和信息共享的技术。决策和行动只需很少的人工干预或根本无需人工干预。
-
一套新兴技术,用于认证数据来源并管理整个企业的数据使用。 经证明,在跟踪和加强实现可持续发展目标的进展方面,该技术具有变革性意义。
预测
-
一系列新工具和新技术,可支持将负责任技术纳入软件交付流程,主要侧重于积极吸纳代表性不足的观点;相关示例包括技术塔罗牌(Tarot Cards of Tech)、结果扫描(Consequence Scanning)和敏捷威胁建模(Agile Threat Modeling)。
采纳
-
对数据产品的精准技术描述,有助于数据产品的供应、配置和管理。
分析
预测
-
一种数据架构形式,个人以去中心化方式控制自己的数据,允许采用按使用量计费的访问(例如 Solid POD)。
机会
若在该视角上抢占先机,企业即可:
- 启动人工智能和生成式人工智能计划。高质量数据是所有人工智能计划的基本要求。福布斯称,数据质量是“人工智能发展的真正瓶颈”。
- 改善合规状况,降低风险。通过基础平台,制定并执行自动化嵌入式治理政策,可缩小书面政策与实际执行之间的差距。
- 消除冗余,大幅节省开支。企业可加强数据共享,创建一站式服务平台,淘汰在不同部门重复使用的技术基础设施,从而大幅降低技术基础设施建设和维护的成本。
- 提高洞察力,赢得竞争优势。通过整合整个企业的质量数据,重点关注以前未曾注意的低效或受阻领域,更全面地了解供应链或客户旅程等复杂流程。凭借由此产生的背景信息和发现,企业可进一步了解其工作流程和客户,与数据资源仍较分散和孤立的竞争对手相比,这些企业更具优势。
- 开发新的价值来源。随着数据互操作能力的成熟和开放标准日益普及,更多利用数据资产的机会将以数据市场和网络的形式出现。虽然有些大型企业和行业已开始创建各自的数据生态系统(例如以开放银行和保险数据共享为中心的生态系统),但仍有余地将其扩展到其他行业和更广泛的社区。
- 加快产品上市。作为生成式人工智能的基础,实现高质量数据的可用性有望加快解决和改善产品开发过程中的许多痛点,例如,如何利用筛选和汇总海量信息并创建合成客户数据的能力,帮助企业大幅缩短市场调研所需的准备时间。我们认为,如果能有效利用海量数据储备,那么与初创企业相比,大型企业在寻求这些机会方面更具优势。
我们的工作成果
Data Mesh 平台帮助 ITV 更有效地利用数据
为了应对数字流媒体的模式转变,ITV 规划了新蓝图:立志成为一家以数字为主导的媒体和娱乐公司,无论何时何地,都能为观众创造和提供精彩内容。Thoughtworks 的专家团队已开始在 AWS 和 Databricks 上同步开发基于云的 Data Mesh,让 ITV 能够落实新的数据战略,并在其不同的业务部门中推行敏捷工作方式。
有了 Data Mesh 平台,ITV 的团队能够快速导入数据,确保各业务的数据易于发现和获取。借助该平台,提供数据产品所需的时间已从三周缩短至几小时,这推动了该 Data Mesh 在 ITV 业务中的应用和扩展。
可行建议
需采取的行动(采纳)
- 采用隐私增强技术(PET) 。对于需要软件和系统处理、存储和 / 或收集数据的人而言,利用隐私增强技术可提高隐私性或保密性。这种技术通常是处理过程的一部分,可改变处理(通常是囤积)用户和内部参与者如员工)直接提供的原始数据或明文数据的常规方式。通过加强隐私保护,既能降低既有风险,又能让用户更理智地选择如何处理自己的数据。
- 强化数据治理和隐私政策。如果数据在内部没有得到充分保护和治理,没有针对隐私和同意等问题制定明确原则,那么采取任何措施对外披露数据都会变得过于冒险。在考虑更广泛的数据共享和协作之前,企业需明确界定各种角色的数据访问和影响范围,并在数据平台推行“策略即代码”。
- 利用 Data Mesh 极大增强洞察力。尝试使用 Data Mesh 架构,可为不同团队提供所需的集成性和可访问性,以便充分利用各自领域的数据。这将提高流程的可见性,让团队有能力快速指导开发,满足业务需求,助力企业未来发展。
需考虑的事项(分析)
- 采用不同方式存储数据。数据清洗和差分隐私(通过在数据集周围引入“噪音”,保持数据集各方面的匿名性)等新兴趋势,为企业以可信、合规的方式存储数据提供了更坚实的基础,同时确保企业依然能将数据投入使用。
- 加入数据市场。随着开放式汇总数据市场(如英国政府正在推进的版本)与日俱增,企业应考虑是否愿意参与这些计划,以及参与这些计划的潜力有多大。重点关注以下问题:生态系统可在哪些方面为企业创造更多价值?在确保安全和客户隐私的同时,企业有多大能力实现数据货币化?
- 充分利用数据产品规范和数据契约。开放式规范用于规定各方共享或使用数据的标准化方式,这种规范日益受到重视,可能需整合到企业的数据平台和更广泛的战略中。
需注意的事项(预测)
- 数据与负责任技术实践的结合。有些企业一直都希望在遵守道德规范的前提下扩展和优化利用其数据资源,而负责任技术原则就为这些企业提供了日益重要的指导意见。
- 去中心化个人数据市场让消费者对其个人数据拥有更多主权,有助于发展个人信息经济。这一趋势将对企业存储、分析和使用客户信息的方式以及企业生态系统的未来发展产生重大影响。