从分布式数据中获取更大业务价值的数据策略

如今很多组织面临着一个不容错过的绝佳机遇：他们如果能够访问分布在云和 本地系统中的全部数据，就能利用企业数据来获取令人瞩目的优势。这些优势 包括全新形式的高级分析、更高的运营效率、更快的洞察速度，以及更具影响 力的决策（包括战略和运营层面）。然而，抓住这一机遇的最大障碍在于，这 些分布式系统都拥有自己的数据模型、数据语义、接口，以及与安全性和治理 相关的局限性。长久以来，分布式数据在利用和重用本地数据方面一直是个难 题，随着众多组织开始采用混合或多云数据架构，数据的分布也在不断扩大。

让我们来深入了解解决分布式数据问题能够带来的引人注目的商机，以及分布 式数据在技术和组织方面所面临的挑战。最后，我们会探讨几种数据策略作为 从分布式数据中获取更大业务价值的解决方案的适用性，重点关注逻辑、虚拟 策略，如数据虚拟化、数据编织和逻辑数据架构。

做好准备抓住分布式数据带来的机遇

我们讨论分布式数据的潜在优势之前，必须介绍一下组织如何能够做好全面准备，从分布式数据中获取更大业务价值。

在理想情况下，组织首先应建立一支数据管理团队，其中应包括拥有不同数据管理技能的数据专业人员，优先考虑数据集成、数据质量、元数据、数据虚拟化、架构和数据编织这些技能。他们还应建立一套成熟的数据管理基础设施，其中通常包括各种数据管理工具、企业数据标准、治理措施，以及来自 IT 部门的支持。

请注意，这些准备工作的规模可大可小。例如，您可以借助数据虚拟化技术和技能来处理适当数量和来源的分布式数据。您还可以采用现有数据架构（可能包括数据仓库、数据湖，以及一个或多个操作数据库），并在该数据架构之上构建一个更大范围的逻辑层，用于访问分布式数据源。但您也可以随着时间推移构建自己的分布式数据解决方案，以处理来自数十甚至数百个来源的大量数据（可能通过企业级数据编织)。

解决分布式数据问题的好处

无论您的分布式数据解决方案规模小且不成熟，还是规模庞大且成熟，您都应该始终以具有可识别的业务价值的应用场景为导向。以下是一些示例：

客户视图。此类解决方案的常见早期阶段目标之一，是开始构建“客户的单一视图”。由于客户视图可以包含数十甚至数百项客户详细信息，您可以从少数几项开始，然后随着时间的推移，通过数据虚拟化和聚合技术的组合进行扩展。

• 绩效管理指标。管理仪表板中的很多指标都对时间敏感，因此需要频繁或按需刷新，就像能够通过数据虚拟化或数据编织功能（实时或近乎实时）实现那样。
• 自助服务。使用数据虚拟化或数据编织创建的业务用户友好型数据，对于落实自助服务实践（如数据准备、探索和可视化）至关重要。
• 数据抽象层。一套成熟的数据虚拟化、数据编织或逻辑数据架构程序，可以构建规模庞大的数据抽象层，作为已部署的解决方案的核心。该抽象层将用于向用户和工具呈现大量数据视图。通过该抽象层，用户和工具可以浏览、搜索、访问、集成及使用分布式数据。该层可以处理源系统的所有必要接口。

因此，建立该抽象层后，用户不必再面对分布式数据的复杂性带来的问题，让更多用户可以访问数据。它还简化了变更管理。当源系统中发生变更时，数据工程师简单地调整该层即可，无需调整通过该层访问分布式数据的众多工具。

• 分布式数据的单一入口点。数据虚拟化、数据编织或逻辑数据架构解决方案可以支持大量并发的用户和工具访问。此外，大多数或所有这些用户和工具均可通过该抽象层访问分布式数据。这一单一入口点反过来可以简化安全防护、数据治理和企业数据标准等有价值的实践，并为其提供一致性支持。

利用和重用企业数据的难题

如上所述，随着众多组织开始采用混合和多云数据架构，数据分布也越来越广。此类架构存在自身的一系列难题：

• 混合架构。在混合架构中，分布式来源和目标的组合分散于传统的本地 IT 基础设施和云基础设施间。因此，您使用的数据虚拟化和数据编织工具必须支持各种传统和现代平台，并针对这些平台进行优化。
• 多云。有时，组织致力于使用特定云服务提供商 (CSP) 提供的应用程序或数据平台。这种孤立的采用决策很容易导致在一个企业中使用多个 CSP。由于每个 CSP 都有自己的接口集合、数据出口规则和性能优化方式，访问和利用基于云的分布式数据将变得更加难以理清头绪。
• 云中的孤岛。很多组织已经通过简单的“直接迁移”方法将数据从本地迁移到云，但迁移后的数据几乎没有改善。直接迁移有其自身作用，它是将数据导入云的快捷简单的预备步骤。但是，如果不在随后立即进行数据工程再造和其他改进，在云中生成的数据集仍将是意义不大的低质量孤岛。

即使已经指出的所有难题都不存在，解决分布式数据问题仍是说起来容易做起来难。它还涉及多个极具挑战性的工作。以下是其中几个步骤：

• 发现企业数据，这些数据通常位于孤立的操作数据库中，在多个 IT 系统和业务流程之间共享时，可能会产生新的价值。为了帮助完成此过程（以及其他类似的数据探索和发现过程），一些组织正在构建企业级数据目录和/或元数据存储库。
• 定义可能产生的业务价值的类型。如果解决分布式数据问题对于业务用户没有吸引力，则可能没有必要集成特定的分布式数据资产。
• 遵循分布式数据的要求。例如，在访问受数据隐私规则或立法法规约束的源数据时（对于客户、医疗保健、财务等数据领域较为常见），必须将这些策略扩展到您的分布式数据解决方案生成的聚合数据和其他数据产品。

从分布式数据中获取业务价值的数据策略

鉴于企业数据资产的分布和多样性，您可能需要多种策略来解决分布式数据问题。幸运的是有多个选项，它们均由已知的最佳实践和工具类型提供支持。

图 1 总结了解决分布式数据问题的几种常见策略。纵轴显示这些策略所需的工作量，最小工作量（您的所求）位于顶部。横轴显示业务价值的金额，最大业务价值（您的所求）位于右侧。

对于您考虑的每个分布式数据来源，您需要为要构建的解决方案选择一个或多个数据策略。您考虑数据策略时，应该关注提供最大业务价值但技术方面工作量最少的策略。在图 1 中，图表右上角显示的策略可以实现高价值和低工作量的理想组合。这些策略基于逻辑和虚拟技术，包括数据虚拟化、数据编织和逻辑数据架构。

高价值和低工作量的策略虽然理想，但并非总能实现或必须如此。例如，有时数据并置（也称为“直接迁移”）作为第一步也足够。同样，有限的数据集整合也可实现有价值的实践（结合合理的工作量），例如客户视图或运营报告。在其他情况下，组织可能缺乏为分布式数据开发新解决方案的资源或意愿，因此可能被迫容忍现有的数据孤岛。在另一个极端，一些组织会在将大部分数据资产迁移到云时对大部分数据资产重新进行工程再造。这将提高所有数据集的质量、建模和元数据，进而提高业务价值，但很容易花费三年或更长时间才能完成。

如今很多组织面临着一个不容错过的绝佳机遇：他们如果能够访问分布在云和本地系统中的全部数据，就能利用企业数据来获取令人瞩目的优势。这些优势包括全新形式的高级分析、更高的运营效率、更快的洞察速度，以及更具影响力的决策（包括战略和运营层面）。然而，抓住这一机遇的最大障碍在于，这些分布式系统都拥有自己的数据模型、数据语义、接口，以及与安全性和治理相关的局限性。长久以来，分布式数据在利用和重用本地数据方面一直是个难题，随着众多组织开始采用混合或多云数据架构，数据的分布也在不断扩大。

让我们来深入了解解决分布式数据问题能够带来的引人注目的商机，以及分布式数据在技术和组织方面所面临的挑战。最后，我们会探讨几种数据策略作为从分布式数据中获取更大业务价值的解决方案的适用性，重点关注逻辑、虚拟策略，如数据虚拟化、数据编织和逻辑数据架构。

结语

• 分布式数据是一个不容错过的商机。它能让企业做出更具影响力的决策，进行更敏捷的分析，提高运营效率，更快形成洞察，并获得更多其他优势。
• 分布式数据是一个需要解决的技术难题。解决这一难题可使更多企业数据可供利用，其中更涉及很多新技术和数据设计方法。
• 最好使用逻辑或虚拟数据策略来实现分布式数据的利用。逻辑数据架构、数据编织和数据虚拟化均是解决分布式数据问题的理想方案。这是因为它们最初就是为分布式数据环境设计的，随着时间推移，它们又针对这些环境进行了优化和扩展。因此，它们非常适合分布于多个 IT 系统（可能部署在内部、云或二者混合的环境中）的企业数据。

有关从分布式数据中获取业务价值的更多信息，请观看2023 年快速数据战略虚拟峰会中的讲座“跨云和本地的分布式数据：机遇与挑战”，在该讲座中，我将更详细地介绍这一主题，您也可以在该讲座中听到其他各种意见领袖和行业专家的意见。

近期文章