Skip to main content
Why Your Data Lakehouse Needs a Semantic Layer: A Story from the Trenches

几个月前,我与一家欧洲领先银行的数据架构负责人进行了交谈。他们刚刚完成了一项为期多年的现代数据湖屋平台投资——将Azure上的Databricks与SAS、Oracle、SharePoint等遗留系统以及一些仍在Excel上拉取数据的老旧仪表盘结合起来。

“我们已经对烟囱进行了现代化改造,”他说。“但当首席财务官要求理赔、人力资源和财务部门的见解时......我们还是得手动缝合,这真是太麻烦了。”

这种痛苦不是表现的问题。这不是关于可扩展性的问题。这关乎语义混乱、断开的访问和数据治理瓶颈。

这家银行并非孤例。

数据湖屋不够时

像Databricks和Snowflake这样的数据湖屋非常强大。它们统一结构化和非结构化数据,支持可扩展机器学习(ML),并优化流水线。但它们并不能消除所有复杂性——尤其是在混合、受监管、多平台的环境中

对于这家银行来说,差距很明显:

  • 没有统一业务层:业务用户无法在没有工程师帮助的情况下理解跨域数据。各部门的定义有所不同。“客户”在不同报告中含义不同。
  • 数据分散:关键数据仍然孤立——分布在信息中心、SAS模型、SharePoint文件夹和多个Databricks集群中。
  • 合规难题Azure 原生政策如RBAC和ABAC仅部分执行。SharePoint 无法干净利落地集成到 Lakehouse 模型中。审计人员指出了风险。

银行不需要放弃或绕过湖边别墅。

银行需要一层层能抽象复杂性、协调语义并实时执行政策的层级。

缺失环节:实时语义层

登场时,Denodo。

通过在 Azure中部署Denodo平台作为实时语义层,该银行将包括SharePoint、Databricks、Oracle和SaaS在内的十多个平台连接到统一的虚拟层中。无数据复制。无重摄。

德诺多平台给了他们:

  • 即时跨域访问受控数据
  • 这是商业语义上的结合,所以人力资源、财富管理和财务团队都说着同一种语言
  • 企业级数据治理,支持动态掩码、RBAC、ABAC,并无缝集成 Collibra

结果呢?

过去需要数月的项目——比如为贷款组合、信用卡交易或国库现金流构建对账用例——现在只需数天。 超过50名用户,从数据工程师到业务分析师,能够安全且独立地探索数据。

Denodo平台成为银行数据网格战略的关键推动力,无缝补充现有Databricks部署,实现跨域受控的实时数据访问,同时简化了企业用户的自助访问。

与此同时,在另一个行业:生成式人工智能犯错

一家拥有数据湖屋的大型区域电信公司开发了一个基于生成式人工智能(GenAI)的聊天机器人,利用检索增强生成(RAG)技术。它的职责?协助客户服务代表和终端用户,回答来自结构化内部系统的问题,包括服务配置数据库、计费平台、设备库存系统和客户账户数据。这些信息被嵌入,将关键字段和元数据转换为向量表示,然后存储到向量数据库中以便检索。

听起来很棒,但实际上失败了:

  • 有时它会返回过时的旧系统计划价格。
  • 有时它混淆了服务层级——将企业级服务与消费者套餐混淆。
  • 有几次,它会发现本应对客户隐藏的内部排查笔记。

为什么?由于该模型依赖于孤岛系统中断开的信息以及有限的数据治理和安全控制——因此没有统一的语义层来标准化定义、执行访问政策或实时解读数据源之间的关系。

一旦引入德诺多,差异立刻显现。

聊天机器人不再仅依赖于嵌入内容,而是采用了Query RAG——动态生成SQL查询,通过Denodo平台的逻辑数据管理层访问实时的受控数据。这一层已被商业智能和分析团队信赖,提供了统一的语义、动态掩蔽和基于最新企业系统的实时响应。

大局

无论是银行希望连接人力资源和财富管理信息,还是电信公司打造更智能的数字助理,挑战都是一样的:

  • 湖屋提供了速度和规模,但缺乏通用语义层以及全球数据治理和安全能力。
  • Denodo 平台带来了对分布式数据的实时访问,具备语义一致性、策略控制和自助服务的简便性,满足了业务用户的需求。

他们一起解开了谜题。

准备好最大化您的湖畔别墅价值了吗?

如果你的数据湖库运行良好,但业务团队仍然依赖痛苦的变通方法,Denodo可以帮忙。

它不是替代品——而是你的湖屋在混合、实时、人工智能驱动环境中茁壮成长所需的语义和治理层。

Sunny Panjabi

Senior Product Marketing Manager, APAC

免费下载

立即下载 Denodo 平台,探索、学习并构建受治理的数据访问方案。

免费下载