Databricks 用 Agent 重塑企业数据工程流程
数据工程进入 Agent 时代。Databricks 官方发布 Genie Code 应用案例与系统设计指南,展示制冷设备制造商 Daikin Applied Americas 如何通过 Agent 驱动的数据管道开发,将原本需要数天的原型设计压缩至分钟级,同时通过「MECE 技能框架」与「勋章架构(medallion architecture)」等企业治理标准,确保 Agent 生成的代码符合全公司统一规范,不因 AI 而破坏数据一致性。
三个转变
①
从提示到技能框架
Daikin 团队一开始用长提示词编码架构规则,最后发现无法规模化。新方案:把规则打包成「技能」(MECE 框架),包含勋章架构设计、源数据准备、转换模式、规范对齐、治理标准。Genie Code 在运行时加载合适的技能,而非每次重新解析提示词。
②
检查点替代事后审核
Bronze(原始)→ Silver(清洁)→ Gold(业务就绪)的三层架构中,原本的审核是事后的。新做法:在层间设置检查点(粒度定义、联接验证、数据稳定性),Genie Code 生成管道时就受约束,不靠人工发现错误。
③
业务概念驱动设计
工程师不再从表结构开始,而从「设备、客户、服务事件、合同」等业务实体出发。好处:Silver 和 Gold 层的一致性提升,跨部门复用管道时语义明确,减少歧义。
The goal isn't to make AI follow more rules. It's to make the right rules impossible to ignore.
Trent Lezer, Sr. Director, Data & Analytics at Daikin Applied Americas
描述设计哲学:不是让 Agent 被提示词束缚,而是把规则嵌入到开发环境本身。
📌 团队该看什么
- Genie Code 真实成本对标:Daikin 案例中管道交付周期具体从「天」降到「分钟」,但没给出成本节省或 Agent 挫折率
- 技能框架落地:自己的数据治理标准能否也打包成「技能」?需要多少工程前期投入才能让 Genie Code 学会你的规范
- 治理风险:Agent 生成的代码背后是谁的责任?Daikin 案例中「Engineer 花更少时间验证结构正确性」,但出错后问责链条如何