传统方式 | Buddy 数据工程 Agent |
人工梳理需求 | AI 理解需求 |
手动编码 | 生成数仓方案 |
逐个配置任务 | 自动生成代码 |
手动运维排查 | 智能编排工作流 |
耗时费力、易出错、效率低 | 高效智能、响应快、准确率高 |
步骤 | 能力 | 说明 |
1 | 需求生成数仓方案 | 理解业务需求，自动生成贴合业务的数仓建设方案 |
2 | 智能数据接入 | 自动识别数据源、智能映射字段，快速完成数据接入 |
3 | 代码生成 | 根据方案与规则自动生成高质量 SQL / 脚本代码 |
4 | 工作流自动开发 | 自动编排任务依赖与调度，一键生成完整工作流 |
5 | 数仓结构分析 | 自动解析现有数仓结构，识别分层关系与建模问题，给出优化建议 |
6 | 任务诊断修复 | 实时监控任务，智能诊断问题并提供修复建议 |
维度 | 数据工程 Agent（本文档） | 数据分析 Agent |
主要读者 | 数据工程师 / 数据开发 | 数据分析师 / 业务方 |
典型产物 | SQL 文件、Python 文件、Notebook、工作流、数据接入任务 | Markdown 报告、HTML 仪表盘、查询结果表、图表 |
知识库归属 | 工作空间级知识库 | 分析空间级知识库（与该分析空间绑定） |
输入示例 | 效果 |
「把生产环境 MySQL 的 orders 表每天同步到 lakehouse_catalog」 | 创建离线单表同步任务 |
「mysql_prod_01 里所有以 order_ 开头的表实时同步到 ods_catalog」 | 创建实时整库多表同步任务 |
「order_db_00 到 order_db_07 这 8 个分库的 order 表合并同步到 order_all」 | 创建实时分库分表同步任务 |
「把 ods schema 下的所有表每天同步到 lakehouse_catalog」 | 创建离线批量单表同步任务 |
:param ↔ ${param}、dbutils → dlcutils 等方言差异。输入示例 | 效果 |
「帮我写一个 SQL，从 ods_orders 统计每天每个渠道的 GMV」 | 生成 SQL 文件 |
「新建一个 Python 文件，用 dlcutils 读取 dws_user_daily 表」 | 生成 Python 文件 |
「解释这段代码做了什么」 | 代码解释 |
「把这段 Databricks SQL 改成 DataBuddy 方言」 | 方言转换 |
「运行这个 SQL」 | 试运行，失败时自动修复重试 |
FROM / JOIN 关系，自动生成任务依赖与 DAG 拓扑。输入示例 | 效果 |
「把 dwd_orders.sql、dws_order_daily.sql、ads_channel_gmv.sql 串成一个工作流，每天 03:00 调度」 | 创建工作流 + 配置调度 |
「在 ads_channel_gmv 后面加一个推送任务」 | 新增节点 + 配置依赖 |
「把整个工作流的调度改成每小时一次」 | 修改调度周期 |
输入示例 | 效果 |
「xx 工作流任务失败了，帮我看看什么原因」 | 根因分析 + 影响范围评估 |
「xx 任务的 SQL 跑失败了，帮我看下」 | Studio 内代码运行诊断 |
「xx 实时同步任务延迟严重，帮我排查」 | 实时接入任务诊断 |
「xx 离线同步任务报错了，帮我查下原因」 | 离线接入任务诊断 |
我是一个数据工程师，现在业务团队新增了一个外部 PostgreSQL 数据源，希望基于这批数据建设一套业务分析数仓。业务人员希望每天查看销售绩效、季节性销售趋势和商品品类分析，包括 GMV、订单量、收入、客单价、品类销售占比和热销品类排行等指标。数据源名称为 XX，源表位于 XX schema 下。我希望将该 schema 下的所有源表同步到 XX catalog 中，并基于这些源表完成数仓设计与建设。数据每天早上 10 点更新。
┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐│ 数据源 │ │ 查看表 │ │ 建设方案 │ │ 数据接入│ │ 代码开发 │ │ 工作流 ││ 连接 │ ─▶ │ 结构 │ ─▶ │ 生成 │ ─▶ │ 配置 │ ─▶ │ 生成 │ ─▶ │ 编排 │└──────────┘ └──────────┘ └──────────┘ └──────────┘ └──────────┘ └──────────┘│ │ │ │ │ │▼ ▼ ▼ ▼ ▼ ▼连接目标 识别 目标 ODS/DWD/ 创建同步任务 ETL 依赖 DAG数据源 schema 下 DWS/ADS 代码生成 + 调度配置（每天10:00）所有表结构 分层方案 代码校验 & 告警配置等
文档反馈