导读本文介绍香港科技大学（广州）骆昱宇课题组开源的数据智能体系统—DeepEye。该系统围绕“自主化”（Autonomy）与“可驾驭”（Harness）两大核心理念展开。我们的长期目标是构建一个全自主的数据智能体，使其能够自动理解数据、提出假设、执行分析并生成洞察；此外，我们在坚持“可驾驭”（Harness）设计原则的同时，在关键推理环节保留人类专家的判断与干预空间，实现人机协同的增强智能。以下将展开对 DeepEye 系统的技术阐述与探讨。
开源项目网址： https://deepeye.hk/
开源项目仓库： https://github.com/HKUSTDial/DeepEye
本次分享共四个部分，主要介绍：
1. Introduction
- Hierarchical Taxonomy for Data Agents (L1 - L5)
3. DeepEye: An Autonomous Data Agent System
- L4-L5: Vision of Proactive and Generative Data Agents
分享嘉宾｜骆昱宇 香港科技大学（广州） 助理教授、博士生导师
编辑整理｜杨明
内容校对｜韩珊珊
出品社区｜DataFun
01
Introduction
1. The Dawn of Data Agents
在 AI Agent 的演进中，数据智能体（Data Agent）正成为关键一环。与编码 Agent 专注于明确任务不同，Data Agent 更像一位“理科生”中的“探索者”——它面对的是开放、复杂的数据分析问题，需具备从数据获取、清洗、管理到洞察生成的全流程能力。现实中的数据分析往往耗时、繁琐且依赖专业知识，而 Data Agent 的目标正是通过 LLM 与自动化引擎的结合，实现数据任务的自主执行。我们提出的 DeepEye 系统，致力于构建一个“自驱动+可引导”的智能体，既能独立处理多源异构数据，又能在关键决策点引入人类干预，真正实现“人在回路”的增强智能。未来，Data Agent 将推动数据分析从“人工驱动”走向“智能自治”。
2. The Dawn of Data Agents
Data Agent 是一种面向数据科学全栈流程的智能系统，旨在通过大语言模型（LLM）的语义推理能力，实现对结构化、半结构化与非结构化数据的统一分析。传统数据分析受限于 SQL 等工具，主要面向结构化数据；而现代 Data Agent 借助 LLM 的自然语言理解与代码生成能力，可动态构建“AI Function”类算子，实现跨模态数据融合分析。
其核心架构涵盖三大模块：数据管理（如配置调优、查询优化）、数据准备（清洗、集成、发现）与数据分析（结构化/非结构化分析、报告生成）。系统通过 LLM Hub 与数据湖协同，支持多源异构数据接入，并基于任务编排引擎实现自动化工作流调度。
Data Agent 不仅提升了数据分析的灵活性与可扩展性，更推动了从“人工驱动”向“智能自治”的范式转变，为数据密集型应用提供高效、可信的决策支持能力。
3. Data Agents vs. General LLM Agents
在大模型智能体（LLM Agent）快速发展的背景下，Data Agent 作为其在数据领域的专业化分支，正展现出独特的技术价值与应用前景。与通用 LLM Agent 侧重内容生成或任务自动化不同，Data Agent 的核心目标是在模糊、开放的数据分析需求下，自主构建端到端的可执行工作流——从多源异构数据接入、清洗、融合，到建模、可视化与洞察输出。
其关键挑战源于数据本身的复杂性：一是任务语义模糊，同一问题（如“某公司去年利润”）因数据源差异需动态调整分析路径；二是错误级联敏感，数据分析呈瀑布式链路，前序步骤的微小偏差将导致最终结果失效；三是领域语义歧义，如字段名“WZRL”在游戏与医药行业含义截然不同，而通用大模型缺乏上下文感知能力。
为此，Data Agent 需深度融合数据库系统、流处理引擎（如Flink）、SQL 验证器及可视化工具，并通过人在回路（Human-in-the-loop）机制提升可靠性。它不仅是LLM推理能力的延伸，更是一个面向数据密集型任务的智能编排平台，致力于实现从“人工分析”到“自主智能”的范式跃迁，为金融、医疗、运营等垂直领域提供高可信、可解释的数据决策支持。
4. The Terminological Ambiguity of Data Agents
“Data Agent”虽被广泛使用，但常被泛化为任何与数据交互的 AI 工具，易引发概念混淆。我们认为它并非伪命题，而是数据智能演进的关键方向。然而，当前大模型在数据分析任务中仍远未实现真正自主。为此，我们借鉴自动驾驶 L0–L5 分级，提出 Data Agent 能力成熟度模型，从任务理解、工具调用到全流程自治逐级演进。真正的 Data Agent 需支持多源异构数据处理、动态工作流编排与人在回路机制，目标是构建可信、可控、可解释的数据决策系统。
02
Hierarchical Taxonomy for Data Agents (L1 - L5)
1. Hierarchical Taxonomy for Data Agents
为应对“Data Agent”术语泛化带来的认知混乱，我们借鉴 SAE J3016 自动驾驶分级标准，构建数据智能体的六级能力框架。Level 0 代表完全手动操作，对应传统机器学习时代的人工数据分析；Level 1（如 ChatBI）实现基础交互式查询响应，属于初级辅助；Level 2 引入自动化数据准备与简单分析流程，但仍需人类全程监控。
真正意义上的 Data Agent 始于 Level 3 及以上：在 Level 3（条件自动化），系统可自主完成复杂任务链，但需人类介入异常场景；Level 4（高度自动化）可在特定条件下全自主运行，仅在极端情况请求干预；Level 5（完全自动化）则实现端到端闭环决策，无需人为参与。
该分级强调人机协同模式的转变——从以人类为主导（Human-in-the-loop）逐步过渡到以 Agent 为主导（Agent-in-the-loop）。通过明确能力边界，有助于推动 Data Agent 向可信、可控、可解释的方向发展，避免概念炒作，促进技术落地。
2. Hierarchical Taxonomy for Data Agents
当前 Data Agent 的发展仍处于初级阶段。我们基于自动驾驶 J3016 标准，提出六级能力分级体系，明确人与 Agent 在数据任务中的主导权转移。Level 0 至 Level 2 为辅助阶段，人类主导决策；Level 3（条件自动化）是当前主流，Agent 可自主执行复杂分析流程，但仍需人类监督异常情况。
现有学术与工业成果多集中于 L3，具备流程编排、工具调用与上下文感知能力，如自动 SQL 生成、数据清洗与报告生成。但 L4（高度自动化）仍处探索期——系统可在特定场景下主动发起分析、持续监控数据流并触发预警，实现“无提问式洞察”。
L5（完全自主）则代表终极目标：Agent 能从海量异构数据中发现未知模式，提出科学假设，甚至推动数据驱动的科研突破。目前尚无成熟案例。该分级框架为技术路线图提供统一基准，助力从业者合理设定预期，推动 Data Agent 向可信、可控、可解释的智能体演进。
3. L3: Striving for Autonomous Data Agents
当前大多数 Data Agent 系统处于 Level 3（条件自主），即在人类监督下实现全流程自动化。L3 的核心特征是：自主编排与优化数据处理流水线（Pipeline），而非执行预定义流程。它需理解数据环境（Data Lake）、任务上下文，并基于 LLM 的推理能力动态生成适配性分析路径。
**与传统 SQL 查询不同，L3 Agent 能根据数据类型、分布与质量差异，实时调整工具调用序列（如清洗→集成→建模），支持结构化、半结构化与非结构化数据的联合分析。其关键能力包括：多工具协同调度、跨阶段优化、记忆机制与多智能体协作，从而实现从任务理解到执行的闭环控制。
**
Agent 在用户监督下，自主完成从任务 T 到管道 P 的映射，并执行。尽管仍需人类干预异常场景，但 L3 已实现“任务主导权转移”，标志着数据智能从辅助走向部分自治的重要跃迁。
03
DeepEye: An Autonomous Data Agent System
1. DeepEye: A Steerable Self-driving Data Agent System
DeepEye 是一个支持条件自主（Level 3）的数据智能体系统，旨在实现从自然语言任务到端到端数据分析的自动化闭环。用户通过对话接口输入分析目标，并可@知识库（如 Markdown 文档、JSON、数据库、PDF 等），实现异构数据源的动态接入与上下文关联。
DeepEye 已获得第 51 届日内瓦国际发明展银奖（Silver Medal, 51st Geneva Inventions Exhibition），以及 AI Agent 2025 Competition 最佳开源项目奖（Best Open-source Project Award）。此外，DeepEye 已上线官方网站（https://deepeye.hk），便于用户进一步了解和体验。
DeepEye 系统后端基于工作流编排引擎，自动构建 DAG 执行图，涵盖数据读取、清洗、建模、可视化等环节，支持结构化与非结构化数据的联合处理。关键组件包括：Knowledge Search 知识搜索、Code Executor、Dashboard Generator 与 Report Generator 报表生成器，确保流程可解释、可复现。
执行完成后，系统提供三类输出：数据视频（短视频形式呈现洞察）、定制化仪表盘（交互式可视化）与分析报告（结构化文本+图表）。该设计融合了 LLM 语义理解能力与系统级计算架构，推动 Data Agent 向“人机协同、多模输出、全流程自治”演进，为复杂数据分析场景提供高效、可信的解决方案。
2. DeepEye Video 演示
已关注
关注
重播 分享 赞
观看更多
DataFunSummit
0/0
00:00/02:59
进度条，百分之0
00:00
/
02:59
02:59
全屏
倍速播放中
您的浏览器不支持 video 标签
继续观看
DeepEye：自主化数据智能体系统
转载
,
DeepEye：自主化数据智能体系统
DataFunSummit
已同步到看一看写下你的评论
3. The System Architecture of DeepEye
在 DeepEye 系统 中，针对多元异构数据分析的挑战，提出了一种基于 Data Agent 节点协议的统一编排方案。该协议通过定义 Agent 节点的五元组（输入模态、输出端口、数据环境、语义操作与工具调用），实现对结构化、半结构化及非结构化数据的统一处理能力。系统支持两类核心节点：一类是提供确定性执行能力的工具类节点（如 SQL 生成、文件操作等），另一类是基于大模型进行语义推理的智能体节点（Agent Node），二者协同完成跨模态任务。每个节点可独立执行任务（如 SQL 生成、视频解析、知识检索），并通过共享上下文实现跨模态协同，从而提升系统的灵活性与扩展性。
为应对大模型推理中的上下文爆炸问题，系统结合节点级上下文压缩与任务拆解机制，将复杂任务分解为多个子任务，在独立子智能体中执行，仅共享摘要级结果，有效降低上下文冗余与通信开销。同时，引入层次化推理流程（规划→分批执行→结果聚合），在保证推理能力的同时提升效率与可解释性。最终，通过 Workflow Engine 的编译、验证、优化与执行流程，实现高吞吐、低延迟的任务调度与自动化分析，支撑多模态数据场景下的智能决策系统构建。
4. The System Architecture of DeepEye
DeepEye 系统通过构建类数据库的 Workflow Engine，实现了工作流的自动化编译、验证与优化。用户提交的逻辑计划以 JSON 格式输入，经由 Compiler 转换为 DAG 图结构，随后在 Validator 阶段进行拓扑一致性校验（如环路检测）、安全策略检查 及Schema 语义匹配，确保流程合法性。Optimizer 模块进一步对 DAG 进行调度优化，识别可并行节点，提升执行效率；Executor 支持异步执行，并将错误反馈至 Planner，实现闭环迭代。
系统支持人机协同闭环：用户可对特定节点（如 NL2SQL）进行二次调整，动态修正工作流，增强交互性与可控性。同时，系统引入 SOP 工作流学习机制，基于历史高准确率、高满意度的工作流特征，提炼出可复用的标准化模板，实现任务的快速复用与轻量化部署。该设计兼顾灵活性与工程化落地，显著降低复杂分析任务的开发成本，提升整体系统的可解释性与可维护性，适用于多场景下的智能数据分析流程构建。
5. The System Architecture of DeepEye
DeepEye 系统采用无基座模型训练的 Agent 架构，聚焦于通过任务编排最大化大模型能力，避免高昂的模型训练成本与快速迭代带来的资源浪费。为支持行业术语、业务规则及复杂场景理解，系统构建了知识模块（Knowledge Module），包含三类核心组件：SOP Experience 用于沉淀和复用高价值工作流模板，提升任务执行效率；Meta-data 定义数据表结构、业务指标与规则，实现语义对齐；Knowledge Doc 集成领域文档、历史问答样例等上下文信息，支撑领域知识推理。
系统引入记忆机制，通过分析用户交互历史提取典型特征与模式，形成可复用的知识表示，增强长期上下文理解能力。该模块支持多源异构知识接入，涵盖关系型数据库、文件系统及外部知识库，并具备权限隔离与版本管理能力。结合模型中心实现多模型调度与能力抽象，确保系统在不依赖自研基模的前提下，仍具备强泛化性与行业适配能力，符合当前轻量化、可扩展的智能系统设计范式。
6. L3: Striving for Autonomous Data Agents
实现 L3 级自主数据智能体（Data Agent）面临诸多挑战，需在感知、规划、动作、工具调用与记忆五大核心模块上取得突破。
- 感知模块
数据 Agent 需具备任务理解、环境建模、模型认知与工具识别能力，尤其在真实生产环境中，面对“脏乱差”的异构数据（如命名混乱的字段、缺失元数据），传统大模型难以准确解析语义，亟需结合数据上下文进行增强理解。
- 规划模块
任务分解（Task Decomposition）、反思机制（Reflection）与元推理（Meta-Reasoning）是关键。当前多数 Agent 缺乏针对数据任务的错误回滚与修复策略，导致幻觉累积引发系统性偏差。因此，需构建具备容错与自愈能力的规划框架，支持动态调整执行路径。
- 动作与工具调用模块
Agent 需能调用 LLMs、数据分析工具（如 SQL 生成、可视化工具）乃至人类干预接口，形成闭环交互。为提升多模态处理能力，可将复杂数据操作封装为语义算子（Semantic Operators）或 AI Skills，通过定制化 Prompt 与工具链组合，提升特定场景下的执行精度。
- 记忆模块
向量数据库、元数据管理、知识图谱与语义上下文共同支撑长期记忆与上下文感知。最终目标是构建一个具备环境适应性、错误容忍性与持续学习能力的自主数据代理系统，推动从自动化到智能化的数据分析范式演进。
04
L4-L5: Vision of Proactive and Generative Data Agent System
1. L4-L5: Vision of Proactive and Generative Data Agents
L4 数据智能体（Data Agent）迈向高度自主化，不再依赖人工指令，而是主动监控数据湖，通过感知、规划与执行闭环，自发现高价值任务并生成洞察。其核心能力包括：自主任务识别（Discover）、流程编排（Orchestrate）、系统优化（Optimize）与执行（Execute），实现从被动响应到主动探索的范式跃迁。结合可控的执行 Pipeline 与大模型的创造性推理，可在无监督下挖掘潜在业务机会，推动数据分析进入生成式智能新阶段
2. L4-L5: Vision of Proactive and Generative Data Agents
L5 数据智能体（Data Agent）迈向完全自主性，不仅实现任务自发现与执行，更具备创新性知识生成能力。其核心在于：当传统方法失效时，能主动识别问题并发明新范式（如算法、理论或架构），形成闭环创新。该过程包含“发现-创新-执行”三阶段，人类完全脱离干预，系统自主输出解决方案。这标志着从自动化向生成式智能的跃迁，推动数据分析进入认知增强与科学发现的新纪元。
以上就是本次分享的内容，谢谢大家。
分享嘉宾
INTRODUCTION
骆昱宇
香港科技大学（广州）
助理教授、博士生导师
骆昱宇，香港科技大学 (广州) 助理教授，博士生导师，数据智能与分析实验室负责人。研究兴趣为数据智能体、大模型智能体和 Data-centric AI。在 SIGMOD、VLDB、ICML、ICLR、KDD 等顶会发表论文 60 余篇，在研项目包括国家科技重大专项课题、国自然青年项目等。曾获世界人工智能大会云帆奖、福布斯中国 U30、Best-of-SIGMOD 2023 Papers、华为火花奖、清华 / CCF 优博等。领导 DeepEye 和 OpenManus 智能体开源项目（GitHub 5.5 万 + Stars），获日内瓦发明展银奖。 担任VLDB 2026 Agentic Data System Workshop Chair、KDD Cup 2026 Data Agent Track Chair（首次由中国高校独立承办KDD Cup）。
