DSEval 评估范式

一种覆盖数据科学全生命周期的智能体评估范式，通过自举标注扩展基准测试的覆盖面。

Yuge, Zhang · Qiyang, Jiang · Xingyu, Han · 陈楠 · 杨玉庆 · Ren, Kan

2024

技术优势

覆盖全流程

评估贯穿数据科学整个生命周期，而不是只测单一环节。

标注成本更低

自举标注方法简化数据集准备，减少人工标注。

评测覆盖更广

新标注方法提升评估覆盖范围，拓展基准的全面性。

应用场景

• 智能体评估：提供覆盖全生命周期的评分基准，替掉零散单点测试。
• 数据科学自动化：用统一基准检验自动化流水线的端到端能力。
• AI辅助数据分析：衡量AI助手在真实分析任务中的实用效能，而非只测通用问答。
• 智能决策支持：为决策系统提供数据科学能力的量化考核依据。
• 机器人流程自动化：可评估RPA中嵌入的智能分析模块在流程各环节的表现。