2个回答

空降OpenAI 智能体榜单第一名的FM Agent什么来头,有哪些信息值得关注?

左华栋
90个点赞 👍

百度闷声憋了个大动作,此举有望逆转国内AI领域的竞争格局。

这次的FM Agent的实力不容小觑。OpenAI的MLE-Bench不是野榜,能在这上面排到第一且断档领先,绝对说明一些问题。百度刚刚开源了FM Agent技术报告。我们一起来看看里面有什么重点。

MLE-Bench是什么

在聊FM Agent之前,得先解释一下MLE-Bench这个榜单。不然光看分数也不知道这第一名的干货有多少。


这是OpenAI在2024年10月推出的评测基准,专门测AI Agent的机器学习工程能力。注意,是“工程能力”,不是让你写个Hello World或者回答几个选择题那种简单测试。

MLE-Bench的玩法简单粗暴——直接从Kaggle上挑了75个真实的ML竞赛,图像分类、NLP、时序预测、结构化数据分析等等什么都有。然后把这些竞赛丢给Agent,看它能不能像个正经的ML工程师一样把活儿干完:读懂需求、处理数据、选模型、训练、调参、提交结果。

听起来好像也不难?但你要知道,这些可都是真实的Kaggle竞赛,不是教科书上的toy dataset。数据脏、问题复杂,有些数据集大到上百个GB。这已经不是简单的写一段代码或实现一个功能这种单一任务了,你的Agent得真的从头到尾全方位把控整个项目,才能算合格。

评分标准也很直接,就用Kaggle的奖牌系统:金牌(前10%)、银牌(前25%)、铜牌(前40%)。拿不到奖牌就不算数。所以榜单上的“Any Medal %”指标,说白了就是你的Agent在多少比赛里混到了前40%。

每个Agent能用的资源是这样的:24小时时间,36核CPU + 440GB内存,外加一张24GB的A10 GPU。配置够用,但真正的考验是你能不能把这些资源用明白。

如何看待FM Agent的成绩

回到FM Agent本身。43.56%的综合得分是什么概念呢?


MLE-Bench把75个竞赛分成了三个难度:Low、Medium、High。FM Agent的表现是:

  • 低难度:62.12%(±3.03%)
  • 中难度:36.84%(±2.63%)
  • 高难度:33.33%(±0%)

这里的比例,比如低难度的62.12%,意味着在22个简单点的竞赛里,FM Agent大概在13个以上都拿到了奖牌。虽然这个分数不是最高的(第二名Operand ensemble是63.64%),但也属于第一梯队。

FM Agent的强项是均衡——不偏科,在各种难度的任务上都能稳定输出。尤其是在高难度任务上33.33%的获奖率,拉开所有其它选手一大截。我们都知道,高难度的竞赛往往才是真正考验选手实力的地方,能在这里拿出好成绩,说明这个Agent的上限很高。

还有个细节值得注意:FM Agent的标准误差只有±1.78%,说明它每次跑的结果都很稳定。这在实际应用中特别重要,只有结果稳定,我们才能放心使用它每次生成的方案。否则,我们可能需要反复跑好几次,才能挑选出一个满意的结果。

看看榜单上的其他选手,你就知道这第一名有多难拿了。微软的R&D-Agent用了GPT-5,综合得分35.11%,排名第四。第三名InternAgent基于DeepSeek-R1,来自上海人工智能实验室。一个创业公司Operand,整合了GPT-5、Gemini-2.5-Pro、Grok-4和Claude 4.1 Opus,才勉强挤进第二名,综合得分39.56%。

FM Agent有什么核心技术

有了技术报告,我们可以更清楚地回答这个问题:FM Agent不是“一个更大的模型”,而是一条会自己生长的研发流水线。它把“写代码—跑实验—看结果—再改进”的人类闭环,拆成两步:先站在经验上起跑(Cold-Start),再用进化把好想法放大(Evolve)。


起跑这一步,FM Agent构建了一个覆盖各个领域的专家小组,代码生成、数学推导、数据分析等不同角色同时给出方案,系统再把它们合并成一个“高多样性”的初始解空间。这里面的核心是,它把“老师傅的经验”提前装进去——通过检索增强或外部知识库,把行业里已经被证明有效的套路变成可调用的素材。这样冷启动就不是瞎猜,而是带着方向感上路。为了避免方向过于分散导致资源浪费,FM Agent在初始阶段就引入了质量过滤机制,用自动判分和小单元测试筛掉那些跑不通的点子。

有了能跑的起点,FM Agent接下来采用类似于进化的机制获得最佳结果。它把候选方案分到多个相互独立的“岛”上并行演化,隔一段时间再把各自的精英个体交换一下,既防止早熟,也不断打开新路径。了解强化学习的朋友都知道探索(exploration)和利用(exploitation)的概念。前者侧重于发现新事物,后者则是利用已知信息获取最大收益。两者都很重要,但重点在于两者之间的平衡。在FM Agent中,对探索和利用的选择并不是写死的开关,而是系统根据语义和结构的多样性实时调档:当路线太像时就鼓励走远一点,当出现好苗头时就加大投入。每个领域还有各自的“尺子”评判改动有没有价值:做机器学习,看的是效果与时延的综合;写GPU Kernel,直接拿算力和数值误差说话;数学问题,则用符号与数值双重校验,避免“看上去像对”。采用贴合于具体任务的进化策略,让FM Agent能在不同领域都游刃有余。

这一切落到工程上,需要一块很扎实的地基。报告里的系统把“生成方案”和“评测方案”的计算池物理解耦,采用异步调度、失败自动重试、资源空闲自动填充等技术,本质上是百度早已成熟的分布式任务编排经验。对用户来说,调用方式尽量保持简单。对系统而言,规模可以随任务自然伸缩,从几台机器到大规模集群,都不至于卡在队列里等资源。

很多人会关注Agent底层用的什么模型,但实际上,决定胜负的关键其实是有没有高效的工程架构。在我看来,百度不是突然爆发,而是积累多年的技术量变形成了质变。文心大模型、PaddlePaddle深度学习框架、AutoML与架构搜索(EasyDL、PaddleSlim/NAS)以及百度云承接的海量业务场景,都转化为了今天FM Agent的基础。此外,今年年中,百度在云智大会上发布的一些AI平台——千帆、百舸——也为FM Agent的诞生打下了坚实的基础。

对行业的意义

FM Agent在MLE-Bench上的表现,让我看到了AI Agent在专业领域的潜力。但更实际的问题是:这东西能给我们带来什么?

想象一下,你是个数据科学家,接到一个新需求。你只需要跟Agent描述问题、甩给它数据,它就能自动做数据探索和清洗、尝试各种模型和特征工程方案、并行训练多个模型比较效果、最后生成实验报告。你的角色从"码农"变成了"方向把控者"和"决策者"。这不是要替代ML工程师,而是让他们把时间花在更有价值的事情上。

对中小企业来说,现在要部署一个ML解决方案,往往得组建专业团队、投入大量资源。有了成熟的ML Agent,门槛会降低很多,更多行业能享受到AI的红利。

对研究者来说也一样。大量时间花在搭环境、调参这些重复劳动上,有个强大的ML Agent帮忙,能更快验证想法,把精力集中在真正的创新上。

写在最后

FM Agent这事儿挺有意思的:没有发布会,没有铺天盖地的宣传,甚至一开始提交榜单时都没说是谁做的。但它就这么用实力拿到了第一。

这种低调做事的风格,某种程度上也反映了国内AI企业的一种变化——从早期的追赶心态,到现在更自信、更务实的技术积累。

FM Agent这次登顶,就像一个信号。它告诉我们,在AI这场马拉松里,中国玩家已经不只是跟跑者,在需要深厚工程积累的Agent赛道上,我们同样具备了领跑的实力。这种不声张、用实力说话的自信,可能比榜单本身更值得我们关注。

当然,一个榜单第一不代表终点。AI Agent这个领域还在飞速发展,新模型、新架构、新评测方式层出不穷。FM Agent今天的优势,可能几个月后就被超越了。但这种竞争本身就是好事,它推动着全球的研究者和工程师不断探索边界。我们作为观察者和受益者,有幸见证这个时代的精彩。


参考资料

忽如远行客
自由评论 (0)
分享
Copyright © 2022 GreatFire.org