8个回答

陈天桥代季峰团队实现 30B 参数跑出 1T 性能,这对大模型发展意味着什么?

尘埃雨中泪
590个点赞 👍

这个东西非常好,不是跑分货。

Miro Thinker用来源中低配模型,跑通了DeepResearch。

它并不主要取决于模型的大小,而是取决于后训练的方式,Agent-Specific Post-training。

Miro Thinker 主要特点是 极佳的搜索直觉,在第一次搜索时,往往就能找到最佳的几个网站。

考虑到它的基础模型,模内的常识不足,训练数据过早,光靠基础模型的直觉是拉不动的。

这显然需要对模型进行大刀阔斧的后训练。

他有一个Scaling Law,叫做交互式Scaling。这是它的杀手锏。不同于单纯堆算力或上下文长度,它通过增加与环境(如搜索引擎、工具)的交互频率来提升性能。最多可以达到400~600次的工具调用。

智谱豆包Deep Research,受限于 Token 成本和推理效率,会在搜索 5-10 次后强制进入“归纳阶段”。Miro Thinker 的 Scaling Law 认为:推理的质量与与环境交互的次数成正比。

很明显,这个Scaling Law非常有效,把互联网地皮一层一层地掀起来。

最重要的,我觉得就是保持一种直觉——模型应该考虑“我的结论是否已经充分且扎实的”,分得清楚概念之间的细微区别,比如标准版和Pro版操作有可能是不一样的,搜索到了Pro版,不代表标准版也能使用同样的操作。无论你Scaling多少次,你没有这个直觉,很多操作都是废的。

Miro Thinker懂得在概念的细微差别里反复横跳,它那种“我的结论是否已经扎实”的自我怀疑感,是它不像个智障的关键。

我测试了冷门游戏(KOEI系游戏)数据搜索,企业与产品(咖啡公司)的调查,某个事件(宝马Alpina)的舆情报告,冷门硬件的hard reset操作指南,OpenAI最新硬件,OpenAI的投资与算力合同。

这些做的都很好。不过它有点不长记性,比方说有些知乎的内容,它需要登录才能搜索,他第一次不行,放弃了。然后第二次还是会去搜索。它还会去搜索哔哩哔哩的视频下面的简介。那种视频下面基本上都没有什么有用的东西。它可能不知道,B站简介里除了UP主的充电求关注,剩下的全是“见置顶评论”。

不能解读图片和视频,是它比较大的硬伤,如果材料是图片和视频形式的,那么对它来说就是无效信息。

如果Deep Research这个产品类型主要跟交互的Scaling有关,那么,用大模型去拉搜索结果,这个方式就有可能是错的,而是要用小模型低成本去拉高交互Scaling的量。

Trisimo崔思莫
自由评论 (0)
分享
Copyright © 2022 GreatFire.org