3个回答

阿里发布千问史上最大模型 Qwen3-Max,Scaling Law 还有效吗?

左华栋
49个点赞 👍

当然是有效的。

Scaling Laws的有效性主要体现在数据上,别问模型行不行,问就是你数据不够。

这里的逻辑关系很简单,而数据永远是不够的,这就是为什么Scaling Laws会永远不会失效。

Qwen3 Max和其他模型的不同之处在于,它的参数更大,估计在1.2T左右(235B的5倍),这可以让它去打任何榜单,而不是仅局限于少数的榜单,这是通用性的体现。

参数大,

/则可"存储"的tokens的排列组合就更多,表现为通用任务覆盖性更强,对写作这种你不知道用户想写啥的任务支援性更好。

/ 留存更多长尾知识,减少更多知识性幻觉

/ 同时模型可以接触到更深层的token,选择更细腻更精确的表达方式,对于模型来说,表达和思考是一体的,这可以提升模型融会贯通,触类旁通的泛化能力。你会觉得Qwen 3 Max,Gemini 2.5 Pro这种模型非常懂得一种"潜在的语言环境",在这种语境里,大模型能更好的识别出言外之意,它们非常懂在当前语境下,下一个token出什么是最贴切的。这种感觉是绵密丝滑,合情合理的。

大模型+短推理,小模型+长推理是两种不同风格的玩法,两者都应该有,这不是替代关系,而是互补关系。GPT-5推理一万年也达不到GPT-4.5的表达能力,GPT-4.5参数再扩大1万倍,也做不好需要"打草稿"的Reasoning任务。

大模型非常适合Chatbot,承办用户各种花里胡哨,花样百出的通用任务,你把Chatbot的上下文卡死在32K,也亏不到哪里去,在Chatbot里只给小模型简直是一种犯罪。大模型的缺点就是面对高强度Reason,Coding,Agent这样的任务时,随着上下文长度的拉长,成本会陡增。所以GPT-4.5,Grok 4这样的大模型,很难放开了干GPT-5玩起来游刃有余的任务。

还没有人送礼物,鼓励一下作者吧
Trisimo崔思莫
自由评论 (0)
分享
Copyright © 2022 GreatFire.org