阿里发布千问史上最大模型 Qwen3-Max，Scaling Law 还有效吗？
- 49 个点赞 👍
当然是有效的。
Scaling Laws的有效性主要体现在数据上，别问模型行不行，问就是你数据不够。
这里的逻辑关系很简单，而数据永远是不够的，这就是为什么Scaling Laws会永远不会失效。
Qwen3 Max和其他模型的不同之处在于，它的参数更大，估计在1.2T左右（235B的5倍），这可以让它去打任何榜单，而不是仅局限于少数的榜单，这是通用性的体现。
参数大，
/则可"存储"的tokens的排列组合就更多，表现为通用任务覆盖性更强，对写作这种你不知道用户想写啥的任务支援性更好。
/ 留存更多长尾知识，减少更多知识性幻觉
/ 同时模型可以接触到更深层的token，选择更细腻更精确的表达方式，对于模型来说，表达和思考是一体的，这可以提升模型融会贯通，触类旁通的泛化能力。你会觉得Qwen 3 Max，Gemini 2.5 Pro这种模型非常懂得一种"潜在的语言环境"，在这种语境里，大模型能更好的识别出言外之意，它们非常懂在当前语境下，下一个token出什么是最贴切的。这种感觉是绵密丝滑，合情合理的。
大模型+短推理，小模型+长推理是两种不同风格的玩法，两者都应该有，这不是替代关系，而是互补关系。GPT-5推理一万年也达不到GPT-4.5的表达能力，GPT-4.5参数再扩大1万倍，也做不好需要"打草稿"的Reasoning任务。
大模型非常适合Chatbot，承办用户各种花里胡哨，花样百出的通用任务，你把Chatbot的上下文卡死在32K，也亏不到哪里去，在Chatbot里只给小模型简直是一种犯罪。大模型的缺点就是面对高强度Reason，Coding，Agent这样的任务时，随着上下文长度的拉长，成本会陡增。所以GPT-4.5，Grok 4这样的大模型，很难放开了干GPT-5玩起来游刃有余的任务。
还没有人送礼物，鼓励一下作者吧查看全文>>
Trisimo崔思莫 - 9 个点赞 👍
这正好涉及到自然法则和人造定律的领域了。
简单来说，自然法则是不可违逆的“天道”，人造定律是依赖环境的“经验”。
自然法则我们就用最简单的重力来举例，一个苹果从树上掉下来，不管有没有人在，它的掉落是个不可更改的事情。
它是“独立于人存在的客观规律”，像这样的例子还有光速，熵增等。
不管你信不信，它就在那里。
而Scaling Law不一样，它其实非常像我们平常听到的各种人生经验。
“努力通常会有回报”；
“多读书视野会更开阔”；
“人脉重要”。
这些经验不能说不对，甚至来说大多数时间都是对的，但不是绝对真理。不同环境、时代和个体，经验可能失效。
比如可以用“努力的方向要是错的话”，“努力可能根本得不到回报，甚至会越来越糟”。
“多读书是好的”，但是你要读的书本身就有问题，那反而有害。
它不是宇宙铁律，而是人类在某段历史条件下的统计经验。
它们之所以成立，是因为有一群人“相信它 → 按它去做 → 再次验证它”。
scaling law其实就像技术文明的人生经验，它告诉我们：堆算力、堆数据、堆参数，智能就会更好，就像老一辈人总结的经验：“勤能补拙”。
在大多数情况下，这经验是对的，但并不是普遍有效。
- 有人努力一生依旧困顿（环境极限）。
- scaling law 也可能遇到“数据枯竭”或“能耗极限”。
它有个非常具体的前提，那就是在现有架构（Transformer）、现有算力分布（GPU/TPU）、现有数据供给（互联网文本）的前提下成立。
跟摩尔定律非常像，它提出的背景是：1965 年，英特尔创始人戈登·摩尔发现：在芯片制造工艺进步下，每 18–24 个月，集成电路上的晶体管数量大约会翻一倍。
而摩尔定律最近其实失效了，因为摩尔定律最终遭遇物理极限（晶体管小到几纳米后，量子效应、散热问题不可避免）。
所以你可以这样理解：
- 自然法则 = 天道，绝对不会错；
- Scaling Law = 人生经验，很多时候对，但不是永远对
最简单的，如果出现一个比Transformer更好用的组建，那么scaling law要么更陡峭，要么直接消失了。
这就是它有意思的地方：Scaling Law 不是宇宙铁律，而是人类在这一阶段摸索出来的“文明经验”。
它也许还能指引我们走很远，但未来会不会继续有效，还要看我们是不是找到新的路。
还没有人送礼物，鼓励一下作者吧查看全文>>
平凡 - 5 个点赞 👍
查看全文>>
莎酷娜娱乐
