这正好涉及到自然法则和人造定律的领域了。
简单来说，自然法则是不可违逆的“天道”，人造定律是依赖环境的“经验”。
自然法则我们就用最简单的重力来举例，一个苹果从树上掉下来，不管有没有人在，它的掉落是个不可更改的事情。
它是“独立于人存在的客观规律”，像这样的例子还有光速，熵增等。
不管你信不信，它就在那里。
而Scaling Law不一样，它其实非常像我们平常听到的各种人生经验。
“努力通常会有回报”；
“多读书视野会更开阔”；
“人脉重要”。
这些经验不能说不对，甚至来说大多数时间都是对的，但不是绝对真理。不同环境、时代和个体，经验可能失效。
比如可以用“努力的方向要是错的话”，“努力可能根本得不到回报，甚至会越来越糟”。
“多读书是好的”，但是你要读的书本身就有问题，那反而有害。
它不是宇宙铁律，而是人类在某段历史条件下的统计经验。
它们之所以成立，是因为有一群人“相信它 → 按它去做 → 再次验证它”。
scaling law其实就像技术文明的人生经验，它告诉我们：堆算力、堆数据、堆参数，智能就会更好，就像老一辈人总结的经验：“勤能补拙”。
在大多数情况下，这经验是对的，但并不是普遍有效。
- 有人努力一生依旧困顿（环境极限）。
- scaling law 也可能遇到“数据枯竭”或“能耗极限”。
它有个非常具体的前提，那就是在现有架构（Transformer）、现有算力分布（GPU/TPU）、现有数据供给（互联网文本）的前提下成立。
跟摩尔定律非常像，它提出的背景是：1965 年，英特尔创始人戈登·摩尔发现：在芯片制造工艺进步下，每 18–24 个月，集成电路上的晶体管数量大约会翻一倍。
而摩尔定律最近其实失效了，因为摩尔定律最终遭遇物理极限（晶体管小到几纳米后，量子效应、散热问题不可避免）。
所以你可以这样理解：
- 自然法则 = 天道，绝对不会错；
- Scaling Law = 人生经验，很多时候对，但不是永远对
最简单的，如果出现一个比Transformer更好用的组建，那么scaling law要么更陡峭，要么直接消失了。
这就是它有意思的地方：Scaling Law 不是宇宙铁律，而是人类在这一阶段摸索出来的“文明经验”。
它也许还能指引我们走很远，但未来会不会继续有效，还要看我们是不是找到新的路。
