现在知道为什么DeepSeek迟迟不出V4和R2了吧,基于Transformer的大模型能力已经接近天花板了,它落地商业化最大的障碍——幻觉,业界迟迟没有一个好办法把它降低,GPT5说是可以大幅降低幻觉,但是怎样评估幻觉?真的大幅降低幻觉了吗?GPT5并没有相比o3有非常大的进步。杨立昆的含金量还在上升。
AI想进一步发展就得把幻觉打下来,否则就和自动驾驶一样,达不到那个精确度就没法大规模商用。目前我感觉transformer就没有这个能力,人类的下一步必须从底层革新架构,颠覆transformer。现在transformer达到瓶颈了,就看未来一两年有没有非transformer架构能追上并超越大部分transformer大模型。
Transformer完全就是一个概率匹配模型,人类大脑不是这么工作的。是时候根据生物脑认知世界的第一性原理造出新的AI架构了。我比较看好基于自由能最小化的Verses AI,还有国内RockAI开发的Yan 2.0。Yan 2.0在机器人大会上已经可以让一个机器人现学动作现表演了。