昨天看NVDA获利比例只有20%,意志不坚定的估计都割肉了吧,真是韭菜命(手动微笑)。
ASIC路线在单一领域确实可以做到很强大,性能适配度极高,且能耗表现出色。但限制就是:单一领域、单一技术阶段。
现在AI最强的领域是LLM,现在最领先的LLM都是基于Transformer。谷歌的TPU在Transformer计算层面优化到极致,同时适配了自家体系的产品,强强联手,确实厉害。
但是,各类专家曾经批判LLM的观点,一样可以用于批判TPU+Gemini,比如:
- 当前路线无法实现AGI
- Scaling Law逐步失效
- 没有真正的记忆和成长机制,只能暴力加大输入窗口
- 幻觉问题
- 认知、推理、因果能力不足
- 提升依赖大量数据,而优质数据趋近饱和
谷歌方案也有这些问题吧?那咋办咧?
LLM早就需要要做底层架构的创新、训练策略的创新、设计目标的创新了!
Transformer用一辈子吗?深度学习每几年都有重大的新模型成为SOTA,什么LeNet, AlexNet, ResNet, LSTM,现在是Transformer。Transformer要用到宇宙尽头吗?
如果不是,新的算法架构需要新的计算模式,现在的ASIC要咋办?但CUDA依然能用。
AI就只玩LLM(再加点多模态),AI+科学研究,AI+通信技术,AI+量子计算,AI+无人设备,AI+经济调控,AI+制造业,都不搞了?
还是说,ASIC就打算用几个固定的算子,奠基全领域的AI底座?
还是说,ASIC研究者有那么多的精力预算和产能,把每个规模较大的架构都做成定制ASIC?
还是说,ASIC研究者相信Transformer永远可以大力出奇迹,不可能出现底层架构的进步?
至于Meta和Google的几十亿订单,就算成真了,也是毛毛雨。现在一个季度整个市场有几百亿。
Meta在LLM上落后太多,估计是想搞点噱头,抓点救命稻草?不然部门都要没了啊,能搞点啥就搞点啥呗。
话说回来,Google确实还是厉害的,Congrats!