我发现雷蒙多已经不光是菊花代言人了,简直是堪比川宝的曲忠赞233333
2016年的AlphaGo,2018年的BERT,全都是在Google当时的TPU上训练出来的,而今年Google新发布的Gemini也是基于TPU-V4训练出来的,类似的还有特斯拉和微软,也都在推自研芯片和/或A卡方案。所谓“生态优势”并不是什么不可突破的刚性屏障,它甚至对抗不了领导/董事会的意志。
目前AI领域的负载,实际上也可以分为两类:CTR类和大模型类。其中CTR类直接跟互联网公司的业务相关联,是公司的命脉,需要使用用户相关的数据,而大模型类代表未来,但它本身的训练不会使用(也必然不允许使用)用户相关的数据,使用公开或准公开数据即可。
去年我们海外站还在的时候,当时我做的就是海外站的搜索,泰国站使用的数据中心就在新加坡。业务上两类数据都会接触到:搜索query和商品SKU标题等信息属于准公开数据(在站点上可以公开看到),而精排模型依赖的用户行为序列之类的数据属于用户相关的数据。前者基本上可以随意跨境传输,在国内只要不出公司内网都可以随意访问,而后者就麻烦多了,每一次数据回流都必须脱敏之后通过法务审批才能进行。当时我们这边QP和相关性模型(纯query+doc,基于BERT预训练+Fine-tune)是直接把数据拉回国内用A100集群训练的,然后精排模型(CTR任务,也就是纳米酱天天挂在嘴边的黄赌毒)是在海外集群用CPU硬跑的……后来迭代下一版模型的时候,因为模型规模变大,最后的做法是每周走审批流程回流一次数据,在国内用GPU训练。
任务 | 算力需求 | 数据类型 | 跨境传输限制 |
---|---|---|---|
NLP/大模型类 | 巨大 | 公开或者准公开的语料等 | 宽松 |
CTR类 | 相对较低 | 用户相关数据 | 严格限制 |
综上所述,如果真站在美国的角度,正确的策略有两种:一种是温水煮青蛙,继续维持之前的限制,用少量高价的A800/H800吊着中国企业的胃口,这样的好处是NV可以长期地赚钱甚至赚更多的钱,生态优势继续维持,同时美国企业在算力总量上始终领先一步;另一种是直接一步到位彻底禁售,切断对中国企业的任何直接+间接算力供应(包括新加坡)——这样做的逻辑是牺牲NV长期的收入和生态优势,让美国企业在短期内算力优势最大化。
结果现在雷蒙多整了个什么抽象活呢?一边把禁售线压到了4090这种游戏卡级别,还直接放话说刑不可知威不可测,你老黄今天敢出特供芯片明天我就直接封,基本等同于在国内彻底摧毁了老黄的商业信誉和整个Tesla系列的市场,另一边对于在海外给中国企业提供算力又仍然不管。结合上面的介绍不难得出结论:这一刀精准地避开了大模型,砍到了黄赌毒头上。
黄赌毒的特点是啥呢:第一,它需要的算力总量远少于大模型,就算真的被彻底断供了也能支撑很久,风险实际很低;第二,它是国内大厂的核心命脉,虽然风险确实很低,但大厂对风险的态度是零容忍;第三,它极度依赖用户数据,国内业务依赖境外集群训练模型在迭代效率上是完全不可接受的;第四,它的算子高度碎片化,而且各大厂普遍都有自己开发的CUDA算子,迁移到昇腾或者其它芯片的代价甚至远高于大模型,它原本应该是老黄护城河中的护城河。
所以说,雷蒙多选择了弹幕最多的打法——她整的这个抽象活,结果就是什么呢?中国企业一边布局新加坡,在新加坡建数据中心买H100训大模型,一边在国内all in 昇腾,排着队给华为送钱的同时还用自己的程序员给华为搭生态,下一步就是生态差不多了,逐步清退国内的存量N卡,放出来挂在公有云上卖给买不起华为全套方案的中小企业。换句话说,雷蒙多这么一搞,老黄在中国的市场和生态全都被扬了,美国企业也没有实现算力优势最大化,站在美国的角度,里外不是人……