国内大模型正处于什么阶段，有关键的技术壁垒吗？

GPT4出来的时候，其他厂商以为OpenAI弄了个诸葛亮，OpenAI也暗示自己是诸葛亮，所以大家都以为被降维打击了，都在朝着虚假的目标努力。

但是，上个月黑客大神George Hotz曝光chatgpt其实是由8个MoE模型组成，而互联网知名撰稿人Dylan Patel则表示是由16个MoE模型组成。

George Hotz：任何人只要付出一样的成本，都可以复现chatgpt;

Dylan Patel：Google，Meta，Anthropic，Inflection，Character，Tencent，ByteDance，Baidu等都可能拥有与GPT-4一样强大的模型。OpenAI的解决方案不是魔法，而是可以复现的。

当人们发现其实是8（16）个皮匠后，人工智能又变成了有多少人工就有多少智能，所谓技术壁垒也就不存在了。

一开始以为训练大模型需要更多数据，国内搜索的扛把子会搞出一个特别牛逼的模型，惊艳到所有人。

结果发现并没有那么牛逼，甚至分不清计算机的总线和公交车，更有松鼠鳜鱼，夫妻肺片等贻笑大方的杰作。

后来才知道，按现在的训练方式，到了一定数量级，质的比重是大于量的。优质比多更好。大模型训练出来的是记忆力超强的天才，在模型会学学习之后，让他重复学习参差不齐的东西就有点浪费了。应该给他他能懂，但是还没见到的东西。

因此，现在的瓶颈很有可能是国内互联网各自为战，各自闭环导致大模型不够全。有些大模型天天刷知乎，有些大模型天天看公众号，有些大模型也只能天天逛贴吧。

没技术壁垒，唯一壁垒在数据。

只根据chatgpt/gpt4个别例子很厉害，或者做某些科目的题目很厉害，就认为通用人工智能就要来了，或者已经找到了通向通用人工智能的路，肯定是太乐观了。

当前的大模型，我觉得并不算到了质变，和GPT1，2，3没有本质区别。当时这些模型在很多任务上性能也是大幅超过之前的模型，也引来国内纷纷模仿。

自从有了CLUE榜单，大家各种刷，比如21年盘古大模型，2000亿参数，发布会show起来各种对话流畅的很。百度发布文心大模型，各种刷榜第一名。腾讯就多了，包括腾讯云的神农，TI-NLP，QQ浏览器的神舟, 摩天，TEG的混元。

当时宣传点，一是登录CLUE第一名，后面宣传开始说首个超过人类水平（human baseline）的模型。二是比谁参数量大,从几亿，几十亿，百亿，盘古2000亿。

这些模型真正超过人类了吗？显然没有，不仅没有，这些大模型连落地的都没有。

这么玩下去，也不行啊，当时很多做大模型的团队后面都转做别的了。

还没消停一年，chatgpt来了。一帮外行开始叫嚣通用人工智能要来了，各种chatgpt的惊艳回答开始刺激大家神经，很多看上去很专业的人也开始鼓吹AGI。

实际在我看来，这些所谓的很智能回答就是魔术，现在的数据，还不足以训练出来很智能的模型。强化学习只是看上去很美好，实际执行起来比较难。

个人认为，LLM处于当年ResNet阶段，由transformer堆叠的decoder架构，亦如CNN堆叠的ResNet，效果上都有巨大的提升，是里程碑的技术和事件，离产业落地还有一段距离，CNN后续也持续的改进比如SepConv，然后才有mobilenet系列，这是可以大规模落地的方法。

未来一段时间，肯定有一批对transformer的改进，不排除会出现Mobile LLM这样的架构，如果全球最聪明的人和最有钱的全部参与进去，进化速度更快。

当年的学生做实验想办法搞一张卡，现在学生做实验得搞几张A100，穷人都一样的难，A股一样的稳。你看看各大云平台还有A100可租吗？3090都难。

预测一下，明年两会会正式提出AI+战略，亦如当年的互联网+。

仍然处于算法优化工作创造的实际价值不如UI设计阶段

与国内半导体行业初期一样，融资充裕，导致很多厂商不用认真搞研发，推几个半成品甚至更差的产品就说自己是这个概念的

多数产品没什么人在用，只有投资人在用

这种情形，基本上是五年前的半导体，半导体我们发展了五年，虽然有进展，但可能后期突破后来看，这速度就是国际平均水平，赶超也是较难，大范围投资只能到够用水平，但我们不是纯粹的资本过剩，过度集中发展导致其他行业错过很多机会

国内大模型这个产业，你的模型随便copy一个项目，套壳，闭源，毕竟文心一言都是录视频展播，有这个TOP1作为先例，还能更差吗

所以我认为，现阶段决定大模型拿到融资高低的，是UI，最能给企业带来价值的，是UI

商业化残酷一点，现阶段你搞点融资活下去，再过几个月GPT4架构等等具体信息都被黑客搞出来，少走很多弯路也少花投资者很多钱

什么阶段？群模乱舞的阶段。自3月至今，推出所谓自主研发的国内LLM大模型估计得上百家。这还是叫的出名字的。

关键的技术壁垒？国内模型，目前看没有。

讲个真事，4月份推出的最火国内LLM，chatglm-6b，商业报价300万，chatglm-130b商业报价2000万。6月推出的第二代chatglm2-6b就免费了。为啥？被后面的免费商用baichuan-7b超过了。你说这能有啥门槛？啥技术壁垒都没有。

其实不光国内，老美那边也差不多。自从GPT3以后，openai就玩封闭不介绍不开源了。当然事实上搞得抄作业团体很郁闷，但老美那边也有人不服自己干，比如马斯克，还有黑客爆料，说GPT4是8个**组合的。

目前业内一致公认的就是，transformer架构确实有效，大力能出奇迹。所以AI三要素，算力，算法模型，数据，老美制裁咱啥？就是算力，不给你高端GPU，会制裁你模型数据吗？不会，那属于吃力不讨好。

国产GPU目前在快马加鞭搞，反正AI所需GPU的基础技术都是很明确的，抄作业nvidia就好，只是不知道国内能不能搞出自己的CUDA。

从热度上，LLM大模型正在降温，从CSDN的相关大模型发帖就能看出。

怎么评判一个大模型的好坏？最简单的就是能复现，通过Github读官方文档能顺利clone并用本地知识库微调，目前这方面国内还很欠缺。

大众以为的大模型，高深的算法；实际上数据+算力

在大模型出来之前，各大厂也在用算法，为啥这次会有这么大的市场热度？

以前大众感知是抖音推好玩的内容，淘宝推喜欢商品，百度能搜到内容等等

这次大模型主要在多模态生成式AI上，普通用户更直观的感受，我问一个问题，他不是从原有的纯文本/商品/视频给我找出来，而是基于问题混合打包且创造（生成式AI无中生有）回答问题

但不管怎么搞，算法模型上并不是竞争壁垒，很多开源、论文都可以研究，但是数据是非常私有，比如抖音天然内容、用户标签，淘宝想做内容，哪怕算法模型一致，但是从数据积累上就不在一个维度。

同理做生成式AI的前提，是算法能理解用户问的是啥，每个语料是个啥，细分到每个垂类行业经验是啥，这些都依赖人工数据经验的梳理和标注，告诉算法什么是对什么是错。且按照大模型的置信度，很难做到百分百，目前市场爆发点是写小说、写市场营销文案、绘画等这些数据集相对简单容易学习的方向，但再垂类一些市场，比如语音对话、母婴经验、心理咨询师各类虚拟专家，需要更垂的语料。所以短期市场的壁垒是数据

另外，因为大模型数十亿参数，每一次迭代模型都是几千万的费用，哪怕是大公司也没办法高频迭代模型，所以算力提升也是当前非常非常重要优化方向，以目前全球范围来看，谁先突破算力，多迭代几次模型，谁知道会产出个啥

说不定我们都在黑客帝国

国内大模型正处在赶快瞎逼起名字发一个大模型不然吃屎都赶不上热乎的阶段。。。

一下子出来成百上千个大模型，

有毛的技术壁垒。。。。。。

关键是ai（ ）性时有时无。

简单来说，技术壁垒，是国力。

国力足够强，能暴力穷举到解决问题的，是最终的赢家。

美国从冷战开始后搞DARPA，搞军民融合，搞国防项目商业化招标，优中选优，就是用的这个思路。

我发动全民力量，多角度暴力穷举，然后用人民真实的选择来决定一种思路的正确与否。

那苏联为什么在冷战狂攀科技的比拼中失败呢？

因为他们没有足够庞大的相关人员参与到多种“解题方案”的筛选中，也没有足够的市场进行“试错”，这就导致在80年代，苏联的航天等许多高科技领域已经被美国甩开了一大截子，被人拉开了生产力的差距。

前车之鉴在此，我要说什么大家肯定都能理解了。

关于这一块，只有拥有足够庞大的数据可供智能学习，拥有足够多的相关从业人才不断试错，拥有足够多支线技术道路不断探索，拥有足够庞大的市场能够给予正向反馈的那个国家，才能笑到最后。

分布式训练方法：大模型训练技术有更复杂的分布式训练方法，可能一张卡才能塞下一层；

数据：数据量，数值质量，数据清洗；

学习方法：多模态结构、强化学习、自主进化学习等；

计算资源：训练集群环境搭建；

后期的部署测试。

关键技术壁垒应该是给领导敬酒和送钱。

所有的AI，壁垒都不是算法，而是体力工作——整理和标注训练素材。

当然了，很多领域的壁垒更靠前，获得训练素材就是壁垒。

所以这事跟锗和镓的生产难点是接近的。

要么你可以不惜代价，用100块钱干别人1毛钱就能做好的事。

要么你必须有完整的周边产业链，能够低成本地获得某些海量的训练数据。

要么你有海量廉价劳动力，能用较低成本去人肉标定、清洗训练数据。

AI画图的发展，来自于pixiv等网站上画手免费公开的图。

AI对话的发展，来自于搜索引擎抓取的大量知识性网站的信息积累。

大模型翻译，很可能依赖于之前像新东方等教育机构整理的翻译训练的素材，以及大量的网友纠错。（这块我有几年没接触了，不太清楚最新的玩法是啥）

这些体力劳动，才是壁垒。人力、资金、法律都会形成阻碍。

中国目前进展最领先的领域之一，肯定是推荐系统。

另一个是类似于无人机等智能硬件上用得到的技术。

像画图、聊天等纯娱乐领域，进展肯定会非常慢。因为这块明摆着没啥商业收入。

无人驾驶，现在也遇到了训练素材阻碍的问题。

简单讲，这事是需要低人权优势的。

哪国的法律、伦理比较没下限，敢像特斯拉那样让大家敞开用、敞开死，哪国的进展就会更快。

中国在这方面，其实是吃亏的，估计只有军用才有可能带来场景上的突破。

芯片限制、政策限制，属于初级问答阶段，没有形成生成智能，要想媲美ChatGPT，需要政策开放。

就像互联网时代和手机市场，国内的大模型市场还处于初期阶段，处于曲线的起步阶段。

大模型PK的是算力、算法、模型，算力可以采用堆砌的暴力方式解决，但是模型就需要拼实力了，数据也是。这三个要素对于国内来说都是不可越过的门槛。

国内大模型目前正处于快速发展的阶段，取得了一系列重要的突破和进展。在这个领域，存在一些关键的技术壁垒，但同时也有许多优点可以推动其发展。本文将以数字人直播为例，详细介绍大模型的优点，并探讨相关的技术壁垒。

数字人直播是一种利用大模型技术实现的虚拟主播形式，通过对真实主播的数据进行采集和分析，生成一个虚拟的人物形象，并通过计算机程序实现其自动化的表演和互动。数字人直播具有以下几个优点：

首先，数字人直播具有高度的可定制性。通过大模型技术，可以根据用户的需求和喜好，定制出不同风格、不同特点的虚拟主播。这些虚拟主播可以具备不同的外貌、声音、性格等特征，满足用户对于多样化的需求。

其次，数字人直播具有高度的可扩展性。传统的主播需要人工参与，而数字人直播可以通过大模型技术实现自动化的表演和互动。这意味着可以同时推出多个虚拟主播，满足更多用户的需求，而不受时间和空间的限制。

再次，数字人直播具有高度的可控性。通过大模型技术，可以对虚拟主播的行为和表现进行精确的控制。这意味着可以实现更加精准的互动和表演，提供更好的用户体验。

此外，数字人直播还具有高度的可持续性。传统的主播需要不断休息和调整状态，而数字人直播可以实现24小时不间断的表演和互动。这意味着可以提供更加稳定和持续的服务，满足用户的需求。

然而，国内大模型在实现数字人直播等应用时仍面临一些关键的技术壁垒。首先，大模型的训练需要大量的计算资源和数据支持。目前，国内在计算资源和数据方面还存在一定的短板，这限制了大模型的发展和应用。

其次，大模型的训练和优化需要高水平的人才支持。目前，国内在大模型领域的专业人才相对不足，这导致了技术研发和应用的进展相对缓慢。

此外，大模型的应用还面临一些法律和伦理问题。例如，数字人直播涉及到虚拟人物的形象和声音，可能引发知识产权和隐私保护等问题。这需要相关法律法规的完善和技术的创新，以确保大模型的应用能够合法、合规地进行。

综上所述，国内大模型正处于快速发展的阶段，数字人直播作为其应用之一具有许多优点。然而，大模型的发展仍面临一些关键的技术壁垒，需要进一步加强计算资源和数据支持，培养更多的专业人才，并解决法律和伦理问题。相信随着技术的不断进步和创新，大模型将在未来发展出更多的应用，为用户带来更好的体验和服务。

弄出芯片这种东西可以有技术壁垒，弄出牛顿三定律这种东西还要个锤子技术壁垒。当然人们对LLM到底是哪个级别的突破还在吵个不停，但人家做出GPT的这帮人早就奔着下一个阶段去了。

我不懂国内大模型发展到什么程度了，但提出自己使用GPT的看法：基于GPT过于聪明，有时难以相信它的答案，因为它有时是会胡编乱造的，以至于我不敢相信它。只能有时一些文章会交给它，但涉及到专业的，都不会交给它。甚至一些普通的搜查对话，我也抱着怀疑的态度。

据统计，国产大模型已经有两百多个了。一众大厂、高校、各个不知道那冒出来了公司机构，突然在历时了几十研究积累后，齐刷刷的突破了。

上一次经历这个事，是国产数据库。由于没有GPU这样的硬件限制，国产数据库更加放飞自我，巅峰时达到接近400家。

其实应该是远超400家的，但有些国产数据库实在没一点点知名度和影响力，没被统计进去而已。

当然，其实都不是突然就突破了，这几百家大模型、国产数据库，那个不是专心研究了几十年，才有突破的。像某斯数据库，几十年研发，从头开始一行一行的写代码，有开源的也不用，终成大器，成就完全自主研发的某斯数据库。还有某山数据库，是一个计划单列市研究所的，苦研几十年，一举登上世界之巅。……，太多太多，罄南山之竹也没法一 一罗列。

再上次听说类似的事，是小时候哥哥给我讲故事，在几亿年前，有一阶段生命突然大量出现，叫寒武纪生命大爆发。

亲身经历类似寒武纪生命大爆发的事件，而且我几十年短短的职业生涯中连续经历两次，幸甚！幸甚！

如果说一定存在关键技术的壁垒，那可能是打通各大互联网公司之间深铸的流量壁垒吧。

所以如何成功绕过他们的反爬虫机制的话，国内大模型还是可以更进一步的。

额，不对啊，那这就不是大模型的技术壁垒了。手动狗头。

不过关于如何反大模型，国内可是领先国外n个版本。毕竟国外才开始把自由获取的数据转变为付费数据。再次手动狗头。

芯片问题和配套环境

1. 生态位上，上游云厂商，中游模型定制化，下游行业玩家，上游是钱的壁垒，后者是行业壁垒，中游的事情是初期有技术壁垒。然而技术壁垒在开源下显得微不足道，且winner takes all.

有钱最后也会落到上游云厂商/机器厂商去，到了暴力美学阶段，没有机器，算法都是废铁。

2. 谁才是浪潮下的最大受益者？谁最先做出模型已经不重要了，就这个争抢速度，系统工程，可用服务更重要。有了模型，长期可用阶段大规模部署的工程能力+便宜资源弹药只能是云。即便现在没入局的，不打算入局的，这钱也是稳赚不亏。所以，只能看好云。

上游除了云，长期利好其实还有东数西算，服务器厂商，GPU/AI芯片厂商，初期无疑最重要的还是云，叠加gpu禁令，中长期只能是国产AI芯片。

3. 以上是今年二月份在雪球上的认知，不过到了八月份，这一阶段仍未看出突破 —— 即winner takes all 时刻，但是年底应该就差不多了。还是那句话，整个系统工程或许才是技术壁垒。