个人认为,LLM处于当年ResNet阶段,由transformer堆叠的decoder架构,亦如CNN堆叠的ResNet,效果上都有巨大的提升,是里程碑的技术和事件,离产业落地还有一段距离,CNN后续也持续的改进比如SepConv,然后才有mobilenet系列,这是可以大规模落地的方法。
未来一段时间,肯定有一批对transformer的改进,不排除会出现Mobile LLM这样的架构,如果全球最聪明的人和最有钱的全部参与进去,进化速度更快。
当年的学生做实验想办法搞一张卡,现在学生做实验得搞几张A100,穷人都一样的难,A股一样的稳。你看看各大云平台还有A100可租吗?3090都难。
预测一下,明年两会会正式提出AI+战略,亦如当年的互联网+。
编辑于 2023-07-19 22:11・IP 属地广东