39个回答

国内大模型正处于什么阶段,有关键的技术壁垒吗?

麦兜都行

先说差距。与其说是国内大模型和ChatGPT的差距,不如说是国内外所有其他开/闭源大模型和ChatGPT、Claude两个头部大模型之间的差距。差距大吗?从个别任务指标上看,差距似乎不大,甚至经常看到“平替”、“反超”之类的评测结果。大语言模型基准评价这件事,越是后来的模型,后发优势越明显,毕竟历届真题在手,目标明确,是有捷径可走的。从真实的使用感受上,至少个人而言,差距还是比较明显的,不管是对上下文和提示的理解和遵循,还是应答的内容和形式上的优美,都是如此。综合来看,我比较倾向LLM匿名竞技场(chat.lmsys.org/?)的结果,当然,这种评价多少有点主观,也受参与评价的人使用的提示中存在的偏差影响,期待更契合主观感受的全面基准早日出现。以上主要是通用角度,即使是特定任务,也是就通用能力而言的,比如推理、事实回答等。在垂直领域,比如企业客服,在检索+LLM这类应用框架下,应用效果是有的拼、甚至可以打平的。总而言之,现阶段,通用领域差距明显,垂域可以一战

壁垒在哪?有了资本的加持,算力、数据(量)、团队都不是大问题。最大的问题在哪?在*细节*。从数据准备到模型训练,到人工反馈的组织和质量控制,到实用和安全、质量和并发等各种需要权衡的方面的考虑,处处都是细节。架构、模型都可以“泄露”,但真正决定性的工程细节,训练技巧和参数设定原则、训练预算的预测和规划、人工作业的编排和品控等,才是决定成败的关键。细节的考量从哪来?一靠知识储备,二靠潜心实践,简言之,就是“懂得多”且“踩坑多”。知识不是什么大问题,从框架到技巧,理解和掌握了足够多知识的人太多了,远不止OpenAI那几个人,这个时代,想靠什么独门的想法、技术独步天下,取得长远的优势,几乎不可能。静心做事、耐心打磨细节,在不断踩"坑"中不断完善,在产品的自然“成长”过程中获得的经验,是最无法逾越、难以在短时间内赶超的。这感觉,就像是人家在做 \int_{}^{},一点一点长起来的,我们在做Σ\Sigma,一块一块堆起来的,最后虽然高度差不多,细看这工艺水平,差别可就大了。细节能”抄“吗?也许能,但抄到的,只能是零星的皮毛,背后的感觉、思考和把控,那些真正能长期有效、应对未来各种新挑战的"元技能",靠抄几乎不可能——靠”挖“也许行,但对于这么个庞大繁杂的工程,挖人也要”全面采样“,一两个人恐怕解决不了什么问题。更何况,大家都在同步推进,等你赶上人家现在的水平,也许人家已经上到另一个Level了。说到底,细节,以及背后对卓越的一致追求、团队上下的共识进而达成的共振、非功利耐心打磨付出的时间,才是真正的壁垒吧。

发布于 2023-07-20 16:07・IP 属地北京
爱可可-爱生活
自由评论 (0)
分享
Copyright © 2022 GreatFire.org