众所周知第一个实现思维链(CoT)的是OpenAI的GPT系列,当时其他开源和闭源模型都没有同等的能力,这被视为OpenAI模型的重大领先优势。其他模型当时只能尝试通过Prompt engineering的方式,通过调整提示来模拟CoT的效果。
而第二个实现CoT的就是DeepSeek R1,并且DeepSeek完全开源,有详细的论文描述如何实现,不仅从自有模型训练出CoT,还从其他开源模型如通义千问训练出CoT,证明这一训练方法普适于现有的任何大模型。公开后很快,CoT的训练方式就得到了其他团队的复现。
目前CoT已经成为中外几乎所有主流大模型的标配。Qwen3等开源模型明确使用和DeepSeek相同的强化学习方法。闭源模型虽然未公开,但从时间点上可以推测应当是使用了和DeepSeek R1相同的训练方式。唯独不清楚OpenAI的CoT训练方式是否和DeepSeek一致,以及在DeepSeek R1公开之后是否调整过训练方式。但可以说,DeepSeek R1论文至少为OpenAI模型以外所有大模型提供了迈向CoT的关键技术。
从LLM发展的历程上看,DeepSeek R1论文毫无疑问有足以和“Attention is all you need”以及LLAMA系列开源相并列的历史意义。
CoT的出现将曾经在LLM应用中占重要地位的prompt engineering几乎扔进了垃圾堆,虽然新一代模型仍然有改善prompt来提高性能的做法,但新模型对prompt的需求无疑更符合人类预期,不再需要以前一样像玄学一样尝试不同表达方式、或者尝试用“回答错误就会有猫咪死去”一类的方式威胁大模型了。
还没有人送礼物,鼓励一下作者吧