karpathy大神一个周末训练微型LLaMA 2，并移植到C语言。他把这个项目叫做Baby LLaMA 2
大神仅花一个周末训练微型LLaMA 2，并移植到C语言。推理代码只有500行，在苹果M1笔记本上做到每秒输出98个token。作者是OpenAI创始成员Andrej Karpathy，他把这个项目叫做Baby LLaMA 2（羊驼宝宝）
虽然它只有1500万参数，下载下来也只有58MB，但是已经能流畅讲故事。
所有推理代码可以放在C语言单文件上，没有任何依赖，除了能在笔记本CPU上跑，还迅速被网友接力开发出了各种玩法。llama.cpp的作者Georgi Gerganov搞出了直接在浏览器里运行的版本
提示工程师Alex Volkov甚至做到了在GPT-4代码解释器里跑Baby LLaMA 2。
据Karpathy分享，做这个项目的灵感正是来自llama.cpp。训练代码来自之前他自己开发的nanoGPT，并修改成LLaMA 2架构。推理代码直接开源在GitHub上了，不到24小时就狂揽1500+星。
训练数据集TinyStories则来自微软前一阵的研究。
2023新视野数学奖得主Ronen Eldan、2023斯隆研究奖得主李远志联手，验证了1000万参数以下的小模型，在垂直数据上训练也可以学会正确的语法、生成流畅的故事、甚至获得推理能力。
最初，在CPU单线程运行、fp32推理精度下，Baby LLaMA 2每秒只能生成18个token。在编译上使用一些优化技巧以后，直接提升到每秒98个token。
有人提出，现在虽然只是一个概念验证，但本地运行的语言模型真的很令人兴奋。虽然无法达到在云端GPU集群上托管的大模型的相同功能，但可以实现的玩法太多了。
在各种优化方法加持下，karpathy也透露已经开始尝试训练更大的模型，并表示：70亿参数也许触手可及。
