karpathy大神一个周末训练微型LLaMA 2，并移植到C语言。他把这个项目叫做Baby LLaMA 2

大神仅花一个周末训练微型LLaMA 2，并移植到C语言。推理代码只有500行，在苹果M1笔记本上做到每秒输出98个token。作者是OpenAI创始成员Andrej Karpathy，他把这个项目叫做Baby LLaMA 2（羊驼宝宝）

虽然它只有1500万参数，下载下来也只有58MB，但是已经能流畅讲故事。

所有推理代码可以放在C语言单文件上，没有任何依赖，除了能在笔记本CPU上跑，还迅速被网友接力开发出了各种玩法。llama.cpp的作者Georgi Gerganov搞出了直接在浏览器里运行的版本

提示工程师Alex Volkov甚至做到了在GPT-4代码解释器里跑Baby LLaMA 2。

据Karpathy分享，做这个项目的灵感正是来自llama.cpp。训练代码来自之前他自己开发的nanoGPT，并修改成LLaMA 2架构。推理代码直接开源在GitHub上了，不到24小时就狂揽1500+星。

训练数据集TinyStories则来自微软前一阵的研究。

2023新视野数学奖得主Ronen Eldan、2023斯隆研究奖得主李远志联手，验证了1000万参数以下的小模型，在垂直数据上训练也可以学会正确的语法、生成流畅的故事、甚至获得推理能力。

最初，在CPU单线程运行、fp32推理精度下，Baby LLaMA 2每秒只能生成18个token。在编译上使用一些优化技巧以后，直接提升到每秒98个token。

有人提出，现在虽然只是一个概念验证，但本地运行的语言模型真的很令人兴奋。虽然无法达到在云端GPU集群上托管的大模型的相同功能，但可以实现的玩法太多了。

在各种优化方法加持下，karpathy也透露已经开始尝试训练更大的模型，并表示：70亿参数也许触手可及。

LLaMA-2 一经发布，开源 LLM 社区提前过年，热度居高不下。其中一个亮点在于随 LLaMA-2 一同发布的 RLHF 模型 LLaMA-2-chat。

LLaMA-2-chat 几乎是开源界仅有的 RLHF 模型，自然也引起了大家的高度关注。但 LLaMA-2-chat 美中不足的是不具备中文能力。尽管有些时候可以通过 prompt 的方式让 LLaMA-2-chat 讲一些中文，但大多数的情况下，LLaMA-2-chat 会固执地讲英文。

此外，LLaMA-2-chat 还具备了过高的“道德感”，有些时候让我觉得没那么有趣。

好久没做 weekend project 了，那么，让我们来 fine-tune 自己的 LLaMA-2 吧！按照下面的步骤，我们甚至不需要写一行代码，就可以完成 fine-tunning！

第一步：准备训练脚本

很多人不知道的是，LLaMA-2 开源后，Meta 同步开源了 llama-recipes 这个项目，帮助对 fine-tune LLaMA-2 感兴趣的小伙伴更好地 “烹饪” 这个模型。

第二步：准备数据集

这一步我采用了GuanacoDataset。这个数据集有两个特点：

1. 多语言支持。我没有选择一个纯中文的数据集，因为我希望模型不要只会说中文。我希望模型英文指令下还是能够以英文进行回复。
2. alpaca 格式。这一点可以省去我重新组织数据集的时间。

GuanacoDataset 中包含了若干个文件：

由于我想要模型具备的是遵循指令的能力，于是选择了guanaco_non_chat-utf8.json。不过后来发现模型收敛速度很快，可能 guanaco_non_chat_mini_52K-utf8.json 会是一个更节省时间的选择。

我们把 guanaco_non_chat-utf8.json放到 llama-recipes/ft_datasets 下，并重命名为 alpaca_data.json。训练时我们将训练集指定为 alpaca_dataset，llama-recipes 将会自动找到这个文件。

至此，数据集准备完成 :)

第三步：准备模型

首先，下载 Hugging Face 格式的权重。下载之前记得去 Hugging Face 申请 LLaMA-2 的权重并生成自己的 Access Token。

有了模型权重的访问权限后，我们就能快乐地下载模型啦。我这里为了缓存到本地的指定目录，使用了 huggingface_hub.snapshot_download 来下载权重：

In [1]: import huggingface_hub

In [2]: huggingface_hub.snapshot_download(
            "meta-llama/Llama-2-7b-hf",
            local_dir="/path/to/Llama-2-7b-hf",
            token="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"
        )

如果追求极致的零代码，你也可以使用 git 来下载模型 :)

第四步：启动训练

我用了一块 3090Ti 24GB 进行训练。由于 llama-recipes 内置了对 alpaca 格式的处理，训练命令为：

export CUDA_VISIBLE_DEVICES=0

screen -L -Logfile screen.log \
python llama_finetuning.py --use_peft \
  --peft_method lora \
  --quantization \
  --model_name /path/to/Llama-2-7b-hf \
  --output_dir /path/to/lora \
  --dataset alpaca_dataset \
  --batch_size_training 40 \
  --num_epochs 1

与官方提供的命令不同之处在于：

1. 在 screen 中运行并留下日志。
2. 添加 --dataset 让 llama-recipes 能够直接找到并处理我们 alpaca 格式的训练数据。
3. 添加 --batch_size_training 充分利用显存，提高训练速度。
4. 添加 --num_epochs 仅训练一轮。

而后便是 20 小时的漫长等待 :)

Loss 的下降如下，可以看出模型在 14% （1000/6991）的数据后便基本收敛。

最终效果

还记得我们对模型的预期吗？

1. 能够讲中文，但英文能力仍然具备。
2. 能够遵循指令，完成任务。

让我们来看看效果吧！

这里我偷懒使用了 alpaca-lora 中提供的脚本 generate.py 进行推理，我添加了 repeatition penalty 让模型减少重复：

启动 web UI：

python generate.py --base_model /path/to/Llama-2-7b-hf --lora_weights /path/to/lora

可以愉快地和我们自己训练出来的 LLaMA-2 玩耍啦！

遵循指令：

英文能力还是在线：

甚至还能讲日文哦：

不再有过份的道德感：

总结一下，自己 fine-tune 的 LLaMA-2 效果上肯定远远不如 LLaMA-2-chat。得到的模型往往写不出复杂的中文句式。不过整个过程是很有意思的，最后得到的模型也完美地达到了我们的预期 :)

最后再安利一下我们的模型推理框架 Xinference ：Uranus：Xinference: 在个人电脑上玩转LLaMA-2！

一方面为了追赶先进，另一方面为了培植生态以及建设标准。

结合最近几天的开源社区观察，和我们的实际实践来看，一个良好、稍先进于过去，但依旧存在较多问题的模型，已经能够激发社区里许多的开源战士一起共建，让社区朝着更好的方向前进了。（结尾附加例子，干说没啥意思）

开源是一种成熟的“破局方案”，尤其是在拉长对阵时间线的长期战役中，过往的一些案例：

• MySQL 对弈 Oracle 部分场景是；
• Chromium 对弈 IE 是；
• Android 对弈 iOS 是；
• Linux 对弈各种其他 OS 也是；
• 现在，Llama2 （开源，可商用大模型标杆）对弈 OpenAI + 一众其他的追赶者亦如是。

有技术储备、有耐心的后发者，对于已经积累了非常深厚优势的先行者，想要超越，首先要无限逼近，将优势缩小：开源，将生态做起来，将标准纳入自己的体系，让社区用户跟着你转，然后拉跑先发优势的其他竞争者的用户。

时间拉长，群雄讨伐董卓，自然会演变为鼎足而立的态势，太阳底下没有新鲜事儿，这样的故事已经发生了足够多次，但依旧会继续发生在开源的世界里。

一旦某种开源软件/生态簇拥者众，即使是早期的有优势的寡头，也会不得不迁就这个开源生态，比如做标准妥协（比如浏览器规范反推 w3，从事实标准改 spec），比如软件协议里单独列出的，大家不得不遵守的某些接口（最容易想到的 Google XXX产品 API、AWS S3），甚至变成其他软件默认实现的协议。

---

在隔壁偏技术的这个问题里，你能看到：

• 在 LLaMA2 模型发布的第二天，就做了 Docker 支持，老大难的部署问题缓解或部分解决了。
• 同一天，用上了社区的简单粗暴的 SFT 中文版本。
• 过了一天，4BIT 量化版出现了，只需要 5GB 显存就能玩了。
• 又过了一天，可以用 CPU 来做推理了。
• 如果你善于搜索，在这个世界的其他的角落里，你会发现还有其他的玩家也在折腾，用生态集成的方式，或者垂直领域在做 finetune 或 lora 化的应用...

就像是有人撒了一把种子在地上，然后浇了水，气温湿热，种子们蓬勃出土

补一个 CPU 跑的欢脱的视频 demo。

再补一个做基础任务替代的 demo。

再再补一个，如果和 code interpreter style 的工具结合。

再再再补一个，没有 GPU？那就用 CPU 来运行 LLaMA2 模型：

感谢真正的开源模型，让上面的一切都能够发生，并且是快速的发生，快速的演进。

Meta 的全球事务总裁尼克·克莱格 (Nick Clegg)的解释是[1]，开源会让大语言模型更安全、更好。

With the … wisdom of crowds you actually make these systems safer and better and, crucially, you take them out of the … clammy hands of the big tech companies which currently are the only companies that have either the computing power or the vast reservoirs of data to build these models in the first place.
通过众人的智慧，你实际上可以让这些系统更加安全和优秀，并且关键的是，你能将它们从目前只有巨大计算能力或者大量数据储备来构建这些模型的大型科技公司的冰冷的手中解放出来。

另外有一篇文章^[2]说的很完整：

作者首先提到，很多公司都会推出开源产品，比如安卓、Chrome（准确地说是 Chromium）、VS Code。作者将大公司进行开源的战略动机归为7类：

1. hiring 招聘
2. marketing 营销
3. go-to-market (complement) 市场推广（补充）
4. go-to-market (free-tier) 市场推广（免费版）
5. reduce competitor’s moat 削弱竞争对手的护城河
6. goodwill 商誉
7. standards lobbying 标准游说

至于在 AI 模型领域的开源，有4个更深层次的可能原因：

• You have proprietary data but not enough resources or expertise.
  您拥有专有数据，但资源和专业知识不足。
• You want to recruit and retain top researchers.
  你想招募和留住顶尖的研究人员。
• You sell hardware or cloud resources.
  你销售硬件或云资源。
• You have no distribution but have a breakthrough insight.
  你没有分销，但有一个突破性的洞察力。

基于以上关于开源的基础探讨，结合 Llama 2 的具体情况和使用条款，作者认为 Meta 开源 Llama 2 的三个主要原因是：

• 减少竞争对手的护城河。Llama 2对两种竞争对手造成了伤害。第一种是拥有专有模型的公司，如谷歌和OpenAI（与微软有关）。第二种是那些需要自然地建立受众群体的服务堆栈中的任何公司（Meta在其平台上拥有数十亿的用户）。
• 市场推广（免费版或补充）。Llama 2有7b、13b和70b参数大小可供选择。如果我们将这些较小的模型视为“免费增值服务”，您可以围绕Llama 2架构构建基础设施，并在自己的云上尝试，但使用Meta的未来产品，该产品非常庞大或以在线方式保持最新，这是大多数组织无法实现的。
• 市场营销。如果Meta能够正确规划，他们有可能成为一家以前沿技术为基础的公司。谷歌凭借多年的声誉取得了巨大成功——开发者、用户和媒体都对其赞誉有加。Meta在这方面面临着更大的挑战，但总体上的情绪是积极的。

参考

1. ^https://www.theguardian.com/technology/2023/jul/19/why-is-meta-releasing-llama-2-open-source-ai-model-mark-zuckerberg
2. ^Why Did Meta Open-Source Llama 2? https://matt-rickard.com/why-did-meta-open-source-llama

一然：退而结网系列—— AI 模型 Llama2 学习（一）

一然：退而结网系列—— AI 模型 Llama2 学习（二）

一然：退而结网系列—— AI 模型 Llama2 学习（三）

一然：退而结网系列—— AI 模型 Llama2 学习（四）

一然：退而结网系列—— AI 模型 Llama2 学习（五）

共同进步~~