这个问题非常好，其实其本质就是如何理解具备一定语料的未知语言，也就是与一门已知语言建立联系。

这是语言学的一大话题，比如田野语言学需要记录方言乃至从未认知过的语言，历史语言学可能要根据死语言有限的材料尽可能破译信息，比如罗塞塔石碑，或者线性文字AB等。语言学奥林匹克竞赛（National Linguistics Olympiad，NOL）的题目完全就是根据一些未知语言和已知语言的对应关系来推断出未知语言的词汇含义和语法。语言的可能空间非常大，单纯靠暴力猜词是很难搜索到正确结果的。

当然题目的设定其实和上述设定有两点不同。第一点是语料数量。题目中提到这门语言有一亿本书，这其实是田野语言学和死语言解读完全无法想象的数量，比如田野语言学只能从语言老师那里获得有限的几百句话和几百个单词，而罗塞塔石碑甚至只有一块小小的碑文。这是题目设定有利的地方。

第二点则是无显著的平行语料。平行语料指的是未知语言以及其已知语言的翻译，比如“apple”对应苹果，“天気がいい”对应天气很好。在田野语言学中，我们可以问掌握未知语言的语言老师“这个东西是什么”，那么获得的语料天然具有注释。语言学奥赛也会给出一些词汇的解释。而罗塞塔石碑同时记录了三种内容相同的文字：希腊文，古埃及草书文，古埃及象形文，其中希腊文是人们非常熟悉的。有了平行语料，人们可以根据一些对应关系猜测词汇的含义，比如频率高的词可能有语法作用，人名相应的拼写可能差不多等等。如果一点没有平行语料没有，对我们的破译会非常不利。当然如果使用这门未知语言的人会学外语，那么可能会有一些书籍记录了外语和该语言的对应关系。可是这就需要挖掘了。

考虑这两个特点，我们应该怎么解决这个问题呢？其实我们可以使用现在非常火的语言模型。

语言模型

虽然有蹭热度以及拿着锤子找钉子的嫌疑（doge），但语言模型其实是非常适合题目的设定的。最通俗地理解语言模型，就是给一句话，模型输出这句话之后什么词有多少可能出现，比如让模型看“苹果很”这句话，那么可能“甜”这个词的可能是 0.8，而“罗纳尔多”的可能是0.001，如此类推。“什么词有多少可能出现”其实就是一个分布，语言模型实际上是把语言看作一个巨大的概率分布。这个分布很有用，比如我们可以从分布中用一些方法选词，这样就能生成文本了。

为了构建语言模型，也就是训练语言模型，我们需要让模型不断根据前文推断出下一个词的分布，然后计算模型的预测和真实值的差距（损失），然后根据损失调整模型。这是目前最流行的神经网络语言模型的主要流程，此外还有传统的 ngram 模型等，在此不讨论。

语言模型有两个特点很适合题目的场景。第一个特点从上面的文字其实可以看到，就是训练一个模型只需要文本自身就可以了，不需要其他信息，也就是说语言模型是自监督（Self-Supervised）的。最简单的语言模型只需要闷头一个词接一个词地预测，然后“对答案”就好了，不需要语法知识或者其他语言的信息。这就天然解决了无平行语料的问题。

第二个特点其实是神经网络语言模型的特点，就是训练数据越多，模型表现就越好。这被称为 Scaling Law。在题目设定的情况下，假如有一亿本书，假设每本书有九万个单词（GPT-4说的成人小说平均单词量），那么就有九万亿个单词可以训练模型，即使里面可能有些数据不好，假设有四万亿本书质量不行，那么也有五万亿个token。用来训练模型绰绰有余了。

当然，满足了这两个特点只能说明语言模型能用于这个情景，但是语言模型真的能够解决我们的问题，构建未知语言到已知语言之间的关系吗？

语言模型的跨语言迁移

这就要说到语言模型的第三个特点，语言模型的跨语言迁移能力（Cross-lingual Transfer）了。如果模型已经学习了一门语言 A 的很多资料，仅仅学习少量用另一门语言 B 编写的内容，语言模型也能非常好地掌握语言 B 的相关能力，并利用语言 A 内容里面的知识。

GPT-2[1] 是 OpenAI 于 2019 年训练的 Transformer 语言模型，其训练材料大部分是英语，他们在整理训练数据集时特意使用了语言分类器来过滤非英语的内容。当然这种过滤不是完美的，比如训练数据里有 10MB 的法语内容，听起来很多，但 GPT-2 整个训练集有 40GB 之大，这就像 OpenAI 把一整个书店的书拿去训练模型，其中只有几本书是法语书。然而即便是这样，GPT-2 在 WMT-14 法译英任务上的表现，也远远超过了拿多得多的法语材料训练的模型的能力。英译法的能力稍微差一点，但是也超过了基线。

RWKV 是彭博研发的一系列 RNN 语言模型，RNN 和 Transformer 是两种不同的神经网络架构，当然其差异对于本文来说不重要。RWKV-v5 ^[2]在很多多语言任务上表现非常出色，比如因果推理，句子翻译等等，但是它并没有特意在这些语言上训练这些任务，只是在训练时见过各种语言的数据而已。

以上模型的语言迁移能力比较意外，而另外一些模型是瞄准着多语言能力来训练的，比如 mBERT 和 XLM 等。mBERT 由 Google 推出，在 104 种语言的维基百科数据上面训练，所有语言都共享一套参数。BERT 系列模型采用掩码语言模型，也就是在材料种挖空，让模型补全挖空。XLM 模型来自 Facebook，其预训练任务中增加了翻译语料的任务。

对于这些模型来说，这些少量的其他语言的数据就像题目中的未知语言一样。通过预测下一个词，模型就能神奇地做各种相关任务了。所以我们就可以确定方向了：

1. 选择一个掌握了语言 A （比如英语）或者多种语言的语言模型，比如 GPT-2 / Llama 3 / RWKV-v5
2. 用未破译语言 X 的数据训练语言模型
3. 让语言模型做 X 翻译到 A 的任务，胜利！

有一些技术细节需要考虑，比如如果语言 X 的书写系统不是拉丁文，那么可能需要修改语言模型的词表，涵盖语言 X 的单词；第三步的任务需要给一段初始序列也就是提示词（prompt）来让模型开始做翻译任务，GPT-2 的法译英任务用了 "<法语句子>=<英语句子>...<法语句子>="的格式，其中前面是英语法语句子对，让模型“进入状态”，最后一句法语句子是需要翻译的。

跨语言迁移背后的理论解释

上述做法很粗暴，没有任何高深精妙的理论，但是很奏效（doge）。但是怎么理解呢？首先我们还要回到语言模型的训练目标：预测下一个词。这种做法其实很深刻，用一种训练目标统一了非常多的任务：

1. 如果给模型的材料是，”英文：Thank you，中文：谢谢你。“那么预测“谢谢你”的过程，本质上就是在学习如何翻译 Thank you。
2. 如果给模型的材料是“我讨厌 perfume 这个词，Burr 说。法语里的说法更好听：parfum”，模型也会掌握如何翻译 perfume。
3. 如果材料是“圆周率的值是3.1415926”，那么预测“3.1415926”其实就掌握了圆周率的大小的这一知识。
4. 如果材料是百度贴吧里的帖子：“A：<一些观点>B: 啰啰嗦嗦的，不就是……”，那么模型其实在学习如何总结材料。

上面三个例子其实也有层次，第一个例子格式很规整，清晰地展示了英文和中文的对应；第二个例子也比较清楚但没那么格式化，第三个例子和则非常随意，但是里面潜藏了一些能力。第一个例子的数据很少，需要可以收集，但第二个和第三个例子这种非结构化数据则遍地都是。其实这些材料都是某种意义上的平行语料，将不同任务都转化为了A与B的对应关系，通过预测下一个词，模型自行挖掘了数据中潜在的平行语料，而反向传播强迫模型必须学习背后的规律。因此之前提到的方法取决于有多少平行语料。

语言之间的共通性

但是潜在的平行语料终究是整体语言材料的一小部分，剩下的能力是怎么构建的呢？我们需要再深入理解语言模型为什么能学习语言，在这其中分布假说（Distributional Hypothesis）扮演了很重要的角色，也是语言模型能建模为概率分布的基础。一个词的含义是怎么决定的？并不是委员会开个会把几万个词都一一设定意思；一个词的含义是由其他相伴的词决定的。比如“苹果”相伴的词有“红”“吃”“酸甜”“水果”“市场”等等，这些词与苹果之间的共同出现就形成了苹果这个词的意思。那么对于两种不同的语言，如果两个词的相关的词都是类似的，那么这两个词的意思就相近。

最简单的分布假说往往只考虑临近的几个词，但是Transformer为代表的语言模型能够考虑相距上千乃至上万个词之间的联系，这就能更加合理的建模词语之间的关系，进而建模词语的含义了。

不仅词义之间有相似之处，语法之间也有相似之处。自然语言有上千种，但是语法结构大抵都是相似的，比如语序上主谓宾和主宾谓语言占据了大部分，语法上则有主宾或者作通等少数几套非常通用的系统。观察到这些现象，Noam Chomsky 提出了共通语法（Universal Grammar）的概念，认为所有语言背后有一套相同的结构支撑。其依据则是刺激贫乏（Poverty of the Stimulus），即人类童年接受的数据不足以让人类掌握其语言的所有组分，但大部分人还是能掌握母语的绝大部分语法，说明人脑有一些天生的通用机制来掌握语言。当然这个假说是有比较多的争议的，不过也能从侧面佐证语言的共通性。

语言模型不同模态之间的迁移

下一个问题，这些材料中可能不只有文字，还可能有图像，表格等等，或者如果这个语言还有音频资料，怎么利用这些信息呢？

其实语言模型经过微调后也能利用这些信息，这就是神经网络的神奇之处（doge）。最简单的结构可以参考 LLaVA^[3]，通过一个视觉编码器将图片转化成一系列 token，之后让整套模型来自行学习如何处理视觉 token 和文字token。

语言模型不仅能在不同语言之间迁移，也能在不同模态之间迁移。比如有人用语言模型分类图片，学习蛋白质的折叠，一个经过充分语言训练的模型便能取得不错的表现，达到和在这些任务上单独训练的模型的效果^[4]。

结语：通用智能与压缩

从物理学的牛顿定律到语言学中通用语法，从机器学习早期手动构建特征到 Transformer 语言模型一通四方，人类一直在追求通用的模型。通用意味着压缩，找出繁杂现象背后的普适规律，用最短的序列传递最多的信息量。开普勒将数以万计的观测数据压缩成三条定律，牛顿又将数以百计的实验定律压缩成三条定律，这个过程与神经网络将万亿的语言数据压缩成区区几十G的权重，进而服务于破译语言，总结问答等等任务，其实是殊途同归。

参考

1. ^GPT-2 paper https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf
2. ^https://zhuanlan.zhihu.com/p/659872347
3. ^https://llava-vl.github.io/
4. ^https://www.semanticscholar.org/paper/Frozen-Pretrained-Transformers-as-Universal-Engines-Lu-Grover/3aa2c10dd6c72267ea8a622c8f30b3c9240d5fab?sort=relevance&page=4&citedSort=relevance&citedPage=2

就题目而言，最有利的情况是信息本身就是设计出来让人易于破解的，像阿雷西博信息和旅行者号搭载的信息那样，或者与人类已知文字对照，那很快能破解。

如果待破译的材料里有大量的人类能理解的内容，比如能理解的图画，那应该能解读出一些词语，但对于这种文字的语法破译起来难度依然很大。甚至于如果这种文字有一些很复杂的特征，比如名词在各种情况下变化很大，那能否解读出词语都难说。

如果待破译的材料里有很多科学内容，包含很多公式和数学，那很有希望解读出来，还很有希望获得一些目前未知的观点。

如果待破译的材料都是纯文字的抽象内容，比如哲学，法律，伦理，历史这些，那破译起来难度极大。

不知道为什么这么多答案说不行，还有些答案扯到LLM上去了，实际上这个问题早在LLM时代之前就有成熟的方案了。

通过语言学手段，其实已经能解决大多数失传文字，例如甲骨文、古埃及文字、古巴比伦文字这些的破译工作。题目所说的能否基于计算机通过大量语料进行破译，实际上就是NLP中的无监督机器翻译问题，这一块也早就有大量的研究工作。

Word2Vec时代

从Word2Vec开始，词袋模型告诉我们词向量大致是满足线性规律的，例如我们单词可以在Embedding空间中进行这些计算：

\text{one} + \text{two} \approx \text{three}

\text{king} + \text{woman} \approx \text{queen}

\text{French} - \text{Paris} \approx \text{England} - \text{London}

就在提出Word2Vec之后，还是2013年，Mikolov就给出了利用词向量模型在不同语言间进行无监督翻译的方法。对于不同的语言而言，同样语义词汇之间的相对关系依然不变，例如我们换到中文里还是会满足：

\text{一} + \text{二} \approx \text{三}

\text{国王} + \text{女人} \approx \text{女王}

\text{法国} - \text{巴黎} \approx \text{英国} - \text{伦敦}

即不同语言中，描述同种事物的词汇之间的相对关系保持不变。一种挖掘这种关系的方式是PCA降维，PCA的本质是对样本的协方差阵进行特征值分解，从而拆解出一个旋转矩阵和一个基矩阵。

而我们已经知道不同语言中的词汇相对关系是一致的，只不过词汇的表示不一致，也就是说两种语言的词向量矩阵是相似的——两个矩阵仅相差一个旋转变换。利用PCA降维将这个旋转变换去除掉后，两个矩阵也就得到了对齐。

在论文中实际仅学习了一个映射关系 \min_{W} \| WX-Z \|^2 ，其中X是源语言，Z是目标语言，W就是映射矩阵，这么一个简单的方法就能对大多数词达到53%的准确率，考虑top5结果能达到75%，高置信度部分甚至能达到91%。

Transformer时代

跨入Transformer时代后，无监督翻译更牛逼了，这里就介绍下比较经典的回译(back-translation)的做法。

回译的做法相当巧妙，它妙在利用了译文的译文等于原文这一点，从而脱开了对平行语料的依赖。具体步骤如下：

1. 先搞一个粗对齐的语料，比如收集两种语言大量的语料，然后利用上面的方法先把词汇对齐了，然后简单按词翻译一下，差不多就行。
2. 用两种语言的语料建立两个语言模型，然后再用粗对齐语料初始化 f(源语言)->目标语言 和 g(目标语言)->源语言 两个翻译模型。
3. 回译训练

• 从源语言拿出一条句子x，计算f(x)作为一条x的伪翻译
• 再计算g(f(x))将伪翻译结果翻回源语言
• 由于g(f(x))是x翻译的翻译，因此 x=g(f(x))，这就是回译的损失函数
• 然后再从目标语言拿一条句子y再来一遍 f(g(y))=y

论文在英法翻译上的实验结果表明，使用回译的无监督学习差不多相当于使用10万条平行语料进行有监督学习的结果，这个结果还是相当可观的。

LLM时代

在LLM时代，模型拥有了和人类一样的学习理解能力，更加毋庸置疑我们具有这样的翻译能力。我们可以做一个思想实验，拥有无限语料的LLM学习，就好像将一个盲人小孩扔到一个全新语言环境中学习，那么他显然如同大多数先天性视障人群是可以学会语言的，此时我们将他又扔到一个新的语言环境，保持学习能力不变，他依然可以学会一种新的语言。那么此时的他，会因为没有对照表就不知道两种语言怎么对应了吗？显然不会。

我们之所以拥有这种跨语言的翻译能力，本质上是因为我们有着相似的生活环境和生活方式，比如我们都需要数字进行计数，那就可以根据数字的大小关系建立映射，我们都要在说话的时候进行指代，“你我他这那”就总是有相似的出现规律。这种来源于世界本身的相似性保证了语言语义结构的相似性，也就保证了我们只需要去求解某种最小化的映射，就能保证翻译结果八九不离十。

那么这种翻译只会在一种情况下失效，也就是对面文明和我们的生存环境大不相同，他们平时不数数、不运动，没有视觉和听觉感官，思维混沌无法理解。那面对这种克系语言，我觉得应该确实没有什么办法在两者之间建立映射，毕竟此时是否存在合理的映射都难以保证了。

参考文献：

[1] T. Mikolov, Q. V. Le, and I. Sutskever, “Exploiting Similarities among Languages for Machine Translation,” arXiv:1309.4168 [cs], Sep. 2013, Accessed: [Online]. Available: http://arxiv.org/abs/1309.4168

[2] G. Lample, M. Ott, A. Conneau, L. Denoyer, and M. Ranzato, “Phrase-Based & Neural Unsupervised Machine Translation,” arXiv:1804.07755 [cs], Aug. 2018, Accessed: [Online]. Available: http://arxiv.org/abs/1804.07755

那是 2018 年初的冬夜，我在十三陵自己架起了一口大锅，向 8.6 光年之外的天狼星发送了人类知识的一小部分。这件事背后的故事在这里。今天我们关心的是，向可能的外星文明发送消息，显然需要让外星文明认识到这个消息是一个智慧生命发出的，还得让外星文明理解它。

一个很基础的问题就是，如何在消息中证明自己的智能程度呢？换言之，如果我是一个监听宇宙信号的智慧生命，如何判断收到的一堆信号中是否包含智能？由于智能不是一个有或无的问题，而是一个多或少的问题，如何衡量这堆信号中包含何种程度的智能呢？我觉得 5 年前自己的思考还是有点意思，整理一下发出来。

消息就是一个字符串。设想我们能够截获外星人的所有通信，拼接成一条长长的消息。它包含多少智能？这并不是一个容易回答的问题。

现有技术一般是尝试对消息进行解码，然后看它是否表达了数学、物理学、天文学、逻辑学等科学中的基本信息。1974 年的阿雷西博信息就是用这种方式来编码信息，希望得到地外文明的关注的。我则试图找到一种纯计算的方法来衡量消息中蕴含的智能程度。

复杂度 ≠ 智能

让我们从熵开始。熵是消息混乱度的度量。如果消息中的每个字符都没有前后关联，熵是很容易通过每个字符的出现频率计算的。可惜，消息中的字符是有前后关联的，例如英文字母 q 之后几乎总是跟着 u。对重复子串进行特殊的编码存储，就是如今各种压缩算法背后的原理。熵对应着使用压缩算法能够取得的极限压缩率。没有放之四海皆准的最优压缩算法，也没有算法能够准确地计算一个字符串的熵。

简单重复的字符串，比如 10101010…，熵很小，压缩比最高，但显然不包含智能。随机生成的字符串熵很大，不可被压缩，也显然不包含智能。那是不是熵适中，压缩比适中的字符串就包含智能了呢？答案也是否定的。我们设想一个长度为 N 的随机字符串不断重复下去，那么通过调整 N 的值，可以构造出熵为几乎任意值的字符串，但是随机字符串的简单重复显然也不包含智能。

消息的复杂度有很多种度量。有一个知名的 Kolmogorov 复杂度，指的是能输出该字符串的最短程序的长度。例如，pi = 3.1415926… 的前 100 万位的 Kolmogorov 复杂度就不高，因为计算 pi 的前 100 万位的程序不需要多少行代码。由于停机问题的存在，Kolmogorov 复杂度是不可计算的。但这还不是最重要的。Kolmogorov 复杂度也很难成为智能程度的尺度。随机字符串的 Kolmogorov 复杂度是最高的，等于它的长度；一个字符简单重复的字符串 Kolmogorov 复杂度是最低的。

还有一个叫做 “逻辑深度”（logical depth）的度量，指的是能够计算出该字符串的较短程序的最短计算时间，其中较短程序的定义是长度不超过 Kolmogorov 复杂度加上一个常数值的程序。是不是所需计算时间越长的消息就越智能呢？答案是否定的。一个计算比特币区块链中每一个区块的程序（在当前的难度值下）有着很高的复杂度（否则就不需要那么多人挖矿了），但比特币区块链本身只能证明这是一个智慧文明作出的精巧设计，很难说承载了人类文明的大部分智能。

用神经网络估计复杂度

近年来，人工神经网络火起来了，特别是 2017 年的 Transformer，用一个通用的模型解决了 NLP 领域的很多问题。今天的 GPT 也是基于 Transformer。Transformer 还被推广到 CV 等其他领域，成为最有潜力处理多模态数据的通用模型。事实上，从人工神经网络诞生的很早期，我们就知道它理论上可以逼近任意的连续函数，只是那时我们还没找到合适的模型结构、训练方法，也没有足够的算力和数据。

人工神经网络的通用逼近能力意味着它能够比较准确地计算大部分消息的复杂度。尽管准确地计算熵或者 Kolmogorov 复杂度仍然是不可能的，但人工神经网络可以在大多数场景下给出较好的近似。除非消息本身所蕴含的知识是难以学习的，例如消息本身使用 AES 加密了，那么人工神经网络按照目前的梯度下降法是学习不到它的密钥的。

在人工神经网络出现之前，根据输入输出样例搜索通用程序一般被认为是非常困难的，由于我们要求 100% 的准确率。正是因此，Kolmogorov 复杂度往往被认为是一个理论工具，而很难给出比 LZ77 好很多的通用逼近算法。一旦我们跳出精确算法的框子，寻找允许一定错误率的近似算法，就打开了新世界的大门。

人工神经网络是复杂消息的一个极好的压缩器。它可以把消息中的结构提取出来，用于根据一段子串预测下一个字符。预测的准确率越高，长消息的压缩率就越高。整个消息的复杂度就等于模型的大小加上消息长度乘以预测错误率，而压缩率就是消息长度与复杂度之比。预测错误率不会收敛到 0，因为消息中总有不确定性，源自周遭环境的未知信息，并不是由之前的消息能够完全决定的。

使用压缩率作为智能度量的一个显然问题是，压缩率与消息的总长度相关。随着消息总长度趋于无穷，消息长度乘以预测错误率部分的占比会越来越大，模型大小在消息复杂度中的占比会越来越小。而预测错误率显然不能很好地度量智能，模型大小才是智能多少的一个上界。

不同大小的神经网络模型都可以在一定程度上预测下一个字符，只是它们的准确率不同。在模型能够容纳所有知识之前，模型越大，一般来说预测准确率越高。在模型容纳了几乎所有知识之后，预测准确率就很难提高了。预测准确率收敛时的最小模型大小就是智能文明的语言复杂度。

但是，我们仍然无法仅仅根据模型大小区分随机字符串的简单重复和智能体之间充满智慧的对话，因为它们所需的模型大小可能是相同的。

一个简单的想法是给神经网络挂上一块 “内存”，也就是可以随机访问、不计入模型大小的外部存储。这样，随机字符串就可以被存储在这块外部存储中了，整个消息可以用一个简单的模型表达。但是，再深入推演一下，就会发现这个想法完全是错误的。因为任何模型都可以作为一段程序存储在这块外部存储中，而模型中仅需要一个固定大小的通用 “执行程序” 功能，就可以表达任意的程序。程序和数据是可以互相转化的。

复杂度 = 随机性 + 智能

我的浅见是，复杂度本质上一部分来源于随机性，另一部分来源于智能，也就是 Complexity = randomness + intelligence。随机性可能是在消息传输过程中人为加进去的，也可能来源于周遭的环境。来源于环境中的随机性，一个例子就是历史人物的名字和动物的名字。名词数量的多寡并不意味着智能水平的高低，当然现实中往往有一定的正相关性。从模型中剥离出来哪些是随机性，哪些是智能，并不是一件容易的事。

因此，我们回到智能的定义。智能（intelligence）在牛津词典中的释义是 the ability to acquire and apply knowledge and skills。用计算机的话来说，智能就是发现规律（pattern recognition）的能力。

首先，我们根据来自外星文明足够多的消息训练一个足够大的模型，该大模型将包含外星文明的几乎所有知识。事实上，该大模型就是外星文明的一个数字克隆。考虑到人类所掌握的物理规律下信息的传递比物质方便很多，高等文明可能本身就是数字化的。

此时，如果拿一条从外星文明截获的新消息，将前半部分输入给大模型，该大模型将以较高的概率预测出消息后半部分的第一个字符。预测下一个字符听起来与智能相距甚远，但有了下一个字符，就可以预测第二个字符，以此类推……事实上，任何问题都可以被组织成填空题的形式，例如 “中国的首都是__”，那么一个很好的预测器就能表达智能文明中的几乎所有问题，进而体现智能文明解决问题的能力。

其次，我们用这个来自外星文明的模型用来测试在本地文明语料中的泛化能力。因为智能就是发现规律的能力，外星文明的模型也可以学习到本地文明语料中的知识。

但是，简单把本地文明的信息输入给源自外星文明的大模型，让它预测下一个字符是不靠谱的，因为一条消息中含有的本地文明信息太少，对于外星文明来说这条消息无异于天书。这就像是在罗塞塔石碑被发现之前，考古学家始终无法解开古埃及象形文字的奥秘。问题来了，罗塞塔石碑是三种语言组成的对照文本，而我们并没有外星文明和本地文明的对照文本，这还能做迁移学习吗？

语料库够大，罗塞塔石碑就不必要了

考古学家需要罗塞塔石碑是因为古埃及象形文字太少了，也就是语料库太小。神经网络在语料太少时也练不出什么东西。5 年前的我就相信，当语料数量足够大时，总是可以从中无监督地学到知识，无需事先标注的数据。当年的模型还不具备这个能力，是因为模型还不够大，不能容纳世界上的所有必要知识。今天的 ChatGPT 囊括了人类很大一部分的知识，特别是基础语言模型、世界模型、人类常识这部分的知识，而基础模型的训练方式完全是无监督的（不考虑 RLHF 与人类的输出做 alignment），印证了我的猜想。

此外，数学、物理学、天文学、逻辑学等科学是不同文明相通的，这些信息将成为隐形的罗塞塔石碑。

一个文明智能程度越高，就越容易从更少的信息中学到知识，做出更准确的预测。基于这个考虑，我们让这个源自外星的大模型再喂给一些来自本地文明的语料，比较它和仅用这些本地文明语料训练的模型对本地文明消息下一字符的预测能力。为了区分本地文明和外星文明的语料，我们会对它们做不同的标记。如果源自外星的文明（用大模型表征）足够聪明，它就可以从本地文明的少量语料中学到很多关于本地文明的信息，也就是这个数字化的外星文明可以更快地适应本地文明的环境。而只使用同样数量的本地文明语料训练的模型具备的预测能力很可能就更差。

外星文明与本地文明的智能程度对比

根据上述假设，我们可以设想不同智能程度的外星文明在适应本地文明方面的差异。

上图：不同智能程度的外星文明与本地文明的对比（猜想图，非实验图）。X 轴：本地文明训练语料库的大小，对数坐标；Y 轴：在本地文明测试语料库上的预测准确度。红线：已经用外星文明语料库训练过的模型加上 X 轴指定大小的本地文明训练语料。蓝线：仅使用 X 轴指定大小的本地文明训练语料。

首先观察仅使用本地文明语料训练的那条蓝色曲线，它的预测准确性在语料数量较少时呈现一定的线性增长能力（语料数量的对数与准确率接近线性），而在语料数量超过一定的门限后呈现暴涨，最后收敛于平台期。

这是由于智慧文明中的任务可分为两类，一类是简单任务，一类是复杂任务。简单任务可以通过识别特征来完成，因此识别的特征越精细，准确率就越高。而复杂任务是由多个简单任务组成的，必须所有任务都正确完成，整个复杂任务才算完成。例如我们解一道数学题有多个步骤，不管哪个步骤出错，最后结果都是错的；我们说一句话也需要很多个字，按照依次预测下一个字的方法，需要每个字都说对才算对。因此，简单任务的正确率达到一定的阈值之前，复杂任务的准确率为多个简单任务准确率的乘积，趋近于 0。只有每个简单任务都能足够精确地完成了，复杂任务才能以可感知的准确率完成。

大模型的这个特性今天叫做涌现（emergence），但是一般指的是模型大小超过一定阈值后准确率突然提升，而我这里指的是训练数据量。不知道我 5 年前的解释是否正确 :)

接下来，我们就要根据外星文明在有限的本地文明语料上的表现来衡量它的智能了。

1. 没有任何智能：红线和蓝线完全重合，这意味着外星文明没有任何学习本地文明语料中知识的能力，所有预测能力完全来源于本地文明的新增语料。这就能把复杂度中的随机性和智能区分开来了，一个很长的随机字符串或者一段随机生成的长程序没有任何迁移学习的能力，而哪怕是蚂蚁这种小模型都有一定的迁移学习能力。按照这个测量方式，仅仅表现出一些规律而不具备学习能力的模型不被认为具有智能。
2. 弱智能：红线拐点的高度低于蓝线的拐点，在暴涨期跟蓝线重合。蓝线的拐点表示简单任务和复杂任务的分界，简单任务具备线性增长能力，而复杂任务呈现暴涨特性。由于外星文明具备一定的简单模式识别能力，只需少量本地文明语料就搞清楚了一些简单规律（比如 q 后面一般跟着 u），从而比单纯使用本地文明语料学习得更快。当然，也有可能蓝线反而会低于红线，也就是说外星文明和本地文明的差异实在过大，外星文明的模型完全迁移不过来，还反而降低了学习本地文明的速度。但是由于外星文明和本地文明的语料有不同的标记，这种情况发生的可能性不高。由于外星文明的语料不具备逻辑推理和完成复杂任务的能力，它在暴涨期并不能帮上忙。
3. 中等智能，但比本地文明更弱：红线的拐点高于蓝线的拐点，红线的暴涨期与蓝线部分重合。这表示外星文明具备一定的逻辑推理和完成复杂任务能力，但智能程度低于本地文明。外星文明能够从少量本地文明的语料中学到外星文明和本地文明概念之间的对应关系，从而快速达到外星文明的最高智能程度，但它不具备本地文明中部分复杂任务的处理能力。一个例子就是 1000 年前的人类和今天的人类，古人也有很不错的逻辑推理能力和完成复杂任务的能力，但对自然界的认识和计算能力肯定不如现代人类。
4. 同等智能：使用外星文明语料预训练的模型，也就是红线，只需少量本地文明语料就能学到外星文明和本地文明概念之间的对应关系，从而达到同等的智能程度。一个例子是使用英语的现代人和使用汉语的现代人。这是中等智能的一个极限特例。
5. 同等智能的特例，外星文明 = 本地文明：在外星文明 = 本地文明的特殊情况下，“外星文明” 出道即巅峰，新的本地文明语料起不到任何帮助。这体现了智能的相似程度对这种测量方式的巨大影响。外星文明和本地文明越相似，学到两种文明概念之间对应关系所需的本地文明语料就越少。也就是说，在本文的测量方式下，外星文明与本地文明越相似，本地文明就可能认为外星文明越智能。目前我还没有想到衡量文明的 “绝对智能程度” 的方法。
6. 强智能，比本地文明更强：如果外星文明比本地文明更强，它只需少量的本地文明语料就能学到两种文明间的概念对应关系，并解决本地文明中解决不了的难题，也就是它的预测准确率可以比本地文明更高。当然，这类文明的相对智能程度可能并不容易衡量，因为本地文明可能根本没有能力提出足以区分不同强智能文明的问题，本地文明用于训练大模型的算法和算力可能也不足以训练出足以展现外星文明水平的模型。这也很容易理解，一个人很难衡量比自己强很多的人的绝对水平。

尽管智能程度难以量化，我们也不妨给出一种智能程度的标量测度，就是红线和蓝线之间的最大垂直落差，也就是使用相同数量本地文明语料时外星文明 + 本地文明模型和纯本地文明模型在预测本地文明对话任务上的精确度之最大差值。

可以看到，在外星文明学习能力相同的前提下，它与本地文明的相似度越高，这样定义出来的智能程度也就越高。我也想过如何量化复杂度（模型大小）中属于智能的一部分，或者如何排除随机性的那一部分，但是始终没有找到方法。

用今天的话说，外星文明就像是预训练模型，而本地文明就像是微调（fine-tune）模型。GPT 就是 Generative Pre-Training（生成式预训练）的缩写，可惜 5 年前还没有发布。当然，这样的类比是很不严谨的，因为不同文明之间的差异比 fine-tune 语料和预训练语料之间的差异大多了，而且一般 fine-tune 语料不会比预训练语料更多。

我们也许并不孤独

5 年前的那个冬夜，我发送的是各种语言维基百科的合订本。《三体》里面的红岸基地在发送信息之前需要先发送一个 “自解译系统”。事实上，从前文不难看出，高质量的语料本身就是自解译系统，根本不用担心我说的是汉语，外星人说的是英语；也不用担心我用的是十进制，外星人用的是二进制。一个有着强大算力的外星文明只要通过简单压缩算法的压缩率来粗略筛选掉随机噪声和简单重复信号，留下看起来像包含智能的消息，然后扔进大模型里面训练，就能从消息中重建文明的一大部分智慧。

百年来，人类已经向宇宙发射了无数的无线电波。特别是长波电台广泛存在的年代，这些无线信号对于距离我们较近的外星文明而言，是很容易与宇宙背景噪声相区分的。如果外星文明足够聪明到使用大模型来处理这些无线信号，也许它早就洞悉人类社会的一切秘密，无需等待阿雷西博信息或者更复杂的 “自解译系统” 提供密码本。也许外星文明早就用这些无线信号训练出了人类文明的数字克隆，等待我们某一天在宇宙中老友相逢。也许在不远的未来，当我们用大模型处理从宇宙深处传来的电波和光波时，才会惊奇地发现，宇宙中的智能原来无处不在，只是人类之前的解码技术太过低级。

有趣的是，今天很多 AI 创业公司的名字跟星际探索相关。也许创始人们是想表达 AI 是类似星际探索的一项充满想象空间又能改变世界的创新事业。我从 5 年前开始延续到现在的思考，则更直接地把 AI 和星际探索联系在一起：AI 模型将成为人类文明的数字化身，跨越人类肉体的时空限制，把人类真正带到太阳系甚至银河系之外，成为星际文明。

后记

尽管我不是做 AI 的，但 5 年前的一点小思考跟今天大模型的一些表现还是很接近的。当然，这也许仅仅是巧合，我的观点很有可能是错的，毕竟我没有做任何实验。如果我未来有时间，也许可以拿地球上不同年代和地区的文明，甚至不同生物的文明去做个实验。

不过，如果一个研究 AI 的人连我这个门外汉写的文章都看不懂（注：不包括看懂了，但不同意文中的观点），那说明根本没有思考过 AI 领域的基础问题。我去看 OpenAI 首席科学家 Ilya Sutskever 过去 10 年的文章，发现他的思考真的非常深入，不是只关心 CV 或者 NLP 中的某个具体问题，而是从全局出发思考 AI 领域的基础问题。尽管我在网络和系统领域只有很初步的研究，但我深知，要提出好的问题，做出好的研究，必须对领域内的基础问题有足够深入的思考，而不是看看最近几年顶会上哪个话题被研究得多，就跟风做一篇论文。