人和大模型的最大差距是什么？

人可以增量学习，机器学习还不行。大模型的预训练需要一次性把语料准备齐，不能一次学一点。

机器也不能自己选择和准备context。如果我们把context当成短期记忆来使用。机器现在还做不到选择性的遗忘和选择性的保留context里的内容。只要你放到context里的东西，它就会认为是相关的，而不能主动忽略无关的context。

人不会一次推理过一遍所有的参数，做一次学习就更新一遍所有的权重。LoRA 等方案还差很远。