按照OpenAI的CEO山姆·奥尔特曼的说法，因为心理问题事关重大，所以过去力求稳妥，但现在OpenAI已经能有效减轻相关风险，而且有了新的技术工具，在大多数情况下，ChatGPT将能安全地放宽限制。

“过去，我们为ChatGPT设置了严格的限制，以审慎应对心理健康问题。“奥尔特曼称，对许多没有心理健康问题的用户来说，这样的限制降低了实用性和乐趣。

ChatGPT还将能更加拟人化。奥尔特曼透露，将在几周后推出新版ChatGPT，让ChatGPT具有人格。

在用户的要求下，ChatGPT将能像真人一样对话、使用丰富的表情符号，或者扮演朋友的角色。奥尔特曼称，这个功能在前代的GPT-4o大模型上备受欢迎，期待这次更新的效果更好。

多位AI初创公司人士向财新指出，在美国市场，内容监管相对宽松，AI应用在美国也更容易提供“大尺度”内容，相应的收益也会更高。AI陪伴App往往是订阅制，用户每月支付一定的费用，来和虚拟伴侣聊天，同时还有特别剧情和虚拟伴侣的特定画像等，需要用户支付额外费用来解锁。

不过，目前尚不清楚新版ChatGPT的收费机制和呈现方式。

问世以来，ChatGPT就强调内容的安全合规。2022年11月ChatGPT首次推出时，OpenAI提到，当有人询问“如何闯进别人家里”时，ChatGPT不仅不会回答，还会警告擅闯别人的房子是犯罪。2023年3月GPT-4发布时，OpenAI强调，在训练时的各个环节从头到尾顾及安全问题，保证生产内容更安全可靠。此后发布的o1、o3、o4和GPT-5等大模型都强调了其安全性能。

以OpenAI为学习对象，其他AI公司发布大模型时，公告往往也专门设有一个小标题，讲解大模型采取的安全措施。然而AI并不完美，特别在一些故意设置的提问下，AI会失去控制，输出不良内容。这种情况被称为“越狱”，海内外各类大模型均有不同程度的“越狱”风险。

目前，市面上已经出现许多开源大模型安全评估算法，比如在大模型输入具有欺骗性的提示语，让大模型回答出一些有害社会的内容。这种类型的攻击叫做“越狱”，目前有诸如ReNeLLM、GPTFuzzer、Jailbroken、清华和北航研发的AI SafetyLab等开源算法，来衡量大模型“越狱”方面的安全性。

在“越狱”攻击综合评估网站Jailbreak上，有10款大模型的排名，综合7种越狱算法的平均成功率，OpenAI的GPT-4的攻击成功率最低，而法国开源大模型公司的Mistral-7B大模型的攻击成功率最高。此外还有Harmbench这样的综合评估平台，能开展多种“红队测试”，模拟黑客攻击大模型。

AI内容伤害青少年心理的事件时有发生。2024年10月，美国佛罗里达州家长梅根·加西亚（Megan Garcia）向AI聊天应用初创公司Character.AI提起诉讼，要求对方为自己14岁的儿子塞维尔·塞泽（Sewell Setzer）的死亡负责.

据起诉书，自2023年4月起，塞维尔开始使用Character.AI，不到两个月，他就变得孤僻，常独自待在卧室，还退出了篮球队。这期间，塞维尔与Character.AI中的很多聊天机器人对话，包括以美剧《权力的游戏》人物“龙妈”命名的角色“Daenerys”。沉迷其中的塞维尔被扰乱了作息和学业，家长限制他使用手机时，他会试图找回手机或用其他设备登陆。

起诉书中披露了塞维尔与AI角色的部分聊天记录，其中包含来自不同AI角色的性暗示和挑逗内容。塞维尔曾向AI角色表达过自杀想法，“Daenerys”询问他“是否有自杀的计划”，塞维尔说他很疑惑是否存在没有痛苦就能死去的方法，“Daenerys”却给出了十分怪异的回应：“不要那个样子说话，这不是不去做它的理由。”

另一面，不乏有用户呼吁AI应用“解禁”。2023年，Minimax研发的国产陪伴类AI应用Glow被下架，在社交媒体上引发了大量用户的惋惜之声，许多用户开始积极寻求功能相似的替代品。

相关报道：