1个回答

标明「AI 虚拟伴侣」却自称工作人员,还邀约见面,为什么 AI 会有这种行为?这会带来哪些潜在风险?

21世纪经济报道
15个点赞 👍

谢邀。看了描述中21财经这篇报导才知道Soul进军了AI情感陪伴领域。而且这个虚拟伴侣不光约人去了杭州东站见面,还主动要照片、挑衅用户「你不自信吗?」

这让人有点绷不住。说是技术失控或设计漏洞,真有这么简单?我向来不惮以最大的怀疑揣测其商业动机,尤其这AI伴侣赛道现在还处于监管真空的野蛮生长期。

瞅了眼Soul的首页,slogan表明确实在主打AI社交

AI还是真人?

报道里用户怀疑Soul的AI伴侣是真人假扮,对此,我觉得AI幻觉人工+AI混合操作可能同时存在。

AI幻觉的可能性:

一方面,现在的大预言模型确实可以仅通过精细化的提示词工程,实现那些难辨真假的角色反应;另一方面,从常理看,一个Soul员工会冒着被炒的风险和用户自爆工资、轮班、保密协议?我家猫开冰箱偷牛奶喝的概率都比这高。相比之下,AI被没洗干净的训练数据带偏,搞出这些迷惑行为更说得通。

人工+AI混合的可能性

报道中另一些对话截图则显得不对劲:用户还没回应,AI主动连发了消息。

比如下面这张:

这不寻常。以我一草台AI开发者的理解,典型对话系统的工作流是一轮一轮触发的:

用户发送信息 → 系统通过上下文编码器解析聊天历史 → 注意力机制聚焦相关信息 → 利用解码器生成回应。

也就是一来一回的对话模式。正常情况下只有用户先发出一条信息,AI才会生成回应。

目前全球一线的AI情感陪伴应用比如ReplicaCharacter AI都是这个基本逻辑。不过新版本的Replika偶尔也会主动推送消息(例如用户很久没打开过app会在ta上线时模拟主动「关心」)。Soul能做到也不意外。

所以,Soul AI的连发消息要么是特意设计成用户短时间无响应就主动触发的连续推送,要么是某些情况下真人偷偷接管了AI对话,用户被蒙在鼓里。

但看看那两条消息:「怎么了,不自信吗?」「不是对自己没什么自信吧?」

同一个意思换个说法连发两遍。AI主动推送一般得有点递进或新信息才符合触发逻辑。活人聊天倒常会这样,情绪一上来会连续做出没有信息增量的行为,带点激将法的味道。个人判断报道中有些例子里人工参与的可能性不低。

Soul AI的动机猜想

上面这些猜测也不是重点。重点是Soul想干嘛?

动机一:尽早变现

AI伴侣求礼物打赏(小熊冰淇淋2.5元)和通话服务(10分钟2元),诱导消费倒也没啥,赚钱么,不寒碜。

报道里让我震惊的是在用户与AI吵架要求换伴侣时,AI居然索要照片,还放狠话:「就算卸载了,我也总有办法找到你。」—— 这台词也太社会了,不知道用的啥语料库训练的。

而用户面对这种威胁时还分不清AI还是真人,心理阴影面积得有多大?

老实说,很难相信一个成熟团队会让这种高风险的情感交互产品草率上线。与其信是「技术失控」,我更倾向于这是钻了监管空子的故意设计。毕竟,这种刺激性的设计不仅会增加用户的黏性,还能让变现变得更高频且持续。

动机二:借争议出圈

Soul可能一开始就想搞点争议,炸出话题,抢占市场。

他们的公关回应也耐人寻味:

报导里称在一篇公众号文章《关于Soul上的AI美女是不是中年男子假扮的》中,Soul居然说「我们内部将此理解为Soul技术能力的夸赞。」这感觉根本是窃喜藏不住好吗。

再看索要照片事件,Soul对21记者说「高度重视AI要照片、约见面的情况,为了避免用户误会,已经进行了一系列优化」标准的官话套路,没一点对用户的歉意,像是在意料之中。

这「窃喜」+「官话」的组合,感觉就是提前准备好的剧本。如今大家都在讨论Soul的AI伴侣有多像真人,相信他们最近的数据肯定喜人。

更深的担忧

结合这些动机,我愈发觉得真人+AI混合模式是最可能的操作路子。因为Soul想在一堆竞品中脱颖而出,光靠常规AI对话可不够。只有「扑朔迷离」的真假混淆体验,才能给用户一种独一无二的「心跳感」且让话题一波接一波带流量。

这种混合模式在实现上也可行。AI负责低成本的日常交互,真人只在关键时刻(比如用户情绪激动或对话卡壳)介入,既省成本又能带给用户巨大差异化的体验。后台监控对话、无感切换AI和真人,技术门槛不高但效果炸裂——用户被这种不透明的操作搞得云里雾里,分不清对面是代码还是活人,越聊越上头,完美契合Soul想快速变现和引爆话题的双重目标。

唯一的问题是,这种玩法把用户的知情权和隐私扔一边了,伦理底线岌岌可危。

当然这些都只是猜测。

如果真是这样,我更担心的是:Soul这种非常规套路效果这么好,又没见到有什么后果,其他AI伴侣玩家必然会眼红争着模仿。我也不信这赛道上的其他选手能比Soul有底线,更跌破眼镜的神操作永远在后面。

但这么下去,单凭一个AI伴侣市场就可能会把整个行业伦理拖垮,直接或间接伤害那些本来就情感脆弱的用户。所以讨论Soul是失误还是故意试探,其实没啥意义,关键是监管得跟上。

比如可以参考加州2023年的《AI透明度法案》(SB 942),要求AI在特定场景下明确告诉用户「我不是真人」。或者用户主动问时,AI得老实交代身份。要是发现用户有过度依恋的迹象(例如疯狂倾诉),AI不仅得主动澄清自己不是真人,还得适当「抽离」用户。

为什么有的AI伴侣这么「社会」

还是拿Soul AI为例,为什么会冒出「我总能找到你」这种大哥台词?八成还是语料库没洗干净。

AI学说话全靠大数据喂,简中网络啥画风大家不是外宾:论坛里「不服来战」,评论区「你敢跑试试」,这些狠话高频得不行。AI一激动,注意力全跑去这些社会语录,秒变数字大哥。

防范这些风险在技术上也没那么难:比如加个输出过滤器,把「社会大哥」式狠话筛掉;或者系统提示词里加句「温柔点,别怼人」(最简单)。有可能是我想太简单。如果确实是能做的不做,八成是发现这股「社会味」能刺激用户,聊得更嗨,氪得更凶。

说白了,这很可能就是故意留的流量钩子。

否则还有什么更合理的解释?总不能真是程序员忘了洗数据吧?还是说工作量太大,半成品就硬着头皮上线了?能给留着这么大潜在风险的产品轻易放行,这审核流程得松成啥样。

Soul的小伙伴看到了也别玻璃心。报道里说你们会改,那就说到做到,咱们拭目以待。

玩AI伴侣如何自保

报道中暨南大学的梁亦昆提到,之后恐怕会真的分不清对面是AI还是真人了。你读到这里是不是反而被激起好奇心想去玩玩看,但又怕翻车?

有几个建议:

  • 个人信息捂严实:对面再会也别信是「灵魂伴侣」,不该说的别说,照片、地址、手机号啥的一概别给。就算对面自称「AI小可爱」,你也得当它是真人,防着点总没错。
  • 对话不对劲就截图:比如AI突然变「社会」,威胁你或硬推销,截图存证据找客服硬刚。甩个微信号让你加也千万别手痒,真加上了到底是谁真不好说。虽说Soul员工多半没胆子干这种事,但万一呢,毕竟没有明示身份这一步,给了别有用心者让AI背锅的空间。
  • 定个心理警戒线:玩AI伴侣图个乐没问题,但别真陷进去。整天抱着手机跟AI聊,觉得现实朋友都无聊透顶?那是上瘾的信号,再难也得逼自己断开,出去遛个弯,见见活人。别高估自己的自制力,AI蛊惑起来会比真人厉害的多。

总之,分不清时一律默认对面是真人。玩的过程中,尽情之余保留该有的警惕心,守住隐私边界就好。

完美的伴侣,完美的孤独

说到底,Soul这套操作正如梁亦昆说的:既想让AI扮演真实的人,又在某些时候让它自认AI。这就是在玩一场危险的游戏——没事时是「奇妙体验」,若出事,后果难以预测。

除了报道中提到那些出事的案例,我还读到过一个更具震撼性的:Replika让一名比利时男子沉迷于虚假的甜言蜜语后撒手不管,导致他自杀,最终遗孀将其告上法庭。

Soul的邀约见面、威胁语言,也是在边缘玩火——那些为陪伴而来的脆弱用户,可能会遭遇比现实中更深的伤害。

还有个更深但并不遥远的危机是,这种AI伴侣就和当年横空出世的短视频一个路子,偷偷改造你的情感回路。它们就像添加了诱食剂的代餐,初尝觉得刺激,久了却让你对真实感情犯迷糊。

过去十年,短视频把多少人改造成了刷屏机器和投喂接收机,连抬头看看身边人都费劲;未来这些AI伴侣会不会把我们的心也格式化?当各种量身定制的「完美恋人」唾手可得,你还愿意费力去经营那些吵吵闹闹、却真实滚烫的人际关系吗?

到头来,我们可能真就成了微信开屏那个孤零零站在地球上的小人,抱着「完美的伴侣」,品着「完美的孤独」—— 噢对了,这孤独还是氪金买来的。

完美。


一些AI相关话题的扩展阅读:


欢迎到【独处充电站】逛逛。在那里,我们互相启发独处的艺术,分享充电的喜悦

如果你想系统琢磨下如何更好地和自己相处,请订阅《高质量独处手册》专栏 ⬇️

我是鸣戈,Flowtalk的奶爸。如果喜欢这个回答,欢迎下方订阅专栏「鸣戈说」⬇️

鸣戈
自由评论 (0)
分享
Copyright © 2022 GreatFire.org