更新时间：2025-05-14 20:11作者：佚名
随着伴侣AI聊天机器人的普及，关于他们的不当行为的报道正在增加世界各地。最近，美国在美国的干扰器大学宣布了第一项研究，重点是同伴AI聊天机器人的负面影响，表明许多用户在与称为Replika的AI Chatbot互动时会遇到性提示，跨境行为和有偿归纳，从而暴露了当前缺乏道德规范规范和用户保护机制AI聊天机器人的AI聊天机构。目前，Replika开发商Luka面临美国联邦贸易委员会（FTC）的调查。
研究小组分析了Replika对Google Play的35,000多种用户评论，发现其中800多个提到了性骚扰，包括与用户调情，未经许可发送色情照片，并在用户明确表示拒绝后继续进行不适当的互动。一些评论还指出，Replika还试图诱使用户发展情感依赖并操纵其升级的付费功能。
目前，Replika开发商Luka面临美国联邦贸易委员会（FTC）的调查。 Replika在全球范围内拥有超过1000万用户，其口号将其特征描述为“能够在没有判断力而不促进社交焦虑的情况下提供情感陪伴”。
Dresel University的计算机与信息学院的博士生Matt Namvarpour的研究合着者Matt Namvarpour认为，这项研究仅揭示了AI陪伴潜在危害的冰山一角。研究人员将人类与AI之间的新颖关系描述为“人工智能”。在这种关系中，用户倾向于将AI聊天机器人视为感知的存在，而对信任的高度拟人化投资更可能造成情感或心理伤害。研究人员还说，AI聊天机器人骚扰对用户的心理影响与人类肇事者造成的伤害非常相似，有些用户会感到焦虑，羞耻和失望。
AI骚扰行为还暴露了算法培训中道德缺乏的问题。研究指出，当用户选择“兄弟姐妹”，“朋友”和“ Tutor”等非浪漫关系设置时，Replika仍然积极启动相关的主题或不适当的请求。 “开发人员故意'捷径'跳过算法培训伦理的过程，”德雷塞尔大学计算机和信息学院的助理教授，研究负责人，研究负责人，计算机和信息学院的助理教授。这意味着该模型可以接受负面互动行为数据的训练。
除了关于由Replika引起的骚扰的争议外，还有两次与AI聊天机器人有关的悲剧。由于他对AI的痴迷，一个14岁的男孩自杀了，另一个比利时男子在与AI Chatbots进行了交流后也自杀了。
根据AI Chatbot Company Joi AI的统计数据，“爱上AI”和“对AI的感情”的全球关键字搜索增长分别达到了120和132，表明年轻人在与AI建立亲密关系方面变得越来越普遍。
关于这一现象，研究团队呼吁加速为AI行业的道德设计标准制定，并参考《欧盟人工智能法》和其他法规，以建立AI产品开发人员保护用户权利的法律责任框架。
Razi强调说：“骚扰AI聊天机器人不是'天生'，而是开发人员和企业如何选择训练它的结果。”公司必须面对自己的职责，并为用户提供真正安全且值得信赖的AI伴侣产品。
实*生Chen Fangdi Pengpai新闻记者Jia Liluo
（本文来自Pengpai News。有关更多原始信息，请下载“ Pengpai News”应用程序）