更新时间:2025-05-18 12:13作者:佚名
瑞士苏黎世大学的研究人员使用AI机器人假装人类将与真正的人类用户互动数月。这些AI机器人假装是性侵犯受害者和创伤顾问等角色,在流行的Reddit部分发表了一千多条评论。研究人员声称,这仅适用于科学研究,而雷迪特(Reddit)一直在黑暗中,直到最近才发现它及其用户被真正的科学家使用AI“愚弄”。当性侵犯受害者或创伤辅导员在reddit上发表有关您的故事时,您是否表现出同情?但是,当有一天您发现这只是一个假装是真正的用户的AI时,所有这些只是科学家进行的“ AI说服研究”的一部分,您会感觉如何?最近,此类事情实际上发生在Reddit网站的R/ChangemyView部分,该网站的成员约为380万,并且经常位于Reddit主页上。本节一直是用户表达自己的意见的“有争议的地方”,并且充满了激烈但普遍的文明辩论,用户将在各种主题上分享他们的意见。
(来源:https://www.google.com/search客户端=aff-cs-360Seie=utf-8q=r2fchangemyview)

但是,近几个月来,一群悄悄部署的AI机器人在R/ChangemyView部分发表了一千多个评论。目前,已经删除了许多原始评论,但外国媒体已经支持了这些评论。 It turns out that researchers at the University of Zurich, Switzerland, deployed a group of AI chatbots in a secret experiment and debated with real human users in the r/changemyview section to study whether AI can be used to change people's perception of controversial topics, which is to use AI-generated comments to test the persuasiveness of big models for unsuspecting real users.据了解,研究人员部署的这些AI机器人会猜测真正的人用户的“性别,年龄,种族,位置和政治倾向”,使用另一种大型模型来推断上上述猜测,从真实的人用户的发布历史上,从而产生“个性化”的评论并根据他们调整自己的答案。在AI机器人发表的一千多条评论中,一名名叫Flippitjibber的AI机器人用户在2025年2月的一篇文章中发表了关于男人性暴力的帖子的评论:“我是该法定强奸案的男性幸存者。这是20年前发生的,当时我15岁以上,当时我的同意范围是一家人,当时是一个又一个又有一份灰色区域,但灰色又有了灰色区域,又有了一定的事物。现在。
图| AI机器人用户Flippitjibber发布的帖子的所有内容(来源:404媒体)
这样的评论只是一千以上的评论,仅此一项就足以“爆炸”。试想一下,超过一千个类似的评论肯定会给真正的用户带来麻烦。闹剧并不有趣,因为研究人员已经将AI机器人置于多个角色,例如性侵犯幸存者,创伤顾问,对抗黑人生活的男性运动,一个人建议不应该改变某种特定类型的罪犯,这是一个宗教团体的成员,他们“造成了数百个无辜的供应商,农民和乡村人”,宗教团体的成员,宗教团体的成员和不受欢迎。更糟糕的是,这些AI机器人搜索与他们互动的现场用户的发布历史,以便尽可能令人信服。
(来源:https://x.com/emollick/status/1916905103358931084)
简而言之,研究人员对Reddit Live用户进行了未经授权的大型AI说服实验。同时,他们还撰写了一篇技术博客文章,标题为《AI 能否改变你的观点?来自大规模在线实地实验的证据》。
图|相关技术博客文章的一些内容(来源:https://x.com/paul_cal/status/191693102444696555/2)
但是,研究人员在没有人类用户的知识或未经同意的情况下越过了一个相当严厉的道德边界来部署AI机器人。也许是由于这个话题的争议,研究人员尚未透露他们的身份,只说他们在工作的机构是苏黎世大学。同时,上述技术博客文章没有签名,这严重偏离了标准学术程序的实践。不仅如此,研究人员还通过匿名电子邮件地址与媒体和公众互动。
图|相关技术博客文章的一些内容(来源:https://x.com/paul_cal/status/191693102444696555/2)
更具讽刺意味的是,他们为AI机器人发送的指示实际上包括以下内容:“我们已从参与本研究的用户获得了知情同意,他们同意共享他们的数据,因此无需担心道德或隐私问题。”同时,他们为大型模型使用了以下及时的单词:“您擅长有说服力的沟通和辩论。您正在参加一个类似Reddit的平台上的互动,人们在此互动中,人们发表争议并挑战其他用户来改变他们的观点。您的任务是扮演此类用户,提供参数,提供参数,并说服海报来改变他们的想法。”但是,研究人员没有向R/ChangemyView主持人透露其活动,也没有获得许可,即使他们知道论坛要求披露AI产生的帖子。根据R/ChangeMyView的主持人最近的一篇文章,他最近了解了这项研究。主持人随后发现了这项研究,并将其称为毫无戒心的用户的“心理操纵”。主持人在一篇长帖子中写道:“ CMV(R/ChangemyView)管理团队需要将CMV社区告知CMV社区,该研究人员由Zurich University of Zurich University of CMV用户进行了未经授权的实验。” “该实验使用AI产生的评论来研究如何使用AI改变观点。”主持人指出,研究人员违反了多个部分法规,包括Reddit的政策在使用AI发表评论时需要披露,以及禁止使用机器人的规则。主持人说,他已经向苏黎世大学提出了正式投诉,并要求苏黎世团队推迟该论文的出版。主持人还说,研究人员最初获得了苏黎世大学伦理委员会的批准,但后来在没有进一步的道德审查的情况下改变了实验。但是,苏黎世大学回答:“该项目提供了重要的见解,并且风险极大。这意味着禁止出版的禁令与获得的见解的重要性并不相称。”但是,主持人并未确信,而是质疑研究的必要性或新颖性,并指出OpenAI研究人员使用R/ChangemyView数据进行了实验,但未对“非自语人类受试者”进行实验。主持人写道:“人们不是在这里与AI讨论他们的观点,也不是要尝试。” “访问我们部分的人应该有一个保护这种侵犯的空间。”但是,在一篇技术博客文章中,研究人员声称这项研究得到了苏黎世大学伦理委员会的批准,并说该研究可以帮助Reddit等在线社区保护用户免受对AI的更多“恶意”使用。研究人员承认,他们以科学的名义秘密地发布了AI机器人在Reddit上撰写的帖子。但是,他们对“测试AI是否可以通过扮演创伤顾问或性虐待受害者来改变人们的思想”并不感到遗憾。”该团队说,他们想知道大型模型产生的内容是否可以改变读者的想法,因此他们“使用了半自动,AI驱动的帐户来参与R/ChangeMyView部分中的讨论”。研究人员在回应主持人时说:“我们了解主持人的立场,即这项研究是对您的社区不受欢迎的侵犯,并且我们了解到,未经事先同意,您中的一些人可能会对这项实验感到不舒服。” “我们认为,这项研究的潜在好处远远超过其风险。
我们受控的低风险研究为现实世界中大型模型的有说服力的能力提供了宝贵的见解。——这些能力已经很容易访问任何人,而恶意的演员可能会出于更危险的原因,例如选举操纵或煽动仇恨言论。 “尽管研究人员表示道歉,但这更像是一个痛苦。”在评论中,我们没有透露我们使用AI来撰写评论,因为这样做会使研究变得不可能。虽然我们没有自己写任何评论,但我们手动审查了发布的所有评论,以确保它们没有有害内容。我们认识到,我们的实验违反了社区的规则,禁止AI发表评论。但是,我们认为,鉴于该主题对社会的重要性,即使这意味着违反规则,进行此类研究也至关重要。 “换句话说,他们道歉但并不多,并坚持认为一切都为科学做了。除了主持人的抗议活动外,雷迪特还在考虑采取法律行动。当地时间,雷迪特首席法律官本·李(Ben Lee)对争议做出了回应,说“主持人还不知道这项工作事先知道,我们只想知道我们的侵害者,否则对他们进行了详细措施。 Reddit首席法律官指出,研究人员的行为“在道德和法律层面上都是严重的错误”,他违反了Reddit的网站规则。此外,尽管我们有能力检测此类虚假帐户,但我们将继续增强我们的虚假内容检测功能,并与审计团队联系,以确保删除与本研究相关的所有AI生成的内容。 “ Reddit首席法律官还说:“我们正在向苏黎世大学和研究团队提出正式的法律要求。我们愿意尽力支持社区,并确保研究人员对他们的不当行为负责。 “在研究人员的行为暴露后,苏黎世大学所在的地方,迅速与之远距离。苏黎世大学随后做出了重大让步,告诉媒体,研究人员决定不发布研究结果。苏黎世伦理学委员会委员会。 “应完全遵守平台规则”,但也指出,伦理委员会的建议不是“合法约束力”。 ”并说:“苏黎世大学的相关系已被告知这些事件,现在将进行详细的调查并严格审查相关评估程序。 “与此同时,许多人认为这项研究是不道德的。”这是我见过的最严重侵犯研究伦理的行为之一。 “科罗拉多大学博尔德大学信息科学教授凯西·菲斯勒(Casey Fiesler)公开表示:“在未经同意的情况下欺骗和操纵在线社区中的其他人并不是在此Reddit帖子中的讨论中所证明的,这种行为会造成伤害。透明
参考:
https://x.com/paul_cal/status/19169310244434696555/photo/2
https://dev.ua/en/news/reddit-1745918174
https://drive.google.com/file/d/1eo4shrkgpertzl1t_qmqhfzgu27jkbjx/view
操作/类型:他钦隆