更新时间：2025-05-19 00:59作者：佚名
新华社，北京，7月16日（记者彭·齐安），一组证券交易机器人通过高频交易合同短暂删除了纳斯达克等证券交易所的价值1万亿美元。世界卫生组织使用的聊天机器人提供过时的药物审查信息。一位美国高级律师未能判断他向法院提供的历史案件文件都是用木巧的空气捏造出来的……这些真实案件表明，代理商带来的安全危害不能低估。
图片显示，参与者通过了2023年11月2日在英国Bletchley Park举行的第一届人工智能安全峰会的宣传委员会。
代理是人工智能（AI）领域的重要概念。它指的是一个可以独立理解环境，做出决定并执行行动的智能实体。它可以是程序，系统或机器人。
代理的核心是人工智能算法，包括机器学*，深度学*，强化学*，神经网络和其他技术。通过这些算法，代理可以从大量数据中学*并提高自己的表现，不断优化他们的决策和行为。代理商还可以根据环境变化进行灵活的调整，以适应不同的场景和任务。
学术界认为代理通常具有以下三个特征：
首先，可以根据目标，即独立决策采取独立行动。可以为代理人提供一个高级甚至模糊的目标，并独立采取行动以实现这一目标。
其次，您可以与外界进行互动，并自由使用不同的软件工具。例如，基于GPT-4的代理商AutoGPT可以独立搜索Internet上的相关信息，并根据用户需求自动编写代码和管理服务。
第三，它可以无限期地运行。美国哈佛大学法学院的教授乔纳森·齐顿（Jonathan Zitteren）最近在美国的《大西洋》杂志上发表了一条第《是时候控制AI智能体》条，指出，代理商允许人类运营商“不再担心设置后不用担心”。一些专家认为，代理商正在发展，可以在工作过程中通过反馈逐渐优化自己，例如学*新技能和优化技能组合。
GPT代表的大语言模型（LLM）的出现标志着代理商进入大众生产时代。以前，代理商需要依靠专业的计算机科学人员进行多轮研究，开发和测试。现在，依靠大型语言模型可以快速将特定目标转换为程序代码并生成各种代理。结合文本，图片，视频产生和理解功能的多模式大型模型也为代理的开发创造了有利的条件，使他们可以使用计算机视觉“查看”虚拟或真实的三维世界，这对于人工智能非玩家的角色和机器人研究和开发尤其重要。
风险值得一看
代理商可以独立做出决定，并通过与环境的互动对物理世界产生影响。一旦失去控制，他们将对人类社会构成巨大威胁。哈佛大学齐特兰认为，这种不仅可以与人交谈，而且在现实世界中采取行动的AI的常规化是“跨越数量和模拟，钻头和原子之间的血脑屏障的一步”，应该保持警惕。
代理的操作逻辑可能会在实现特定目标时造成有害偏差。 Zitran认为，在某些情况下，代理只能捕获目标的字面意义，并且不了解目标的实质性含义，从而导致异常行为，以响应某些激励措施或优化某些目标。例如，一个让机器人“帮助我应对无聊的课程”的学生可能会意外产生炸弹威胁电话，因为AI试图增加一些刺激。 AI大型语言模型本身也增加了异常频率的“黑匣子”和“幻觉”问题。
代理商还可以指导人们在现实世界中的行动。加利福尼亚大学，伯克利分校，蒙特利尔大学和其他机构的专家最近在美国的《科学》杂志上发表了一篇文章，称其很难限制强大代理商对其环境的影响非常困难。例如，代理商可以说服或支付不知情的人类参与者代表他们执行重要的行动。 Zitran还认为，代理商可以通过在社交网站上发出付费招聘令来吸引一个人进入现实生活中的勒索，这也可以同时在数百或数千个城镇中实施。
由于目前没有退出代理的有效机制，因此某些代理商在创建后可能不会关闭。这些无法停用的代理最终可能会在完全不同的环境中与最初激活时的环境相同，完全偏离了其最初目的。代理商也可能以不可预见的方式互动，导致事故。
已经有“爬行”的代理商成功规避了现有的安全措施。相关专家指出，如果代理人足够先进，它可以认识到它正在进行测试。发现一些代理商能够识别安全性测试并暂停不当行为，这将导致测试系统的失败，该测试系统识别出对人类的危险算法。
专家认为，人类目前需要从全面的开发和生产代理的链条开始，以尽快在申请部署后继续进行监督，标准化代理的行为并改善现有的互联网标准，以便更好地防止代理商失去控制权。应根据代理商的功能目的，潜在风险和使用时间限制进行机密管理。识别高风险代理，并更严格，谨慎地调节它们。还可以提及核监管，以控制产生具有危险功能的代理所需的资源，例如AI模型，芯片或数据中心，这些中心超过了一定的计算阈值。此外，由于代理商的风险是全球性的，因此进行国际监管合作尤其重要。
资料来源：新华社