网站首页
手机版

纽约州立大学用模仿学习方法将AR智能化,提高人与机器人交互体验

更新时间:2025-05-17 09:41作者:佚名

如今,机器人越来越多地用于制造和仓储和物流领域。但是,在这些工作环境中,通常隔离工人和机器人的活动空间。因此,在人与机器人之间进行互动尤其重要。人类与机器人的沟通不同。具体而言,人类*惯于使用语言和手势进行交流。机器人以数字形式交换信息,例如文本命令。这可能会导致人与机器人之间的沟通偏见。增强现实(AR)技术可以可视化机器人的行为,从而填补机器人和人类之间的通信障碍。不仅如此,AR还提供了具有较高带宽和低歧义的替代通信机制。当前,基于AR的可视化系统是手动设计的,并且视觉信息太多或太少。当视觉信息太少时,用户会发现AR接口无法扮演角色。如果有太多的视觉信息,用户处理相应的信息将相对困难。为了使人与多机器人之间的更好的互动体验,研究人员使用模仿学*方法来实现AR的智能,并开发了一个名为“ Varil”的技术框架(使用模仿学*的增强现实的Visalizatization)。

图|相关论文(来源:CORL)

纽约州立大学用模仿学*方法将AR智能化,提高人与机器人交互体验

最近,相关论文在机器人学*会议(CORL)上发表了《用于人机协作的 AR 可视化学*策略》的标题(人机合作的增强现实的学*可视化政策[1]。

Varil技术有助于人与机器人之间的有效互动。 Varil技术可以有助于人类与机器人之间的有效互动。它通过分析机器人和人类的状态来确定哪些信息,何时以及以什么形式可视化。

图| Varil框架(来源:CORL)

具体而言,Varil技术可以同时使用AR接口来跟踪多个机器人状态,并动态选择AR可视化操作,包括AR,以帮助搬运工感知机器人的位置并计划运动轨迹。人类有两个不同的人类实体,一个是人类工人的作用,另一个是人类专家。假设一组机器人在与人类的同一空间中工作。这组机器人不断使用AR界面共享状态和计划。同时,人类能够使用AR界面来跟踪机器人团队的状态。人工工人与机器人团队一起完成任务。在展示Varil技术期间,人类专家参与其中,并负责指示在特定时间内可视化哪些信息(或未可视化)。一旦生成新的策略,AR智能设备就会更新视觉信息,模仿人类专家演示者建议的动作。值得注意的是,专家只参加战略学*阶段,一旦智能设备了解相关策略,就不再需要人类专家。

在不同的AR可视化策略下完成任务

该论文提到,为了探索虚拟人和机器人如何在不同的AR可视化策略下完成任务,研究人员为模拟仓库环境创建了一个演示平台(带有内置实验室)。该平台不仅有助于人类和机器人相互协作,而且还可以对Varil框架进行经验评估。

图|虚拟人和机器人在不同的AR可视化策略下完成任务(来源:CORL)

在虚拟仓库环境中,研究人员设置了12个机器人与1个虚拟人合作,以完成系统交付的任务。机器人的任务是将物体运送到不同的位置(卸载站),并帮助机器人等待在卸载站卸货的机器人。

图|两个不同尺寸的仓库环境(来源:CORL)

没有AR可视化,人类工人将无法获得机器人的位置,并了解机器人计划要做什么。在完全可视化的情况下,虚拟人类可能会被视觉指标淹没。在模仿学*AR可视化(VARIL)的情况下,AR软件机器人使用学*的策略来根据人与机器人之间的相互作用动态来确定可视化策略。完成任务后,研究人员收集了6000个“州行动”配对数据集。他们还使用迭代模仿学*算法在此数据集中训练AR智能设备。然后,他们比较了两种可视化策略。结果表明,随着模仿学*的迭代次数增加,行动与策略之间的冲突急剧减少。此外,与训练后获得的策略相比,初始策略减少了机器人的等待时间。后来,研究人员还使用了25名真正的参与者来评估Veril如何影响用户体验。在仓库中,要求每个参与者操作一个虚拟人并填写主观评估问卷。

图|两个可视化系统Arroch和Crmiar(来源:CORL)

实际人类参与者的实验结果表明,与文献中两个可视化系统(对照组)相比,Varil技术可以显着提高人类机器人的相互作用效率,同时降低人类用户的干扰水平。除定性评估外,研究人员还比较了人类学*期间的任务完成时间。结果表明,Varil技术可以显着提高人类和多机器人协作团队的任务完成效率,从而减少机器人等待卸载15的时间。尽管研究人员使用机器人来证明AR人力计算机的交互系统,但在现实世界中很难构建和评估此类系统。因为人类员工需要在送货站之间行走。在送货站,每个导航操作可能需要很长时间。更复杂的是,机器人需要实时合作以完成任务,如果其中一个机器人被困在动态障碍物上,则可以尽早终止试验。开源模拟器可以模拟仓库环境并避免上述问题。尽管这样的模拟器无法克服人类计算机协作的所有挑战,但它可以使AR研究人员专注于设计算法,而不是乏味的软件开发工作。将来,研究团队将通过问卷调查进一步评估Varil的用户体验,并优化VR人类计算机协作系统。参考文献1。KishanChandan,Jack Albertson,Shiqi Zhang,Corl(2022).https://Kishanchandan.github.io/varil.html

为您推荐

知名计算机科学家果断离开美国,入职清华大学(清华计算机天才)

1月22日,有媒体注意到,屡获殊荣的计算机科学家和区块链专家陈婧已离开美国,全职加入清华大学担任教授。1月21日,清华大学微信公众号发布题为《从麻省理工回清华,她立志“做最好的科研”!》文章,介绍陈婧归国情况。文章写道,回归清华,她以“学术

2025-05-17 09:40

美国求了1年多,终于借到中国月壤,但中方有言在先,条件很苛刻

本文内容均引用权威资料结合个人观点进行撰写,具体资料赘述在文中和文末!美国身为科技强国,在许多行业上都立下过里程碑,可在近几年,他们的脚步也逐渐慢了下来,甚至在他们最强力的航空上向中国求助,只为获得一点月壤。然而,曾经“沃尔夫法案”让中方心

2025-05-17 09:39

天下为公!三大专业,育卓越财经治理人才—中财大政府管理学院

政府管理学院招生专业(类)公共管理类包含专业:行政管理、公共事业管理、城市管理学院招生专业咨询电话010-62288697专业(类)介绍公共管理类学院按照公共管理类专业大类招生,学生在大一接受大类专业基础教育和通识教育,从大二开始按照学院专

2025-05-17 09:38

美际国际教育丨浙江大学国际本科招生(浙江大学 国际)

1️⃣一、1+3英澳预科项目1、模式:国内1年,国外3年本科2、费用:浙大1年学费69000元3、升学目标:QS世界前50、前100大学4、招生对象:全国优秀的高二、高三毕业生或同等学历5、时间安排:7月底或8月底开班,次年4月中下班全部结

2025-05-17 09:37

美国高校“劝退”中国留学生:大部分人准备回国,少数人冒险“非法滞留”

封面新闻记者 汤晨 实习生 王钰涵近日,美国媒体爆出消息,纽约州立大学布法罗分校终止了50多名中国学生的留学生身份,理由是“因未按时提交材料,这些留学生的F-1签证将被吊销”。消息传出时,该校开学才1个多月。学校方面简单粗暴的做法也引发了很

2025-05-17 09:36

美国求了1年多,终于借到中国月壤,我方有言在先,条件很苛刻,美国送中国的月壤不对劲

这回轮到美国开口了。月壤不多,要求不少。借给美国,光材料清单就摞出半米高。样品放哪儿、谁看管、研究谁来签字、出结果谁来公示,一项项明码标价、寸土必争。2025年,中国正式批准7家外国机构借样,美国布朗大学和纽约州立石溪分校榜上有名。从202

2025-05-17 09:35