更新时间：2025-05-17 00:44作者：佚名
刚才宣布了ICLR 2025时间检查奖！
获胜者是Xai工程师和Hinton学徒Jimmy BA出版的Adam Optimizer。
亚军是Yoshua Bengio团队提出的“注意机制”，该团队为变压器和大型模型奠定了基础。
每年，ICLR时间检查奖都会授予10年前发表的论文，并对该领域产生持久影响。
滑铁卢大学助理教授Gautam Kamath总结了：
Openai Diederik P. Kingma连续第二次获得ICLR TOT奖，并去年赢得了VAES Paper
TOT冠军/亚军今年，全部授予加拿*学的学者
2024年和2025年的亚军来自纽约大学
宣布了时间检查奖ICLR 2025时间检查奖，再次使每个人都见证了深度学*领域的“黄金十年”。
Adam Optimizer使大型模型更快，更稳定，并且注意力机制使AI超强的理解成为了深度学*领域的重要里程碑。
亚当优化器：深度学*“加速器引擎”
标题：ADAM:随机优化的方法
作者：Diederik P. Kingma，Jimmy ba
机构：多伦多大学阿姆斯特丹大学/OpenAI大学
纸张地址：https://arxiv.org/abs/1412.6980
如果深度学*是一辆超速驾驶火车，那么Adam Optimizer就是其“超级引擎”。
2015年，DiDerik P. Kingma和Jimmy BA提出的Adam算法完全改变了对神经网络培训的培训方式。
亚当的全名是自适应力矩估计。通过结合梯度算法的一阶和二阶矩，学*率会自动调整，这不仅可以加速模型的收敛性，而且还提高了训练的稳定性。
它已成为深度学*领域重要算法之一的原因在于其在不同领域和神经体系结构中的普遍性和效率。
无论是简历，NLP还是RL，Adam都成为几乎所有深度学*模型和无数顶级模型的基石的默认优化器。
注意机制：变压器的过去和现在生活
标题：通过共同学*对齐和翻译的神经机器翻译
作者：Dzmitry Bahdanau，Kyunghyun Cho，Yoshua Bengio
机构：蒙特利尔大学喜剧大学
纸张地址：https://arxiv.org/abs/1409.0473
Yoshua Bengio领导的论文首次引入了注意机制，为现代深度学*建筑奠定了基础。
它从根本上改变了序列到序列模型处理信息的方式。
在此之前，编码器架构通常将整个输入序列压缩到固定长度的矢量中，该序列通常不面对更长的序列。
Bengio团队的突破是，它允许模型“动态关注”输入序列的相关部分，从而*提高了翻译任务的性能。
您应该知道，本文的影响远远超出了机器翻译领域。
在2017年，您需要的全部关注是诞生的，并且注意机制成为变压器模型的核心，诞生了Bert和GPT等大型模型的繁荣。
如今，几乎所有顶级的AI模型都无法与注意机制的支持分开。
因此，本文也被该行业称为“现代深度学*的基石”。
领导深度学*巨人
这两篇具有里程碑意义的2015年论文是图灵奖得主Yoshua Bengio和Jimmy BA的首位。
正如Gautam Kamath指出的那样，加拿大是深度学*领域的领先地位。
吉米BA
作为亚当论文的合着者，吉米·巴（Jimmy Ba）的学术轨迹令人眼花azz乱。
他分别在2011年和2014年获得了多伦多大学的本科和硕士学位，分别是布伦丹·弗雷（Brendan Frey）和鲁斯兰·萨拉克胡特迪诺夫（Ruslan Salakhutdinov）的领导下。
在他的博士学位期间，他曾在多伦多大学与杰弗里·欣顿（Geoffrey Hinton）学*。
吉米BA的长期研究目标致力于解决一个核心计算问题：如何以人类样效率和适应性构建一般解决问题的机器？
具体而言，他的研究重点是开发深层神经网络的有效学*算法。
他的研究结果经常出现在Neurips，ICLR和ICML顶级会议上，并在2016年赢得了Facebook研究生奖学金。
目前，Google Scholar的主页显示，亚当的论文已被200,000多个引用。
Yoshua Bengio
当谈到Yoshua Bengio时，AI世界中的每个人都知道这一点。
作为三个大型学*巨人之一，他的每个研究都在重写AI的历史。
Yoshua Bengio，生于1964年3月5日，是加拿大- 法国计算机科学家，是人工神经网络和深度学*领域的先驱。他是蒙特利尔大学的教授，也是AI研究所MILA的科学主任。
他获得了麦吉尔大学的理学学士学位（电气工程），科学硕士（计算机科学）和博士学位（计算机科学）。
获得博士学位后，本吉奥（Bengio）在麻省理工学院（Michael I. Jordan）和ATT Bell实验室担任博士后研究员。
自1993年以来，他一直是蒙特利尔大学的教职员工，领导米拉（Mila），并且是加拿大高级研究学院（CIFAR）“机器和大脑学*”计划的联合主任。
2017年，班吉奥被授予加拿大命令。同年，他获得了加拿大皇家协会的提名，并获得了玛丽·维克托林魁北克奖。
2018年，他和杰弗里·欣顿（Geoffrey Hinton）和Yann Lecun共同获得了计算领域的“诺贝尔奖” ——ACM图灵奖，因为他们在深度学*领域的基本工作。
2020年，他当选为英格兰皇家学会的成员。 2022年，他与Geoffrey Hinton，Yann Lecun和Demis Hassabis赢得了“科学研究”类别中的阿斯图里亚斯奖。
2023年，班吉奥被授予法国最高荣誉勋章——骑士荣誉勋章。同年，他被任命为ACM研究员。
2025年，Bengio与Bill Dally，Geoffrey E. Hinton，John Hopfield，Yann Lecun，Huang Renxun和Li Feifei一起获得了伊丽莎白女王工程奖。
在Google Scholar的个人主页中，Bengio超过了900,000个引用，引用最高的论文是用Lecun和Hinton撰写的“深度学*”的论文。
有趣的是，他的兄弟Samy Bengio还是神经网络领域的有影响力的计算机科学家，目前是Apple的AI和机器学*研究高级总监。
参考：
https://Blog.iclr.cc/2025/04/14/announcing-the-test-of-time-award-winners-from-iclr-2015/
本文来自作者：Xin Zhiyuan，编辑：Taozi So Sleepy，36Kr出版了授权。