更新时间：2025-03-21 09:52作者：佚名
大家好，今天小编来为大家解答密歇根大学和清华大学【密歇根大学和清华大学哪个好】这个问题，很多人还不知道，现在让我们一起来看看吧！
与历年排名相比，这是清华大学第一次超越新加坡国立大学，成为亚洲排名第一的学校。
较之去年，世界排名前三的大学没有变化，依旧是哈佛、斯坦福与MIT。
但从学科来看，今年中国的表现非常亮眼——机械工程排名前10的大学中，中国包揽了9所。
此外，化学工程、电子工程、土木工程等学科中，国内也均有多所大学上榜。
这次，进入世界排名前100的国内大学共有4个，分别是清华大学（28）、北京大学（51）、香港大学（83）、香港中文大学（95）。
一起来看看榜单细节。
与去年相比，US News 2021排行前十的大学没有太大的变动，只有普林斯顿大学从去年的第8掉至第11，而约翰·霍普金斯大学则升至第10。
在前十名中，除了牛津大学与剑桥大学是英国的以外，其余8所均来自于美国。
世界大学排名前10如下：
1、哈佛大学2、麻省理工学院3、斯坦福大学4、加州大学伯克利分校5、牛津大学6、哥伦比亚大学7、加州理工学院8、华盛顿大学9、剑桥大学10、约翰·霍普金斯大学
此外，今年也是清华大学第一次超越新加坡国立大学，跻身亚洲第一。
排行亚洲前10的大学是：
1、清华大学2、新加坡国立大学3、新加坡南洋理工大学4、阿卜杜勒·阿齐兹国王大学5、北京大学6、东京大学7、香港大学8、香港中文大学9、魏茨曼科学研究学院10、香港科技大学
在US News 2021的榜单中，一直受到关注的计算机专业排名，今年有较大的变动。
最大的变化是，此前一直没有排进前10的CMU（卡内基·梅隆大学），这次终于跻身计算机科目前三。
计算机专业学科的世界排名如下：
1、斯坦福大学2、麻省理工学院3、卡内基·梅隆大学4、清华大学5、加州大学伯克利分校6、瑞士苏黎世联邦理工学院7、新加坡南洋理工大学8、新加坡国立大学9、华盛顿大学10、密歇根大学安娜堡分校
此外，在计算机专业的排名中，还有这些大学排名前50：
香港中文大学（11）、北京大学（15）、上海交通大学（19）、香港科技大学（22）、浙江大学（26）、香港城市大学（36）、香港理工大学（36）、哈尔滨工业大学（41）、华中科技大学（42）、中国科学技术大学（45）、武汉大学（49）、西安电子科技大学（50）
从学科情况来看，较之于去年，今年中国排行世界前10的学科和学校数量都有所增加。
清华大学的表现最为亮眼，共有3门学科（化学工程、电气电子工程、工程学）排名世界第一。
此外，还有3门学科（土木工程、能源燃料、纳米科学与纳米技术）排名世界第二，2门学科（材料学、机械工程）排名世界第三。
清华以外，其他大学的学科也有亮眼的表现。
例如，同济大学的土木工程跻身世界第一；苏州大学作为211，2门学科都进入世界前10；而机械工程的前10名中，中国包揽了9个。
学科世界排名前10的学校如下：
机械工程：西安交大、清华、上海交大、哈工大、华科、湖南大学、西北工业大学、北航、中科大（9所）
纳米科学与纳米技术：清华、苏州大学、中科院、北大、中科大、浙大（6所）
化学工程：清华、武大、湖南大学、华南理工、苏州大学、哈工大（6所）
电气电子工程：清华、哈工大、东南大学、浙大、电子科大（成都）、华科（6所）
能源与燃料：清华、华科、西安交大、湖南大学、武汉理工、华南理工（6所）
土木工程：同济大学、清华、香港理工、东南大学、北交（5所）
工程学：清华、哈工大、上海交大、华科（4所）
材料学：清华、北大、中科大（3所）
化学：清华、中科大（2所）
物理：清华（1所）
生物技术及应用微生物学：中科大（1所）
而从中国大学整体情况来看，根据US News榜单，前10名如下：
那么，今年的榜单相比于去年，统计情况有什么变化呢？
相比于去年，US News的国家数从81个增加到了86个，机构论文数要求数量从2014-2018年需发表1500篇下降到1250篇。
具体的得分权重占比，除了增加了会议权重以外，较之去年也略有变动，具体如下：
（其中，国际声誉和区域声誉，来源于30222名受访者对学校熟悉的科目及课程进行打分，其中93%为来自学校/学术机构的学者；国际合作，指机构论文作者中包含国际合作者的比率）
不过榜单一出，争议也随之展开。比如在这份排名中，山东曲阜师范在数学学科排名上，竟然超过了北京大学，位列全国第一。
对于这份榜单，你怎么看？
USNews 2021排名链接：https://www.usnews.com/education/best-global-universities/rankings
参考链接：https://mp.weixin.qq.com/s/YfxadsLbTnW7m2jCdVdiqg
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
本文第一作者为加州大学伯克利分校三年级博士生吴梓阳，导师为马毅教授。吴的主要研究方向为表征学*与多模态学*。该工作由多所学校与机构的研究者共同完成，包括加州大学伯克利分校、宾夕法尼亚大学、密歇根大学、清华大学、忆生科技、香港大学、约翰·霍普金斯大学等。据悉，马毅教授已受邀在今年四月的ICLR大会上就和此项成果相关的一系列白盒神经网络相关工作，进行为时一小时的主题报告（Keynote）。
Transformer 架构在过去几年中通过注意力机制在多个领域（如计算机视觉、自然语言处理和长序列任务）中取得了非凡的成就。然而，其核心组件「自注意力机制」 的计算复杂度随输入 token 数量呈二次方增长，导致资源消耗巨大，难以扩展到更长的序列或更大的模型。
Token Statistics Transformer (ToST) 提出了一种新的注意力机制，它的时间复杂度是线性的。通过对序列特征的统计建模，ToST 提高了序列处理任务中的效率。文章探讨了基于变分编码率缩减（Variational Rate Reduction, VRR）的框架，并通过实验验证了其在不同任务中的性能，通过革新传统注意力机制，解决了这些长期困扰 Transformer 架构的效率瓶颈。
ToST 也作为 Spotlight 论文，入选了 ICLR 2025 大会。
研究背景与动机
一直以来，自注意力机制依赖于对输入 token 两两相似性的计算，这一过程虽然有效，但其资源开销显著；尤其当输入 token 数量极大时，传统注意力机制（如 Transformer 中的全局注意力）在计算复杂度和内存使用上的瓶颈问题愈发显著。
为了应对这一挑战，本文提出了一种基于统计学特征的注意力机制：Token Statistics Self-Attention (TSSA)。它通过避免两两相似性的计算，仅依赖于 token 特征的统计量，显著降低了计算复杂度。
Token Statistics Transformer (ToST) 的架构。Token Statistics Self-Attention (TSSA) 运算符通过对投影后的 token 进行行标量化变换，从而实现了线性复杂度。
核心方法
ToST 的核心方法是通过特定的概率分布函数对输入序列进行建模，减少冗余信息并提取关键特征。具体包括：
1.统计特征提取：对序列中的每个 token 提取其统计特征。
2.变分编码率缩减：利用 VRR 框架对特征进行压缩，减少信息冗余。
3.线性复杂度实现：通过一系列优化，其计算复杂度从 O (n²) 降低为 O (n)。
ToST 的方法概述。在 CRATE 的理论基础上，ToST 通过几何空间的结构化特征实现 token 分组和映射。
网络架构的推导
该团队通过扩展先前的 CRATE 工作推导出网络架构。CRATE 显示，一种 Transformer 风格的架构可以通过 \”白盒\” 架构设计自然生成，其中网络的每一层都旨在实现最大编码率缩减目标 (MCR²) 的增量优化步骤。
具体来说，该团队推导了 MCR² 目标的一个新颖的变分形式，并表明通过对该变分目标进行展开梯度下降所得到的架构会引入一种新的注意力模块，称为 Token Statistics Self-Attention (TSSA)。TSSA 拥有线性的计算和内存复杂度，并从根本上不同于典型的注意力架构，其后者通过计算 token 之间的两两相似性来实现。
关键公式 MCR² 目标函数定义
技术细节
1. 线性时间注意力机制：Token Statistics Self-Attention (TSSA)
通过白盒设计方法（algorithmic unrolling），TSSA 从最大编码率减少（Maximal Coding Rate Reduction, MCR² ）的变分形式中推导而来。
传统 Transformer 依赖于 pairwise 相似度计算，而 TSSA 则基于 token 特征的统计量构建注意力机制，其计算复杂度从 O (n²) 降低为 O (n)，内存占用同样显著减少。
2. 创新性的网络结构：Token Statistics Transformer (ToST)
ToST 通过将 TSSA 替代标准的自注意力模块，不仅实现了显著的效率提升，还增强了模型的可解释性。
与传统模型不同，ToST 架构中的注意力操作基于统计量的低秩投影，通过减少不必要的计算路径，大幅优化了资源使用。
3. 理论支撑与数学推导
基于 MCR² 的变分形式，提出了一种新颖的压缩项公式，可对大型矩阵进行有效的特征提取。
通过设计数据相关的低秩投影，TSSA 在保留关键信息的同时，消除了冗余方向。
实验验证与性能分析
实验覆盖了自然言语处理（NLP）、计算机视觉（CV）等多个领域的任务，包括文本分类、机器翻译、图像识别等。结果表明，ToST 在保证模型性能的同时，大幅降低了计算资源消耗。
1. 计算和内存的线性复杂度分析
实验结果显示，与现有的注意力机制相比，TSSA 的时间和内存复杂度更低。具体而言，TSSA 的复杂度为 O (pn)，显著优于传统 Transformer 的 O (n²)。
ToST 在计算时间和内存使用上均随序列长度实现线性扩展，使其显著优于标准 Transformer 的效率。如下：
复杂度分析对比
在 GPU 上评估的速度和内存使用对比
2. 视觉任务性能分析
在 ImageNet-1k 等主流视觉数据集上的实验表明，ToST 的性能可与传统 Transformer 架构（如 ViT 和 XCiT）相媲美，同时显著减少了模型参数量和计算开销。
迁移学*实验中，ToST 在 CIFAR、Oxford Flowers 等数据集上的表现进一步验证了其在多种视觉任务中的适应性。
结果展示了与传统 Transformer 相当的性能，同时在计算效率上显著更高。
3. 长序列任务和语言建模
在长序列任务基准测试（如 Long-Range Arena）中，ToST 展现出优异的长距离建模能力，其性能超越了现有 Transformer 变体。
ToST 可以扩展并适用于多种任务场景，包括因果语言建模。针对语言建模，ToST 采用了一种因果版本的 TSSA，在多个数据集上实现了高效的预测能力。此外，即使在参数规模扩大的情况下，ToST 依然保持了优异的时间和内存效率。
NLP 任务中的表现
4. 有原理支持的模型设计
由于 ToST 是通过展开从学*目标中推导出来的，我们可以以有原理支持的方式逐层分析学*到的模型行为。
ToST 模型不同层次的 TSSA 输出的变分压缩项
5. 学*表示的可解释性分析
ToST 通过统计量驱动的注意力机制，使每一层的注意力操作更加透明，便于解释和分析。其分组机制展现了 token 特征在低维空间中的聚类效果，直观反映了模型的决策过程。
ToST 在无需复杂的自监督训练的情况下，自然生成了可解释的注意力模式。
倒数第二个全局类注意力层中最后一个头部的 [CLS] token 注意力图的比较
在 TSSA 层中，可视化估计的隶属矩阵 Π 的每一行（经过重塑后）
可能对未来产生的影响
1. 大模型的高效化
随着语言模型、生成模型和多模态模型规模的持续扩展，计算效率成为核心瓶颈。ToST 展示的统计量驱动注意力机制，为实现线性复杂度的大模型提供了可能性。
2. 推动 Transformer 的普适化应用
高效的注意力机制使得 ToST 能够更广泛地应用于资源受限场景，如边缘计算、实时系统、嵌入式设备等。这为人工智能技术从中心化计算向分布式、边缘化方向的发展奠定了基础。
3. 多模态融合的可能性
ToST 的低复杂度机制为处理多模态长序列任务提供了新的技术框架，使未来多模态大模型在生成、分析和交互中的效率显著提升。
4. 促进跨学科应用
ToST 对数学理论与工程实现的有机结合，不仅在传统 AI 任务中表现突出，还可能推动其在新兴领域（如量子计算、生物信息学和材料设计）中的应用。
Token Statistics Transformer (ToST) 重塑了注意力机制，它不需要计算 token 之间的两两交互，而是基于投影后 token 特征的二阶矩统计量构建，其基于数据压缩和表示学*的理论原则目标，为 Transformer 的发展开辟了新路径。其基于统计特性的低复杂度设计，不仅优化了现有架构的性能，还为未来大模型的高效化、多模态融合和跨学科应用提供了启示
近日，2025年ABC世界大学排名公布，该排行榜对全球1000所大学进行了排名，哈佛大学、麻省理工学院、剑桥大学、斯坦福大学和牛津大学排在全球大学的前5名，它们是全球最顶尖的学术殿堂。
普林斯顿大学、加州大学伯克利分校、加州理工学院、耶鲁大学和哥伦比亚大学排在全球高校的第6-10名。综上可知，ABC全球大学排行榜中的前10名，有8所美国高校，2所英国高校，美国和英国的高等教育依然是这个世界上最强的。
伦敦大学学院、芝加哥大学、宾夕法尼亚大学、帝国理工学院、约翰霍普金斯大学、北京大学、康奈尔大学、加州大学洛杉矶分校、密西根大学和清华大学排在全球高校的第11-20名。北京大学和清华大学进入全球前20，成为美英高校之外的唯二进入前20的大学。榜单中排名前20的大学有14所美国高校，4所英国高校，2所中国高校。
除了北京大学和清华大学之外，还有东京大学、新加坡国立大学、香港大学、中国科学技术大学、浙江大学、南洋理工大学、京都大学、上海交通大学、香港中文大学和复旦大学等10所亚洲大学进入榜单前50名。
另外，南京大学、香港科技大学、武汉大学、哈尔滨工业大学和中山大学等5所中国高校进入全球高校的第50-100名。
2025年ABC世界1000所大学排名如下:
文章分享结束，密歇根大学和清华大学【密歇根大学和清华大学哪个好】和的答案你都知道了吗？欢迎再次光临本站哦！
用户评论
想去美国留学的话，密歇根就是个不错的选择！
有11位网友表示赞同！
清华大学是咱国内顶尖的学府了，肯定有很多资源和机会。
有5位网友表示赞同！
其实看学校哪个好还是要看自己的专业和兴趣。
有9位网友表示赞同！
都很好呀，都是世界知名大学！
有5位网友表示赞同！
密歇根的研究水平很高，特别是有很多科技方面的研究成果。
有12位网友表示赞同！
清华的历史底蕴比较深厚，有很多名师传授。
有8位网友表示赞同！
感觉密歇根的校园生活应该很丰富多彩啊。
有10位网友表示赞同！
还是看个人喜好吧，喜欢美国文化就选密歇根，喜欢中国传统文化就选清华。
有11位网友表示赞同！
我觉得两个学校都很好，很难说哪个更好。
有7位网友表示赞同！
这两个大学的毕业生在国际上都很受欢迎呢。
有10位网友表示赞同！
密歇根有很多名气的俱乐部和社团，可以拓展人脉。
有6位网友表示赞同！
清华的师资力量很雄厚，很多学科都有顶尖教授。
有9位网友表示赞同！
双方合作也很密切，交换生的机会多多的样子。
有5位网友表示赞同！
以后有机会想去看看这两个大学！
有10位网友表示赞同！
美国和中国都是发达国家，两个学校的环境应该都很不错。
有15位网友表示赞同！
感觉密歇根的毕业生就业率很高啊。
有12位网友表示赞同！
学费方面？哪个好呢？
有19位网友表示赞同！
还有其他因素需要考虑吗？比如语言环境？
有11位网友表示赞同！