美国留学

作者丨Bari编辑丨Guan Ju图片来源丨Midjourney可以取代Nvidia？在数据中心GPU的领域，NVIDIA在2023年分配了376万件，占全球市场份额的近98，可以说这是无与伦比的。 AI芯片，也称为AI加速器或计算卡，是专门设计的，旨在处理人工智能应用中的大量计算任务，主要包括图形处理器（GPU），现场可编程栅极阵列（FPGA），应用程序特定的集成电路（ASICS），根据GARTNER DATIC，$5。 20.9在2022年，2024年为25.6，至671亿美元。到2027年，AI芯片收入预计将是2023年的市场规模的两倍多，达到1,194亿美元。毫无疑问，由大型巨型公司上演的计算机武器竞赛已成为推动AI芯片市场的强大推动力。从2024年开始，主流大型型号几乎都超过1000亿个参数，Llama3具有4000亿个参数，而GPT4具有1.8万亿个参数。万亿美元的参数模型对应于超过10,000多个比例的超大计算功率群集。 Openai至少有50,000个高端NVIDIA GPU。 Meta建立了一个由24,576 H100组成的Super Wanka集群，Google拥有一个由26,000 H100组成的A3超级计算机.超过40,000家公司购买了NVIDIA GPU。 Meta，Microsoft，Amazon和Google总共贡献了40的收入。根据财务报告，NVIDIA的毛利率达到了71，其中A100和H100系列的毛利率高达90。作为一家硬件公司，NVIDIA的毛利率比互联网公司更高。据报道，NVIDIA在数据中心使用的每个AI芯片的价格为25,000至40,000美元，是传统产品的7-8倍。研究公司Omdia咨询主任Kazuhiro Sugiyama表示，NVIDIA的高价是想要投资AI的公司的负担。高价也使许多主要客户开始寻找替代方案。 7月30日，苹果宣布其AI模型接受了8,000款Google TPU的培训。 OpenAI的第一个芯片今天也被揭示，并将使用TSMC最先进的A16 AME级流程，该过程专为SORA视频应用而设计。在全球范围内，明星AI芯片初创公司和独角兽已经出现，试图从Nvidia的嘴里抓住食物。其中，既有中国支持的独角兽和蚀刻的Sambanova，刚刚出现了，以及由Openai Ceo Ultraman投资的独角兽Systems，他正在为IPO提供冲刺。软银集团总裁Masayoshi儿子于今年7月收购了英国AI芯片公司Graphcore，此前该公司去年成功上市以建造下一个NVIDIA。 Sambanova是由中国人在斯坦福大学创建的AI芯片独角兽，8月27日，美国AI芯片创业公司Sambanova首次推出了新推出的AI芯片系统——，该系统基于可重建数据流单元（RDU）。根据报道，基于Sambanova的SN40L的8芯片系统可以为5万亿个参数模型提供支持，并且单个系统节点上的序列长度可以达到256K+。与NVIDIA的H100芯片相比，SN40L的推理性能不仅是H100的3.1倍，而且培训性能是H100的2倍，其总拥有成本仅为1/10。 Sambanova首席执行官Rodrigo Liang的三个联合创始人都是斯坦福大学的背景，首席执行官Rodrigo Liang是前Sun/Oriental Engineering的前副总裁，另外两个共同创始人都是斯坦福大学的教授。此外，团队中有许多中国工程师。 Sambanova目前的价值为50亿美元（约合365亿元人民币），已完成6轮融资，总计11亿美元。投资者包括英特尔，软银，三星，Google Venture等。他们不仅必须在芯片上挑战NVIDIA，而且在其商业模式中，他们也比NVIDIA走得更远：直接参与帮助公司培训私人大型模型。

芯片不仅是出售的，而且是他们的定制技术堆栈，从芯片到服务器系统，甚至大型型号的部署。它对目标客户的野心更大。 ——针对世界上最大的2,000家公司。目前，Sambanova的芯片和系统已收到许多大客户，包括世界上最高的超级计算实验室，Fugakuen，美国的Argonne National Laboratory，Lawrence National Laboratory和Consulting Company Accenture。罗德里戈·梁（Rodrigo Liang）认为，大型模型和生成AI商业化的下一个战场是企业，尤其是大型企业的私人数据。最终，企业将不会运行GPT-4或Google Gemini之类的超大模型，而是基于不同的数据子集创建150个唯一模型，具有超过1万亿个集合参数。该策略与GPT-4和Google Gemini等实践形成鲜明对比，GPT-4和Google Gemini巨人大多希望创建一个可以推广到数百万个任务的巨型模型。由两个哈佛大学辍学生成的AI芯片公司Etchedetched的创始人是两个哈佛大学辍学者。 Gavin Uberti在Octoml和Xnor.ai担任重要职务，而Chris Zhu是中国人。除了成为哈佛大学计算机科学的教学研究员外，他还在亚马逊等公司实*。他们对在Chatgpt发行之前对大型模型的方向感到乐观，因此他们于2022年退出哈佛大学，并与Robert Wachen和前Cypress半导体首席技术官Mark Ross合作，创建了捐赠给AI大型模型的芯片。 Gavin Uberti（左）和Chris Zhu（右）采取了独特的路线：他们只能运行Transformer的AI芯片并采用ASIC设计方案。目前，市场上的几乎所有解决方案都支持AI模型，从2022年底开始，他们确信变压器模型将统治整个市场，认为GPU的性能升级太慢，只有通过采取专业ASIC芯片的道路，我们才能实现绩效的飞跃。两年后，今年6月27日，Etched推出了其第一个AI芯片Sohu，成为全球第一个致力于变压器计算的芯片。它的运行速度比NVIDIA H100快20倍，并且比今年3月推出的高端芯片B200快10倍以上。配备了八个SOHU芯片的服务器可以替换160个NVIDIA H100 GPU。虽然*降低了成本，但不会造成绩效损失。由于SOHU仅支持一种算法，因此可以消除大多数控制流量模块，并且芯片可以集成更多的数学计算单元，该计算单元可以达到计算功率利用率的90以上，而GPU只能达到30。对于一个小规模的设计团队，维持具有单个体系结构的软件堆栈的压力明显减轻。在发布Sohu Chip的同时，Etched还宣布，它已经完成了由主要风险合作伙伴和正面合资企业领导的1.2亿美元的A系列融资。这一轮融资的主要投资者包括彼得·泰尔（Peter Thiel），彼得·泰尔（Peter Thiel），著名的硅谷投资者，前首席技术官，前合伙人，加密货币交易平台Coinbase，Balaji Srinivasan，Github Github首席执行官Thomas Dohmke，Cruise Corise Cohele Vogogt and Quora Coora Cheeip conlie Cheever等方面由Ultraman投资的独角兽是其芯片与主流Nvidia GPU有很大不同。过去，在摩尔法律的指导下，芯片越来越小。以Nvidia h100为例，它的核心面积为814平方毫米。 Cerebras的AI芯片选择使整个芯片越来越大，声称自己是“创建世界上最大的芯片”。

据报道，小脑开发的WSE 3芯片是从整个晶片中切出的，并且比盘子大，并要求人们用双手支撑它。 WSE 3芯片在超过46,000平方米的核心区域上具有4000亿晶体管（H100的50倍）。需要双手固定大于盘子的芯片。资料来源：ARS TechnicaceCerbras声称，其芯片可以训练的AI模型的规模比该行业的顶级模型大10倍（例如OpenAI的GPT-4或Google的Gemini）。今年8月27日，Cerebras Systems宣布推出AI推理服务脑图，被称为“世界上最快的”。根据官方网站的说法，在确保准确性的同时，推理服务的速度比NVIDIA的服务快20倍。它的处理器内存带宽是NVIDIA的7,000倍，价格仅为GPU的1/5，成本效益的100倍。 Cerebras推理还提供多个服务级别，包括免费，开发人员和企业级别，满足从小规模开发到大型企业部署的不同需求。联合创始人兼首席执行官安德鲁·费尔德曼（Andrew Feldman）拥有斯坦福大学（Stanford University）的MBA，首席技术官加里·劳特巴赫（Gary Lauterbach）被公认为是该行业顶级计算机建筑师之一。 2007年，两家公司共同创立了Micro Server Company Seamicro，该公司在2012年以3.34亿美元的价格收购了AMD，两人加入了AMD。根据外国媒体披露，脑系统已秘密申请在美国的IPO，并最早在2024年10月上市。目前，该公司已筹集了7.2亿美元的融资，价值约42亿至50亿美元，其中最大的个人投资者之一是Openai CEO Sam Altman。据报道，Ultraman参加了小脑的8100万美元D系列融资。 Tenstorrent由传奇筹码大师加入，希望成为NVIDIA的“主管”。在2021年之前，TenstRortent仍然是一家未知公司。然而，与半导体行业的曾孙吉姆·凯勒（Jim Keller）一起被称为“硅仙子”，宣布他加入该公司并担任首席技术官兼总裁，该公司已闻名一段时间。吉姆·凯勒（Jim Keller）的职业是计算机行业的历史。从1998年到1999年，吉姆·凯勒（Jim Keller）在支持AMD的K7/K8建筑中领先。从2008年到2012年，他在Apple开发A4和A5处理器方面领先。从2012年到2015年，他主持了AMD的K12 ARM Project和Zen Architecture项目；从2016年到2018年，他在特斯拉开发了FSD自动驾驶芯片，从2018年到2020年，他参加了英特尔的神秘项目。吉姆·凯勒（Jim Keller）加入了Tenstorrent，希望为NVIDIA昂贵的GPU提供“交换”。他认为，NVIDIA不能很好地为某些市场服务，这正是Tenstorrent想要抓住的。 Tenstorrent表示，其星系系统的效率是NVIDIA DGX的三倍，并且价格低33，这是世界上最受欢迎的AI服务器。据报道，预计Tenstorrent将于今年年底发布其第二代多功能AI处理器。根据Tenstorrent去年秋天的最新路线图，该公司打算发布其黑洞独立AI处理器和类星体低功率的低成本chiplet，用于多芯片AI解决方案。该公司声称其即将到来的处理器提供的性能效率与NVIDIA的AI GPU相当。同时，Tenstorrent表示，其架构的记忆带宽比竞争对手少，这是其效率更高和成本较低的关键原因。抗议芯片的主要特征是，其100多个核心中的每一个都有一个小的CPU，即“大脑中的大脑”，可以自行“思考”，决定先处理哪些数据，还是放弃某些被认为是不必要的任务，从而提高整体效率。截至目前，Tentorrent已经完成了至少6轮融资。

以前，刺人的投资者主要是风险投资。吉姆·凯勒（Jim Keller）加入后，该公司于2023年8月完成了新的1亿美元融资，投资者开始出现在工业资本——现代汽车集团和三星领导下的风险投资公司三星催化剂基金。软银以折扣价购买了Graphcore，创建NVIDIA的竞争对手GraphCore成立于2016年，由CTO Simon Knowles和CEO Nigel Toon创立。该公司致力于开发智能处理单元（IPU），这是一种专门为人工智能和机器学*设计的处理器，具有独特的体系结构和优势，例如大型平行MIMD架构，高内存带宽和紧密耦合的本地分布式SRAM。 GraphCore连续推出了许多基于IPU的产品，例如GC200 IPU处理器，Bow IPU等，并不断升级和改进的技术。但是，在今年7月，陷入困境的英国AI芯片公司已被软银收购。根据该协议，GraphCore将成为软银的全资子公司，并继续以其现有名称运行。据报道，总交易量可能达到约4亿磅（约5亿美元，35.6亿元人民币），比Graphcore的估值下降了约82，而最后一轮融资的28亿美元则下降。实际上，软银仅以20的折扣购买了Graphcore。 GraphCore曾经被视为“英国版本的Nvidia”。但是，自2020年以来，该公司尚未收到新的投资，并且失去了微软的重要订单，这使其在资金上很紧张，难以运营，并且未能跟上AI Chip Field的一般趋势。同时，在中国AI半导体上继续收紧美国出口控制，也影响了GraphCore在中国的发展，最终不得不选择退出中国市场并损失其总收入的四分之一。 GraphCore的获取不仅巩固了软银在AI芯片领域的地位，而且还巩固了Son AI策略的重要一步。 Google前工程师创立了Groq，以创建一个新物种Lpugroq，宣布已于今年8月完成了6.4亿美元的D系列融资。投资者包括贝莱德，思科投资，三星催化基金等，其估值为28亿美元。该公司由前Google工程师乔纳森·罗斯（Jonathan Ross）于2016年成立，该公司声称其语言处理单元硬件LPU可以运行现有的Genai型号，例如GPT-4，该模型将增加速度十倍，而仅消耗能源消耗的十分之一。该公司已使用Meta的Llama 2创建了新的大型语言模型（LLM）性能记录，该记录是每位用户每秒300个令牌。与GPU的多功能性相比，LPU在语言处理方面表现良好，但具有狭窄的应用。这限制了他们在更广泛的AI任务范围内的普遍性。此外，作为一种新兴技术，LPU尚未得到社区的广泛支持，并且面临可用性的挑战。 GROQ计划在2025年第一季度末之前部署108,000多个LPU，除了主要的科技巨头外，AI推理的最大部署。