查看原文
其他

AMD发布AI芯片挑战英伟达,微软Meta表态“捧场”

王信豪 中国电子报 2024-04-02

12月7日,AMD推出了“能与英伟达H100 HGX媲美”的AI芯片Instinct MI300X加速器。该芯片由8个MI300X GPU组成,能够提供高达1.5TB的HBM3内存容量。AMD声称,与英伟达H100 HGX相比,Instinct MI300X加速器在运行大语言模型推理时的吞吐量和时延表现更好。

AMD首席执行官苏姿丰表示,MI300X的存储表现优于英伟达的H100,而对比此前英伟达透露的H200,其存储性能规格也优于使用HBM3e的H200。

据了解,MI300X内置了8个XCD共304个CNDA 3架构的计算单元以及4个IOD,性能相较于此前普遍应用的MI250系列提升了约30%。在存储性能上,AMD使用8个HBM3堆栈,带来了高达192GB的内存以及5.3TB/s的最大带宽。

根据AMD提供的数据,在大模型训练能力上两者不分伯仲,而在70亿参数的Llama2和160亿参数的Bloom的推理上,由于AMD单卡具备更好的存储性能,推理效率已经超越了英伟达。但在加速器平台内部的卡间带宽上,由于英伟达拥有NVLink技术的加持,AMD 896GB/s的表现仍略低于英伟达。

AMD Instinct MI300X加速器的发布,引发了全球AI芯片市场的骚动。微软声称将评估对AMD的AI加速器产品的需求,评估采用该新品的可行性。Meta公司表示,将在数据中心采用AMD新推的MI300X芯片产品。甲骨文也表达了将在云服务中采用AMD的新款芯片的意愿。这些AI芯片采购大户“不会把鸡蛋放到一个篮子里”有了现实考量——英伟达可能遇到了强大的竞争对手。

据AMD的预测数据,AI加速器在2023年的市场规模将达到450亿美元,2027年将达到4000亿美元。

延伸阅读:
小米也“骑墙”?电动汽车电池路线之争再生悬念
运营商小试大模型,“1+N”模式浮出水面


作者丨王信豪
编辑丨张心怡
美编丨马利亚
监制丨连晓东

继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存