电子工程专辑讯 AMD在6月13日的“AMD数据中心与人工智能技术首映会”上推出了大语言模型专用的最新加速卡Instinct MI300X芯片。MI300系列是AMD针对AI和高性能计算(HPC)的加速处理器(APU)加速器,其中MI300A是“基础款”,MI300X是硬件性能更高的“大模型优化款”。
据介绍,Instinct MI300A采用CDNA 3 GPU架构和24个Zen 4 CPU内核,配置128GB的HBM3内存和1个CDNA 3图形引擎,该芯片共包含1460亿个晶体管。相比前代MI250,MI300的性能提高八倍,效率提高五倍。
Instinct MI300X是针对大语言模型(LLM)专用,包含12个小芯片,1530亿个晶体管,192GB的HBM3内存,内存带宽达到5.2TB/s。对比英伟达的H100芯片,MI300X的HBM密度高达英伟达AI芯片H100的2.4倍,HBM带宽高达H100的1.6倍,可以运行的模型比H100的更大。相比之下,英伟达的H100芯片只支持120GB内存。
苏姿丰预计,今年,数据中心AI 加速器的市场将达到300亿美元左右,到2027 年将超过1500 亿美元,复合年增长率超过 50%。
MI300X将于今年晚些时候开始向部分客户发货。MI300A已经出样,MI300X以及集成8个MI300X的AMD Instinct Platform计算平台,预计在第四季度推出。AMD Instinct Platform可提供总计1.5TB的HBM3内存。
为了对标英伟达的CUDA,AMD表示公司也有自己的芯片软件“ROCm”。AMD表示,在构建强大的软件堆栈方面,AMD取得了真正的巨大进步,ROCm软件栈可与模型、库、框架和工具的开放生态系统配合使用。
AMD或将挑战英伟达的主导地位?在该活动进行过程中,AMD的股价收跌3.61%,而英伟达收涨3.9%。不过今(14日)天,AMD的股价又大幅上涨。
市场研究公司TIRIAS Research首席分析师凯文·克莱维尔(Kevin Krewell)说:“我认为,华尔街之所以会失望,可能是因为没有一个大客户表示会使用MI300A或X。他们希望AMD透露一些信息来说明该公司已经在某些设计上取代了英伟达。”
MI300X的推出,有望成为英伟达GH200 Grace Hopper超级芯片的替代选择。
不过Cambrian-AI Research LLC 创始人兼首席分析师 Karl Freund 也在福布斯上发文表示,虽然AMD新推出的这款芯片激起了市场各方的巨大兴趣,但与英伟达的H100芯片相比,MI300X面临着一些挑战,主要有以下四个方面:
第一,英伟达的H100今天开始全面出货;到目前为止,英伟达仍拥有AI行业最大的软件和研究人员生态系统。
第二,虽然MI300X芯片提供了192GB内存,但英伟达在这一点上将很快迎头赶上,甚至在相同的时间框架内可能实现反超,所以这并不是一个很大的优势。并且 MI300X 的售价将会十分高昂,与英伟达的H100相比不会有明显的成本优势。
第三才是真正的关键:MI300没有像H100那样的Transformer Engine(一个用于在英伟达GPU上加速Transformer模型的库),H100可以将大语言模型(LLM)的性能提高两倍。如果用几千个(英伟达的)GPU来训练一个新模型需要一年的时间,那么用AMD的硬件来训练可能需要再等2-3年,或者投入3倍的GPU来解决问题。
最后,AMD还尚未披露任何基准测试。但是训练和运行LLM时的性能取决于系统设计和GPU,所以很期待今年晚些时候能够看到一些与同业竞争对手的比较。
目前,中国大陆也诞生了不少GPU和加速芯片相关厂商,具体包括平头哥、地平线、寒武纪、燧原、壁仞、摩尔线程、天数智芯和墨芯等。当前在这些企业中仅有寒武纪为上市公司。虽然很多厂商已经宣布产品量产,但是真正披露收入的企业较少。
文章来自:https://www.eet-china.com/