• 首页
        • 更多产品

          客户为中心的产品管理工具

          专业的软件研发项目管理工具

          简单易用的团队知识库管理

          可量化的研发效能度量工具

          测试用例维护与计划执行

          以团队为中心的协作沟通

          研发工作流自动化工具

          账号认证与安全管理工具

          Why PingCode
          为什么选择 PingCode ?

          6000+企业信赖之选,为研发团队降本增效

  • Jira替代方案
目录

ChatGPT带火HBM,存储芯片“柳岸花明”?

“ChatGPT是人工智能领域的iPhone时刻,也是计算领域有史以来最伟大的技术之一。” 英伟达创始人兼CEO黄仁勋此前这样盛赞ChatGPT。

ChatGPT突然爆火,对大算力芯片提出了更高更多的要求。近日,据韩国经济日报报道,受惠于ChatGPT,三星、SK海力士HBM(high bandwidth memory,高带宽内存)接单量大增。

图片来源:三星半导体

据悉,SK海力士为英伟达供应第三代HBM,搭配英伟达的A100 GPU供ChatGPT使用。另外,英伟达已经将SK海力士的第四代HBM安装至H100,而H100已开始供应ChatGPT服务器所需。同时,韩国业界透露,如今第三代HBM报价飞涨,已是效能较高的DRAM产品的五倍之多,其市场成长率是三星、SK海力士原本预测的两倍以上。

过去的一年,由于低迷的市场表现,各大存储芯片巨头承受着巨大的亏损压力,步入了行业的“寒冬”。然而,ChatGPT等相关AI应用正对惨淡的存储芯片产生积极的影响。那么,未来一年,存储芯片是否迎来新的增量市场机遇?

HBM是一种基于3D堆叠工艺的DRAM内存芯片,它就像摩天大厦中的楼层一样可以垂直堆叠。基于这种设计,信息交换的时间将会缩短。这些堆叠的数颗DRAM芯片通过称为“中介层(Interposer)”的超快速互联方式连接至CPU或GPU,最后可将组装好的模块连接至电路板。

HBM的架构  图片来源:AMD

HBM重新调整了内存的功耗效率,能大幅提高数据处理速度,是当下速度非常快的DRAM产品,其每瓦带宽比GDDR5高出3倍还多,且HBM比GDDR5节省了94%的表面积。目前,HBM主要被安装在GPU、网络交换及转发设备(如路由器、交换器)、AI加速器、超级计算机及高效能服务器上。

一般而言,HBM作为一种GPU显存存在时,如今虽不算罕见,但因HBM成本高昂,多在高端产品上见到。比如,英伟达面向数据中心的GPU。AMD在消费级GPU上用HBM算是比较少见的例子。

短短两个月,ChatGPT这一超级AI 应用的用户破亿,使全球科技巨头加快了生成式AI应用的布局,也带动了AI应用场景大发展,正掀起新一轮人工智能创新浪潮。

如今,搭载于新兴AI应用的内存芯片亟待升级,主要体现在三大方面:一是ChatGPT这类生成式AI应用需要在海量的训练数据中进行学习,才能实现高质量的生成输出。为了实现关键词识别、图像识别等功能,AI模型需要存储大量的图片和音频信息。

二是面向C端用户的AI应用必须具备快速处理数据的能力,才能向用户实时输出AI计算结果,因此也对内存芯片的数据传输速度提出了更高要求。

三是随着人工智能技术的进一步普及,越来越多的AI应用发生在移动设备和物联网终端设备上,而这些设备大多采用电池供电或充电,对功耗十分敏感。

HBM作为一种带宽远超DDR/GDDR的高速内存,将为大算力芯片提供能力支撑,进而成为相关加速芯片的必然选择,同时生成类模型也会加速HBM内存进一步增大容量和增大带宽。

众所周知,算力的来源就是芯片。而ChatGPT背后的计算集群使用的是AI芯片,其中以英伟达AI芯片为典型代表。

OpenAI曾表示,ChatGPT是与英伟达和微软合作完成的超级AI。微软在自己的云——Azue HPC Cloud中构建了超级计算机集群,将其提供给OpenAI。据悉,该超级计算机拥有285000个CPU(中央处理器)内核和10000多颗AI芯片。除了算力芯片外,AI对话程序在执行计算期间需要大容量、高速的存储支持,预计高性能存储芯片需求也会增长。

因此,未来,为GPU和人工智能加速器提供数据的高性能高带宽内存(HBM) 的需求将会扩大。从长远来看,随着AI聊天机器人服务的扩展,对用于CPU的128GB或更大容量的高性能HBM和高容量服务器DRAM的需求预计会增加。

据悉,从今年年初开始,三星电子和SK海力士的高带宽存储器(HBM)订单就大幅增加。与其他DRAM相比,HBM通过垂直连接多个DRAM,显著提高了数据处理速度,与CPU和GPU协同工作,可以大幅提高服务器的学习和计算性能。

此前,HBM之所以没有得到大范围应用,就在于其需要复杂的生产工艺和高度先进的技术。目前海力士是全球HBM3显存的主力生产商,占据了60-70%的市场。而三星则凭借着强大的研发实力以及资金投入,也在HBM显存市场上颇有建树。

目前,三星已开发出具运算能力的HBM,不但能储存数据、还能运算数据,且已在2022年10月向AMD供应该产品,用于AI加速器。

全球最大的GPU公司英伟达(Nvidia)一直在要求SK海力士提供最新的HBM3内存颗粒。全球排名名列前茅的服务器CPU公司英特尔在全新的第四代至强可扩展处理器当中也推出了配备SK海力士HBM的产品。有业内人士表示,与较高性能的DRAM相比,HBM3目前的价格已经达到其5倍。

据悉,目前已经有超过25000块英伟达计算卡加入到了训练之中。如果所有的互联网企业都在搜索引擎中加入ChatGPT这样的机器人,那么计算卡以及相应的服务器的需求量将会达到50万块,远远超过现在的产能。因此,未来,随着不断接入ChatGPT等生成式AI需求大增,HBM的需求也将呈现出暴增的态势。

CPU和GPU的性能每年都在大幅提升,但支撑它们的内存半导体性能却一直相对滞后,HBM作为替代方案应运而生。HBM可以消除CPU、GPU和内存之间的性能差距造成的瓶颈,补充了现有DRAM的局限性,被认为是一种具有前景的下一代内存产品。

其中,高带宽、高延迟的特性,决定了HBM是非常适用于作为GPU显存的,也决定了其非常适合HPC高性能计算、AI计算。比如,富士通的超级计算机富岳(Fugaku)内部所用的芯片A64FX,就搭配了HBM2内存。

从上方看HBM  图片来源:富士通

SK海力士也表示,从内存的角度来看,AI聊天机器人需要高性能的DRAM和高性能的计算存储设备,可能加快市场重心转向大容量服务器内存的时间。SK海力士提到,服务器内存从64GB迁移到128GB的速度可能更快。目前,通过与中央处理器(CPU)和图形处理器(GPU)配对,可以明显提高服务器性能的HBM订单正在明显增加。

计算存储是ChatGPT的重要基石。ChatGPT3相较ChatGPT2在数据存储端从百G提升至40T在存储量上有约100倍的提升,算力需求同样也呈几何倍增长。未来,人工智能的发展和数据存储的进步将会是相辅相成的,数据存储也必将成为人工智能时代重要的一环,相关企业将迎来机遇。最新的消息表明,相关影响已经开始波及上游产业,三星和海力士目前萎靡的DRAM业务也受到相关订单增加的利好。

以ChatGPT为例,数据显示,ChatGPT的总算力消耗约为3640PF-days(即假如每秒计算一千万亿次,需要计算3640天)。另有业界消息称,ChatGPT已导入了至少1万颗英伟达高端GPU。而花旗集团则预估,ChatGPT将可能促使英伟达相关产品在12个月内销售额达到30亿至110亿美元。

当前,AI时代模型算力需求已经远超摩尔定律的速度增长,特别是在深度学习、大模型时代之后,预计5-6个月翻倍。但总体而言,大容量、大带宽等存储芯片将迎来一波人工智能创新应用机遇。

文章来自:https://www.eet-china.com/

相关文章

iPhone 14 Pro Max中苹果自研芯片占BoM成本22%

资讯

ChatGPT突然爆火,这些芯片要受益!

资讯

写在新年开端——边缘智能,赋能数字化未来

资讯

就美日荷限制向中国出口相关芯片制造设备,中国半导体行业协会发布声明

资讯

赶快更新!Apple 出现多个安全漏洞

资讯

土耳其和叙利亚发生破坏性地震后,网络捐款诈骗遍地开花

资讯

深圳技术大学阮双琛:建议重点支持建半导体微纳光电加工中心

资讯

英国半导体产业危机:本土企业没有政策支持就迁往美欧

资讯

苹果入局Micro LED,“供应链图谱”日渐清晰

资讯

三星、联电、世界先进发起晶圆代工“价格战”

资讯