深圳热线

188GB显存!NVIDIA发布H100 NVL加速卡:ChatGPT提速2倍

2023-03-23 10:55:01 来源:科技头条

ChatGPT作为当下最火爆的AI应用,之所以能达到如此聪明”的程度,背后离不开海量的训练,离不开强大的算力,使用的是NVIDIA A100加速计算卡。

GTC 2023春季技术大会上,NVIDIA又发布了顶级的H100 NVL,它是已有H100系列的特殊加强版,专为大型语言模型(LLM)进行优化,是部署ChatGPT等应用的理想台。

(资料图)

H100 NVL单卡具备多达94GB HBM3高带宽显存(内存),照此容量看显然是开启了完整的6144-bit位宽,并启用了全部六颗,等效频率按照5.1GHz计算的话,带宽就是恐怖的3.9GB/s。

但也有个问题,六颗HBM3显存总容量应该是96GB,但是这里少了2GB,官方没有解释,猜测还是出于良品率考虑,屏蔽了少数存储单元。

相比之下,H100 PCIe/SXM版本都只开启了5120-bit位宽,六个显存位只使用五个,容量均为80GB,区别在于一个是HBM2e 2TB/s带宽,一个是HBM3 3.35TB/s带宽。

H100 NVL还可以双卡组成一个计算节点,总显存容量就是188GB,彼此通过PCIe 5.0总线互连。

再加上Transformer引擎加速的辅佐,在数据中心规模,H100 NVL与上一代A100相比,GPT-3上的推理能提高了多达12倍。

H100 NVL的其他规格没有披露,尤其是CUDA核心数量,不知道是H100 PCIe版的14592个,还是H100 SXM版本的16896个。

H100 NVL将在今年下半年开始出货,价格尽情想象去吧。

值得一提的是,NVIDIA还同时推出了其他两套推理台:

NVIDIA L4:

适用于AI视频,能比CPU高出120倍,能效提高99,提供强大的的视频解码和转码能力、视频流式传输、增强现实、生成式AI视频等。

NVIDIA L40:

适用于图像生成,针对图形以及AI支持的2D、视频和3D图像生成进行了优化,与上一代产品相比,Stable Diffusion推理能提高7倍,Omniverse能提高12倍。

顺带一提,CPU、GPU二合一的NVIDIA Grace Hopper适用于图形推荐模型、矢量数据库、图神经网络,通过NVLink-C2C 900GB/s带宽连接CPU和GPU,数据传输和查询速度比PCIe 5.0快了7倍。

关键词: 英伟达加速卡 电脑硬件 人工智能 数据加速计算卡

热门推荐