英伟达发布新一代AI处理器H200 性能提高60%至90%

AI头条· 2023-11-14 09:17:25

:昨日晚间,英伟达Nvidia 推出了 H200,这是一款专为训练和部署生成式人工智能模型的图形处理单元(GPU)。

微信截图_20231114084309.png

它基于 NVIDIA Hopper 架构,具有先进的内存和处理能力,可处理海量的数据用于生成式 AI 和高性能计算工作负载。 H200是第一款具有 HBM3e 内存的 GPU,提供了141GB 的内存和4.8TB/s 的内存带宽,几乎是 NVIDIA H100Tensor Core GPU 容量的两倍,内存带宽也增加了1.4倍。

在 AI 领域,业务需要使用大型语言模型来满足各种推理需求。H200在处理类似 Llama2这样的大型语言模型时,相比 H100GPU 的推理速度提高了2倍。 对于高性能计算应用,内存带宽对于提高数据传输速度、减少处理瓶颈至关重要。H200的更高内存带宽确保高效地访问和操作数据,使得与 CPU 相比,处理时间快了110倍。

微信截图_20231114084755.png

此外,H200的能效和总拥有成本也有所降低。这项前沿技术不仅提供了卓越的性能,而且功耗与 H100相同。

预计 H200将在2024年第二季度开始发货。

Nvidia 表示,H200将兼容 H100,这意味着已经在使用先前模型进行训练的人工智能公司无需更改其服务器系统或软件即可使用新版本。



您可能关注: 英伟达 AI芯片
文章链接: http://huangxinwei.com:80/aizixun/1089.html Chat gpt人工智能中文版在线使用

[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表炎黄立场。

轻创AI创作系统

炎黄CRM智能客户管理系统是一款全面而高效的客户关系管理工具,专门设计用于帮助企业更好地管理他们的客户资源和业务关系。该系统结合了强大的客户关系管理功能与先进的智能化技术,旨在提升客户满意度和忠诚度,从而实现更高的业务效益。