英伟达发布顶级AI芯片H200推理速度翻倍

行业动态

2023/11/15 13:42:33

  英伟达11月13日宣布,在目前顶级人工智能(AI)芯片H100的基础上进行一次重大升级,发布新一代的H200芯片。

英伟达发布顶级AI芯片H200推理速度翻倍

  相较于H100,H200的内存带宽提高1.4倍、容量提高1.8倍,显着提升处理密集型生成式人工智能(AI)工作的能力。

  英伟达表示,H200采用高带宽内存(HBM3e)规格,使GPU内存带宽从H100的每秒3.35TB提高至4.8TB,内存总容量也从H100的80GB提高至141GB,与H100相比,对Llama 2模型的推理速度几乎翻倍。

  值得注意的是,H200还能与已支持H100的系统兼容。H200预计将于明年第二季度开始交付。英伟达尚未公布价格。

  英伟达没有透露新的内存芯片供应商,但美光科技9月份表示,它正争取成为英伟达的供应商。

  此外,英伟达还从韩国SK海力士购买了内存。SK海力士上个月表示,因英伟达订单挹注,让该公司第三季度的销售写下了好成绩。

  英伟达表示,亚马逊网络服务、谷歌云、微软Azure和甲骨文云基础设施都将成为首批购买H200芯片的云服务提供商。

次阅读

分享到

精品推荐

相关资讯

大家都在搜

网友热议

    Copyright © 2012-现在 书生家电网, All Rights Reserved.

    会员登录

    分享到

    取 消