互联网资讯 · 2024年4月8日 0

英伟达改良版H20在中国区LLM推理中速度超越H100

国外科技媒体 SEMianalysis 近日发布付费文章,称中国特供版 AI 芯片之一,在 LLM 推理中,要比 H100 快 20% 以上。

英伟达即将推出 HGX H20、L20 PCle 和 L2 PCle 接口芯片,这三款芯片均基于英伟达 H100 改良而来,官方已经生产出这些 GPU 样品,并预估下月投入批量生产。

英伟达预计最快将于 11 月 16 号之后公布,国内厂商最快将在这几天拿到样品。

付费文章详细介绍了英伟达 H20、L20 和 L2 的详细信息,涉及 FLOPS 数据、NVlink 带宽、功耗、内存带宽、内存容量、芯片尺寸等。

其中一款中国特供版 GPU 在 LLM 推理中要比 H100 快 20%,性能接近于英伟达明年年初发布的新款 GPU。

英伟达 HGX H20 采用 HGX 格式,采用台积电的 CoWoS 封装。另外两款芯片主要基于 Ada,面向游戏领域,不需要复杂的封装。

预测英伟达 2024 和 2025 财年业绩,消息称由于美国不断加码,英伟达丢失了超过价值 50 亿美元的订单,借助中国专供 GPU,会改善英伟达的业绩表现。