77个回答

因为DeepSeek事件? 美国可能会让英伟达将H20禁售 如何看待?

陌白
62个点赞 👍

果然懂这其中门道的人不多,但英伟达还是懂的

禁售H20不是针对训练的,是针对推理的

DeepSeek本来也不用H20做训练,他用的是H800做训练,H20就不是训练卡而是推理卡

现在的大模型因为参数量太大,还要支持长上下文和大Batch,对推理算力的需求是远远大过训练的。

DeepSeek具体怎么部署推理集群的方法也是在技术报告里提及了的,但是它只说了用了H800没说用了 H20。他也是采用了PD分离的技术方案,把推理里计算最集中的Prefilling和Decoding两个阶段分别部署到不同的设备上。一般来说,Prefilling阶段需要高算力,Decoding阶段需要大内存。所以Decoding阶段需要大显存低成本的卡。

这其中的大显存低成本的卡很可能就是H20,H20相比H100只有大约一半的价格。

DeepSeek反正训练需要的卡已经买到了,估计还有一些储备,以后扩大训练规模也是够用的,但是DeepSeek开源后必然会有很多人产生私有化部署DeepSeek模型的需求,那么就需要大量的

知乎用户
自由评论 (0)
分享
Copyright © 2022 GreatFire.org