这次NVIDIA给大家演示了，如何在没有工艺提升的情况下用相同的功耗实现2倍甚至4倍以上的性能。
那就是：加钱。
同样是4nm，B200的晶体管数量是H100的接近3倍，显存也是2.5倍，没有工艺红利，老黄也只能用高速互联来双芯硬堆料了。成本和芯片规模的暴涨带来了单位功耗性能的暴涨。
之前很多手机CPU发热巨大，被很多人归结于核心太大性能太强，高分低能，实际上发热大恰恰是核心太小性能薄弱的表现，只能靠拉高频率用高功耗来换取一个看得过去的性能。而真正的堆料王者，恰恰都有极其优异的能耗比表现。
芯片这个东西就是一分钱一分货，工艺不变，想要功耗低，你就得多堆晶体管，没有别的途径。
当然，这次B200的架构升级也是蛮大的。
晶体管数量增加了接近3倍，FP64性能只增加了30%左右，可谓是对超算用户极不友好了。剩下的晶体管都拿去堆tensor core和transformer引擎了，FP16 Tensor的性能暴涨5倍，GPU现在越来越像NPU了。
NVLINK这次也实现了带宽翻倍，进一步拉大了跟其他竞争对手NPU的差距。在大模型时代，NVLINK才是决定芯片真正能发挥出多少算力的关键。
B200出来了，A100应该算古董落后技术了吧？美国什么时候能解除制裁？如果国产厂商用类似B200的架构在7nm工艺下制造芯片，算力碾压A100是非常轻松的。B200晶体管数量是A100的四倍，FP16性能是H100的5倍，也就是说A100级别的GPU其实可以实现H100级别的性能了，制裁A100真的还有必要吗？
编辑于 2024-03-19 17:29・IP 属地中国香港