成本改善25倍,应该就是我理解的性能x功耗是前代的25倍。不过一般芯片都有能效曲线,看来看题目没啥用,我翻出去看原发布会。
一会更。
果然,这题目写得真牛啊。
我先列下原发会介绍的。
B200 拥有2080亿个晶体管,前一代H100、H200系列芯片只有800亿个。B200采用台积电4NP工艺制程,可以支持10万亿参数级的AI模型。相比之下,OpenAI的GPT-3仅为1750亿个参数组成,可以说英伟达的新款芯片,继续零跑行业数个身位。B200单个芯片能提供20 petaflops的AI性能,是前代H100的5倍。
英伟达每两年换架构,这次架构是以一位数学家姓名来命名。叫BIackwell架构。产品有B200与GB200。
英伟达还表示 GB200 包含了两个 B200 Blackwell GPU 和一个基于 Arm 的 Grace CPU 组成,推理大语言模型性能比 H100 提升 30 倍,成本和能耗降至 25 分之一
老黄还举个例子
如果要训练一个1.8万亿参数量的GPT模型,需要8000张Hopper GPU,消耗15兆瓦的电力,连续跑上90天。但如果使用Blackwell GPU,只需要2000张,跑90天只要4兆瓦
实话说,我没看懂,这玩意儿怎么降低25倍的?
按老黄的例子,能耗提升不是15/4=3.75倍吗?
除非价格降了。
而h100是台n4,800亿晶体管。Gb200是两个B200+一个ARM GPU由台积电N4工艺,共2080亿晶体管。
2080/800=2.6。晶体管翻了2.6倍。性能翻了2.5倍。
价格呢?就算台积电工艺成熟了,代工价格下降,估计上天也就20-30%,按30%算。买等价性能时打7折。
3.75再除于0.7也就是5.35。那成本下降只有25的零头。
当然,我也翻到了。写25倍的
除了核心的芯片发布环节外,英伟达还发布了GB200 NVL72 液冷机架系统。其中包含 36 颗 GB200 Grace Blackwell 超级芯片。英伟达表示,与用于推理用途的相同数量的 H100 Tensor Core 图形处理单元相比,GB200 NVL72 性能提升高达 30 倍,成本和能耗降低多达 25 倍。
我翻译一下。36颗GB200,包含了72颗B200。与相同数量的H100(36张),成本与能耗降低最高25倍。
真是好家伙。这个不等式怎么比?
既然如此。我宣布
GB200比H100成本与能耗改善多达25倍。
后面的人请按B200比H100能耗降低25倍来宣传
编辑于 2024-03-19 23:57・IP 属地广东
真诚赞赏,手留余香
还没有人赞赏,快来当第一个赞赏的人吧!