芯片解决了,产能都上来了。HBM解决了,自研解决自己需要的问题。集群解决了,用全光网互联。甚至UB-Mesh都开源了,比英伟达体系下的迈络斯InfiniBand更好。
1、芯片
1)昇腾NPU芯片
单卡算力提升,昇腾950算力单卡1PB FP8,作为对比,910C是最高单die 0.8PB Int8,算力密度上略有提升。
昇腾960看起来应该是双Die 昇腾950DT,昇腾970可能是4die?不清楚。
架构变化,从SIMD到SIMT/SIMD,简单点说:
算子更好写——给910A手K算子的哭晕在厕所
支持加速格式更多——原来最低Int8,现在可以FP8、FP4,未来推理走向FP4可能是大概率事件,参考OpenAI开源的GPT OSS
具体解释,可以看这篇回答下面几个高赞:华为NPU昇腾芯片是否属于重大战略方向性失误,应该选择GPGPU,导致CANN软件栈面临作废状态?


其他的一些改进在于
访存效率更高、互联带宽更高
昇腾950分为PR和DT,PR是950的Die+HiBL1.0,BL是内部代号,白鹭;DT是950Die+HiZQ,ZQ是内部代号,朱雀。

可能有PD分离的趋势?DT内存带宽大,PR内存带宽相对小。PR,for prefill,DT for decode?
大模型推理过程,可以分成两个阶段,Prefill、Decode:
Prefill阶段吃算力,主要影响出首字的速度;
Decode阶段吃内存带宽,主要影响蹦字的速度。

2)自研HBM
大概率是定制base die+DRAM TSV封装的组合,也可能是华为自己搞base die+封装。
HBM本质上是几层芯片的组合,上面是DRAM,下面是Logic芯片。
但如果说,我就是想要一个高速内存,其实可以把条件放宽一点,不完全需要HBM。类似的解决方案还有可以在移动端使用的CUBE封装。
具体可以看夏Core这篇:你缺HBM吗?

3)鲲鹏CPU芯片
鲲鹏920其实有一把版本,但这次好像也统一命名到鲲鹏950了。
没有更多信息。
2、集群
CM384这么快就……不过话说回来,如果950能顺利出货的话,950的集群肯定比CM384更屌。
1)万卡集群
这次叫SuperPoD,一个集群内8192-15488卡,2026年Q1就可以开启交付。
大体上跟昇腾950推出节点一致,算下来,单集群算力就是4EFlops(FP16,8192卡集群),或者7.5EFlops(FP16,15488卡集群)。
全光互联,跑GuassDB数据库,用泰山950服务器做交换——算华为全家桶。
可以理解为,UB Mesh相关技术已经在CM384上跑通,到SuperPoD上就能直接用了。



2)50万-100万卡集群
50万卡集群,单集群能到267EFlops(FP16),是64个8192卡集群的合集。
百万卡集群,单集群能到524EFlops(FP16),128个8192卡集群合集。
我懂了,新一代的CM384就是SuperPoD,单集群8192卡,能往上按2的倍数叠加。


3、UB-Mesh开源
UB-Mesh开源了,灵衢协议面向企业和伙伴及高校开放,共建下一代超节点计算基础设施[1]。
单卡/单机柜性能有上限。卡间/机柜间互联技术,是这个阶段最重要的东西。
为了提升单卡的能力,华为折腾了昇腾910C,英伟达折腾了B200/B300,通过合封的方式,提升单卡性能。
为了提升单机柜能力,英伟达折腾了NVL72,通过在一个机柜里塞进去更多的卡,提升单节点性能。
剩下的千卡/万卡/十万卡互联,就开始走向InfiniBand、以太这种架构,某种意义上算是各凭本事。
我之前上报的文件里面,打过一个比方。NV的互联技术特点是,能把几千张卡,虚拟成一个算力超大的卡。
UB-Mesh算是华为绕开InfiniBand,用光互联做的另一条路径。
光互联相较于铜互连,在抗干扰性、传输带宽上有优势。
当然,更核心的优势在于,我国对于光通讯产业链的掌控程度远高于铜,退一万步讲,国内铜矿品位低,采购价格很容易受大宗商品价格波动影响,但光纤没这烦恼。
5G天天被喊无用,但国内通过5G阶段,形成了你球综合TOP1级别的的光通讯能力。
除了产业链上的光电芯片还依赖海外企业外(当然,华为在武汉还有个造光芯片的fab),其他的光模块、光纤,国内都巨成熟,光纤光模块产能占全球50%以上。
开源以后,各凭本事做实施,传统通讯企业也能进来分一杯羹。
大体如此吧。