首先,respect, 评价总是容易的,训练难度是Inference的芯片x10倍,首富的芯片不顺利也正常,解散团队应该不是停止开发(首富总是比较杀伐果断,你懂的,比如twitter,休克性砍掉90%),这并不代表mesh类架构就是彻底失败的, 虽然总体上来说我认为当前此种架构并不能打败GPU的综合TCO,另一方面,目前开源流行DSV3的moe结构对mesh并不友好。
总结几个要点:
- 资金并不决定一切,不是越有钱产品就越好。相反的例子还有deepseek,米哈游,砺算,香山。
- 芯片和实现团队强相关。同一个类似架构方案,可能不同团队做是不同的结果。尤其是现在开发者有LLM加持的情况下,核心member的作用远大于之前。比如cerebras和Dojo就很类似的方案,sillicon和封装散热甚至难度更大,cerebras这边已经落地了。至少Inference商业开放可用的状态,同样的还有groq。但是training没有开放api。
- Dojo可能遇到的blocking issue(欢迎讨论)
- mesh架构的yeild defect策略
- tranning有效运行时间
- 编译器
- 模型收敛性
- RAS
- all2all communication imbalance
- 内存容量

等吧,只要算法停止迭代,GPU的优势就会减少。谁知道呢,也许算法永远不会停止迭代?