1个回答

如何评价特斯拉解散dojo芯片团队?

yahah
43个点赞 👍

首先,respect, 评价总是容易的,训练难度是Inference的芯片x10倍,首富的芯片不顺利也正常,解散团队应该不是停止开发(首富总是比较杀伐果断,你懂的,比如twitter,休克性砍掉90%),这并不代表mesh类架构就是彻底失败的, 虽然总体上来说我认为当前此种架构并不能打败GPU的综合TCO,另一方面,目前开源流行DSV3moe结构对mesh并不友好。

总结几个要点:

  1. 资金并不决定一切,不是越有钱产品就越好。相反的例子还有deepseek米哈游砺算香山
  2. 芯片和实现团队强相关。同一个类似架构方案,可能不同团队做是不同的结果。尤其是现在开发者有LLM加持的情况下,核心member的作用远大于之前。比如cerebras和Dojo就很类似的方案,sillicon和封装散热甚至难度更大,cerebras这边已经落地了。至少Inference商业开放可用的状态,同样的还有groq。但是training没有开放api。
  3. Dojo可能遇到的blocking issue(欢迎讨论)
  • mesh架构的yeild defect策略
  • tranning有效运行时间
  • 编译器
  • 模型收敛性
  • RAS
  • all2all communication imbalance
  • 内存容量

等吧,只要算法停止迭代,GPU的优势就会减少。谁知道呢,也许算法永远不会停止迭代?

梁智誠
自由评论 (0)
分享
Copyright © 2022 GreatFire.org