1个回答

最近谷歌的tpu很火 你怎么看这个现象?

美股笔记
51个点赞 👍

我怀疑以后卖Token都会走向自研芯片,没有中间商赚差价。

Google的TPU本质是没有“中间商”赚差价

英伟达毛利率超过70%,如果排除消费级显卡的60+毛利率,计算卡的毛利率估计接近90%。

某种意义上说,英伟达就是在云服务厂商和芯片代工厂商/内存厂商中间的“中间商”,赚了90%的差价。

反过来说,同样的资本开支,如果没有中间商赚差价,能得到的算力,就可能是买英伟达卡的5-10倍。

所以,Google的每Token成本远低于别家。

实际情况也大体是这样,TPU芯片的产量达到了英伟达出货量的接近75%。

据产业链相关人士透露,谷歌TPU芯片去年的生产量已经达到280万~300万片之间。
作为对比,Nvidia出货量大概是400W这个量级。

TPU好不好用?我倾向于是不大好用,至少Google暂时还没具备对外大规模供应+工程化的基础。

Apple Intelligence是在TPU上训的,非常差。

之前苹果开源的大模型OpenELM,用3B的参数在MMLU四选一测试中成功的模拟了瞎几把选的概率,表达了苹果AI的超能力。

这个测试结果,大意是,苹果这个30亿参数的模型,几乎没什么智能。

比目前llama 9b/qwen7b/glm6b的这些主流模型性能差了很远。

这个问题,除了Apple在AI领域过于菜以外,Apple由于显卡门(8400GS那代)和英伟达交恶也是原因之一,某种意义上证明了,TPU对外的一套工具链不好用。

反之的对比,就是华为昇腾寒武纪

昇腾910B也是大模型风潮之前造的,不兼容CUDA,都说不好用。华为硬是堆人堆工程师,起码在大模型推理和部分训练上跑起来了。还在这个坑上搞出来了CloudMatrix 384


所以……慢慢折腾呗

刘延
自由评论 (0)
分享
Copyright © 2022 GreatFire.org