Falcon 1800亿参数的大模型出来了。
大模型这项技术壁垒显得不高了。
有技术壁垒的是芯片和稳定的分布式训练基础设施软件。
或许工程经验也有一定的壁垒。
国内应该还没有公司能进行资源利用率30%以上的万卡训练。
只要有足够多的卡和稳定的基础设施,找设计和训练大模型的人才不难。
原因是AI大模型的模型和优化技术太开放了,聪明且自学能力强的人会很快变成专家。
发布于 2023-09-07 17:55・IP 属地新加坡
Falcon 1800亿参数的大模型出来了。
大模型这项技术壁垒显得不高了。
有技术壁垒的是芯片和稳定的分布式训练基础设施软件。
或许工程经验也有一定的壁垒。
国内应该还没有公司能进行资源利用率30%以上的万卡训练。
只要有足够多的卡和稳定的基础设施,找设计和训练大模型的人才不难。
原因是AI大模型的模型和优化技术太开放了,聪明且自学能力强的人会很快变成专家。