279个回答含有被封锁的答案1个

如何看待开源模型DeepSeek综合性能吊打Openai?

千金散尽还复来
15个点赞 👍

OpenAI的存在的意义没有了。

一个闭源大模型,在测试中比不过一个开源大模型,大家选择闭源的意义在什么地方?

回顾一下大模型的历程,这本来是一条用算力和数据铺就的炼金之路。

2020年6月,ChatGPT-3凭借1750亿参数和3000亿token的纯文本训练,消耗约3×10²³次浮点运算(FLOPS);

2022年3月,引起轰动的ChatGPT-3.5通过引入代码数据和强化学习框架,将训练数据扩展至5000亿token,算力需求增至5×10²³ FLOPS;

2023年3月,ChatGPT-4的混合专家架构(MoE)以1.8万亿参数规模整合13万亿多模态token,训练算力飙升至2.1×10²⁵ FLOPS,相当于GPT-3的70倍,需2.5万张H100 GPU集群持续运行90天,能耗突破51,000兆瓦时。

从ChatGPT-3到ChatGPT-4的演进,数据与算力的需求呈现指数级攀升。

训练的需要的成本也是从千万美金,再到上亿美金。

这种模式就是烧钱,要想炼大模型,掂量一下兜里的

歪睿老哥
自由评论 (0)
分享
Copyright © 2022 GreatFire.org