OpenAI的存在的意义没有了。
一个闭源大模型,在测试中比不过一个开源大模型,大家选择闭源的意义在什么地方?
回顾一下大模型的历程,这本来是一条用算力和数据铺就的炼金之路。
2020年6月,ChatGPT-3凭借1750亿参数和3000亿token的纯文本训练,消耗约3×10²³次浮点运算(FLOPS);
2022年3月,引起轰动的ChatGPT-3.5通过引入代码数据和强化学习框架,将训练数据扩展至5000亿token,算力需求增至5×10²³ FLOPS;
2023年3月,ChatGPT-4的混合专家架构(MoE)以1.8万亿参数规模整合13万亿多模态token,训练算力飙升至2.1×10²⁵ FLOPS,相当于GPT-3的70倍,需2.5万张H100 GPU集群持续运行90天,能耗突破51,000兆瓦时。
从ChatGPT-3到ChatGPT-4的演进,数据与算力的需求呈现指数级攀升。
训练的需要的成本也是从千万美金,再到上亿美金。
这种模式就是烧钱,要想炼大模型,掂量一下兜里的