8个回答

有没有不依赖python的开源大模型?

许哲佳
1个点赞 👍

github上搜llama.cpp,纯cpp源码,对主流大模型进行推理,不依赖GPU,CPU推理速度可以接受,有GPU加速更快。提供多种用法,包括web界面和OpenAl兼容API服务。

讲真,Python不是必须,是给那些非计算机专业人士使用的,方便他们研究算法和数理分析,大模型工业化落地都用cpp。

发布于 2024-05-05 09:39・IP 属地北京
楚天舒
自由评论 (0)
分享
Copyright © 2022 GreatFire.org