有没有不依赖python的开源大模型？
只会C/C++，其他语言不会也不想学。但是我又想玩大模型，哪怕浅尝辄止也算玩爽了。要是有纯C/C++的大模型就更好了。我的要求有可能得到满足吗？
- 4 个点赞 👍
这里有几个C/C++的大模型推理库，生产化比较高的：
- https://github.com/ggerganov/llama.cpp
- https://github.com/google/gemma.cpp
- https://github.com/QwenLM/qwen.cpp
还有几个更适合研究学习的：
另外大部分深度学习框架基本都是C++写的，都有C++的API接口，只不过各个框架对C++接口的API稳定性没有像Python API那么有保障，可能会出现函数签名的变动等，维护成本会比Python高一些，而且很多框架的官网会优先维护Python版本的文档，包括教程、示例等，这就给直接使用C++带来更大的学习成本。
不过确实，如果只是推理的话，使用Python会导致大模型功能难以集成到其他的非Python应用中，使用C++会更好一些，所以更好的选项是模型的训练，或者是大模型的微调之类的工作可以使用Python来做，推理使用C++库。
发布于 2024-05-03 19:28・IP 属地山东查看全文>>
Bochao - 4 个点赞 👍
咱就说Python那些语法不是比c艹简单很多吗？
语法十分钟就能讲完
然后再讲一个简单的pip 包管理 虚拟环境管理 conda
差不多就完事了。
Python里面学会调包基本就能解决大部分问题。
剩下的不理解的都是ai 大语言模型框架给你带来的困扰，和语言本身没有关系
编辑于 2024-05-03 19:46・IP 属地广东查看全文>>
一只大肥猫呦 - 2 个点赞 👍
查看全文>>
李文 - 2 个点赞 👍
当然有了。Hugging face 的开源项目 candle 轻量级的 Rust 机器学习框架。可以把它看成 Rust 版本的 pytorch。现在的大模型很多都可以在上面跑起来，例如各种新发布的大模型 LLama 3, Gemma 和 CV 相关模型SAM, Yolo 都能在上面跑，性能还非常好，支持CUDA。
如果只是想使用类似 numpy 的库，ndarray是一个选择，如果想使用 Data Frame 可以用 polars。如果想用 CUDA 并行加速 矩阵运算，可以参考我的 ndarray-cuda-matmul 库。
C/C++ 的只有 llama.c 和 llm.c 可以参考。
建议可以学习一下 Rust 语言，会 C++ 的更能体会与编译器拉扯的快乐。
发布于 2024-05-06 11:46・IP 属地四川查看全文>>
李源 - 2 个点赞 👍
可是如果连Python这么简单的语言都不愿意学， 怎么学复杂的多的大模型呢？
和你一样，我以前也用C/C++, 学Python语法两天看一本pdf版本的入门书就行了。剩下的ChatGPT+Google+SF+github。
大模型也有很多玩法，是用网页版大模型？还是调api， 开发智能体， 抑或微调。 上面这些简单的Python都够了。
无论python还是c/c++, 都是语言工具。 打苍蝇就用苍蝇拍，没有买一个。非要用大炮打， 太累了吧。
发布于 2024-05-03 22:01・IP 属地澳大利亚查看全文>>
贾维斯 - 1 个点赞 👍
github上搜llama.cpp，纯cpp源码，对主流大模型进行推理，不依赖GPU，CPU推理速度可以接受，有GPU加速更快。提供多种用法，包括web界面和OpenAl兼容API服务。
讲真，Python不是必须，是给那些非计算机专业人士使用的，方便他们研究算法和数理分析，大模型工业化落地都用cpp。
发布于 2024-05-05 09:39・IP 属地北京查看全文>>
楚天舒 - 0 个点赞 👍
如果把这个问题改成应用大模型是否可以不使用PYTHON，那么答案是肯定的。可以采用rest API 调用。 大多数开发语言应该都有CURL 库。
如果你的问题是是自己用C++开发和训练开源大模型，这个问题比较小众，最好的方法是去各个开源大模型官方站点直接交流。注：从头训练大模型需要的GPU小时数往往上百万小时，费用是天价。如果有大公司金主支持，可以考虑。普通小公司或者开发者，做一个大语言模型的应用开发者就可以。
发布于 2024-05-04 09:28・IP 属地江苏查看全文>>
知乎用户 - 0 个点赞 👍
查看全文>>
whhema