github上搜llama.cpp,纯cpp源码,对主流大模型进行推理,不依赖GPU,CPU推理速度可以接受,有GPU加速更快。提供多种用法,包括web界面和OpenAl兼容API服务。
讲真,Python不是必须,是给那些非计算机专业人士使用的,方便他们研究算法和数理分析,大模型工业化落地都用cpp。
发布于 2024-05-05 09:39・IP 属地北京
github上搜llama.cpp,纯cpp源码,对主流大模型进行推理,不依赖GPU,CPU推理速度可以接受,有GPU加速更快。提供多种用法,包括web界面和OpenAl兼容API服务。
讲真,Python不是必须,是给那些非计算机专业人士使用的,方便他们研究算法和数理分析,大模型工业化落地都用cpp。