当然有了。Hugging face 的开源项目 candle 轻量级的 Rust 机器学习框架。可以把它看成 Rust 版本的 pytorch。现在的大模型很多都可以在上面跑起来,例如各种新发布的大模型 LLama 3, Gemma 和 CV 相关模型SAM, Yolo 都能在上面跑,性能还非常好,支持CUDA。
如果只是想使用类似 numpy 的库,ndarray是一个选择,如果想使用 Data Frame 可以用 polars。如果想用 CUDA 并行加速 矩阵运算,可以参考我的 ndarray-cuda-matmul 库。
C/C++ 的只有 llama.c 和 llm.c 可以参考。
建议可以学习一下 Rust 语言,会 C++ 的更能体会与编译器拉扯的快乐。
发布于 2024-05-06 11:46・IP 属地四川