1 月 25 日消息,AMD 宣布,已将新的 DeepSeek-V3 模型集成到 Instinct MI300X GPU 上,该模型经过 SGLang 强化,针对 Al 推理进行了优化。
IT之家查询发现,AMD 早在去年 12 月 26 日就在 Github 上公布了支持 DeepSeek-V3 模型的 SGLang v0.4.1。
AMD 表示, DeepSeek V3 是目前最强的开源 LLM,甚至超过了 GPT-4o。AMD 还透露,SGLang 和 DeepSeek 团队通力合作,使 DeepSeek V3 FP8 从首发当天就能在英伟达和 AMD GPU 上运行。此外,AMD 还感谢了美团搜索与推荐算法平台团队以及 DataCrunch 提供 GPU 资源。