3个回答

Meta 发布 Llama2 模型,与微软高通展开合作,哪些细节值得关注,这一大模型会有什么作用?

搜狐新闻

Meta发布开源模型LLaMA 2很正常,但是真正耐人寻味的是和微软与高通的合作

微软是在两头下注。一边微软投资了闭源的openAI,另一边也并不排斥开源社区的成果。微软这一招实在是高。

微软宣布,和Meta的开源LLaMA 2进行了深度融合,自家旗下的云服务Azure将提供LLaMA的部署,并提供LLaMA运行在Windows系统下的便利。[1]

  • 云服务自然不必说,Azure作为云服务提供商,肯定是兼容并收,愿意在我的云上跑模型自然来者不拒。
  • 微软将提供LLaMA 2在Windows系统下的本地运行,有可能带来AI本地部署的热潮。现在本地部署大语言模型,需要用户自行配置环境,非常麻烦。但是如果Windows系统提供更好的原生支持,比如做到一键部署,那就方便太多了。


和高通的合作,指向就更明确了——让AI在手机上也能跑起来。

现有手机的算力,想在用户设备端侧部署大语言模型还有一定的困难,至少现有算力翻倍才行。至于说手机上目前配备了这么多NPU神经网络处理器,却只能用来拍照做优化,实在是大材小用。AI运行需要大量的张量计算,正好把NPU给用起来。

参考

  1. ^https://blogs.microsoft.com/blog/2023/07/18/microsoft-and-meta-expand-their-ai-partnership-with-llama-2-on-azure-and-windows/
发布于 2023-07-21 11:41・IP 属地甘肃
真诚赞赏,手留余香
还没有人赞赏,快来当第一个赞赏的人吧!
chengxd 达达
自由评论 (0)
分享
Copyright © 2022 GreatFire.org