47个回答

Meta 发布开源可商用模型 Llama 2,实际体验效果如何?

atoz

最近,Meta和Microsoft一起推出了下一代的Llama。

Meta的声明:about.fb.com/news/2023/

微软的声明:Microsoft and Meta expand their AI partnership with Llama 2 on Azure and Windows - The Official Microsoft Blog

代码:github.com/facebookrese

模型:ai.meta.com/resources/m

技术报告:ai.meta.com/research/pu

huggingface:huggingface.co/meta-lla

Meta声明:

about.fb.com/news/2023/

Meta和Microsoft推出了下一代Llama

要点

  • 今天,我们介绍了Llama 2的可用性,这是我们开源的下一代大型语言模型。
  • Llama 2可以免费用于研究和商业用途。
  • Microsoft和Meta正在扩展他们长期的合作伙伴关系,Microsoft成为Llama 2的首选合作伙伴。
  • 我们在众多技术、学术和政策领域的公司和人士的支持下,开放了Llama 2的使用,他们同样相信对当今人工智能技术采取开放创新的方法。
  • 我们致力于负责任地构建,并为使用Llama 2的人们提供资源来做到这一点。

人工智能,特别是生成式人工智能,近期取得的突破引发了公众的想象,并展示了那些开发这些技术的人们长期以来已知的事实 —— 它们有潜力帮助人们实现不可思议的事情,创造经济和社会机遇的新时代,并为个人、创作者和企业提供新的表达方式和与人连接的途径。


我们相信采取开放的方法对于当今人工智能模型的发展是正确的选择,尤其是在技术飞速进步的生成式领域。通过公开提供人工智能模型,每个人都能从中受益。为企业、初创公司、企业家和研究人员提供以前可能难以建立的规模开发的工具,并支持他们利用可能无法获得的计算能力,将为他们带来丰富的机遇,让他们以创新的方式实验,并从经济和社会中受益。


而且我们相信这样更安全。开放接触当今人工智能模型意味着一代开发者和研究人员可以通过社区共同进行压力测试,快速发现并解决问题。通过看到他人如何使用这些工具,我们自己的团队可以从中学习,改进这些工具,并修复漏洞。


Meta十多年来一直将探索性研究、开源和与学术界和行业伙伴的合作放在我们的人工智能努力的核心。我们亲眼见证了开放创新如何带来造福更多人的技术。已经有几十个大型语言模型已经发布并由开发者和研究人员推动进展。它们被企业用作新的生成式人工智能体验的核心要素。我们对研究人员对Llama 1的巨大需求感到惊讶 —— 有超过10万次的大型语言模型访问请求 —— 以及他们在此基础上取得的惊人成果。


我们现在准备开源下一版本的Llama 2,并且免费提供给研究和商业使用。我们包含了预训练模型和会话微调版本的模型权重和起始代码。正如Satya Nadella在Microsoft Inspire上宣布的那样,我们将与Microsoft携手迈向新的合作伙伴关系,将Microsoft作为Llama 2的首选合作伙伴,并在生成式人工智能方面扩大我们的努力。从今天开始,Llama 2在Azure AI模型目录中可用,使使用Microsoft Azure的开发者能够构建并利用云原生工具进行内容过滤和安全功能。它也经过了优化,可以在Windows本地运行,使开发者能够无缝地将生成式人工智能体验带给不同平台上的用户。Llama 2也可以通过亚马逊网络服务(AWS)、Hugging Face和其他提供商使用。


人们和企业受益于Microsoft和Meta之间的长期合作伙伴关系。我们共同推出了可互换的人工智能框架的开放生态系统,并共同撰写研究论文,推动人工智能领域的最新技术进步。我们合作扩大了PyTorch在Azure上的采用,这是当今由Meta和人工智能社区创建的主要人工智能框架,并且我们是PyTorch基金会的创始成员之一。Microsoft和Meta最近加入了一批支持者,他们支持AI伙伴关系的合作框架,共同创造和分享合成媒体。我们的合作伙伴关系还延伸到了元宇宙,为未来的工作和娱乐提供沉浸式体验。


现在,通过这种扩展的合作伙伴关系,Microsoft和Meta支持一种开放的方法,以增加全球企业对基础人工智能技术的访问。不仅仅是Meta和Microsoft相信将当今的人工智能模型民主化。全球各地有广泛的不同支持者,他们也相信这种方法,包括那些向我们提供早期反馈并对使用Llama 2构建新产品充满期待的公司、将Llama 2纳入其面向客户的云提供商、与我们合作在大型生成式模型的安全和负责任部署方面的研究机构,以及在技术、学术和政策领域的人士,他们像我们一样看到了这些好处。


责任意识

我们的开源方法促进了透明度和获取权限。我们知道,虽然人工智能为社会带来了巨大的进步,但也伴随着风险。我们致力于负责任地构建,并为使用Llama 2的人们提供了一系列资源。

  • 红队演习:我们的微调模型经过了内部和外部的安全性测试。团队努力生成对抗性提示以促进模型微调。此外,我们委托第三方对我们微调的模型进行外部对抗性测试,以发现性能差异。这些安全微调过程是迭代的,我们将继续通过微调和基准测试来投入安全性,并计划发布基于这些努力的更新微调模型。
  • 透明度概要:我们解释了模型的微调和评估方法,并确定了其缺点。我们的透明度概要位于研究论文中,披露了已知的挑战和问题,以及我们采取的措施和未来打算探索的方法。
  • 负责任使用指南:我们创建了这个指南,作为支持开发者负责任开发和安全评估的资源。它概述了反映行业和人工智能研究社区对负责任生成式人工智能的最新研究的最佳实践。
  • 可接受使用政策:我们制定了一项政策,禁止某些使用情况,以确保这些模型的公平和负责任使用。

Meta还创建了新的计划,以发挥全球个人、研究人员和开发者的洞察和创造力,以获得关于模型性能和改进方法的反馈。


  • 开放创新人工智能研究社区:今天,我们还推出了一个新的学术研究人员合作计划,旨在深化我们对大型语言模型负责任开发和共享的理解。研究人员可以申请加入一个实践者社区,分享在这个重要主题上的学习,这个社区将制定未来的研究议程。
  • Llama影响挑战:我们希望激活那些希望使用Llama解决难题的创新者社区。我们将推出一个挑战,鼓励各种公共机构、非盈利组织和营利性机构使用Llama 2解决环境、教育和其他重要的挑战。在挑战开始前,将提供挑战规则。


结论

在我们公司的历史中,我们在其他领域采用开源方法时也体验到了好处。我们的工程师开发并共享了现在已经成为行业标准的框架 —— 比如React,一个用于创建Web和移动应用程序的主要框架,以及PyTorch,现在是主要的人工智能框架。这些都成为整个技术行业的通用基础设施。我们相信公开分享当今的大型语言模型也将支持有用和更安全的生成式人工智能的发展。


我们期待着看到世界如何利用Llama 2构建更多令人期待的应用。


模型特点

Llama 2包含预训练和微调的Llama语言模型的模型权重和起始代码,参数范围从7B到70B。

Llama 2的预训练模型使用了2万亿个标记进行训练,比Llama 1的上下文长度增加了一倍。它的微调模型已经使用超过100万个人工注释进行了训练。

基准测试

Llama 2在许多外部基准测试中表现优于其他开源语言模型,包括推理、编码、熟练度和知识测试。


安全性和有用性

通过人类反馈进行强化学习

Llama-2-chat使用来自人类反馈的强化学习来确保安全性和有用性。

训练Llama-2-chat:Llama 2使用公开可用的在线数据进行预训练。然后,通过使用监督式微调来创建Llama-2-chat的初始版本。接下来,使用来自人类反馈的强化学习(RLHF),其中包括拒绝抽样和邻近策略优化(PPO),对Llama-2-chat进行迭代性改进。


模型使用

最新版本的 Llama 现在可供个人、创作者、研究人员和各种规模的企业使用,以便他们能够负责任地实验、创新和扩展他们的想法。

此版本包括预训练和微调 Llama 语言模型的模型权重和起始代码 - 参数范围从 7B 到 70B。

以下为加载Llama 2模型并运行推理的最小示例。有关利用 HuggingFace 的更详细示例,请参阅llama-recipes


License情况

Llama-2可以用于商用

具体参考:github.com/facebookrese

以下为与其他开源模型的对比。

简单测试:

huggingface.co/blog/lla

整体感觉效果还可以。

发布于 2023-07-20 15:51・IP 属地黑龙江
北方的郎
自由评论 (0)
分享
Copyright © 2022 GreatFire.org