什么是 Llama 3？

Llama 3 是 Meta AI 最新一代的开源权重大型语言模型（LLM）。它代表了开源人工智能领域的一次重大飞跃，旨在成为一个为开发者、研究人员和企业服务的强大、多功能且安全的工具。Llama 3 发布了多种规模（包括 8B 和 70B 参数模型），旨在提供与顶级专有模型相媲美的最先进性能，从而使先进的人工智能能力大众化。这些模型提供预训练和指令微调两种版本，以支持从创意文本生成到复杂问题解决的广泛应用。

主要特点

最先进的性能： Llama 3 模型在各种行业基准测试中表现出色，在推理、代码生成和指令遵循等领域尤为突出。
海量训练数据集： 在一个全新的、高质量的 15 万亿 token 数据集上进行训练，该数据集比用于 Llama 2 的数据集大七倍，为模型提供了广阔而多样的知识库。
改进的分词器： 采用了一个拥有 128,000 个 token 词汇表的新分词器，提高了语言编码效率和模型性能，尤其是在多语言环境中。
开放和可访问： Llama 3 可免费用于研究和商业用途，使全球开发者能够构建、创新和扩展他们的想法。
增强的安全性： 从一开始就将安全放在首位，集成了 Llama Guard 2 和 Code Shield 等新工具，以帮助过滤潜在的有害输出并确保负责任的部署。
多种规模： 提供 8B 和 70B 参数版本，还有一个更大的 400B+ 模型正在训练中，允许根据不同的硬件需求进行灵活部署。

使用案例

驱动高级聊天机器人： 指令微调模型非常适合创建功能强大且响应迅速的对话式 AI 助手。
代码生成与辅助： Llama 3 可以通过生成代码、调试和解释复杂的编程概念来显著加速软件开发。
内容创作与摘要： 非常适合起草文章、营销文案、电子邮件，并高精度地总结长文档。
学术与科学研究： 为研究人员提供一个强大、开放的平台，让他们可以探索人工智能的前沿，而不受限于封闭的生态系统。
企业解决方案： 企业可以在本地或云端对 Llama 3 进行微调和部署，以构建满足特定需求的定制 AI 解决方案，同时保持数据隐私。

入门指南

使用 Hugging Face 的 transformers 库可以轻松开始使用 Llama 3。首先，请确保您已在 Hugging Face 上的 Meta Llama 官方页面申请了模型访问权限。

这是一个 Python 的 “Hello World” 风格示例：

```python import transformers import torch

设置所需 Llama 3 模型的模型 ID

model_id = “meta-llama/Meta-Llama-3-8B-Instruct”

创建一个文本生成管道

pipeline = transformers.pipeline( “text-generation”, model=model_id, model_kwargs={“torch_dtype”: torch.bfloat16}, device_map=”auto”, )

定义聊天消息，包括系统提示

messages = [ {“role”: “system”, “content”: “你是一个乐于助人且友好的人工智能助手。”}, {“role”: “user”, “content”: “你好！能告诉我一个关于罗马帝国的有趣事实吗？”}, ]

定义终止符以正确停止生成

terminators = [ pipeline.tokenizer.eos_token_id, pipeline.tokenizer.convert_tokens_to_ids(“<|eot_id|>”) ]

生成响应

outputs = pipeline( messages, max_new_tokens=256, eos_token_id=terminators, do_sample=True, temperature=0.6, top_p=0.9, )

打印生成的响应

response_message = outputs[0][“generated_text”][-1] print(response_message[‘content’])

定价

Llama 3 在 Meta Llama 3 社区许可协议下可免费用于研究和商业目的。这个宽容的许可证允许广泛的使用、修改和分发。唯一的主要限制是，月活跃用户超过 7 亿的应用程序或服务必须向 Meta 申请特殊许可证。

Llama 3