Llama 3 系列 (Meta AI) 是什么？

Llama 3 系列是 Meta AI 开发的下一代开源大型语言模型 (LLM)。基于其前代产品的成功，Llama 3 模型旨在成为同类最佳，在广泛的行业基准测试中提供最先进的性能。它们在细致的对话、代码生成、逻辑推理和遵循复杂指令等任务中表现出色。该系列包括各种大小的模型（例如 8B 和 70B 参数），以满足从设备上应用到大规模云部署的不同计算需求。

主要特点

• 最先进的性能： Llama 3 模型在推理、编码和创意写作的基准测试中与顶级专有模型极具竞争力。
• 多种模型尺寸： 提供 8B 和 70B 参数版本，允许开发人员在性能和资源需求之间选择合适的平衡点。
• 改进的预训练： 在超过 15 万亿个 token 的海量高质量数据集上进行训练，并采用先进的数据过滤管道以确保稳健性和知识广度。
• 增强的安全性： 内置安全功能和护栏，通过 Llama Guard 2 和 Code Shield 等技术开发，以促进负责任的 AI 开发。
• 宽松的开源许可证： 在 Meta Llama 3 社区许可证下发布，允许广泛的商业和研究用途。
• 为对话优化： 经过指令调整的模型专门为自然的来回对话进行了优化。

使用案例

• 高级聊天机器人和虚拟助手： 为能够处理复杂用户查询的复杂对话代理提供动力。
• 代码生成与调试： 通过在各种编程语言中编写、完成和调试代码来协助开发人员。
• 内容创作： 为文章、营销文案、电子邮件和创意故事生成高质量的文本。
• 摘要与信息提取： 将长文档浓缩为简洁的摘要，并从非结构化文本中提取关键信息。
• 研究与开发： 作为研究人员探索 AI 前沿的强大基础。

入门指南

这是一个“Hello World”风格的示例，展示了如何使用 Python 中的 transformers 库运行 Llama 3 8B Instruct 模型。

首先，请确保您已安装必要的库： ```bash pip install transformers torch accelerate

然后，您可以使用以下 Python 代码生成文本： ```python import transformers import torch

model_id = “meta-llama/Meta-Llama-3-8B-Instruct”

pipeline = transformers.pipeline( “text-generation”, model=model_id, model_kwargs={“torch_dtype”: torch.bfloat16}, device_map=”auto”, )

messages = [ {“role”: “system”, “content”: “你是一个友好的聊天机器人，总是以海盗的风格回应。”}, {“role”: “user”, “content”: “你好，你是谁？”}, ]

prompt = pipeline.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True )

terminators = [ pipeline.tokenizer.eos_token_id, pipeline.tokenizer.convert_tokens_to_ids(“<|eot_id|>”) ]

outputs = pipeline( prompt, max_new_tokens=256, eos_token_id=terminators, do_sample=True, temperature=0.6, top_p=0.9, )

print(outputs[0][“generated_text”][len(prompt):])

预期的输出可能是：

啊哈，伙计！我是一个友好的聊天机器人，在数字海洋上航行。今天我能帮你找到什么宝藏？

定价

Llama 3 模型在 Meta Llama 3 社区许可证下是免费和开源的。这允许在研究和商业应用中免费使用，但有一些限制适用，特别是对于月活跃用户超过 7 亿的服务。