Meta Llama 3 是什么？

Meta Llama 3 是 Meta AI 最新一代的开源大型语言模型（LLM）。它专为开发者、研究人员和企业设计，在广泛的行业基准测试中提供最先进的性能，并提供包括改进推理在内的新功能。这些模型有多种尺寸（指令调优版本有8B和70B参数）可供选择，以适应从设备上部署到大规模云服务的各种应用。Llama 3 旨在成为构建下一代 AI 驱动应用的基础工具。

主要特点

• 最先进的性能： Llama 3 模型是现有性能最佳的开源模型之一，在关键基准测试中可与一些顶级专有模型相媲美。
• 多种模型尺寸： 提供 8B 和 70B 参数版本，允许开发者在性能和资源需求之间找到合适的平衡。一个超过 400B 参数的模型也正在训练中。
• 改进的推理和编码能力： 模型在理解复杂查询、建立逻辑联系和生成高质量代码方面表现出显著提升的能力。
• 大上下文窗口： 模型支持 8k 的上下文窗口，并计划进一步扩展，使其能够处理和分析更长的文档和对话。
• 开放和可访问： Llama 3 在社区许可下可免费用于研究和商业用途，并得到主要云提供商和硬件平台的支持。

使用案例

• 高级聊天机器人和虚拟助手： 构建功能强大的对话代理，能够理解细微差别并提供详细、有用的回应。
• 内容创作： 为文章、营销文案、电子邮件和创意写作生成高质量文本。
• 代码生成： 通过生成代码片段、调试现有代码和解释复杂算法来协助开发者。
• 摘要和分析： 处理大量文本以提取关键见解、总结文档和进行情感分析。
• 研究与开发： 为探索 AI 和 LLM 前沿的研究人员提供强大的基础。

入门指南

这是一个简单的“Hello World”风格示例，使用 transformers 库来运行 Llama 3 8B Instruct 模型。

首先，确保您已安装必要的库： ```bash pip install transformers torch

然后，您可以使用以下 Python 脚本： ```python import transformers import torch

model_id = “meta-llama/Meta-Llama-3-8B-Instruct”

pipeline = transformers.pipeline( “text-generation”, model=model_id, model_kwargs={“torch_dtype”: torch.bfloat16}, device_map=”auto”, )

messages = [ {“role”: “system”, “content”: “你是一个有用的AI助手。”}, {“role”: “user”, “content”: “法国的首都是哪里？”}, ]

prompt = pipeline.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True )

terminators = [ pipeline.tokenizer.eos_token_id, pipeline.tokenizer.convert_tokens_to_ids(“<|eot_id|>”) ]

outputs = pipeline( prompt, max_new_tokens=256, eos_token_id=terminators, do_sample=True, temperature=0.6, top_p=0.9, )

print(outputs[0][“generated_text”][len(prompt):])

预期输出可能是：

法国的首都是巴黎。

定价

Meta Llama 3 在 Meta Llama 3 社区许可下免费提供。这允许研究和商业用途，包括构建和分发应用程序。但是，开发者必须遵守可接受使用政策，而大型提供商（月活跃用户超过7亿）可能需要与 Meta 签订单独的协议。