Qwen 2.5 7B 是什么？

Qwen 2.5 7B 是来自阿里云通义千问团队的一款拥有70亿参数的大语言模型。它属于Qwen2系列，这是一系列先进的开源模型，旨在在广泛的任务中实现高性能。该模型以其在多语言理解、编码和数学推理方面的卓越能力而脱颖而出，使其成为一个功能强大且用途广泛的工具，可以在消费级硬件上运行。

主要特点

• 高性能： 在其同等规模的模型中，性能一直名列前茅，在各种基准测试中经常优于Llama-3 8B和Mistral 7B等竞争对手。
• 出色的多语言支持： Qwen 2.5 7B 在多样化的数据集上进行训练，在英语之外的多种语言中表现出强大的能力。
• 先进的编码和数学能力： 该模型在代码生成、错误修复和解决数学问题方面表现出卓越的性能。
• 可在本地执行： 其相对较小的体积使其能够在具有足够VRAM的本地机器上有效运行，从而支持注重隐私和离线的应用程序。
• 开源： 该模型以宽松的许可证（通义千问许可证2.0）开源，允许商业使用。

使用案例

• 对话式AI： 构建复杂且响应迅速的聊天机器人和虚拟助手。
• 软件开发： 协助开发人员进行代码生成、调试和编写文档。
• 内容创作： 以多种语言生成文章、摘要、营销文案和其他书面内容。
• 翻译服务： 为高质量、具有上下文感知能力的翻译应用提供支持。
• RAG系统： 在检索增强生成（RAG）系统中作为核心推理引擎，用于对私有文档进行问答。

入门指南

这是一个“Hello World”风格的示例，展示了如何使用Python中的transformers库来运行Qwen 2.5 7B Instruct模型。

```python from transformers import AutoModelForCausalLM, AutoTokenizer

将设备设置为 “cuda” (GPU) 或 “cpu” (CPU)

device = “cuda”

从Hugging Face加载模型和分词器

model = AutoModelForCausalLM.from_pretrained( “Qwen/Qwen2.5-7B-Instruct”, torch_dtype=”auto”, device_map=”auto” ) tokenizer = AutoTokenizer.from_pretrained(“Qwen/Qwen2.5-7B-Instruct”)

创建提示并为聊天模型格式化

prompt = “你好，我是通义千问，一个大语言模型。告诉我一个关于罗马帝国的有趣事实。” messages = [ {“role”: “system”, “content”: “你是一个乐于助人的助手。”}, {“role”: “user”, “content”: prompt} ] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) model_inputs = tokenizer([text], return_tensors=”pt”).to(device)

生成回应

generated_ids = model.generate( model_inputs.input_ids, max_new_tokens=512 ) generated_ids = [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids) ]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

打印回应

print(response)

定价

Qwen 2.5 7B 是开源的，可免费使用。它在通义千问许可证2.0下发布，该许可证允许商业用途，使其成为研究和商业应用的绝佳选择。