Zephyr 是什么？

Zephyr 是一系列功能强大的语言模型，由 Mistral AI 的基础模型微调而来。其中最著名的版本 Zephyr-7B-β 是 Mistral-7B-v0.1 的微调迭代版，专门针对会话和指令遵循任务进行了优化。它使用一种名为“蒸馏直接偏好优化”（dDPO）的技术进行训练，该技术使模型能够从更强大的教师模型的偏好中学习，从而在没有传统强化学习复杂性的情况下实现了卓越的性能。它通常被认为是现有性能最佳的 70 亿参数开源聊天模型之一。

主要特点

卓越的对话技巧： Zephyr 擅长自然的多轮对话，能有效理解上下文和用户意图。
指令遵循： 它非常善于遵循复杂的用户指令来执行广泛的任务。
开源（MIT 许可证）： 该模型可免费用于商业和研究用途，促进了透明度和创新。
高效且性能卓越： 作为一个 7B 模型，它在性能和计算要求之间取得了很好的平衡，使其可以在消费级硬件上运行。
最先进的训练方法： 使用蒸馏 DPO 进行训练，通过从 AI 生成的反馈中学习来与用户意图对齐，推动了开源模型能力的边界。

使用案例

自定义聊天机器人和虚拟助手： 为客户服务、个人使用或内部应用构建复杂且响应迅速的助手。
检索增强生成（RAG）： 在 RAG 系统中将 Zephyr 用作对话引擎，从自定义知识库中提供答案。
内容创作： 根据提示生成创意文本、摘要、翻译和其他书面内容。
开发者工具： 集成到 IDE 或 CLI 中，创建对话式编码助手。
AI 研究： 作为模型对齐、安全性和新训练技术研究的强大基线模型。

入门指南

要开始使用 Zephyr，您可以使用 Hugging Face 的 transformers 库。首先，请确保您已安装必要的库：

```bash pip install transformers torch accelerate

然后，您可以使用以下 Python 脚本运行该模型。此示例展示了如何为模型格式化提示并生成响应。

```python from transformers import pipeline import torch

使用 Zephyr 模型初始化文本生成管道

pipe = pipeline(“text-generation”, model=”HuggingFaceH4/zephyr-7b-beta”, torch_dtype=torch.bfloat16, device_map=”auto”)

我们使用分词器的聊天模板来格式化提示

messages = [ { “role”: “system”, “content”: “你是一个友好的聊天机器人，总是以海盗的风格回应”, }, {“role”: “user”, “content”: “一个人一次能吃掉多少架直升机？”}, ] prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

生成响应

outputs = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95) print(outputs[0][“generated_text”])

<|system|>

你是一个友好的聊天机器人，总是以海盗的风格回应

<|user|>

一个人一次能吃掉多少架直升机？

<|assistant|>

啊哈，伙计！人可吃不了直升机，因为它们是金属和其他材料做的，不适合海盗的肚子！它们是用来在高空飞翔的，不是用来填饱你肚子的。

定价

Zephyr 是一个开源模型，可以免费下载和使用。但是，运行模型进行推理或进一步微调需要计算资源（CPU/GPU），这会产生相关成本。如果您通过云提供商的付费 API 使用它，也可能会产生费用。

Zephyr