Что такое Qwen 2.5 7B?

Qwen 2.5 7B — это большая языковая модель с 7 миллиардами параметров от команды Qwen из Alibaba Cloud. Она является частью серии Qwen2, представляющей собой передовые модели с открытым исходным кодом, разработанные для высокой производительности в широком спектре задач. Эта модель выделяется своими исключительными возможностями в многоязычном понимании, программировании и математических рассуждениях, что делает ее мощным и универсальным инструментом, который можно запускать на потребительском оборудовании.

Ключевые особенности

• Высокая производительность: Постоянно входит в число самых производительных моделей в своем классе, часто превосходя конкурентов, таких как Llama-3 8B и Mistral 7B, в различных тестах.
• Отличная многоязычная поддержка: Обученная на разнообразном наборе данных, Qwen 2.5 7B демонстрирует сильные способности во многих языках помимо английского.
• Продвинутое программирование и математика: Модель показывает превосходную производительность в генерации кода, исправлении ошибок и решении математических задач.
• Локальное выполнение: Ее относительно небольшой размер позволяет эффективно запускать ее на локальных машинах с достаточным объемом видеопамяти, что обеспечивает возможность создания приложений, ориентированных на конфиденциальность и работу в автономном режиме.
• Открытый исходный код: Модель имеет открытый исходный код с разрешительной лицензией (Tongyi Qianwen License 2.0), допускающей коммерческое использование.

Сферы применения

• Разговорный ИИ: Создание сложных и отзывчивых чат-ботов и виртуальных ассистентов.
• Разработка ПО: Помощь разработчикам в генерации кода, отладке и написании документации.
• Создание контента: Генерация статей, резюме, маркетинговых текстов и другого письменного контента на нескольких языках.
• Услуги перевода: Обеспечение работы высококачественных приложений для перевода с учетом контекста.
• Системы RAG: Служит ядром для рассуждений в системах генерации с дополненной выборкой (RAG) для ответов на вопросы по частным документам.

Начало работы

Вот пример в стиле “Hello World”, как запустить модель Qwen 2.5 7B Instruct с помощью библиотеки transformers на Python.

```python from transformers import AutoModelForCausalLM, AutoTokenizer

Установите устройство на “cuda” для GPU или “cpu” для CPU

device = “cuda”

Загрузите модель и токенизатор с Hugging Face

model = AutoModelForCausalLM.from_pretrained( “Qwen/Qwen2.5-7B-Instruct”, torch_dtype=”auto”, device_map=”auto” ) tokenizer = AutoTokenizer.from_pretrained(“Qwen/Qwen2.5-7B-Instruct”)

Создайте промпт и отформатируйте его для чат-модели

prompt = “Привет, я Qwen, большая языковая модель. Расскажи мне интересный факт о Римской империи.” messages = [ {“role”: “system”, “content”: “Вы — полезный помощник.”}, {“role”: “user”, “content”: prompt} ] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) model_inputs = tokenizer([text], return_tensors=”pt”).to(device)

Сгенерируйте ответ

generated_ids = model.generate( model_inputs.input_ids, max_new_tokens=512 ) generated_ids = [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids) ]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

Выведите ответ

print(response)

Цены

Qwen 2.5 7B является Open Source и бесплатна для использования. Она выпущена под лицензией Tongyi Qianwen License 2.0, которая разрешает коммерческое использование, что делает ее отличным выбором как для исследований, так и для бизнес-приложений.