Что такое Yi-1.5?

Серия Yi-1.5 — это набор больших языковых моделей нового поколения с открытым исходным кодом, разработанный компанией 01.AI, основанной доктором Кай-Фу Ли. Эти модели особенно известны своей высокой производительностью как на английском, так и на китайском языках, что делает их лучшим выбором для двуязычных приложений. Хотя модели являются открытыми, они также доступны для легкого развертывания и инференса через облачные сервисы, такие как платформа для ИИ (PAI) от Alibaba Cloud, предоставляя масштабируемое решение для корпоративного использования.

Ключевые особенности

• Исключительная двуязычная производительность: Модели Yi-1.5 предварительно обучены на высококачественном многоязычном корпусе, обеспечивая передовые результаты в задачах на китайском и английском языках.
• Несколько размеров моделей: Серия включает различные размеры, такие как модели с 9 и 34 миллиардами параметров, что позволяет разработчикам выбирать оптимальный баланс между производительностью и вычислительными затратами.
• Большое контекстное окно: С контекстным окном в 32K токенов Yi-1.5 может обрабатывать и понимать длинные документы, сложные беседы и обширные кодовые базы за один проход.
• Сильные способности к программированию: Модели демонстрируют впечатляющие возможности в генерации, дополнении и объяснении кода на различных языках программирования.
• Открытый исходный код и коммерческая доступность: Выпущенная под лицензией Apache 2.0, серия Yi доступна как для академических исследований, так и для коммерческого использования, способствуя широкому распространению и инновациям.

Сценарии использования

• Многоязычная поддержка клиентов: Питание чат-ботов и виртуальных ассистентов, которые могут беспрепятственно общаться с клиентами на английском и китайском языках.
• Создание контента: Генерация статей, резюме и маркетинговых текстов для двуязычной аудитории.
• Разработка программного обеспечения: Помощь разработчикам в генерации кода, отладке и документировании.
• Межъязыковой поиск информации: Создание систем поиска и ответов на вопросы, которые могут извлекать информацию из источников на разных языках.

Начало работы

Вот простой пример в стиле “Hello World” с использованием библиотеки transformers для запуска чат-модели Yi-1.5 9B.

```python from transformers import AutoModelForCausalLM, AutoTokenizer

Определите ID модели

model_id = “01-ai/Yi-1.5-9B-Chat”

Загрузите токенизатор и модель

tokenizer = AutoTokenizer.from_pretrained(model_id, use_fast=False) model = AutoModelForCausalLM.from_pretrained( model_id, device_map=”auto”, torch_dtype=’auto’ ).eval()

Подготовьте сообщения для чат-модели

messages = [ {“role”: “user”, “content”: “Привет! Можешь написать короткий рассказ об астронавте, который находит таинственный инопланетный артефакт?”} ]

Отформатируйте ввод и сгенерируйте ответ

input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, add_generation_prompt=True, return_tensors=’pt’) output_ids = model.generate(input_ids.to(‘cuda’), max_new_tokens=512) response = tokenizer.decode(output_ids[0][input_ids.shape[1]:], skip_special_tokens=True)

print(response)

Цены

Модели Yi-1.5 в своей основе являются открытым исходным кодом под лицензией Apache 2.0, что означает, что их можно бесплатно загружать и использовать для исследований или в коммерческих целях. Однако запуск этих больших моделей требует значительных вычислительных ресурсов. Для достижения корпоративного уровня производительности и масштабируемости без управления инфраструктурой к ним можно получить доступ по платной модели с оплатой по мере использования на облачных платформах, таких как Alibaba Cloud PAI.