Что такое Серия Llama 3 (Meta AI)?

Серия Llama 3 — это следующее поколение больших языковых моделей (LLM) с открытым исходным кодом, разработанных Meta AI. Основываясь на успехе своих предшественников, модели Llama 3 спроектированы как лучшие в своем классе, предлагая передовую производительность по широкому спектру отраслевых тестов. Они превосходно справляются с такими задачами, как тонкий диалог, генерация кода, логические рассуждения и следование сложным инструкциям. Серия включает модели различных размеров (например, 8B и 70B параметров) для удовлетворения различных вычислительных потребностей, от приложений на устройствах до крупномасштабных облачных развертываний.

Ключевые Особенности

• Передовая Производительность: Модели Llama 3 очень конкурентоспособны с ведущими проприетарными моделями в тестах на рассуждения, кодирование и творческое письмо.
• Несколько Размеров Моделей: Доступны в версиях с 8B и 70B параметрами, что позволяет разработчикам выбирать правильный баланс между производительностью и требованиями к ресурсам.
• Улучшенное Предобучение: Обучены на огромном, высококачественном наборе данных из более чем 15 триллионов токенов, с передовыми конвейерами фильтрации данных для обеспечения надежности и широты знаний.
• Повышенная Безопасность: Включает встроенные функции безопасности и защитные механизмы, разработанные с использованием таких техник, как Llama Guard 2 и Code Shield, для содействия ответственной разработке ИИ.
• Щедрая Лицензия с Открытым Исходным Кодом: Выпущена под лицензией Meta Llama 3 Community License, что позволяет широкое коммерческое и исследовательское использование.
• Оптимизировано для Диалога: Модели, настроенные на инструкции, специально оптимизированы для естественных, двусторонних разговоров.

Сценарии Использования

• Продвинутые Чат-боты и Виртуальные Ассистенты: Обеспечение работы сложных разговорных агентов, способных обрабатывать сложные запросы пользователей.
• Генерация и Отладка Кода: Помощь разработчикам в написании, дополнении и отладке кода на различных языках программирования.
• Создание Контента: Генерация высококачественного текста для статей, маркетинговых материалов, электронных писем и творческих историй.
• Суммаризация и Извлечение Информации: Сжатие длинных документов в краткие резюме и извлечение ключевой информации из неструктурированного текста.
• Исследования и Разработки: Служит мощной основой для исследователей, изучающих границы ИИ.

Начало Работы

Вот пример в стиле “Hello World”, как запустить модель Llama 3 8B Instruct с помощью библиотеки transformers в Python.

Сначала убедитесь, что у вас установлены необходимые библиотеки: ```bash pip install transformers torch accelerate

Затем вы можете использовать следующий код Python для генерации текста: ```python import transformers import torch

model_id = “meta-llama/Meta-Llama-3-8B-Instruct”

pipeline = transformers.pipeline( “text-generation”, model=model_id, model_kwargs={“torch_dtype”: torch.bfloat16}, device_map=”auto”, )

messages = [ {“role”: “system”, “content”: “Вы дружелюбный чат-бот, который всегда отвечает в стиле пирата.”}, {“role”: “user”, “content”: “Привет, кто ты?”}, ]

prompt = pipeline.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True )

terminators = [ pipeline.tokenizer.eos_token_id, pipeline.tokenizer.convert_tokens_to_ids(“<|eot_id|>”) ]

outputs = pipeline( prompt, max_new_tokens=256, eos_token_id=terminators, do_sample=True, temperature=0.6, top_p=0.9, )

print(outputs[0][“generated_text”][len(prompt):])

Ожидаемый вывод может быть:

Эй, на палубе! Я дружелюбный чат-бот, плавающий по цифровым морям. Какие сокровища я могу помочь тебе найти сегодня?

Цены

Модели Llama 3 являются Бесплатными и с Открытым Исходным Кодом по лицензии Meta Llama 3 Community License. Это позволяет бесплатное использование в исследованиях и коммерческих приложениях, хотя применяются некоторые ограничения, особенно для сервисов с более чем 700 миллионами активных пользователей в месяц.