Что такое CLIP от OpenAI?
CLIP, что означает Contrastive Language-Image Pre-training (Контрастивное предварительное обучение на языке и изображениях), — это нейронная сеть, разработанная OpenAI. Она предназначена для понимания визуальных концепций из естественного языка. Вместо того чтобы обучаться на тщательно подобранном наборе данных с конкретными метками (например, «кошка» или «собака»), CLIP учится на огромном, зашумленном наборе данных изображений и соответствующих им текстовых подписей, собранных из Интернета. Этот уникальный метод обучения позволяет ей выполнять широкий спектр задач по классификации изображений без специального обучения для них, что известно как обучение «без примеров» (zero-shot learning).
Ключевые особенности
- Классификация изображений без примеров: Классифицируйте изображения по категориям, которые вы определяете на лету, используя подсказки на естественном языке, без переобучения модели.
- Сходство изображения и текста: При наличии изображения и набора текстовых описаний CLIP может определить, какой текст лучше всего описывает изображение.
- Надежное визуальное представление: Модель изучает гибкое и надежное понимание визуальных концепций, которое часто обобщается лучше, чем у традиционных моделей, обученных на конкретных наборах данных, таких как ImageNet.
- Естественный язык как интерфейс для зрения: Модель устраняет разрыв между зрением и языком, позволяя пользователям взаимодействовать с изображениями и искать их, используя повседневный язык.
Сферы применения
- Модерация контента: Автоматически помечать изображения, соответствующие текстовым описаниям неприемлемого или деликатного контента.
- Улучшенный поиск изображений: Создавайте поисковые системы, которые позволяют пользователям находить изображения, используя сложные, описательные предложения вместо простых тегов.
- Управление генеративными моделями: Способность CLIP оценивать, насколько хорошо изображение соответствует подсказке, была ключевым компонентом в ранней революции преобразования текста в изображение, известной по использованию с моделями вроде VQGAN.
- Инструменты доступности: Создавайте приложения, которые могут описывать содержимое изображения для слабовидящих пользователей.
Начало работы
Вот простой пример «Hello World» с использованием библиотеки transformers, чтобы увидеть, как CLIP сопоставляет изображение с текстовыми подсказками.
Сначала убедитесь, что у вас установлены необходимые библиотеки: ```bash pip install transformers torch Pillow requests
Затем вы можете запустить следующий код на Python: ```python from PIL import Image import requests from transformers import CLIPProcessor, CLIPModel
Загрузка предварительно обученной модели и процессора из Hugging Face
model = CLIPModel.from_pretrained(“openai/clip-vit-base-patch32”) processor = CLIPProcessor.from_pretrained(“openai/clip-vit-base-patch32”)
URL изображения для теста
url = “http://images.cocodataset.org/val2017/000000039769.jpg” image = Image.open(requests.get(url, stream=True).raw)
Подготовка текстовых подсказок и изображения
Модель определит, какая подсказка лучше описывает изображение
inputs = processor( text=[“фото кошки”, “фото собаки”], images=image, return_tensors=”pt”, padding=True )
Передача входных данных в модель
outputs = model(**inputs)
logits_per_image представляют оценку сходства между изображением и каждой текстовой подсказкой
logits_per_image = outputs.logits_per_image
Применение softmax для получения вероятностей
probs = logits_per_image.softmax(dim=1)
print(f”Вероятности: {probs.tolist()[0]}”)
Вывод покажет более высокую вероятность для “фото кошки”
Цены
Модель CLIP от OpenAI является открытым исходным кодом и выпущена под разрешительной лицензией MIT. Веса модели и исходный код находятся в свободном доступе для исследований и интеграции в приложения. Хотя сама модель бесплатна, использование ее через сторонний API или на облачной платформе может повлечь за собой расходы.