Классификация изображений без дообученияИзображение, текст → label3 профессии
Мультиязычная модель CLIP для классификации изображений по текстовым меткам на 201 языке, включая языки с ограниченными ресурсами.
178скачиваний за 30 дней2лайкавеса обновлены24 окт 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
NLLB-CLIP — мультиязычная модель сопоставления изображений и текста, разработанная Visheratin. Она объединяет текстовый энкодер NLLB с визуальным энкодером стандартного CLIP и предназначена для классификации изображений по текстовым описаниям без специального обучения на каждом наборе меток.
Модель расширяет возможности CLIP на 201 язык набора FLORES-200 и хорошо работает с языками с ограниченными ресурсами. В карточке указано, что она достигла лучшего результата на Crossmodal-3600; конкретные показатели не приведены. Модель представлена в формате PyTorch и использует библиотеку open_clip.
Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель рассчитана на оценивание соответствия изображений текстовым меткам; карточка не описывает другие режимы работы.
Сценарии применения
классификация изображений по пользовательским текстовым меткам
поиск изображений по описанию на разных языках
распознавание объектов на изображениях с помощью текстовых категорий
оценка соответствия изображения подписи на малоресурсном языке
Ограничения
Для коммерческого использования модель не подходит из-за условий лицензии CC BY-NC 4.0. Карточка сообщает о сильных результатах на Crossmodal-3600, но не приводит численных метрик.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
NLLB-CLIP is a model that combines a text encoder from the NLLB model and an image encoder from the
standard CLIP. This allows us to extend the model capabilities
to 201 languages of the Flores-200. NLLB-CLIP sets state-of-the-art on the Crossmodal-3600 dataset by performing very
well on low-resource languages. You can find more details about the model in the paper.
Acknowledgements
I thank ML Collective for providing Google Cloud compute resources to train the OpenCLIP-compatible version of NLLB-CLIP.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров