/ Профессии
Универсальные способности и операции

I.8Изображения и компьютерное зрение

В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеТекст
AI-задач
17
в этой профессии
Подходящих моделей
6 331
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеТекст

Рекомендованные модели

6 331 модель
Загрузки
Лайки
Дата выхода
1 891–1 920 из 6 331
instruction-tuning-sd
cartoonizer

Instruction-tuning-sd/cartoonizer — модель преобразования изображений на основе Stable Diffusion v1.5, дообученная авторами репозитория от чекпойнтов InstructPix2Pix. Она принимает исходное изображение и текстовую инструкцию, чтобы преобразовать изображение, в частности стилизовать его под мультфильм. Модель рассчитана на сценарии редактирования изображений по запросу и распространяется в формате Diffusers/PyTorch; для работы используется StableDiffusionInstructPix2PixPipeline. Модель может быть полезна для мультяшной стилизации фотографий и других преобразований изображений, заданных текстом. README не приводит размер модели, длину контекста или сведения о поддерживаемых естественных языках. Репозиторий распространяется по лицензии MIT.

3878март 2023
textimagemithugging-face
zer0int
CLIP-GmP-ViT-L-14

CLIP-GmP-ViT-L-14 — дообученная модель сопоставления изображений и текста на основе OpenAI CLIP ViT-L/14, разработанная zer0int. Она предназначена для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт категории словами, а модель оценивает соответствие изображения каждой категории. В карточке указано дообучение с геометрической параметризацией (GmP); в метаданных также указан датасет SPRIGHT-T2I/spright_coco. Модель использует архитектуру CLIPModel и опубликована в формате safetensors. Автор сообщает об улучшении точности на ImageNet и ObjectNet примерно до 0,90 относительно примерно 0,85 у исходной модели, однако эти результаты зависят от протокола оценки. В README исходная версия GmP названа устаревшей и уступающей более поздним вариантам автора, поэтому для использования как текстового энкодера генеративных моделей автор рекомендует другие версии. Лицензия — MIT.

6.5K522июнь 2024ctx77
textimagemithugging-face
aneforge
clip-vit-base-patch32

Это точная копия CLIP ViT-B/32 от OpenAI, опубликованная ANEForge для прямого запуска модели на Apple Neural Engine через библиотеку ANEForge. Веса побайтно совпадают с исходным репозиторием openai/clip-vit-base-patch32; архитектура — CLIP с визуальным энкодером ViT-B/32, формат весов — safetensors. Модель сопоставляет изображение с текстовыми метками и подходит для классификации изображений без дообучения: пользователь задаёт варианты описаний, а модель возвращает метку и оценку вероятности. Она принимает изображение и текстовые метки. Сведения о языках и размере контекста в предоставленных данных отсутствуют. Лицензионные условия следует смотреть в исходном репозитории OpenAI. Карточка ANEForge описывает способ загрузки и выполнения модели на Apple Neural Engine; качество и назначение модели соответствуют исходной CLIP ViT-B/32.

230авг. 2026ctx77
textimagehugging-face
mkaichristensen
echo-clip

echo-clip — модель семейства CLIP, опубликованная пользователем mkaichristensen на Hugging Face и предназначенная для классификации изображений без примеров обучения. Она сопоставляет изображение с текстовыми описаниями классов и позволяет выбирать наиболее подходящие метки; репозиторий поддерживает загрузку через OpenCLIP. Конфигурация указывает на визуальный энкодер ConvNeXt-Base и размерность эмбеддингов 512. Модель принимает изображения и текстовые метки или описания, а результатом служат оценки соответствия, пригодные для ранжирования кандидатов. Карточка не сообщает размер модели в параметрах, контекст или список поддерживаемых языков. Репозиторий распространяется по лицензии MIT.

3.0K11авг. 2023ctx77
textimagemithugging-face
timm
eva_giant_patch14_clip_224.merged2b

timm/eva_giant_patch14_clip_224.merged2b — веса модели EVA-CLIP, опубликованные командой timm для использования через OpenCLIP. Модель предназначена для классификации изображений по текстовым описаниям без отдельного обучения на каждом наборе классов: пользователь передаёт изображение и варианты подписей, а модель оценивает их соответствие. В названии указаны архитектура EVA с патчами 14×14 и входным размером изображения 224 пикселя. Модель сопоставляет визуальные и текстовые представления, поэтому принимает изображения и текстовые метки и выдаёт оценки соответствия. Репозиторий содержит веса PyTorch и Safetensors и предназначен для библиотеки OpenCLIP. Лицензия — MIT.

1350дек. 2024
textimagemithugging-face
second-state
FLUX.1-Fill-dev-GGUF

FLUX.1-Fill-dev-GGUF — квантованное представление модели FLUX.1-Fill-dev, разработанной Black Forest Labs и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации изображений по текстовому описанию и сценариев заполнения или редактирования изображений, связанных с FLUX.1-Fill-dev. Доступны варианты с квантованием Q2_K, Q3_K, Q4_0, Q4_1, Q4_K, Q5_0, Q5_1 и Q8_0 размером примерно от 4,16 до 12,8 ГБ, а также версия F16 в формате Safetensors размером 23,8 ГБ. Отдельно предоставляется компонент VAE ae.safetensors размером 335 МБ. README не содержит сведений об архитектуре, размере исходной модели, поддерживаемых разрешениях, длине контекста или полном наборе модальностей; указан язык en. Ключевое преимущество модели — широкий выбор уровней квантования для подбора компромисса между размером файлов, требованиями к ресурсам и качеством. Ограничение состоит в том, что исходный комплект не включает T5, CLIP и ae, поэтому для запуска могут потребоваться дополнительные компоненты; заявленная интеграция с LlamaEdge-StableDiffusion на момент публикации обозначена как находящаяся в разработке. Модель распространяется по лицензии flux-1-dev-non-commercial-license, то есть для некоммерческого использования.

1.9K11нояб. 2024
textimageotherhugging-face
Manusagents
FLUX.2-dev

Manusagents/FLUX.2-dev — это перепакованная версия FLUX.2 [dev] от Black Forest Labs для генерации изображений по тексту и редактирования изображений. Репозиторий использует Diffusers и формат safetensors; из него удалён дублирующий файл весов, чтобы при загрузке не выделялась память для второй копии модели. В README заявлено снижение пикового расхода видеопамяти примерно со 178 до 110 ГБ. Модель предназначена для генерации изображений по текстовым запросам, редактирования по исходному изображению и композиции с несколькими референсами. README также заявляет перенос идентичности персонажей, объектов и стилей без дополнительного обучения, а ускорение генерации связывает с дистилляцией guidance. Метаданные подтверждают задачи text-to-image и image-to-image, но относят image-to-image к основной задаче. В README указана лицензия FLUX.2 [dev] Non-Commercial License: использование ограничено её условиями и не является коммерчески свободным. Описание лицензии в README расходится с утверждением о свободном коммерческом использовании результатов. Также отмечено, что для применения модели требуются фильтры или ручная проверка входов и выходов.

81июль 2026
textimageotherhugging-face
diffusers
FLUX.2-dev-bnb-4bit

FLUX.2-dev-bnb-4bit — 4-битная NF4-квантизированная версия модели FLUX.2-dev, разработанной Black Forest Labs. Модель предназначена для генерации и редактирования изображений, включая сценарии image-to-image, и интегрируется с библиотекой Diffusers. В состав входят квантизированные DiT и текстовые энкодеры, тогда как VAE не подвергался квантизации. В карточке указана поддержка английского языка. Квантизация NF4 снижает требования к памяти по сравнению с полноразмерной версией, что может упростить локальный запуск, однако README не содержит точных сведений о размере модели, максимальном контексте, поддерживаемых разрешениях, производительности и ограничениях качества. Модель распространяется по лицензии FLUX [dev] Non-Commercial License; для использования требуется согласие с этой лицензией и Acceptable Use Policy.

14K33нояб. 2025
textimageotherhugging-face
mlx-community
FLUX.2-Klein-4B-3bit

mlx-community/FLUX.2-Klein-4B-3bit — 3-битная квантизированная версия FLUX.2 [klein] 4B от Black Forest Labs, подготовленная сообществом mlx-community. Это компактный rectified flow transformer с 4 млрд параметров для генерации и редактирования изображений. Модель принимает текстовые описания и изображения, включая несколько референсов для редактирования, и выдаёт изображения. Модель предназначена для быстрого создания изображений, локальной разработки, развёртывания на периферийных устройствах и производственных приложений. В README заявлены высокая скорость, возможность работы на потребительских GPU и потребление от 13 ГБ видеопамяти; эти показатели относятся к семейству FLUX.2 [klein] и могут зависеть от оборудования и реализации. Репозиторий распространяется по лицензии Apache 2.0.

2.6K0май 2026
textimageapache-2.0hugging-face
kayraharika
HiDream-O1-Image-Dev

Карточка модели kayraharika/HiDream-O1-Image-Dev на Hugging Face совпадает с карточкой HiDream-ai/HiDream-O1-Image, поэтому описание составлено по ней. HiDream-O1-Image — модель генерации и редактирования изображений от HiDream, построенная на Pixel-level Unified Transformer (UiT). Она обрабатывает текст и пиксели в общем пространстве токенов, без внешнего VAE и отдельного текстового энкодера. В карточке семейства указана версия на 8 млрд параметров; модель создаёт изображения напрямую с разрешением до 2048 × 2048. Модель предназначена для генерации изображений по текстовому описанию, редактирования изображения по инструкции, персонализации с сохранением заданного персонажа или объекта, управления композицией и создания раскадровок. Встроенный агент рассуждений помогает уточнять требования к композиции и надписям; заявлена поддержка длинного текста и многоязычных надписей на изображениях. Метаданные классифицируют модель как image-text-to-image. В README описаны полная и дистиллированная Dev-версии; результаты и характеристики могут различаться между ними. Для запуска требуется GPU с поддержкой CUDA; авторы отмечают проблему с PyTorch 2.9.x и рекомендуют полную версию для редактирования. Репозиторий модели распространяется по лицензии MIT.

80сент. 2026ctx262.1K
textimagemithugging-face
llm-jp
Jagle-VL-2.2B-Jagle-FineVision

Jagle-VL-2.2B-Jagle-FineVision — мультимодальная модель зрения и языка, разработанная авторами проекта Jagle и обученная на наборах данных Jagle и FineVision. Она предназначена для обработки изображений в сочетании с языковыми запросами и извлечения признаков для мультимодальных сценариев. Архитектура вдохновлена InternVL3.0 и включает языковую модель Qwen3-1.7B, визуальный энкодер SigLIP2 SO400M и лёгкий двухслойный MLP-проектор; общий размер — 2,2 млрд параметров. Модель реализована для Transformers, веса опубликованы в формате safetensors. В карточке не описаны поддерживаемые языки и длина контекста. Модель подходит для экспериментов и приложений, которым нужны визуально-языковые признаки; метаданные указывают задачу feature-extraction. Лицензия в предоставленных данных не указана.

1244март 2026ctx4.1K
textembeddinghugging-face
rootlocalghost
LongCat-Image-Edit-Turbo-FP8

LongCat-Image-Edit-Turbo-FP8 — дистиллированная модель для редактирования изображений, разработанная командой Meituan LongCat. Она предназначена для image-to-image сценариев: изменения объектов и содержания исходного изображения по текстовому описанию, включая задачи на английском и китайском языках. Модель интегрируется с библиотекой Hugging Face Diffusers через LongCatImageEditPipeline. Ключевая особенность модели — высокая скорость вывода: для генерации требуется 8 NFEs (Number of Function Evaluations), что обеспечивает низкую задержку инференса. В README также указана специализированная посимвольная обработка текста: при редактировании изображений с текстом целевой текст необходимо заключать в одинарные или двойные кавычки, иначе качество его отображения существенно снижается. Точные сведения об архитектуре, общем размере модели, поддерживаемых модальностях и максимальной длине контекста не приведены. Для работы требуется GPU; при использовании CPU offload заявлена потребность примерно в 18 ГБ видеопамяти, однако такой режим работает медленнее. Модель опубликована по лицензии Apache-2.0. README не содержит подробных сведений о возможных ограничениях качества, наборе данных или результатах сравнительного тестирования.

431май 2026
textimageapache-2.0hugging-face
facebook
metaclip-b16-400m

MetaCLIP B/16 — модель семейства CLIP, разработанная командой MetaCLIP и обученная на 400 миллионах примеров CommonCrawl. Вариант base использует разрешение патчей 16; веса доступны в формате PyTorch. Модель сопоставляет изображения и текст в общем пространстве представлений. Её можно применять для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений по текстовому запросу и поиска текста по изображению. Модель ориентирована на исследование связи между подбором обучающих данных и качеством CLIP. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

925окт. 2023ctx77
textimagecc-by-nc-4.0hugging-face
facebook
metaclip-b32-400m

MetaCLIP ViT-B/32 — модель семейства CLIP, разработанная командой MetaCLIP и представленная в статье «Demystifying CLIP Data» авторов Xu и соавторов. Эта версия обучалась на 400 миллионах примеров Common Crawl; обозначение B/32 указывает на базовый размер модели и разрешение патчей 32. Модель сопоставляет изображения и текст в общем пространстве эмбеддингов. Она предназначена для классификации изображений без дополнительного обучения по текстовым описаниям классов, поиска изображений по тексту и поиска текста по изображению. Лицензия CC BY-NC 4.0 разрешает использование на условиях лицензии с ограничением на коммерческое применение.

2.4K49окт. 2023ctx77
textimagecc-by-nc-4.0hugging-face
NYUAD-ComNets
NYUAD_AI-generated_images_detector

NYUAD-ComNets разработала классификатор изображений на архитектуре ViT, предназначенный для определения, является ли изображение сгенерированным ИИ. Модель содержит 113,2 млн параметров и опубликована в формате Safetensors; для применения можно использовать конвейер image-classification в Transformers. В карточке приведены результаты на наборе оценки: точность 0,9736 и значение функции потерь 0,0987. Модель подходит для предварительной проверки изображений и сортировки коллекций по вероятности искусственного происхождения. Лицензия Apache-2.0.

1.0K11апр. 2024
imageapache-2.0hugging-face
toxicdog
Qwen-Image-2.1-MLX

Это 4-битная MLX-квантизация Qwen/Qwen-Image-2.1, подготовленная toxicdog для локального запуска на компьютерах Mac с Apple silicon. Базовая модель объединяет генерацию и редактирование изображений; визуальный генератор содержит 7 млрд параметров и 32 слоя DiT с однопоточной архитектурой, а для кодирования текста используется Qwen3-VL 8B. Модель создаёт изображения по текстовым запросам, редактирует изображения с использованием до 10 референсов, масок и нарисованных пометок, а также поддерживает прозрачный RGBA-вывод и многоязычный текст внутри изображений. Конверсия выполнена в MLX с 4-битным аффинным квантованием линейных весов; VAE сохранён в bf16. Это чекпойнт MLX, он не является готовым чекпойнтом для Diffusers или PyTorch и рассчитан на совместимый пользовательский рантайм. В README указана лицензия исходной модели как other; условия лицензии следует сверить с карточкой базовой модели.

1796сент. 2026
textimageotherhugging-face
zeromodels
siglip_so400m_p14_224

Это версия SigLIP SoViT-400m, подготовленная zeromodels в формате Keras 3 на основе google/siglip-so400m-patch14-224. Модель использует двойной визуально-текстовый энкодер: принимает изображения и текстовые запросы, чтобы классифицировать изображения по произвольным текстовым меткам без отдельного обучения на этих метках. Поддерживает разрешение 224 × 224; реализация Keras может работать с TensorFlow, PyTorch или JAX. Модель подходит для поиска изображений по описанию и классификации изображений по пользовательским категориям. В README отмечено, что обучение SigLIP использует попарную сигмоидальную функцию потерь вместо контрастивного softmax-подхода CLIP. Репозиторий распространяется по лицензии Apache 2.0. Это преобразованная версия базовой модели, поэтому её возможности и ограничения в основном наследуются от SigLIP; качество зависит от формулировки текстовых запросов и соответствия изображений обучающим данным.

200июль 2026
textimageapache-2.0hugging-face
004T
StableXlL

Карточка модели 004T/StableXlL на Hugging Face совпадает с карточкой kandinsky-community/kandinsky-2-1, поэтому описание составлено по ней. Kandinsky 2.1 — модель генерации изображений по тексту, разработанная Арсением Шахматовым, Антоном Разжигаевым, Александром Николичем, Игорем Павловым, Андреем Кузнецовым и Денисом Димитровым. Она предназначена для создания изображений по запросам, а также для редактирования и преобразования изображений под текстовым управлением и интерполяции между изображениями. Модель сочетает подходы unCLIP и латентной диффузии: включает трансформерный image prior, диффузионную UNet и декодер MoVQGAN. CLIP-кодировщик преобразует текст и изображения в эмбеддинги; image prior связывает эти пространства, а диффузионная часть формирует изображение. Для обучения использовались данные LAION и дополнительные высококачественные изображения с описаниями. Модель доступна в формате Diffusers и поддерживает работу через библиотеку diffusers. Репозиторий распространяется по лицензии Apache-2.0. Это генеративная модель, поэтому результат зависит от формулировки запроса и может не соответствовать ему точно; описание не приводит отдельных гарантий качества для конкретных сценариев.

70дек. 2023
textimageapache-2.0hugging-face
IDEA-CCNL
Taiyi-CLIP-Roberta-large-326M-Chinese

Taiyi-CLIP-Roberta-large-326M-Chinese — китайская модель семейства Taiyi-CLIP, разработанная командой Fengshenbang. Это текстовый энкодер RoBERTa-large в модели CLIP, обученной сопоставлять изображения и китайские описания. Для визуальной части используется ViT-L-14; при предварительном обучении визуальный энкодер замораживали, а текстовый дообучали на 123 млн пар изображение–текст из наборов Noah-Wukong и Zero. В README указано 326 млн параметров для модели, тогда как метаданные репозитория сообщают 424,3 млн параметров. Модель предназначена для извлечения совместимых представлений изображений и текста, классификации изображений без дополнительного обучения и поиска изображений по китайскому текстовому запросу. В README приведены результаты zero-shot классификации ImageNet1k-CN и поиска текста по изображениям на Flickr30k-CNA, COCO-CN и Wukong50k. Метаданные указывают архитектуру BertForSequenceClassification, контекст до 512 токенов и pipeline feature-extraction; этот репозиторий представлен как текстовая часть мультимодальной системы CLIP. Лицензия — Apache-2.0.

4844июль 2022ctx512
textapache-2.0hugging-face
chs20
tecoa4-clip

chs20/tecoa4-clip — модель CLIP ViT-L/14, опубликованная пользователем chs20 и предназначенная для классификации изображений по текстовым описаниям без дообучения на каждом наборе классов. Она сопоставляет изображения и текстовые метки, позволяя задавать категории естественным языком. Модель создана дообучением с учителем и состязательным обучением на ImageNet от исходной модели OpenAI CLIP; при обучении использовалась норма L∞ с радиусом 4/255. Модель работает с изображениями и текстом и доступна в формате PyTorch через библиотеку open_clip. Состязательное дообучение направлено на устойчивость к небольшим возмущениям входного изображения, однако README не приводит метрик качества и не уточняет пределы такой устойчивости. Лицензия — MIT.

6211февр. 2024
textimagemithugging-face
longlian
text-to-video-lvd-ms

LLM-grounded Video Diffusion (LVD) — модель генерации видео, разработанная Long Lian, Baifeng Shi, Adam Yala, Trevor Darrell и Boyi Li из UC Berkeley и UCSF; работа представлена на ICLR 2024. Модель основана на ModelScope и дополнена управлением генерацией через ограничивающие рамки объектов: она использует cross-attention для привязки объектов к заданным областям кадра. Модель предназначена для генерации видео по тексту, в том числе с динамической компоновкой сцены, сформированной LLM. Её можно использовать как видеоверсию GLIGEN или самостоятельно. Для обучения GLIGEN-модели использовались веса ModelScope без временных transformer-блоков, датасет SA-1B и разрешение 256×256; затем адаптеры были объединены с ModelScope. Репозиторий содержит модель в форматах Diffusers и Safetensors.

767апр. 2024
textvideohugging-face
wkcn
TinyCLIP-ViT-40M-32-Text-19M-LAION400M

wkcn/TinyCLIP-ViT-40M-32-Text-19M-LAION400M — компактная модель семейства CLIP, основанная на сопоставлении изображений и текста. Она разработана в рамках метода TinyCLIP, представленного на ICCV 2023: при обучении используются дистилляция межмодальных связей и наследование весов, чтобы уменьшить размер модели при сохранении полезности для задач CLIP. Вариант из репозитория сочетает визуальный энкодер ViT примерно на 40 млн параметров с текстовым энкодером примерно на 19 млн параметров; предобучение выполнено на LAION-400M. Модель предназначена для классификации изображений по произвольным текстовым описаниям без отдельного обучения на каждом наборе классов. Её можно применять для поиска изображений по текстовым запросам и сопоставления изображения с набором подписей. Компактная архитектура рассчитана на более быстрый и экономный инференс по сравнению с крупными CLIP-моделями, хотя конкретные показатели качества и скорости именно этого варианта в карточке не приведены. Репозиторий содержит веса PyTorch и SafeTensors и предназначен для использования с Transformers. Лицензия — MIT.

4.3K5дек. 2023
textimagemithugging-face
akshan-main
tiny-wan22-vace-modular-pipe

Это модульный конвейер генерации видео на основе Wan2.2 VACE, опубликованный akshan-main для Diffusers. Он состоит из пяти настраиваемых блоков: кодирования текста, подготовки управляющего видео, маски и эталонных изображений, денойзинга, обрезки латентов и декодирования. В компоненты входят UMT5EncoderModel, WanVACETransformer3DModel и AutoencoderKLWan; для управления генерацией используется ClassifierFreeGuidance. Доступна настройка boundary_ratio, разделяющего этапы денойзинга с высоким и низким уровнем шума. Конвейер предназначен для управляемой генерации видео по текстовому запросу, с дополнительным видео, маской областей и эталонными изображениями. По умолчанию он рассчитан на 81 кадр и 50 шагов инференса; максимальная длина последовательности текста по умолчанию — 512 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Diffusers. Пример запуска в карточке не приведён. Лицензия в предоставленных данных не указана.

2.3K0авг. 2026
textimagehugging-face
sywang
TPIPS-ActDiff-Qwen3VL-8B

TPIPS-ActDiff-Qwen3VL-8B — модель для оценки перцептивного сходства изображений с учётом текста, разработанная на основе Qwen/Qwen3-VL-Embedding-8B. Она вычисляет многослойное расстояние между скрытыми представлениями пары изображений, а небольшая текстовая MLP-сеть задаёт веса слоёв. Чем выше попарная оценка, тем изображения похожее; на её основе также можно рассчитывать вероятности выбора отличающегося изображения и сравнивать кандидатов с эталоном. Модель дообучена с помощью channel LoRA (r=16, α=32) и отдельной текстовой MLP-головы. Репозиторий содержит checkpoint activation distance и предназначен для сценариев сравнения изображений по текстовому условию. Для работы предлагается библиотека TPIPS и Python 3.10 или новее. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория.

191июнь 2026ctx262.1K
imageembeddingotherhugging-face
Video-Reason
VBVR-Pro-Qwen-Image-Edit

VBVR-Pro Qwen Image Edit — модель для редактирования изображений по текстовым инструкциям, разработанная авторами проекта VBVR-Pro на основе Qwen/Qwen-Image-Edit-2511. Она дообучена на наборе VBVR-Pro-SFT-Image; веса LoRA ранга 32 объединены с весами трансформера, поэтому модель загружается напрямую через Diffusers без отдельного адаптера. Модель предназначена для инструкционного редактирования изображений и визуальных задач, где требуется рассуждать через создание или изменение изображения. Проект VBVR-Pro исследует визуальное рассуждение и описывает набор из 300 процедурно созданных задач, однако карточка этой модели указывает именно на редактирование изображений. Репозиторий распространяется в форматах Diffusers и safetensors по лицензии Apache-2.0. В карточке не приведены результаты, позволяющие оценить качество модели отдельно от общего описания проекта.

252авг. 2026
textimageapache-2.0hugging-face
ByteDance-Seed
VINCIE-3B

VINCIE — модель ByteDance-Seed для контекстного редактирования изображений, разработанная в рамках исследования обучения на видео. Она принимает изображение и контекстную последовательность из текста и ранее созданных изображений, чтобы выполнять многошаговое редактирование и создавать связанные изображения. В основе модели — блоково-каузальный диффузионный трансформер; обучение проводилось на задачах предсказания следующего изображения и сегментационных масок. Размер модели в карточке обозначен как 3B. Модель предназначена для редактирования изображений по контексту, композиции нескольких концепций, создания последовательности кадров или иллюстраций и цепочек последовательных правок. В README заявлены сильные результаты на двух бенчмарках многошагового редактирования, а также перспективные способности к композиции и сторителлингу. Репозиторий использует библиотеку VINCIE и формат PyTorch. Лицензия — Apache-2.0.

6442июль 2025
textimageapache-2.0hugging-face
Bingsu
vitB32_bert_ko_small_clip

Bingsu разработал двуязычную CLIP-модель на основе архитектуры VisionTextDualEncoder: визуальная часть использует openai/clip-vit-base-patch32, а текстовая — lassl/bert-ko-small. По карточке, веса текстовой части CLIP перенесли на корейский энкодер методом, вдохновлённым дистилляцией знаний для многоязычных эмбеддингов; при обучении использовался параллельный корейско-английский корпус переводов AIHub, а pooling оставлен стандартным для модели Hugging Face. Модель предназначена для извлечения признаков и сопоставления изображений с текстом на корейском и английском языках, например для поиска изображений по запросу. Доступны веса PyTorch и safetensors. Модель распространяется по лицензии MIT. Карточка не приводит размер модели, длину контекста или оценки качества. Описанный способ переноса весов и использование переводного корпуса могут ограничивать качество за пределами корейского и английского языков и сценариев сопоставления изображения с текстом.

781июнь 2022ctx512
textembeddingmithugging-face
timm
vit_base_patch32_clip_224.metaclip_2pt5b

Это модель MetaCLIP-2.5B с архитектурой ViT-B/32: визуальный энкодер Vision Transformer разбивает изображение на патчи размером 32 пикселя и работает с разрешением 224 пикселя. Модель разработана для использования с библиотеками open_clip и timm; в OpenCLIP она называется ViT-B-32-quickgelu. Модель сопоставляет изображения с текстовыми описаниями и подходит для классификации изображений по заданным пользователем категориям без отдельного обучения на этих категориях. Её можно применять для поиска подходящей метки среди текстовых вариантов или для первичной сортировки изображений по описанию. В репозитории указаны веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

8370окт. 2024ctx77
textimagecc-by-nc-4.0hugging-face
timm
ViT-L-16-SigLIP2-512

timm/ViT-L-16-SigLIP2-512 — модель «зрение–язык» семейства SigLIP 2, обученная на наборе данных WebLI и преобразованная из исходных контрольных точек JAX проекта Big Vision для использования в OpenCLIP. Она сопоставляет изображения и текст и предназначена для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах: пользователь задаёт возможные категории словами, а модель оценивает соответствие изображения каждой из них. Модель использует контрастивное обучение изображений и текста с сигмоидной функцией потерь. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия — Apache 2.0. Карточка указывает многоязычную направленность семейства SigLIP 2, но не перечисляет конкретные поддерживаемые языки или размеры модели.

10K3февр. 2025
textimageapache-2.0hugging-face
Mungert
Youtu-VL-4B-Instruct-GGUF

Youtu-VL-4B-Instruct-GGUF — мультимодальная vision-language модель, разработанная Tencent на базе Youtu-LLM с 4 млрд параметров. Представленная версия распространяется в формате GGUF и предназначена для локального или эффективного инференса с использованием совместимых инструментов, включая llama.cpp. Модель принимает изображения и текст и генерирует текстовые ответы, поддерживая широкий спектр задач компьютерного зрения и мультимодального понимания. Модель предназначена для визуального вопросно-ответного взаимодействия, мультимодального рассуждения и математики, OCR, анализа нескольких изображений, оценки галлюцинаций и задач GUI-агента. Среди vision-centric сценариев заявлены визуальное заземление, классификация изображений, обнаружение объектов, referring segmentation, семантическая сегментация, оценка глубины, подсчёт объектов и оценка позы человека. Архитектурной особенностью является подход Vision-Language Unified Autoregressive Supervision (VLUAS), при котором визуальные и текстовые токены участвуют в едином авторегрессионном обучении через визуальный кодбук. Это позволяет решать плотные задачи зрения и задачи генерации текста без специализированных task-specific модулей. Сильными сторонами модели являются сочетание компактного размера, широкого набора визуальных возможностей и универсальной стандартной VLM-архитектуры. В данной сборке применена GGUF-квантизация с ручным повышением точности отдельных важных слоёв, что может улучшать точность при заданном уровне квантизации, но увеличивает размер файла. README не указывает поддерживаемые языки, размер контекстного окна, точные требования к памяти и количественные результаты отдельных бенчмарков, поэтому эти характеристики нельзя определить по имеющимся данным. Лицензия обозначена как youtu-vl; также указано ограничение доступа для пользователей из Европейского союза.

2.3K1февр. 2026
textimageotherhugging-face

Задачи профессии

17 задач
122Обнаружение объектов и определение их координат. — AI локализует объекты на изображении или видеокадре и присваивает каждому класс, координаты рамки и оценку уверенности. Модель использует размеченные изображения и учитывает масштаб, перекрытия, освещение и фон. Результат — список объектов и визуальная разметка; качество проверяют по precision, recall и IoU на независимой выборке.
123Пиксельная сегментация объектов и областей. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: назначает класс каждому пикселю и уточняет границы соприкасающихся областей. Входной контекст включает изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: результат «Пиксельная сегментация объектов и областей» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
124Отслеживание объектов между кадрами. — Механизм: AI поддерживает актуальное состояние объекта по потоковым данным и уведомляет при выходе показателей за допустимые границы. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Исходные данные: видеоряд, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: актуальное состояние в рамках «Отслеживание объектов между кадрами», временной журнал изменений и предупреждения при значимых отклонениях. Проверка: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
125Подсчёт объектов на изображении или видеопотоке. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. К исходным данным относятся видеоряд, фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: структурированные данные, полученные в рамках «Подсчёт объектов на изображении или видеопотоке», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
126Оценка позы и движения человека или животного. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Рабочие входы: видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: оценка по задаче «Оценка позы и движения человека или животного» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
127Распознавание жестов и действий. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестов и действий», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
128Оценка глубины, расстояний и геометрии сцены. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: восстанавливает глубину, форму и топологию, затем согласует геометрию между ракурсами. Исходные данные: изображения с разных ракурсов, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: оценка по задаче «Оценка глубины, расстояний и геометрии сцены» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
129Построение трёхмерной модели по изображениям. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: вычислительная модель или карта для «Построение трёхмерной модели по изображениям» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
130Измерение размеров, площади, объёма или деформации объекта. — Для этой задачи система объединяет количественные и качественные признаки, после чего формирует оценку и показывает вклад основных факторов. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: оценка по задаче «Измерение размеров, площади, объёма или деформации объекта» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
131Обнаружение визуальных дефектов, повреждений и загрязнений. — Практическая реализация: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Входной контекст включает изображения, видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение визуальных дефектов, повреждений и загрязнений», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
132Выявление изменений между снимками разных дат. — Механизм: AI выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: перечень объектов, событий или отклонений, относящихся к «Выявление изменений между снимками разных дат», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
133Восстановление повреждённого или недостающего фрагмента изображения. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: преобразованный материал по задаче «Восстановление повреждённого или недостающего фрагмента изображения» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
134Повышение разрешения, резкости и читаемости изображения. — Для этой задачи система сравнивает альтернативы по нескольким критериям и ищет устойчивый компромисс между качеством, стоимостью, временем и риском. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Рабочие входы: изображения, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: рекомендуемая конфигурация для «Повышение разрешения, резкости и читаемости изображения» с целевыми показателями, ограничениями и сравнением с исходным вариантом. Критерии приёмки: сравнением с базовым решением, проверкой всех ограничений и испытанием устойчивости при изменении условий; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
135Удаление фона, объектов, бликов, шума или артефактов. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Входной контекст включает фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: преобразованный материал по задаче «Удаление фона, объектов, бликов, шума или артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
136Коррекция цвета, освещения, перспективы и композиции. — Механизм: AI поддерживает процесс в допустимом диапазоне, выбирая безопасные действия с учётом инерции и задержек системы. Исходные данные: видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: управляющее решение для «Коррекция цвета, освещения, перспективы и композиции» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Проверка: в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
137Генерация нового изображения по описанию или референсу. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: редактируемый артефакт по задаче «Генерация нового изображения по описанию или референсу», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — визуальный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
138Создание вариантов изображения с управляемыми изменениями. — Для этой задачи система создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Рабочие входы: изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: редактируемый артефакт по задаче «Создание вариантов изображения с управляемыми изменениями», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — визуальный результат. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке. <a id="section-i-9"></a>

0 моделей