I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельКарточка модели zqljj/stable-diffusion-xl-base-1.0 на Hugging Face совпадает с карточкой stabilityai/stable-diffusion-xl-base-1.0, поэтому описание составлено по ней. Stable Diffusion XL Base 1.0 — модель генерации и редактирования изображений по текстовому описанию, разработанная Stability AI. Она использует латентную диффузию и два предварительно обученных текстовых энкодера: OpenCLIP-ViT/G и CLIP-ViT/L. Базовую модель можно применять самостоятельно либо вместе с отдельной моделью-рефайнером для финальной обработки изображения; также описан двухэтапный вариант с повышением разрешения через img2img. Модель предназначена для создания иллюстраций и художественных изображений, а также для творческих и образовательных инструментов и исследований генеративных моделей. Она поддерживает генерацию изображений по текстовым запросам; репозиторий предлагает варианты запуска через Diffusers, ONNX и OpenVINO. Лицензия — CreativeML Open RAIL++-M (в метаданных указана openrail++).
Swin-Small — модель компьютерного зрения, разработанная Qualcomm и оптимизированная для устройств на базе Qualcomm. Она предназначена для классификации изображений из набора данных ImageNet, а также может использоваться как backbone при создании более специализированных моделей. Реализация основана на Swin-Small из torchvision; в репозитории представлены предварительно экспортированные версии для Qualcomm AI Hub и различных сред выполнения. Модель принимает изображения размером 224×224 пикселя и содержит около 50,4 млн параметров. Размер float-версии составляет 193 МБ, варианта w8a16 — 52,5 МБ. Доступны форматы ONNX, QNN_DLC и TFLITE, включая float и w8a16; поддерживаются целевые конфигурации для NPU Qualcomm. Модель рассчитана на задачи обработки изображений и не предназначена для работы с текстом или другими модальностями. Сильными сторонами являются готовые оптимизированные артефакты, возможность экспорта с пользовательскими весами и формами входа, а также поддержка аппаратного ускорения на широком спектре устройств Qualcomm. Ограничения включают фиксированное указанное входное разрешение, значительный размер и зависимость производительности от конкретного чипсета, runtime и конфигурации. В README указана лицензия BSD-3-Clause.
UniPic2-SD3.5M-Kontext-GRPO-2B — постобученная методом GRPO модель Skywork на базе UniPic2-SD3.5M-Kontext-2B. Она предназначена для генерации изображений по текстовому запросу и редактирования изображений; особое внимание уделено улучшенному отображению текста внутри изображений. Модель описана как быстрая и рассчитанная на запуск на одной потребительской видеокарте с 16 ГБ памяти. По тегам карточки модель относится к мультимодальным авторегрессионным моделям, объединяющим понимание изображений, редактирование и генерацию. Репозиторий содержит веса в формате safetensors, библиотека — Transformers; лицензия — MIT. README не сообщает поддерживаемые естественные языки и конкретные ограничения качества.
VDN-Minimax-H3 (VDN-H3) — модель ускорения генерации видео на основе MiniMax H3, разработанная авторами проекта Video DeltaNet. Она предназначена для генерации видео по текстовым запросам; тот же набор весов поддерживает создание видео с заданными начальными и/или конечными кадрами. Архитектура добавляет к базовой модели отдельную ветвь линейного внимания по кадрам и два небольших LoRA-адаптера, сохраняя ветвь softmax-внимания для качества и согласованности изображения. Адаптеры можно объединять с базовой моделью при инференсе без изменения её исходных весов. Авторы сообщают о генерации 14,4-секундного видео в разрешении 768p примерно за 9 секунд на конфигурации из восьми GPU B200, используя восемь шагов денойзинга. Это результат на указанном оборудовании и оптимизированном стеке; он не характеризует скорость на обычном компьютере. Для запуска требуются веса MiniMax H3 и подходящее GPU-оборудование, а подготовка текстового запроса может включать кодирование через Qwen3-VL-32B. Лицензия указана как other; перед использованием необходимо проверить её условия.
fal/virtual-tryoff-lora — это адаптер LoRA для модели генерации и редактирования изображений FLUX.2-klein-base-9B, разработанный Riza Velioglu в fal.ai. Модель предназначена для виртуального «снятия» одежды с фотографии человека: на вход подаются изображение человека в одежде и текстовое указание категории предмета, а на выходе создаётся изображение этого предмета отдельно, без видимого человека, в виде изделия на невидимом манекене или в формате предметной фотографии. Адаптер сохраняет стиль, текстуру, цвет и дизайн одежды из исходного изображения и поддерживает обработку футболок, платьев, брюк, комплектов и полного образа. Это image-to-image модель с текстовым управлением, рассчитанная на сценарии каталогизации одежды, подготовки товарных изображений и визуального контента для электронной коммерции. В основе используется FLUX.2-klein-base-9B; обучение выполнено на 10 000 шагах с learning rate 0,00005 на наборе из 300 пар изображений размером 1024×1024. В README не указаны поддерживаемые языки и дополнительные ограничения качества. Модель распространяется по лицензии Apache 2.0.
Карточка модели MyAlbum/ViT-B-16-SigLIP2 на Hugging Face совпадает с карточкой timm/ViT-B-16-SigLIP2, поэтому описание составлено по ней. timm/ViT-B-16-SigLIP2 — визуально-языковая модель семейства SigLIP 2, обученная на наборе WebLI и преобразованная из исходных контрольных точек JAX проекта Big Vision для использования в OpenCLIP. Это контрастивный энкодер изображений и текста, предназначенный для классификации изображений без дополнительного обучения: пользователь задаёт текстовые описания классов, а модель сопоставляет их с изображением. Модель принимает изображения и текстовые описания, оценивает их соответствие и подходит для поиска изображений по тексту и классификации с произвольными текстовыми метками. В карточке указана поддержка многоязычного визуально-языкового обучения SigLIP 2; конкретные языки этой версии не перечислены. Модель распространяется в форматах PyTorch и safetensors и доступна на условиях Apache-2.0. Это конверсия исходных контрольных точек, а не отдельное дообучение. Карточка не сообщает конкретный размер модели, длину контекста или ограничения качества; результаты могут зависеть от формулировок текстовых меток и домена изображений.
Xenova/vit-gpt2-image-captioning — это модель для автоматического создания текстовых описаний изображений. Она основана на nlpconnect/vit-gpt2-image-captioning, разработана для использования с библиотекой Transformers.js и содержит веса в формате ONNX, совместимом с этим окружением. Репозиторий Xenova предоставляет веб-совместимое представление исходной модели. Модель предназначена для задач image captioning: по изображению она генерирует текстовое описание, что подходит для автоматической аннотации изображений и интеграции функций компьютерного зрения в веб-приложения. В README не указаны точные размеры модели, параметры архитектуры, поддерживаемые языки, максимальная длина контекста, дополнительные модальности или конкретные показатели качества. Ключевое ограничение — модель ориентирована на описание изображений и не предназначена для общего диалога или генерации произвольного текста. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в карточке исходной модели nlpconnect/vit-gpt2-image-captioning и связанных файлах репозитория.
X-CLIP base с размером патчей 16 — видеоязыковая модель Microsoft, представленная в работе Ni et al. «Expanding Language-Image Pretrained Models for General Video Recognition». Она расширяет CLIP для понимания видео и обучена контрастивно на парах видео и текста; эта версия обучалась в few-shot режиме с K=8 на UCF101. Модель предназначена для классификации видео в zero-shot, few-shot и supervised сценариях, а также для поиска соответствия между видео и текстом. При обучении использовались 32 кадра на видео с разрешением 224×224. В README указана точность top-1 88,3% на оценивании, однако подробности протокола оценки не приведены. Модель принимает видео и текстовые описания, выдаёт оценки их соответствия и подходит для извлечения признаков при видео-языковых задачах. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Обучение на UCF101 и few-shot настройка ограничивают основания для переноса опубликованной точности на другие наборы данных и сценарии.
X-CLIP — видеоязыковая модель семейства CLIP, разработанная Microsoft и представленная Ni и соавторами в работе «Expanding Language-Image Pretrained Models for General Video Recognition». Это базовая модель с патчами размером 32, обученная с учителем на датасете Kinetics-400 в контрастивном режиме на парах «видео — текст». Для обработки каждого видео использует 16 кадров с разрешением 224×224. Модель подходит для классификации видео zero-shot, few-shot и с учителем, а также для поиска соответствия между видео и текстом и поиска видео по текстовому запросу. На Kinetics-400 указаны результаты top-1 81,1% и top-5 95,5%. В репозитории доступны веса PyTorch и safetensors; лицензия — MIT. Карточка приводит английский язык в метаданных, но не утверждает, что модель рассчитана только на английский.
drbaph/Z-Image-Turbo-FP8 — это FP8-квантизированная версия модели Comfy-Org/z_image_turbo, относящейся к проекту Z-Image, разработанному Tongyi-MAI. Модель предназначена для генерации изображений по текстовому описанию и реализована на базе диффузионного трансформера с однопоточной архитектурой (Single-Stream Diffusion Transformer). Размер исходной модели составляет около 6 млрд параметров. Вариант Z-Image-Turbo является дистиллированной версией и рассчитан на эффективный инференс примерно за 8 NFE (Number of Function Evaluations). Заявлены субсекундная задержка на GPU H800, возможность запуска на потребительских устройствах с 16 ГБ видеопамяти, фотореалистичная генерация, хорошее следование инструкциям и поддержка двуязычного рендеринга текста на английском и китайском языках. Данная карточка содержит квантизации FP8_E5M2 и FP8_E4M3FN, которые могут снизить требования к памяти по сравнению с форматом bf16, однако конкретные показатели качества и совместимости зависят от используемого оборудования и программного окружения. Модель подходит для генерации иллюстраций, фотореалистичных сцен и изображений с английскими или китайскими надписями. В README не приведены подробные сведения о максимальном размере контекста, точных ограничениях по разрешению, требованиях к аппаратному обеспечению для каждого формата и возможных потерях качества после квантизации. Указана лицензия Apache-2.0.
Карточка модели Arsh9210/AnyFlow-FAR-Wan2.1-1.3B-Diffusers на Hugging Face совпадает с карточкой nvidia/AnyFlow-FAR-Wan2.1-1.3B-Diffusers, поэтому описание составлено по ней. AnyFlow-FAR-Wan2.1-1.3B-Diffusers — причинная диффузионная модель для генерации видео, созданная авторами AnyFlow на основе Wan2.1-T2V-1.3B-Diffusers. Она формирует видео по текстовому запросу, изображению или исходному видео; в карточке Hugging Face основной задачей указана генерация видео по тексту. Модель распространяется в формате Diffusers с весами Safetensors и содержит 1,3 млрд параметров. AnyFlow использует дистилляцию карт потока с обучением на собственных траекториях и рассчитана на генерацию с произвольным числом шагов: можно выбирать бюджет вывода, получая качественную генерацию за несколько шагов и постепенное улучшение при увеличении их числа. В README заявлена работа с разрешением 480p и поддержка сценариев text-to-video, image-to-video и video-to-video. Модель предназначена для создания коротких видеороликов из текстовых описаний, изображений и видео. README не сообщает конкретные языковые ограничения; в метаданных указан английский язык. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией и условиями проекта перед применением.
AnyFlow-Wan2.1-T2V-14B-Diffusers — видеодиффузионная модель AnyFlow, разработанная авторами проекта AnyFlow на основе Wan2.1-T2V-14B-Diffusers. Это двунаправленная модель на 14 млрд параметров в формате Diffusers, предназначенная для генерации видео по текстовым описаниям; для этого варианта заявлено разрешение 480p. AnyFlow использует дистилляцию flow maps и поддерживает генерацию с произвольным числом шагов вывода: модель рассчитана на генерацию за малое число шагов, а увеличение их числа может постепенно улучшать качество. Весь фреймворк AnyFlow также охватывает генерацию видео по изображениям и преобразование видео, однако данная карточка описывает именно вариант T2V. Модель основана на Wan2.1 и распространяется в форматах Diffusers и Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице репозитория.
Это чекпойнт BLIP-Large, дообученный Мораном Янукой и соавторами на MS-COCO с помощью RL-фреймворка MOCHa. Работа посвящена снижению галлюцинаций при описании объектов с открытым словарём. Модель предназначена для условной и безусловной генерации текстовых описаний изображений. Её можно использовать для автоматического создания подписей к изображениям и проверки методов генерации описаний с меньшим числом неподтверждённых визуальных деталей. Архитектура — BLIP для генерации текста по изображению; веса доступны в форматах PyTorch и Safetensors. Лицензия — MIT. Число параметров, длина контекста и поддерживаемые языки в источниках не приведены; модель описана для генерации подписей к изображениям, поэтому её не следует считать универсальной системой визуального диалога.
OFA-Sys разработала базовую версию Chinese CLIP — мультимодальную модель сопоставления изображений и текста. В ней используется ViT-B/16 как визуальный энкодер и RoBERTa-wwm-base как текстовый энкодер; модель обучена на наборе примерно из 200 миллионов китайских пар «изображение — текст». Репозиторий содержит веса PyTorch. Модель предназначена для классификации изображений по текстовым описаниям без специального дообучения: пользователь задаёт варианты классов текстом, а модель оценивает их соответствие изображению. Она также формирует эмбеддинги изображений и текста и оценивает сходство между ними, что подходит для поиска и сопоставления изображений с китайскими текстами. Карточка приводит результаты на задачах поиска по MUGE, Flickr30K-CN и COCO-CN, а также на zero-shot классификации. Модель ориентирована на китайский язык; сведения о лицензии в предоставленных данных отсутствуют.
Clark Labs разработала Clark Air — вариант Sana 1.6B для генерации изображений по тексту. Это готовый конвейер Diffusers: трансформерный блок Sana с тернарными весами {-1, 0, +1} упакован в GemLite INT2, текстовый энкодер Gemma-2 сжат до NF4 средствами bitsandbytes, а VAE DC-AE использует bf16. Репозиторий содержит все компоненты и занимает около 3,2 ГБ; также доступен отдельный файл трансформера для подключения к существующему конвейеру Sana. Модель предназначена для создания изображений по текстовым описаниям. Квантование сокращает размер трансформера примерно до 519 МБ вместо около 9 ГБ в fp16, что позволяет экономнее расходовать память GPU. Для запуска требуются NVIDIA CUDA GPU, Diffusers версии 0.38 или новее и зависимости GemLite и bitsandbytes; загрузка пользовательского компонента требует включить trust_remote_code. README описывает англоязычный пример запроса, но не устанавливает полный перечень поддерживаемых языков. Условия лицензии в предоставленных данных не приведены.
laion/CLIP-convnext_base_w-laion2B-s13B-b82K-augreg — модель сопоставления изображений и текста семейства CLIP, обученная Ross Wightman с помощью OpenCLIP на подмножестве LAION-2B. Она предназначена прежде всего для классификации изображений по текстовым описаниям без дополнительного обучения, а также для поиска изображений по тексту и поиска текста по изображению. Визуальная часть модели основана на ConvNeXt-Base, текстовая — на архитектуре OpenAI CLIP RN50x4: глубина 12 слоёв и размерность эмбеддингов 640. Модель обучалась на разрешении 256×256 с усиленной аугментацией и регуляризацией; показатель zero-shot top-1 на ImageNet составляет 71,5%. Она рассчитана на английские запросы и подписи. README указывает, что модель предназначена для исследований и не рекомендуется для развёртывания без тщательной проверки на конкретной задаче и фиксированном наборе классов. Применение для наблюдения и распознавания лиц исключено. Лицензия репозитория — MIT.
Bingsu/clip-vit-base-patch32-ko — корейская модель CLIP, обученная автором репозитория на основе метода Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. Она сопоставляет изображения с текстовыми описаниями и предназначена для классификации изображений по произвольным текстовым меткам без отдельного дообучения под каждый набор классов. Для обучения использовались корейско-английские параллельные данные AIHUB; токенизатор CLIP переобучен на смеси корейских и английских текстов в пропорции 7:3. Модель доступна в форматах PyTorch, Safetensors и TensorFlow. Лицензия — MIT. В карточке не приведены размер модели и длина контекста.
Bingsu/clip-vit-large-patch14-ko — корейская модель CLIP, разработанная автором репозитория Bingsu и обученная с использованием подхода Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. Она сопоставляет изображения с текстовыми описаниями и предназначена для классификации изображений по текстовым меткам без отдельного обучения на этих метках. Для обучения использовались корейско-английские параллельные данные AIHUB. Модель относится к архитектуре CLIPModel; репозиторий содержит веса в форматах PyTorch, Safetensors и TensorFlow. Лицензия — MIT. Карточка не сообщает размер модели и длину контекста.
Карточка модели gligen/diffusers-generation-text-box на Hugging Face совпадает с карточкой CompVis/stable-diffusion-v1-4, поэтому описание составлено по ней. Stable Diffusion v1-4 — модель генерации и редактирования изображений по текстовым запросам, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель с текстовым энкодером CLIP ViT-L/14; она дообучена на основе Stable Diffusion v1-2 на 225 тысячах шагов при разрешении 512×512 с использованием LAION-Aesthetics v2 5+. Модель подходит для создания иллюстраций и фотореалистичных изображений по англоязычным описаниям, а также для преобразования изображений по текстовым запросам. Репозиторий содержит веса для Diffusers в форматах PyTorch и safetensors. Лицензия CreativeML OpenRAIL-M задаёт условия использования и ограничения на применение. Модель не гарантирует фотореализм, плохо справляется с точным размещением объектов и генерацией читаемого текста; лица и люди могут выглядеть некорректно. Качество запросов не на английском ниже. В обучающих данных встречается контент для взрослых, а без дополнительных мер безопасности модель может генерировать нежелательные изображения; авторы рекомендуют использовать Safety Checker.
eva02_large_patch14_clip_336.merged2b_s6b_b61k — модель vision-language семейства EVA-02-CLIP, опубликованная командой timm в формате OpenCLIP. Она сопоставляет изображения и текстовые описания в общем пространстве признаков и предназначена, в частности, для классификации изображений без дополнительного обучения: пользователь задаёт названия классов текстом, а модель оценивает соответствие изображения этим описаниям. Модель использует визуальный энкодер EVA-02 с архитектурой ViT-L/14 и разрешением изображений 336 пикселей, а также текстовый энкодер CLIP. Репозиторий содержит веса PyTorch и Safetensors и предназначен для работы через библиотеку OpenCLIP. Входы — изображение и текст; выходы — оценки сходства, которые можно использовать для ранжирования текстовых меток. Текстовый энкодер работает с английским языком; других поддерживаемых языков карточка модели не устанавливает. Репозиторий распространяется по лицензии MIT. Известное ограничение: точность классификации зависит от выбранных текстовых описаний, а модель не является универсальным генератором подписей к изображениям или детектором объектов.
Карточка модели Manidhar8008/FLUX.2-small-decoder на Hugging Face совпадает с карточкой black-forest-labs/FLUX.2-small-decoder, поэтому описание составлено по ней. FLUX.2 Small Decoder — декодер VAE от Black Forest Labs, дистиллированная компактная замена стандартному декодеру FLUX.2. Он предназначен для декодирования латентных представлений в изображения в совместимых моделях FLUX.2: Klein 4B, Klein 9B, Klein 9B-KV и Dev; кодировщик при этом остаётся без изменений. Декодер содержит около 28 млн параметров против примерно 50 млн у полной версии и использует более узкие каналы. По данным карточки, он декодирует примерно в 1,4 раза быстрее и требует примерно в 1,4 раза меньше видеопамяти, сохраняя почти такое же качество изображений. Указана лицензия Apache 2.0. Модель предназначена для использования как компонент совместимого пайплайна генерации или редактирования изображений, а не для самостоятельного диалога или выдачи фактических ответов. Карточка отмечает возможные искажения текста на изображениях, несоответствие результата запросу и влияние стиля промпта.
XLabs-AI/flux-controlnet-collections — коллекция контрольных сетей ControlNet для модели генерации изображений FLUX.1-dev, разработанной Black Forest Labs. Набор предназначен для управляемой генерации изображений по текстовым описаниям с использованием структурных ориентиров из входных изображений. В коллекцию входят три варианта ControlNet: Canny для управления по выделенным контурам, HED для управления по картам границ и Depth на основе глубины, вычисленной моделью MiDaS. Все варианты обучены и рассчитаны на разрешение 1024×1024. Доступны версии v3, которые, согласно README, ориентированы на более реалистичные результаты и могут использоваться напрямую в ComfyUI. Для запуска также предлагаются официальный репозиторий XLabs-AI, ComfyUI с пользовательскими узлами и демонстрация на Gradio. Модель подходит для сценариев, где важно сохранять композицию, контуры или пространственную структуру исходного изображения при генерации нового контента. README не содержит сведений о точной архитектуре базовой модели, размере весов, максимальном контексте, поддерживаемых языках промптов, количественных оценках качества или ограничениях по вычислительным ресурсам. Веса распространяются по некоммерческой лицензии FLUX.1-dev Non-Commercial License, поэтому коммерческое использование не разрешено условиями указанной лицензии.
XLabs-AI/flux-ip-adapter — это адаптер IP-Adapter для модели FLUX.1-dev, разработанной Black Forest Labs. Адаптер предназначен для генерации изображений по текстовому описанию с использованием референсных изображений, чтобы влиять на визуальное содержание и стиль результата. Модель можно применять через официальный репозиторий XLabs-AI/x-flux или пользовательские узлы для ComfyUI. Адаптер обучался на разрешении 512×512 в течение 50 000 шагов и на разрешении 1024×1024 в течение 25 000 шагов; заявлена поддержка обоих разрешений. Для работы требуется CLIP-L из OpenAI ViT-L/14, а также базовая модель FLUX.1-dev. В репозитории выпущена версия v1, доступная для непосредственного использования в ComfyUI; при этом модель обозначена как находящаяся в стадии бета-тестирования, поэтому качество результата может быть нестабильным и иногда требует нескольких попыток или настройки параметров. Лицензия указана как flux-1-dev-non-commercial-license, то есть веса распространяются на условиях некоммерческой лицензии FLUX.1-dev. Язык в метаданных обозначен как английский. Новее этой версии заявлен выпуск XLabs-AI/flux-ip-adapter-v2.
HunyuanDiT-Diffusers-Distilled — дистиллированная модель генерации изображений по текстовому описанию от команды Tencent Hunyuan, опубликованная в формате 🤗 Diffusers. Она основана на архитектуре Diffusion Transformer и поддерживает генерацию изображения за 25 шагов. Модель предназначена для создания изображений по коротким и длинным текстовым запросам, включая запросы с китайскими элементами. Модель принимает текст и выдаёт изображения. В README отмечены возможности понимания китайских элементов и длинных запросов; метаданные указывают английский язык. Репозиторий содержит веса в формате safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией и сопроводительными материалами репозитория.
Карточка модели Yeahjeheneh/InstantID на Hugging Face совпадает с карточкой InstantX/InstantID, поэтому описание составлено по ней. InstantID — метод генерации изображений с сохранением личности по одному исходному изображению, разработанный командой InstantX. Он предназначен для создания изображений человека с заданным текстовым описанием и сохранением его идентичности, а также для связанных сценариев генерации. Метод не требует дообучения для использования и рассчитан на работу в библиотеке Diffusers с компонентами ControlNet и IP-Adapter. Качество сходства и следование текстовому запросу зависят от настроек силы IdentityNet и Adapter; разработчики также отмечают, что для более реалистичного результата может потребоваться подходящая базовая модель. Репозиторий распространяется по лицензии Apache-2.0.
KielGen-Fast — мультимодальная авторегрессионная модель Kiel, созданная дообучением DeepSeek Janus-Pro для генерации текста и работы с изображениями. Она поддерживает диалоговые ответы, визуальные вопросы и описания сцен, а также генерацию изображений по текстовым запросам. Архитектура MultiModalityCausalLM сочетает отдельные визуальные пути для понимания изображений и декодирование изображений через векторно-квантованные токены; веса представлены в формате safetensors и загружаются через Transformers. Модель распространяется по лицензии MIT. В карточке указана базовая Janus-Pro-7B, тогда как метаданные связывают репозиторий с deepseek-ai/Janus-Pro-1B; фактический размер модели этими данными не подтверждён. Подтверждены английский язык и мультимодальная работа с текстом и изображениями.
Kontext-Watermark-Remover — адаптер LoRA для модели FLUX.1-Kontext-dev, разработанный пользователем или организацией prithivMLmods и предназначенный для работы через библиотеку Diffusers. Модель выполняет редактирование изображений и специализируется на удалении водяных знаков, логотипов и текстовых элементов с сохранением фона, текстур, освещения и общего реалистичного вида изображения. Адаптер применяется в сценариях image-to-image: на вход подаётся изображение и текстовая инструкция на английском языке, после чего модель генерирует отредактированную версию. Указано, что обучение проводилось на 150 парах изображений, включавших 75 исходных и 75 итоговых изображений. В README не приведены сведения о размере модели, точной архитектуре базовой модели, максимальном контексте или перечне поддерживаемых языков, кроме метаданных о языке en. Сильной стороной модели является узкая специализация на удалении водяных знаков с попыткой бесшовно восстановить скрытые области и избежать видимых артефактов. Качество может зависеть от содержания изображения, расположения и сложности водяного знака, а небольшой объём обучающих данных ограничивает гарантии обобщения. Для запуска требуются FLUX.1-Kontext-dev, Diffusers и совместимая вычислительная среда, обычно с GPU. Модель распространяется по лицензии Apache-2.0.
CompVis/ldm-text2im-large-256 — модель генерации изображений по текстовому описанию на основе латентной диффузии (LDM), опубликованная командой CompVis. Она использует диффузионный процесс в латентном пространстве предварительно обученного автоэнкодера и механизм cross-attention для связи текста с изображением. Модель предназначена для создания изображений по текстовым запросам; семейство LDM также описано для генерации изображений без условия, семантического синтеза сцен, дорисовки и повышения разрешения. Репозиторий использует Diffusers и PyTorch; указана лицензия Apache-2.0. В названии модели заявлено разрешение 256 пикселей. README отмечает, что генераторы изображений по тексту могут создавать вредоносное содержимое. Конкретные языки запросов, размер модели и длина контекста в предоставленных данных не указаны.
MaMMUT2-moderntext ViT-B/32 — исследовательская модель сопоставления изображений и текста, разработанная авторами экспериментов MaMMUT2 и опубликованная rwightman. Она обучена на датасете CC12M в течение 32 эпох с контрастивной целью InfoNCE и дополнительным обучением текстового декодера по подписям. Архитектура включает визуальную башню ViT-B/32 и современный текстовый декодер с RoPE, RMSNorm, SwiGLU, gated attention и qk-нормализацией; текстовый контекст — 128 токенов. Модель предназначена для классификации изображений по произвольным текстовым меткам без дообучения, поиска соответствий между изображениями и подписями, а также генерации текстовых описаний. В карточке приведены сравнительные оценки на ImageNet, наборах retrieval и COCO, но сами авторы характеризуют чекпойнт как исследовательское сравнение архитектур и целей обучения, а не готовую производственную систему. Репозиторий использует OpenCLIP и предоставляет веса PyTorch/Safetensors. Лицензия — Apache-2.0.
MaMMUT2 NaFlex ViT-B/32 CC12M — исследовательский чекпойнт модели для сопоставления изображений и текста, классификации изображений без дообучения и генерации подписей к изображениям. Модель разработана в рамках сравнения архитектур и обучающих целей на CC12M: визуальная часть — NaFlexViT-Base с патчами 32, текстовый декодер — трансформер с перекрёстным вниманием через каждый второй блок. Обучение проводилось 32 эпохи на pixparse/cc12m-wds с bf16 и целью InfoNCE плюс двойная функция потерь для подписей. Модель принимает изображения и текстовые запросы, формируя представления для сопоставления и текстовые подписи. В карточке указано окно контекста текстового декодера 77 токенов. В приведённых экспериментах MaMMUT2 показала более высокий результат image-to-text retrieval, чем доступные CLIP-базовые прогоны; сравнение ограничено различиями в оптимизаторе и размере батча. Это экспериментальный исследовательский чекпойнт, а не готовая производственная модель. Лицензия — Apache-2.0.