I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельMolmo2-O-7B — открытая мультимодальная модель понимания изображений и видео, разработанная Allen Institute for AI (Ai2). Она предназначена для диалога с визуальными данными: отвечает на вопросы по изображениям, отдельным кадрам и видео, создаёт описания и поддерживает задачи визуального указания и отслеживания объектов. Модель построена на архитектуре Molmo2 с 7 млрд параметров: в основе лежит Olmo-3-7B-Instruct, а для обработки изображений используется визуальный энкодер SigLIP 2. По данным разработчика, модель сильна в понимании коротких видео, подсчёте объектов и создании подписей, а на длинных видео показывает конкурентные результаты. Основной язык карточки — английский. Модель распространяется в формате safetensors и использует лицензию Apache-2.0.
Motif-Video 2B — Motif Technologies әзірлеген, 2 миллиард параметрлі мәтіннен видео генерациялауға арналған flow-matching diffusion transformer. Модель мәтіндік промпт бойынша видео жасайды және сол салмақтармен бастапқы кескіннен видеоны жалғастыра алады. Hugging Face карточкасында негізгі міндеті text-to-video деп көрсетілген; Diffusers кітапханасындағы MotifVideoPipeline арқылы пайдалануға арналған. Архитектурасы T5Gemma2 мәтіндік энкодерін, Wan2.1 VAE видеотокенизаторын және 12 dual-stream, 16 single-stream, 8 DDT decoder қабатынан тұратын үш сатылы backbone-ды қолданады. Модель 720p ажыратымдылықта 121 кадрға дейін видео жасай алады. Карточкада ағылшын тілі көрсетілген. Лицензиясы — Apache-2.0. Авторлар бағалауында модель VBench жиынтық ұпайы бойынша өздері тексерген ашық модельдер арасында жоғары нәтиже көрсетеді. Шектеулері: адам бейнесінің ұсақ бөлшектерінде, қарқынды қозғалыста және ұқсас нысандардың атрибуттарында бұрмалану болуы мүмкін; сұйықтық, мата, соқтығысу, күрделі көпшілік көріністері мен ұзақ клиптерде уақыттық үйлесімділік бұзылуы ықтимал. Авторлар архитектуралық компоненттердің жеке үлесін бөлек абляциялармен көрсетпеген.
PaliGemma 2 10B Mix 224 — разработанная Google открытая модель зрения и языка, построенная на компонентах SigLIP и Gemma 2. Она принимает изображение и текст и генерирует текст; вариант 224 предназначен для работы с изображениями разрешением 224 пикселя. Модель рассчитана прежде всего на дообучение под конкретные задачи визуального языка и поддерживает несколько языков. Модель подходит для описания изображений и коротких видео, визуальных вопросов и ответов, распознавания текста на изображениях, поиска объектов с выдачей рамок и сегментации объектов. В карточке также показаны шаблоны запросов для генерации вопросов по изображению и локализации объектов. PaliGemma 2 лучше работает с чёткими инструкциями; без дообучения её результаты могут уступать моделям общего назначения, а сама модель не предназначена для многоходового диалога. Ответы могут содержать фактические ошибки, а анализ сложного контекста, нюансов и здравого смысла ограничен. Лицензия Gemma; при использовании необходимо соблюдать политику запрещённых применений Gemma.
PaliGemma 3B Mix 448 — компактная модель для понимания изображений и текста, разработанная Google. Она объединяет зрительный энкодер SigLIP и языковую модель Gemma, принимает изображение и текстовый запрос и генерирует текст. Версия Mix предназначена для последующей настройки под конкретные задачи; поддерживает сценарии с изображениями и короткими видео, включая описание изображений, визуальные вопросы и ответы, чтение текста на изображении, обнаружение объектов и сегментацию. Модель рассчитана на одношаговую обработку и не предназначена для многоходового диалога. Для специализированных задач рекомендуется дообучение: качество без настройки может уступать моделям, созданным для конкретной задачи. Ответы могут содержать фактические ошибки, а сложные инструкции, языковые нюансы и рассуждения на основе здравого смысла могут даваться модели трудно. Веса опубликованы в формате safetensors; лицензия — Gemma.
TencentARC/QA-CLIP-ViT-B-16 — модель семейства Chinese CLIP, разработанная лабораторией QQ-ARC совместно с Tencent PCG. Она обучена сопоставлять изображения с китайскими текстовыми описаниями и предназначена для классификации изображений без дообучения по заданным текстовым меткам. Её также оценивали на задачах поиска изображений по тексту и текста по изображениям на китайских наборах данных. Модель обучали на 100 миллионах пар изображений и китайских описаний, отобранных из 400 миллионов публично доступных URL изображений с текстом. В репозитории представлены веса PyTorch, лицензия — Apache-2.0. Конкретные размер контекста и число параметров в предоставленных данных не приведены.
QuantStack/Qwen-Image-Edit-GGUF — это конвертированная в формат GGUF версия модели Qwen/Qwen-Image-Edit. В репозитории указано, что модель предназначена для задач image-to-image, то есть редактирования и преобразования изображений по заданным условиям. Для работы она рассчитана на использование в ComfyUI с пользовательским узлом ComfyUI-GGUF. Комплект включает основную модель Qwen-Image, текстовый энкодер Qwen2.5-VL-7B, мультимодальный проекционный модуль Qwen2.5-VL-7B-Instruct-mmproj-BF16 и VAE Qwen-Image. Указаны английский и китайский языки. Точные сведения об архитектуре исходной модели, размере основного компонента, максимальном контексте, поддерживаемых входных модальностях и количественных характеристиках качества в README отсутствуют. Квантование может снизить требования к ресурсам, однако его влияние на качество здесь не описано. Модель распространяется по лицензии Apache-2.0; при использовании сохраняются исходные условия лицензирования и ограничения Qwen/Qwen-Image-Edit. Для запуска требуются соответствующие компоненты, размещённые в каталогах ComfyUI, а также ComfyUI-GGUF.
SirSahOl/Qwen-Image-mlx-4bit — это 4-битная квантованная версия диффузионной модели Qwen-Image, подготовленная SirSahOl для запуска на Apple Silicon. Веса преобразованы с помощью фреймворка mflux и сохранены в формате safetensors, совместимом с MLX. Модель предназначена для генерации изображений по текстовому описанию в составе pipeline Text-to-Image. Она использует архитектуру Diffusion Transformer (DiT) на базе Qwen/Qwen-Image-2512 с 60 трансформерными блоками и примерно 7 млрд параметров в DiT-backbone; совокупный размер pipeline с текстовым энкодером и VAE составляет около 8,2 млрд параметров. README не указывает поддерживаемые языки, максимальный контекст или набор модальностей помимо текста и изображений. Ключевое преимущество варианта — сниженное потребление памяти и более высокая скорость по сравнению с версиями большей разрядности: заявленный активный объём VRAM составляет около 33,5 ГБ. Ограничениями являются требование совместимого оборудования Apple Silicon, зависимость от mflux и возможное снижение качества по сравнению с 8-битной и 16-битной версиями. Модель распространяется по Tongyi Qianwen License; в метаданных также указано обозначение лицензии other.
SigLIP base — мультимодальная модель Google на архитектуре SigLIP, предварительно обученная на англоязычных парах изображение–текст из набора WebLI. Вариант обучен для работы с изображениями разрешением 512×512; текст токенизируется с длиной до 64 токенов. Модель использует sigmoid loss для сопоставления изображений и текста. Модель предназначена для классификации изображений по текстовым описаниям без дообучения и поиска соответствий между изображениями и текстом. Её можно применять для подбора меток к изображениям по заданным формулировкам и для поиска изображений по текстовому запросу или наоборот. Карточка указывает лицензию Apache-2.0.
Карточка модели lsqingggg/stable-diffusion-v1-4 на Hugging Face совпадает с карточкой CompVis/stable-diffusion-v1-4, поэтому описание составлено по ней. Stable Diffusion v1-4 — модель генерации и редактирования изображений по текстовым запросам, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель с текстовым энкодером CLIP ViT-L/14; она дообучена на основе Stable Diffusion v1-2 на 225 тысячах шагов при разрешении 512×512 с использованием LAION-Aesthetics v2 5+. Модель подходит для создания иллюстраций и фотореалистичных изображений по англоязычным описаниям, а также для преобразования изображений по текстовым запросам. Репозиторий содержит веса для Diffusers в форматах PyTorch и safetensors. Лицензия CreativeML OpenRAIL-M задаёт условия использования и ограничения на применение. Модель не гарантирует фотореализм, плохо справляется с точным размещением объектов и генерацией читаемого текста; лица и люди могут выглядеть некорректно. Качество запросов не на английском ниже. В обучающих данных встречается контент для взрослых, а без дополнительных мер безопасности модель может генерировать нежелательные изображения; авторы рекомендуют использовать Safety Checker.
Карточка модели YiLiangRen/stable-diffusion-v1-4 на Hugging Face совпадает с карточкой CompVis/stable-diffusion-v1-4, поэтому описание составлено по ней. Stable Diffusion v1-4 — модель генерации и редактирования изображений по текстовым запросам, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель с текстовым энкодером CLIP ViT-L/14; она дообучена на основе Stable Diffusion v1-2 на 225 тысячах шагов при разрешении 512×512 с использованием LAION-Aesthetics v2 5+. Модель подходит для создания иллюстраций и фотореалистичных изображений по англоязычным описаниям, а также для преобразования изображений по текстовым запросам. Репозиторий содержит веса для Diffusers в форматах PyTorch и safetensors. Лицензия CreativeML OpenRAIL-M задаёт условия использования и ограничения на применение. Модель не гарантирует фотореализм, плохо справляется с точным размещением объектов и генерацией читаемого текста; лица и люди могут выглядеть некорректно. Качество запросов не на английском ниже. В обучающих данных встречается контент для взрослых, а без дополнительных мер безопасности модель может генерировать нежелательные изображения; авторы рекомендуют использовать Safety Checker.
gpustack/stable-diffusion-v2-1-turbo-GGUF — это быстрая генеративная text-to-image-модель, разработанная Stability AI и представленная в формате GGUF. Она является дистиллированной версией Stable Diffusion 2.1 и предназначена для синтеза изображений по текстовому описанию, включая сценарии генерации в реальном времени, исследование генеративных моделей, создание иллюстраций, дизайн и образовательные или творческие инструменты. Модель также поддерживает image-to-image-сценарии. В основе лежит метод Adversarial Diffusion Distillation (ADD), позволяющий получать изображения высокого качества за 1–4 шага, причём для text-to-image обычно достаточно одного шага. Предпочтительный размер изображения — 512×512, но возможны и более высокие разрешения. В репозитории указаны варианты квантования FP16, Q8_0, Q4_1 и Q4_0; OpenCLIP ViT-H/14 и VAE доступны в FP16. Модель работает с текстом и изображениями, однако язык текстовых запросов и максимальный размер контекста в предоставленных данных не указаны. Сильные стороны модели — высокая скорость генерации, пригодность для приложений реального времени и хорошее качество при малом числе шагов. Ограничения включают более низкое качество и соответствие запросу по сравнению с SDXL-Turbo; модель не предназначена для получения фактически достоверных изображений людей или событий, а также может наследовать ограничения и предвзятость исходной модели. Для использования необходимо соблюдать лицензионные условия и Acceptable Use Policy Stability AI; детали коммерческого лицензирования вынесены в документы Stability AI.
Карточка модели sd-research/stable-diffusion-xl-base-1.0 на Hugging Face совпадает с карточкой stabilityai/stable-diffusion-xl-base-1.0, поэтому описание составлено по ней. Stable Diffusion XL Base 1.0 — модель генерации и редактирования изображений по текстовому описанию, разработанная Stability AI. Она использует латентную диффузию и два предварительно обученных текстовых энкодера: OpenCLIP-ViT/G и CLIP-ViT/L. Базовую модель можно применять самостоятельно либо вместе с отдельной моделью-рефайнером для финальной обработки изображения; также описан двухэтапный вариант с повышением разрешения через img2img. Модель предназначена для создания иллюстраций и художественных изображений, а также для творческих и образовательных инструментов и исследований генеративных моделей. Она поддерживает генерацию изображений по текстовым запросам; репозиторий предлагает варианты запуска через Diffusers, ONNX и OpenVINO. Лицензия — CreativeML Open RAIL++-M (в метаданных указана openrail++).
Карточка модели Jinstudio/stable-diffusion-xl-refiner-1.0 на Hugging Face совпадает с карточкой stabilityai/stable-diffusion-xl-refiner-1.0, поэтому описание составлено по ней. SDXL Refiner 1.0 — модель диффузии от Stability AI, предназначенная для финальных этапов удаления шума и уточнения изображений, созданных базовой моделью SDXL. Её можно применять в двухэтапном конвейере генерации: базовая модель создаёт латенты, а Refiner дорабатывает их; также доступен сценарий image-to-image на основе SDEdit с тем же текстовым запросом. Модель использует латентную диффузию и два предварительно обученных текстовых энкодера: OpenCLIP-ViT/G и CLIP-ViT/L. Она помогает улучшить итоговое качество изображения, но второй этап увеличивает время генерации. Лицензия — CreativeML Open RAIL++-M; условия использования включают ограничения на отдельные сценарии. Модель не гарантирует фотореализм, плохо отображает читаемый текст и сложные пространственные композиции; лица и люди могут получаться некорректно. Она не предназначена для создания достоверных изображений людей или событий и может воспроизводить социальные предубеждения из данных.
T2I-Adapter-SDXL Openpose — адаптер Tencent ARC, созданный в сотрудничестве с Hugging Face для управления генерацией изображений Stable Diffusion XL по позе человека. Он принимает изображение с разметкой OpenPose как дополнительное условие и работает вместе с базовой моделью stabilityai/stable-diffusion-xl-base-1.0, формируя изображение по этому условию и текстовому запросу. Это diffusion-адаптер примерно на 77–79 млн параметров; базовая SDXL содержит 2,6 млрд параметров. Веса опубликованы в формате safetensors. Модель предназначена для генерации изображений с контролируемым расположением и позами людей: например, для иллюстраций, концепт-арта и визуализации персонажей по скелетной разметке. Для работы нужны OpenPose-данные и совместимая базовая SDXL; адаптер сам по себе не является полноценной моделью генерации. В карточке указаны английский язык и лицензия Apache 2.0.
timm/ViT-B-16-SigLIP2-naflex — контрастивная модель «изображение—текст» семейства SigLIP 2, подготовленная timm и преобразованная из исходных контрольных точек JAX проекта Big Vision для использования в OpenCLIP. Она предназначена для классификации изображений по текстовым описаниям без дообучения: модель сопоставляет изображение с набором текстовых меток или запросов и оценивает их соответствие. Зрительная часть построена на NaFlexViT и поддерживает обычную обработку изображений фиксированного размера 384×384, а также режим NaFlex с переменным соотношением сторон; стандартная оценка в этом режиме использует 576 токенов изображения при размере патча 16. Модель обучена на наборе WebLI. Веса доступны в форматах PyTorch и Safetensors, библиотека использования — OpenCLIP; лицензия Apache-2.0. Модель подходит для поиска изображений по текстовым описаниям и распознавания категорий, заданных пользователем. Карточка не сообщает размер модели и перечень поддерживаемых языков, поэтому языковую поддержку сверх упоминания мультиязычной направленности SigLIP 2 определить нельзя.
Это модель CLIP на архитектуре ViT-bigG-14 с разрешением изображения 378 пикселей, связанная с MetaCLIP 2. Её можно использовать через open_clip и timm для классификации изображений по текстовым описаниям без отдельного обучения на целевых классах: модель сопоставляет изображение с набором текстовых меток и оценивает соответствие между ними. Репозиторий содержит веса в форматах PyTorch и safetensors; для работы предназначена библиотека open_clip. Модель рассчитана на задачи zero-shot классификации изображений в широком международном контексте. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение. Карточка не описывает ограничения качества или список поддерживаемых языков.
vit_reg4_so150m_p14_ls_dino-v2-bio — визуальный энкодер изображений проекта Birder, предназначенный для фотографий живых организмов и объектов биоразнообразия. В основе — Vision Transformer SoViT-150M/14 с четырьмя register-токенами и 133,6 млн параметров; обучение велось с самообучаемой целью в стиле DINOv2 на примерно 31 млн изображений растений, грибов, насекомых, рыб, кораллов, птиц, млекопитающих и других организмов. Модель выпускается в вариантах с разрешением 224×224, 252×252 и 336×336 пикселей. Основной сценарий — извлечение эмбеддингов для поиска визуально похожих изображений, сопоставления с эталонным снимком, кластеризации, организации коллекций и переноса признаков в последующие модели. Она рассчитана на природную фотографию, включая полевые снимки, изображения с фотоловушек и подводную съёмку; это энкодер признаков, а не готовый классификатор видов. Модель дообучена на базе birder-project/dino_v2_vit_reg4_so150m_p14_ls_bio и распространяется по лицензии Apache-2.0. Она не предназначена для микроскопии, медицинских снимков, рентгенограмм, спутниковых изображений, схем, документов и других непохожих на природную фотографию областей; качество зависит от соответствия входных изображений обучающему домену.
Wan2.1-T2V-1.3B-PhyPO — дообученная диффузионная модель для генерации видео по текстовым запросам, основанная на Wan-AI/Wan2.1-T2V-1.3B. Это единый набор весов модели, настроенный методом PhyPO; он используется как основа для обучения мировых моделей FastWAM. Репозиторий содержит веса трансформера в формате safetensors размером 5,29 ГиБ, но для запуска требуются VAE и текстовый энкодер T5 из базовой модели. Модель предназначена для преобразования текстового описания в видео с акцентом на физически правдоподобное движение. Она принимает текст и выдаёт видео; отдельные сведения о поддерживаемых языках и длине контекста не приводятся. Лицензия — Apache-2.0.
X-CLIP Base Patch16 — видеоязычная модель Microsoft для распознавания действий и классификации видео. Это расширение CLIP, обученное контрастивно на парах видео и текста и полностью под надзором на датасете Kinetics-400. Модель обрабатывает 16 кадров видео с разрешением 224×224; в репозитории представлены веса PyTorch. Модель подходит для классификации видео zero-shot, few-shot и с обучением на размеченных примерах, а также для поиска соответствия между видео и текстом. Её можно применять для оценки того, насколько описание подходит к видеоролику. На Kinetics-400 указаны точность top-1 84,7% и top-5 96,8%. Лицензия — MIT. Модель обучалась на Kinetics-400; её результаты и применимость могут зависеть от сходства целевых видео с обучающими данными и от предварительной обработки кадров.
Cr2do/ai-detector — классификатор изображений на базе Vision Transformer (ViT), дообученный для проекта SteganographIA (MIAGE TPI). Он различает два класса: реальные изображения и изображения, сгенерированные ИИ. Модель содержит 113,2 млн параметров и распространяется в формате Safetensors по лицензии MIT. Модель предназначена для проверки происхождения изображений, в том числе после обработки, характерной для социальных сетей. При обучении применялись JPEG-сжатие, изменение размера, отражение и размытие. На тесте Defactify указаны accuracy и macro F1 0,934; на наборе SuSy с генераторами, не встречавшимися при обучении, — 0,868. Для сравнения используется базовая модель google/vit-base-patch16-224. Модель принимает изображение и выдаёт класс real или ai_generated. Изображения приводятся к размеру 224×224, поэтому детали и артефакты высокого разрешения могут теряться. На неизвестных генераторах полнота ниже; результаты оценки не гарантируют точность для всех источников и способов обработки изображений.
Anima Tagger — модель автоматической многометочной разметки аниме-изображений в формате подписей booru, разработанная авторами проекта Anima. Она преобразует изображение в упорядоченную подпись с рейтингом, числом людей, персонажами, франшизами и общими тегами; модель предназначена для автоматической разметки датасетов, подготовки подписей для обучения Anima LoRA и курирования изображений. В основе лежит CAFormer B36 dbv4 с 134 млн параметров, входным разрешением 384 пикселя и теговым пространством Danbooru из 12 476 меток. Проекция приводит результаты к словарю Anima из 2 532 тегов, а обученная авторами дополнительная линейная голова покрывает часть тегов, отсутствующих в backbone. Веса backbone не включены в репозиторий: для их загрузки требуется доступ к animetimm/caformer_b36.dbv4-full и принятие его условий GPL-3.0. Собственные словарь, правила, пороги и дополнительная голова распространяются по MIT. Модель ориентирована на подписи в распределении Anima и выполняет классификацию по множеству тегов изображения. Она не выдаёт теги художников, не моделирует artist OCs, а часть тегов отключена или сводится правилами к актуальным названиям. Пороги backbone взяты из исходной модели и могут быть не оптимальны для других наборов данных.
guoyww/animatediff-sparsectrl-rgb — модель для управляемой генерации видео в составе AnimateDiff. Она добавляет SparseControlNet к AnimateDiff и позволяет задавать движение и содержание видео по разреженным RGB-кадрам, используя совместно с ней существующую модель Stable Diffusion для преобразования текста в изображение. Подход AnimateDiff вводит обученные на видеоклипах motion-модули в замороженную модель Stable Diffusion, чтобы поддерживать согласованное движение между кадрами. Модель предназначена для создания видеороликов по текстовому запросу с дополнительным визуальным контролем по нескольким RGB-кадрам. Для работы требуются совместимая модель Stable Diffusion и компоненты AnimateDiff; карточка описывает использование через Diffusers. Репозиторий содержит веса Safetensors. Условия лицензии и численные характеристики модели в предоставленных данных не указаны.
Карточка модели Bercraft/blip-image-captioning-base на Hugging Face совпадает с карточкой Salesforce/blip-image-captioning-base, поэтому описание составлено по ней. Salesforce BLIP image-captioning-base — модель семейства BLIP для создания подписей к изображениям. Она основана на базовой архитектуре BLIP с визуальным энкодером ViT Base и обучена на наборе COCO. Модель принимает изображение и генерирует текстовое описание; поддерживает условную генерацию по изображению и безусловную генерацию подписей. Модель предназначена для автоматического описания изображений и экспериментов с задачами компьютерного зрения и языка. В исследовательской работе BLIP также показала переносимость на поиск по изображениям и текстам, ответы на вопросы по изображениям и задачи с видео, однако карточка этого чекпойнта указывает именно генерацию подписей. В репозитории доступны веса PyTorch и TensorFlow. Лицензия — BSD-3-Clause. Авторы рекомендуют оценивать точность, безопасность и справедливость перед внедрением: модель не проверена для всех прикладных сценариев, а описания могут содержать ошибки или пропускать важные детали.
BLIP VQA Base — модель семейства BLIP, разработанная Salesforce для визуального понимания и генерации текста по изображениям. Вариант использует базовую архитектуру с backbone ViT-Base и предназначен прежде всего для ответов на вопросы об изображениях: модель принимает изображение и текстовый вопрос, затем формирует текстовый ответ. Модель также поддерживает генерацию подписей к изображениям. BLIP обучался для задач vision-language с использованием механизма bootstrapping: генератор создаёт синтетические подписи, а фильтр отбирает менее шумные пары изображение–текст. Модель доступна в форматах PyTorch, Safetensors и TensorFlow. Релиз опубликован для исследовательских целей; перед применением в значимых сценариях следует оценить точность, безопасность и возможные смещения. Лицензия — BSD-3-Clause.
Clark Labs Clark Swin2SR ×2 Ternary — компактная модель Swin2SR для увеличения разрешения изображений в два раза. Она предназначена для локального запуска в браузере и обработки скриншотов интерфейсов, изображений товаров, иллюстраций и фотографий без отправки изображений на сервер. Модель основана на caidas/swin2SR-lightweight-x2-64 и использует архитектуру Swin2SR для восстановления деталей. В ней 1 005 348 параметров; 97,24% параметров представлены тернарными значениями −1, 0 и +1, а небольшие векторы нормализации и смещения хранятся в FP16. Доступны веса Safetensors и экспорт ONNX; README описывает запуск в браузере через WebGPU с резервным вариантом WebAssembly. Модель принимает изображение и выдаёт изображение с фиксированным увеличением ×2. Обучение усилено примерами с разными типами сжатия и искажений, а также плотным текстом на семи языках. Модель рассчитана на улучшение читаемости текста и деталей интерфейса на сжатых, размытых или повторно масштабированных изображениях. Она не генерирует отсутствующие детали, не поддерживает другой коэффициент увеличения и на чистом bicubic-тесте Set5 уступает предыдущей версии по PSNR. Лицензия — Apache-2.0.
Карточка модели jk0125/CLIP-ViT-H-14-laion2B-s32B-b79K на Hugging Face совпадает с карточкой laion/CLIP-ViT-H-14-laion2B-s32B-b79K, поэтому описание составлено по ней. CLIP ViT-H/14 — мультимодальная модель сопоставления изображений и текста, обученная LAION под руководством Ромена Бомона с использованием OpenCLIP на англоязычной подвыборке LAION-2B из LAION-5B. В репозитории используются архитектура CLIPModel и веса в форматах PyTorch и safetensors; библиотека для работы — open_clip. Размер модели и длина контекста в предоставленных данных не указаны. Модель предназначена прежде всего для классификации изображений по произвольным текстовым меткам без специального дообучения, а также для поиска соответствий между изображениями и текстом. Её можно применять в исследованиях и как основу для последующего дообучения задач компьютерного зрения. В README указана точность zero-shot top-1 78,0% на ImageNet-1k. Модель обучалась на английских данных и рассчитана на англоязычные сценарии. Разработчики не рекомендуют развёртывание модели в продуктах и неконтролируемое применение; распознавание лиц и наблюдение обозначены как недопустимые сценарии. Качество зависит от выбранной таксономии классов, поэтому требуется проверка на конкретных данных. Обучающий набор был неотфильтрованным и мог содержать нежелательные материалы. Лицензия репозитория — MIT.
TheDenk/cogvideox-2b-controlnet-canny-v1 — модель семейства CogVideoX с ControlNet для преобразования видео с управлением по карте границ Canny. Репозиторий содержит веса в формате safetensors; карточка указывает библиотеку Diffusers и тег задачи video-to-video. Модель предназначена для генерации или преобразования видео с заданным структурным контролем по контурам. Для запуска описана интеграция с ComfyUI через ComfyUI-CogVideoXWrapper, поддерживающий пайплайн ControlNet. Модель опубликована по лицензии Apache-2.0. Карточка не содержит подробностей о качестве, поддерживаемых разрешениях и длительности видео, контексте или точных требованиях к запуску.
FG-CLIP 2 SO400M — двуязычная модель выравнивания изображений и текста, разработанная командой Qihoo 360 для детального понимания визуального содержимого на английском и китайском языках. В репозитории указана архитектура FG-CLIP 2; модель загружается через Transformers как AutoModelForCausalLM, однако её назначение — сопоставление визуальных и текстовых признаков, а не обычная генерация текста. Модель предназначена для классификации изображений без дополнительного обучения по текстовым меткам, поиска изображений по запросу и поиска текста по изображению. В карточке заявлены результаты на 29 датасетах и 8 задачах, с превосходством над SigLIP 2 и MetaCLIP 2; это заявление авторов, а не независимая оценка. Поддерживаются английский и китайский языки. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит подробностей о размере модели, длине контекста или известных ограничениях качества. Пример использования требует Transformers и загрузки модели с trust_remote_code=True; модель ориентирована на визуально-текстовые задачи, а не на универсальный диалог.
FLUX.2 [klein] 4B — генеративная модель Black Forest Labs с примерно 4 млрд параметров, реализованная как rectified flow transformer. Представленная версия содержит оптимизированные в формате FP8 веса; полный вариант BF16 опубликован отдельно. Модель предназначена для генерации изображений по текстовым описаниям и редактирования изображений с поддержкой нескольких референсных изображений. Основной указанный язык — английский, а заявленные сценарии относятся к text-to-image и image-to-image задачам. К сильным сторонам модели относятся поддержка многореференсного редактирования, открытые веса и возможность запуска примерно на 13 ГБ VRAM, в том числе на NVIDIA RTX 3090 или RTX 4070 и более производительных видеокартах. Модель не предназначена для предоставления фактической информации: текст внутри изображений может быть искажён, результат может не соответствовать запросу, а качество следования инструкциям зависит от стиля формулировки промпта. Как статистическая модель, она также может воспроизводить или усиливать предвзятость обучающих данных. Модель распространяется по лицензии Apache 2.0. Её нельзя использовать для незаконных, вредоносных, обманных или дискриминационных сценариев, создания несогласованных интимных материалов, эксплуатации несовершеннолетних и полностью автоматизированных решений в областях высокого риска, затрагивающих юридические права. Для практического развёртывания рекомендуется применять фильтры для входных и выходных данных, включая проверку NSFW и защищённого контента.
Dark Beast KLEIN 9B Blitz ComfyUI — дообученная модель для генерации изображений и их редактирования на базе FLUX.2 Klein 9B от Black Forest Labs. Автор README описывает специализацию на замене лиц: модель стремится естественно вписывать лицо, сохраняя идентичность, выражение и освещение, а также точнее учитывать портретный референс. Она рассчитана на быстрые низкошаговые сценарии в ComfyUI; в README рекомендуются 4–5 шагов и CFG=1. Базовая модель поддерживает генерацию по тексту и редактирование с референсными изображениями. В карточке упомянуты варианты BF16, FP8 и NVFP4, а также совместимость с ускорением на GPU Blackwell; указана работа в ComfyUI. Модель создана для визуальных задач, а не для обработки текста. Лицензия в предоставленных данных не указана.