I.8Изображения и компьютерное зрение

M-BERT Base ViT-B — многоязычная текстовая модель проекта Multilingual-CLIP, основанная на BERT-base-multilingual и настроенная так, чтобы представления текста соответствовали пространству эмбеддингов текстового энкодера CLIP для ViT-B/32. Она предназначена для получения текстовых признаков, которые можно сопоставлять с визуальными представлениями CLIP, например для поиска изображений по запросу на разных языках. По карточке, обучение охватывало 69 языков: использовались пары предложений и переводов, составленные из описаний GCC, MSCOCO и VizWiz. Модель содержит 205,1 млн параметров и принимает последовательности длиной до 512 токенов; метаданные указывают реализации в PyTorch, TensorFlow и Flax. Для использования вместе с исходным визуальным энкодером CLIP требуются код и дополнительные линейные веса из репозитория Multilingual-CLIP. Карточка отмечает, что качество использованных AWS Translate переводов не оценивалось и может различаться между языками; сведения о лицензии в предоставленных данных отсутствуют.

SDXL-Turbo — генеративная модель преобразования текста в изображения, разработанная Stability AI. Она создаёт изображение по текстовому запросу за один проход сети; для генерации обычно достаточно одного шага, а режим до четырёх шагов может улучшить результат. Модель основана на SDXL 1.0 Base и обучена методом Adversarial Diffusion Distillation для быстрой генерации с сохранением качества при малом числе шагов. Модель подходит для быстрого создания иллюстраций и концептов, художественных и дизайнерских процессов, а также творческих и образовательных приложений. Поддерживается также генерация изображений на основе исходного изображения. Предпочтительный размер результата — 512×512 пикселей; модель не использует guidance_scale и negative_prompt. Ограничения включают нечитаемый текст на изображениях, возможные ошибки в изображении лиц и людей, неполный фотореализм и потери из-за автоэнкодера. Модель не предназначена для достоверного изображения реальных людей или событий. README указывает на исследовательское и некоммерческое применение по лицензии модели и отдельно отсылает к Stability AI для условий коммерческого использования; метаданные обозначают лицензию как other.

SDXL-Turbo — модель генерации изображений по текстовому описанию, разработанная Stability AI. Репозиторий unsloth/sdxl-turbo — зеркало исходной модели с неизменёнными весами; Unsloth указывает, что условия лицензии совпадают с upstream. Модель основана на SDXL 1.0 Base и использует дистилляцию Adversarial Diffusion Distillation для генерации за один–четыре шага, включая режим одного прохода для быстрого создания изображений. Модель предназначена для быстрого прототипирования изображений, художественных и дизайнерских задач, а также творческих и образовательных инструментов. Она принимает текстовые запросы и выдаёт изображения; также описано применение для преобразования изображений. Предпочтительный размер генерации — 512×512 пикселей. Ограничения включают нестабильное качество лиц и людей, отсутствие надёжного рендеринга читаемого текста и несовершенный фотореализм. Модель не предназначена для достоверного изображения реальных людей или событий. В README указано, что возможны некоммерческое и коммерческое применение, однако для коммерческого использования предлагается отдельно свериться с условиями Stability AI; в метаданных лицензия обозначена как other.

SpatialThinker-7B — мультимодальная модель Hunar Batra и соавторов из Оксфордского университета и Калифорнийского университета в Санта-Крузе для пространственного анализа изображений. Она основана на Qwen2.5-VL-7B-Instruct и дообучена методом GRPO с плотными пространственными наградами на наборе STVQA-7K из 7 587 примеров. Модель принимает изображения и текстовые вопросы, строит ориентированный на вопрос граф сцены с объектами, рамками и отношениями, а затем формирует текстовый ответ. Модель рассчитана на девять типов пространственных задач: отношения между объектами, досягаемость, размер, ориентацию, местоположение экземпляров, глубину, расстояние, подсчёт и определение наличия объектов. Имеет 7,1 млрд параметров и контекст до 128 000 токенов; формат весов — safetensors. В карточке заявлено превосходство над GPT-4o на бенчмарках пространственного понимания при обучении на небольшом наборе данных. Это заявление относится к результатам авторов и не гарантирует качество на других задачах. Лицензия — Apache-2.0.

swin-gpt-NWPU-captioning — модель для создания текстовых описаний изображений, опубликованная пользователем swadhindas324 на Hugging Face. Она построена на архитектуре VisionEncoderDecoderModel и дообучена для задачи image-text-to-text; репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель принимает изображение и генерирует текстовое описание. В README приведены результаты оценки: Loss 0,5339, Accuracy 85,19, BLEU-1 0,8630, BLEU-4 0,6472, METEOR 0,7734, ROUGE-L 0,7624 и CIDEr 1,8392. Карточка не раскрывает базовую модель, обучающий набор данных, поддерживаемые языки, контекст или условия лицензии, поэтому область применения и качество за пределами указанной оценки определить нельзя.

VideoScore — модель оценки качества видео от TIGER-Lab, созданная на основе Mantis-8B-Idefics2 и обученная на наборе VideoFeedback с человеческими оценками по нескольким аспектам. Это регрессионная версия: она оценивает видео и текстовое описание, сопоставляя их и выдавая оценки качества и соответствия текста содержанию видео. Модель предназначена для оценки видео, в том числе роликов, созданных по текстовому запросу, и для сравнения результатов с человеческими предпочтениями. В README заявлена корреляция Спирмена 75,7 с человеческими оценками на VideoFeedback-test; также модель оценивалась на EvalCrafter, GenAI-Bench и VBench. Вариант из этой карточки построен на Idefics2; улучшенная версия VideoScore-v1.1 поддерживает обработку до 48 кадров, однако README не приписывает эту характеристику однозначно данной версии. Для запуска описана библиотека Transformers. Модель распространяется по лицензии Apache-2.0.

Wan2.1-VACE-14B — модель семейства Wan от Wan-AI для создания и редактирования видео. Она использует архитектуру diffusion transformer и предназначена для сценариев VACE, включая генерацию видео по изображению и работу с видеоматериалом. В карточке репозитория указаны поддержка режимов создания и редактирования видео, а также разрешения 480p и 720p; вход может иметь произвольное разрешение, но для оптимального результата рекомендуется держаться заданного диапазона размеров. Модель подходит для создания видеоклипов на основе изображения и для видеомонтажа с помощью VACE. Семейство Wan2.1 также поддерживает генерацию текста на китайском и английском языках внутри визуального контента, однако README не уточняет, относится ли эта возможность именно к варианту VACE-14B. Репозиторий распространяется под лицензией Apache-2.0.

AuraFlow v0.1 — открытая модель генерации изображений по текстовому описанию, разработанная fal. В карточке она названа крупнейшей на момент выпуска моделью генерации изображений на основе flow-подхода; авторы сообщают о результатах уровня state of the art на GenEval. Модель предназначена для создания изображений по текстовым запросам. Она распространяется в формате Diffusers с весами Safetensors и лицензией Apache-2.0. Версия v0.1 обозначена как бета: разработчики продолжают работу над моделью и собирают отзывы сообщества.

Control-R1 — модель обнаружения объектов на базе DETR с архитектурой ResNet-50, дообученная для анализа макета сканированных исторических газетных страниц. Она находит семь типов областей: фотографии, иллюстрации, карты, комиксы и карикатуры, редакционные карикатуры, заголовки и рекламу; результатом служат классы и ограничивающие рамки. Модель обучена на наборе biglam/loc_beyond_words и предназначена для анализа газетных страниц, близких к обучающим данным. На валидационной выборке из 712 изображений общий mAP составил 0,1658; показатели заметно различаются между классами, а для иллюстраций, карт и редакционных карикатур AP равен нулю. Модель выпущена под лицензией Apache-2.0.

Free-Image-Generation — модель генерации изображений по текстовому описанию, созданная на основе Stable Diffusion 1.5 и дообученная слиянием нескольких модулей LoRA. Репозиторий содержит компоненты Diffusers: текстовый энкодер, U-Net, VAE, токенизатор и планировщик диффузии; размер модели по README — 1,07 млрд параметров. Модель предназначена для создания изображений по англоязычным текстовым запросам. Авторы заявляют, что сгенерированные изображения распространяются на условиях CC0, а веса базовой модели унаследовали лицензию CreativeML OpenRAIL-M; модули LoRA указаны как CC0-1.0. Для генерации рекомендуется CUDA-совместимый GPU. Качество результатов зависит от формулировки запроса и возможностей базовой архитектуры Stable Diffusion 1.5.

Krea-2-Raw-GGUF — модель для генерации изображений по текстовому описанию, основанная на Krea-2-Raw и распространяемая в формате GGUF. Разработчик исходной модели — Krea; конкретный автор или особенности конвертации версии GGUF в предоставленных данных не указаны. Модель интегрируется с библиотекой Diffusers и предназначена для сценариев text-to-image, включая создание изображений с различными художественными стилями и визуальными эффектами. По примерам модель поддерживает генерацию сцен, персонажей, архитектуры и предметов в стилистиках от фотографии и аниме до импрессионистской живописи, пиксельной графики, монохромных изображений и низкополигональных 3D-моделей. В метаданных указан английский язык. Размер, точная архитектура, количество параметров, поддерживаемые модальности помимо text-to-image, максимальный контекст и требования к ресурсам не раскрыты. Сильной стороной является разнообразие демонстрируемых стилей и сюжетов, однако по README нельзя оценить качество, стабильность результатов и ограничения модели. Модель распространяется по лицензии krea-2-community-license; лицензия обозначена как other, а полный текст доступен по указанной в README ссылке. Условия коммерческого и иного использования следует уточнять непосредственно в тексте этой лицензии.

Llama-3-MixSense — мультимодальная модель семейства MixSense от Zero-Vision, построенная по архитектуре «визуальный энкодер — проектор — языковая модель». В качестве языковой части используется Meta Llama 3, а изображения обрабатывает визуальный энкодер SigLIP 400M. Веса опубликованы в формате safetensors; модель содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста с учётом изображений: например, для ответов на вопросы о визуальном содержимом и описания изображений. Разработчики сообщают об обучении на переработанном наборе данных и методе подготовки данных, который призван снизить стоимость обучения и повысить его эффективность; подробности о данных и исследованиях обещаны отдельно. В карточке приведены демо и интеграция для оценки через VLMEvalKit. Языковая основа — Llama 3, однако конкретные поддерживаемые естественные языки в карточке не перечислены. Использование требует совместимого стека Transformers и зависимостей из README. Условия лицензии в предоставленных данных не указаны.

TeamFnord/manga-ocr — модель распознавания японского текста на изображениях, разработанная для OCR в манге. Она построена на архитектуре Vision Encoder Decoder и предназначена для чтения текста как в вертикальной, так и в горизонтальной ориентации, включая фуригану, текст поверх иллюстраций, разнообразные шрифты и изображения низкого качества. Модель также подходит для распознавания печатного японского текста общего назначения. Модель принимает изображения и выдаёт распознанный текст. В карточке указаны японский язык и датасет Manga109s. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

MiniMax H3 — мультимодальная генеративная система компании MiniMax; этот репозиторий содержит её облегчённый вариант. Модель предназначена для создания видео со стереозвуком по тексту и мультимодальным входам: можно задавать изображения, видеоклипы и аудио как исходный материал или ориентир. Вход обрабатывается соответствующими текстовыми и визуальными кодировщиками и аудио-VAE, а H3 Omni Transformer совместно предсказывает видеокадры и аудио. Модель поддерживает ролики длительностью 4–15 секунд, различные соотношения сторон и базовое разрешение 768p; отдельный модуль H3-Regenerate-2K позволяет получить версию до 2K. Для сложных свободных мультимодальных запросов описан препроцессор H3-Context-IR, но он не входит в открытую поставку и предоставляется как размещённый сервис/API. В открытом выпуске используется полное внимание, поэтому длинные мультимодальные последовательности могут требовать значительных вычислительных ресурсов. Лицензия указана как other; конкретные условия следует сверять с лицензией репозитория.

MobileVLM_V2-1.7B — компактная визуально-языковая модель из семейства MobileVLM V2, разработанного авторами проекта MobileVLM. Она принимает изображение и текстовый запрос и генерирует текстовые ответы, например описания изображения и ответы на вопросы о его содержимом. Модель создана на основе MobileLLaMA-1.4B-Chat для удобного развертывания; в карточке указано 1,3 млрд параметров, архитектура MobileLlamaForCausalLM и контекст 2048 токенов. Для MobileVLM V2 заявлены результаты на стандартных тестах визуально-языковых моделей на уровне или выше ряда более крупных моделей, однако README не приводит конкретные оценки для версии 1.7B. Модель доступна под лицензией Apache-2.0.

digiplay/OnlyRealistic_v29 — модель генерации изображений по текстовому описанию в формате Stable Diffusion Pipeline. Карточка не содержит сведений о разработчике, архитектурной версии, размере или специализации модели. Модель принимает текстовые запросы и создаёт изображения; репозиторий содержит веса в формате safetensors для использования с Diffusers. Лицензия указана как other, поэтому условия использования следует уточнить в материалах репозитория.

P2R-4B — модель для детального визуального рассуждения, созданная авторами работы Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning на основе Qwen3-VL-4B-Instruct. Она принимает изображения и текстовые запросы, а в ответ формирует текст с анализом и выводами. В основе подхода P2R лежит двухэтапная схема, разделяющая восприятие изображения и рассуждение; при обучении применялась стратегия PRA-GRPO с чередованием ролей. Модель предназначена для вопросов о мелких визуальных деталях и других задач тонкого визуального анализа. В README приведены улучшенные результаты относительно Qwen3-VL-Instruct-4B на V-Star, HR-Bench-4K, HR-Bench-8K и MME-RealWorld-Lite. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

Карточка модели OX-PIXL/SpatialThinker-7B на Hugging Face совпадает с карточкой hunarbatra/SpatialThinker-7B, поэтому описание составлено по ней. SpatialThinker-7B — мультимодальная модель Hunar Batra и соавторов из Оксфордского университета и Калифорнийского университета в Санта-Крузе для пространственного анализа изображений. Она основана на Qwen2.5-VL-7B-Instruct и дообучена методом GRPO с плотными пространственными наградами на наборе STVQA-7K из 7 587 примеров. Модель принимает изображения и текстовые вопросы, строит ориентированный на вопрос граф сцены с объектами, рамками и отношениями, а затем формирует текстовый ответ. Модель рассчитана на девять типов пространственных задач: отношения между объектами, досягаемость, размер, ориентацию, местоположение экземпляров, глубину, расстояние, подсчёт и определение наличия объектов. Имеет 7,1 млрд параметров и контекст до 128 000 токенов; формат весов — safetensors. В карточке заявлено превосходство над GPT-4o на бенчмарках пространственного понимания при обучении на небольшом наборе данных. Это заявление относится к результатам авторов и не гарантирует качество на других задачах. Лицензия — Apache-2.0.

optimum-intel-internal-testing/trocr-small-handwritten — модель TrOCR для оптического распознавания рукописного текста. Она основана на работе Minghao Li и соавторов «TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models» и впервые выпущена в репозитории Microsoft UniLM. Данная версия дообучена на наборе данных IAM. Модель предназначена для OCR отдельных изображений строк текста, в частности рукописных записей. Это encoder-decoder архитектура: Transformer для обработки изображения используется как энкодер, а текстовый Transformer — как авторегрессионный декодер. Энкодер инициализирован весами DeiT, декодер — весами UniLM. Изображение преобразуется в последовательность патчей фиксированного размера 16×16 с абсолютными позиционными эмбеддингами, после чего декодер генерирует распознанный текст. Ключевые характеристики включают малый размер модели, визуально-текстовую модальность и поддержку сценариев распознавания строк рукописного текста. Модель ориентирована на изображения одной текстовой строки; для других типов документов, языков или многострочных изображений качество и применимость README не подтверждает. Лицензия в предоставленных данных не указана.

Модель dima806/clothes_image_detection — дообученный Vision Transformer для определения категории одежды на изображении. Она принимает изображение и возвращает метку класса одежды; в README заявлена точность около 78%. Модель основана на google/vit-base-patch16-224-in21k, содержит 113,2 млн параметров и распространяется в формате safetensors через Transformers. Модель подходит для автоматической категоризации одежды в каталогах товаров и для распознавания типов одежды на фотографиях. Лицензия Apache-2.0 разрешает использование на её условиях.

thwri/CogFlorence-2.2-Large — дообученная версия Florence-2-large от Microsoft, адаптированная для описания изображений. Её обучали на подмножестве из 40 000 изображений Ejafa/ye-pop с подписями, созданными THUDM/cogvlm2-llama3-chat-19B и обработанными google/gemma-2-9b. Модель принимает изображения и выдаёт текстовые описания; её основной сценарий — создание подписей к разнообразным изображениям. В основе лежит архитектура Florence 2, веса хранятся в формате safetensors. В метаданных указаны английский язык и библиотека Transformers. Репозиторий распространяется по лицензии MIT. Настройка ориентирована на подписи к изображениям; README не приводит результатов оценки качества или подробностей о поддержке других задач Florence-2-large. Поэтому пригодность для OCR, обнаружения объектов и других задач базовой модели отдельно не подтверждена.

Compassmix XL — модель генерации изображений по текстовому описанию в формате Diffusers. Её создал lodestone-rock для frosting.ai; для генерации рекомендуется использовать 8 шагов. Модель предназначена для создания изображений по текстовым запросам. В карточке не указаны размер модели, базовая модель, языки, лицензия и специальные ограничения на применение, поэтому эти характеристики здесь не уточняются.

Falcon2-11B-vlm — мультимодальная модель компании TII с 11 млрд параметров. Она построена на дообученной для диалога языковой модели Falcon2-11B и использует визуальный энкодер CLIP ViT-L/14; для изображений высокого разрешения применяется динамическое кодирование, помогающее распознавать мелкие детали. Модель предназначена для ответов на вопросы об изображениях и других сценариев взаимодействия с изображениями и текстом. Она обучалась на более чем 5 трлн токенов RefinedWeb и отобранных корпусах, а визуальные возможности добавлены обучением на парах изображение—текст. Основной язык — английский; заявлена также поддержка немецкого, испанского, французского, итальянского, португальского, польского, нидерландского, румынского, чешского и шведского, но качество на других языках может быть ограниченным. Модель выпущена под лицензией TII Falcon License 2.0 на основе Apache 2.0 с политикой допустимого использования. Карточка предостерегает от производственного применения без оценки рисков и мер снижения вреда. Модель может наследовать стереотипы и предвзятость из веб-данных; для запуска с Transformers требуется PyTorch 2.0.

Lexica Aperture V3.5 Community Edition — модель генерации изображений по текстовому описанию, разработанная OpenSkyML. Это бесплатная общественная модель, заявленная как похожая на платную Lexica Aperture V3.5; она распространяется для использования с библиотекой Diffusers и имеет формат весов Safetensors. Модель принимает текстовые запросы на английском, французском и русском языках и создаёт изображения. Она предназначена для генерации иллюстраций и других изображений по текстовому описанию. Размер модели и длина контекста в доступных данных не приводятся. Лицензия — CreativeML OpenRAIL-M.

OmniParser — инструмент Microsoft для разбора снимков экрана пользовательского интерфейса. В состав репозитория входят дообученные модели YOLOv8 для обнаружения интерактивных элементов и BLIP-2 для описания значков; в метаданных карточки указана архитектура BLIP-2 и задача image-text-to-text. Модели обучались на данных об обнаружении значков и областей, доступных для нажатия, а также на описаниях функций значков. Модель преобразует снимки экранов компьютеров и телефонов из разных приложений в структурированный список элементов: координаты интерактивных областей и текстовые подписи с возможными функциями значков. Её можно применять как компонент LLM-агента, работающего с графическим интерфейсом. Выходные данные требуют проверки человеком; модель не предназначена для выявления вредоносного содержимого и может ошибочно приписывать людям на значках чувствительные характеристики. Разработчик не рекомендует использовать OmniParser в рабочих сценариях. Лицензия — MIT.

Openjourney v2 — модель генерации изображений по текстовому описанию, созданная PromptHero и дообученная на более чем 60 тысячах изображений Midjourney. Она основана на Stable Diffusion 1.5 и предназначена для создания изображений в эстетике Midjourney по текстовым запросам; добавлять маркер стиля «mdjrny-v4» для этого не требуется. В карточке указаны обучение в течение 4500 шагов и трёх эпох, а также форматы Diffusers и PyTorch. Модель распространяется по лицензии CreativeML OpenRAIL-M. README описывает репозиторий как тестирование первой тонко настроенной версии Openjourney, поэтому качество и область применения следует оценивать с учётом этого статуса.

JANGQ-AI/Ornith-1.0-9B-JANG_6M — мультимодальная модель для диалога по изображениям и тексту, основанная на Ornith-1.0-9B от DeepReinforce. Она использует гибридную плотную архитектуру Qwen3.5: 32 текстовых слоя, из которых 24 используют Gated-DeltaNet, а 8 — обычное полное внимание; размер скрытого представления — 4096. По README, веса представлены в профиле JANG_6M: 8-битное внимание, 6-битный MLP с размером группы 64 и башня зрения в fp16; объём модели составляет около 8 ГБ. Модель принимает изображения и текст и предназначена для визуальных вопросов и ответов, описания изображений и мультимодального диалога. Для запуска требуются MLX Studio или среда выполнения vMLX с загрузчиком JANG; стандартный mlx_lm не загружает этот формат корректно. Лицензия — MIT.

PixelEyes-8B — мультимодальная модель на архитектуре Qwen3-VL, представленная в работе «PixelEyes: Decoupling Perception and Reasoning for Pinpoint Visual Evidence Seeking». Она предназначена для диалогового анализа изображений и многошагового визуального рассуждения: модель помогает находить на изображении точные визуальные свидетельства, делегируя детальную локализацию специализированному инструменту восприятия. Модель рассчитана на сценарии, где нужно последовательно исследовать изображение и обосновывать ответы конкретными визуальными деталями. Репозиторий содержит веса в формате safetensors. Лицензия, размер контекста и список поддерживаемых языков в предоставленных данных не указаны.

ProtoGen X3.4 1111 — модель преобразования текстовых запросов в изображения, опубликованная аккаунтом Stable Diffusion API и доступная через библиотеку Diffusers. Она предназначена для генерации изображений по текстовому описанию; в метаданных модель отмечена как ориентированная на ультрареалистичный стиль. README описывает доступ к генерации через API ModelsLab. Репозиторий содержит веса в форматах Diffusers, PyTorch и Safetensors. Указана лицензия CreativeML OpenRAIL-M. README не приводит сведений об архитектуре, размере, языках запросов или контексте, поэтому эти характеристики здесь не уточняются.

Qwen2-VL-2B-Abliterated-Caption-it-i1-GGUF — это квантованная vision-language модель для понимания изображений и генерации текстовых описаний. Базовая модель prithivMLmods/Qwen2-VL-2B-Abliterated-Caption-it разработана prithivMLmods, а GGUF-квантизация выполнена mradermacher. Модель ориентирована на image captioning, visual understanding и задачи image-to-text, включая автоматическое составление описаний изображений. Модель имеет размер 2B параметров, поддерживает работу с изображениями и текстом и заявлена для английского языка. Она обучалась с использованием наборов данных Caption3o-XL-v4, Caption3o-Opt-v3-Tiny, Caption3o-LongCap-v4 и Caption3o-Opt-v3. Доступны варианты GGUF-квантизации с размером примерно от 0,5 до 1,1 ГБ, что позволяет запускать модель на устройствах с ограниченными ресурсами; варианты различаются балансом скорости, качества и объёма памяти. Для работы с визуальными входными данными могут потребоваться отдельные mmproj-файлы из статического репозитория. Сильными сторонами модели являются компактный размер, поддержка визуального анализа и широкий выбор квантованных вариантов, включая рекомендуемые i1-Q4_K_M и i1-Q4_K_S. Ограничения включают ориентацию на английский язык, возможное снижение качества у наиболее агрессивных квантов и отсутствие в предоставленной карточке сведений о размере контекста, точных характеристиках архитектуры и результатах бенчмарков. Модель распространяется по лицензии Apache-2.0.