I.8Изображения и компьютерное зрение

Moondream-Caption — компактная мультимодальная модель семейства Moondream, разработанная wraps на основе vikhyatk/moondream2 и дообученная для создания описаний изображений. Она принимает изображение и генерирует текстовую подпись с описанием видимых объектов и сцены. Модель рассчитана на автоматическое составление подписей к изображениям, например для их каталогизации или добавления текстовых описаний. В качестве обучающих данных использован набор изображений, созданных с помощью flux1_dev, с проверенными описаниями. Модель работает через библиотеку Transformers; файлы весов представлены в формате safetensors. Результаты могут быть менее точными на изображениях, заметно отличающихся от обучающих данных, а также на сложных или абстрактных сценах. Лицензия — Apache-2.0.

PaliGemma-3b-pt-448 — предварительно обученная компактная модель зрения и языка от Google, основанная на визуальном энкодере SigLIP и языковой модели Gemma. Она принимает изображение и текстовый запрос и генерирует текст; версия с разрешением 448 предназначена для переноса на специализированные задачи тонкой настройкой. Модель подходит для описания изображений и коротких видео, ответов на вопросы об изображениях и чтения текста на них. Её также можно дообучить для обнаружения объектов, сегментации, анализа снимков дистанционного зондирования, объяснения элементов интерфейса и других задач с визуальными данными. PaliGemma рассчитана на один обмен запросом и ответом, а не на многоходовый диалог. Для надёжной работы модель следует настраивать под конкретную задачу: качество без дообучения может уступать специализированным системам. Она может ошибаться в фактах и сложных рассуждениях, а также отражать предвзятость обучающих данных. Лицензия — Gemma; при использовании необходимо соблюдать условия этой лицензии и правила допустимого использования Gemma.

Stable Diffusion 3 Medium — модель генерации изображений по текстовому описанию, разработанная Stability AI. Это Multimodal Diffusion Transformer (MMDiT) с тремя предобученными текстовыми энкодерами: OpenCLIP-ViT/G, CLIP-ViT/L и T5-XXL. Репозиторий содержит версию для Diffusers в формате safetensors. Модель предназначена для создания иллюстраций и дизайна, творческих и образовательных инструментов, а также исследований генеративных моделей. Разработчик отмечает улучшения качества изображений, рендеринга текста, понимания сложных запросов и эффективности использования ресурсов. Поддержка image-to-image упоминается в документации Diffusers. Обучение включало синтетические и отфильтрованные общедоступные данные; в README указаны предварительное обучение на 1 млрд изображений и последующая настройка на эстетических изображениях и предпочтениях. Карточка перечисляет английский язык. Модель не предназначена для достоверного изображения реальных людей и событий; возможны токсичные, предвзятые или нежелательные результаты, поэтому для приложений нужны собственные проверки и меры безопасности. Лицензия Stability Non-Commercial Research Community License не разрешает коммерческое использование без отдельной лицензии Stability AI; также требуется соблюдать Acceptable Use Policy.

VLRM — дообученная методом обучения с подкреплением модель BLIP-2 с языковой частью OPT-2.7B, опубликованная Сашей Куницыным. Она предназначена для генерации описаний изображений: обучение нацелено на более длинные и подробные подписи по сравнению с исходной моделью без дополнительной вычислительной нагрузки при генерации. В карточке приведены основной чекпойнт VLRM и вариант VLRM-RS. Модель принимает изображение и выдаёт текстовое описание; пример в карточке описывает сцену с женщиной и собакой. Архитектура относится к семейству BLIP-2, веса доступны в формате Safetensors, а также описана загрузка RL-настроенных весов поверх Salesforce/blip2-opt-2.7b. Карточка указывает английский язык и лицензию MIT.

thwri опубликовал дообученную версию Florence-2-large от Microsoft для создания описаний изображений. Модель обучена на 40 000 изображений из поднабора Ejafa/ye-pop с подписями, сгенерированными THUDM/cogvlm2-llama3-chat-19B. Модель принимает изображение и формирует текстовое описание; в метаданных также заявлены задачи генерации текста и описания изображений. Основа Florence-2-large поддерживает описание изображений, обнаружение и локализацию объектов, сегментацию и OCR по текстовым запросам, однако README описывает дообучение именно для captioning. Карточка не сообщает размер контекста или точный размер модели. Модель распространяется по лицензии MIT.

ERNIE-Image — открытая модель генерации изображений по тексту, разработанная командой ERNIE-Image компании Baidu. Она построена на архитектуре однотокового Diffusion Transformer (DiT) с 8 млрд параметров и использует лёгкий модуль Prompt Enhancer, который расширяет краткие запросы в более подробные описания. Модель работает через Diffusers и распространяется в форматах Diffusers и safetensors. Модель предназначена для создания изображений по сложным инструкциям, в том числе рекламных плакатов, комиксов, раскадровок, инфографики и многопанельных композиций. Её особенности — точное следование запросам, размещение объектов и текста в заданной структуре, а также поддержка фотореалистичных и стилизованных изображений. Для стандартной версии рекомендованы 50 шагов генерации; авторы указывают, что модель может работать на потребительской видеокарте с 24 ГБ VRAM. ERNIE-Image выпущена как SFT-модель общего назначения. В карточке также описана отдельная версия ERNIE-Image-Turbo, но этот репозиторий относится к обычной версии. Модель доступна по лицензии Apache-2.0. Результаты бенчмарков приведены авторами; качество зависит от запроса и параметров генерации.

noamrot/FuseCap_Image_Captioning — модель на архитектуре BLIP для создания семантически насыщенных описаний изображений. Она основана на подходе FuseCap, который использует большие языковые модели для обогащения подписей к изображениям; карточка указывает, что демонстрационная BLIP-модель обучена с использованием FuseCap. Модель предназначена для автоматического описания содержимого изображения, в том числе для получения более содержательных подписей, чем простое перечисление видимых объектов. В репозитории указаны формат PyTorch и лицензия MIT. Подробности об обучении, поддерживаемых языках и ограничениях качества в карточке не приведены.

Jotschi дообучил Mistral-7B-v0.1 для генерации подписей к изображениям на немецком языке в стиле COCO. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и рассчитана на контекст до 32 768 токенов. Для генерации используется текстовый префикс «Bildbeschreibung:».

Qwen3-VL-8B-Abliterated-Caption-it-GGUF — мультимодальная модель для понимания изображений и генерации текста, разработанная prithivMLmods. Она является GGUF-версией дообученной модели Qwen3-VL-8B-Abliterated-Caption-it, созданной на основе Qwen3-VL-8B-Instruct и адаптированной для подробного, менее ограниченного описания изображений. Модель предназначена прежде всего для image captioning и image-to-text задач: формирования детализированных описаний изображений, включая сцены со сложным, чувствительным или неоднозначным содержанием. Указана поддержка языков English, Chinese и Thai, а также различных соотношений сторон и разрешений изображений. Модель относится к классу VLM и использует архитектуру Qwen3-VL с 8B параметров; для обработки изображений требуется совместимый mmproj-файл. Распространяется в многочисленных GGUF-квантизациях от IQ1 и Q2_K до Q8_0, а также в формате F16 размером 16,4 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти. README не содержит результатов бенчмарков, точного размера контекста или подробностей аппаратных требований, поэтому производительность и пригодность для конкретных сценариев следует проверять отдельно. Модель и файлы распространяются по лицензии Apache-2.0.

Re3Cap-CLIP-InternVL3-8B — мультимодальная модель для описания изображений, дообученная на базе OpenGVLab/InternVL3-8B-Instruct методом GRPO. Она использует стратегию Re³Cap: Caption Refinement Suggester и Caption Quality Assessor помогают находить галлюцинации и пропуски в подписи и уточнять её. В качестве сигнала вознаграждения применяется сходство изображения и сгенерированной подписи по CLIP. Модель предназначена для создания более точных и подробных подписей к изображениям без дополнительной разметки. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Метаданные также указывают поддержку диалога и интерфейс вызова инструментов, а базовая модель описана как способная работать с изображениями и видео. В карточке самой модели видео не заявлено.

SigLIP base patch16 384 — мультимодальная модель Google для сопоставления изображений и текста, предварительно обученная на англоязычных парах WebLI. Она использует архитектуру SigLIP и sigmoid loss для обучения на парах изображение–текст; входные изображения обрабатываются с разрешением 384×384, а текст токенизируется с ограничением в 64 токена. Модель подходит для классификации изображений по текстовым меткам без дополнительного обучения и для поиска изображений по текстовому запросу или текста по изображению. Модель принимает изображения и текст, а для задач поиска формирует совместимые представления изображения и текста. Обучение проводилось на 16 TPU-v4 в течение трёх дней. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Модель обучалась на англоязычных данных, поэтому её текстовые возможности в первую очередь рассчитаны на английский. Результаты зависят от формулировок текстовых меток и запроса; карточка рекомендует применять её для задач классификации и поиска по парам изображение–текст.

Карточка модели Skywork/SkyReels-V3-R2V-14B на Hugging Face совпадает с карточкой Skywork/SkyReels-V3-A2V-19B, поэтому описание составлено по ней. SkyReels-V3-A2V-19B — модель генерации видео SkyReels от команды Skywork, предназначенная для создания видеороликов по изображению и аудиодорожке. Карточка описывает семейство SkyReels V3 как мультимодальную систему на основе диффузионного Transformer с согласованием аудио и видео; обозначение A2V указывает на сценарий генерации видео с аудиосопровождением, а 19B — на размер модели в 19 млрд параметров. Модель подходит для создания говорящих аватаров и видео с синхронизацией движений губ с речью или пением. Семейство также заявляет сохранение внешности персонажа, выразительную мимику и поддержку генерации по изображениям людей, аниме-персонажей, животных и иллюстраций. В README упомянуты китайский, английский и корейский языки, однако в метаданных карточки языковые теги отсутствуют. В репозитории указаны веса PyTorch в формате safetensors и лицензия типа other; конкретные условия лицензии следует проверять в карточке модели. README заявляет высокое качество синхронизации губ и длительную генерацию, но не приводит независимой оценки именно этого чекпойнта. Практическое применение требует совместимой среды для инференса видео-диффузионных моделей.

Stable Diffusion 3.5 Large Turbo — модель Stability AI для генерации изображений по текстовым запросам. Она построена на архитектуре Multimodal Diffusion Transformer (MMDiT), использует три предварительно обученных текстовых энкодера и нормализацию QK. Дистилляция Adversarial Diffusion Distillation позволяет получать изображения за четыре шага генерации. Модель предназначена для создания иллюстраций и материалов для дизайна, творческих и образовательных инструментов, а также для исследований генеративных моделей. В карточке отмечены улучшения качества изображений, отображения текста, понимания сложных запросов и эффективности использования ресурсов. Указаны английские языковые метаданные; текстовые энкодеры CLIP и T5 обрабатывают запросы с контекстом до 77 или 256 токенов в зависимости от этапа обучения. Модель выпущена по Stability Community License; для коммерческого лицензирования Stability AI предлагает обращаться отдельно. Она не предназначена для достоверного изображения реальных людей и событий. Защитные меры не гарантируют устранение всего вредного контента, поэтому разработчикам следует проверять результаты и применять подходящие фильтры.

wkcn/TinyCLIP-ViT-61M-32-Text-29M-LAION400M — компактная модель семейства CLIP, основанная на совместном представлении изображений и текста. Она создана в рамках работы TinyCLIP, посвящённой дистилляции крупных моделей CLIP методом имитации близости и наследования весов. Конкретная конфигурация использует визуальный энкодер ViT на 61 млн параметров и текстовый энкодер на 29 млн параметров; модель предобучена на LAION-400M. Модель предназначена для классификации изображений по текстовым описаниям без отдельного дообучения на целевых классах: пользователь передаёт изображение и варианты подписей, а модель оценивает их соответствие. Это подходит для категоризации изображений по заданным меткам и поиска подходящей подписи. В README TinyCLIP описан как способ получить более компактные и быстрые модели с конкурентным качеством, однако приведённые показатели относятся к другим конфигурациям, поэтому их нельзя напрямую переносить на этот чекпойнт. Лицензия — MIT.

timm/ViT-B-16-SigLIP2 — визуально-языковая модель семейства SigLIP 2, обученная на наборе WebLI и преобразованная из исходных контрольных точек JAX проекта Big Vision для использования в OpenCLIP. Это контрастивный энкодер изображений и текста, предназначенный для классификации изображений без дополнительного обучения: пользователь задаёт текстовые описания классов, а модель сопоставляет их с изображением. Модель принимает изображения и текстовые описания, оценивает их соответствие и подходит для поиска изображений по тексту и классификации с произвольными текстовыми метками. В карточке указана поддержка многоязычного визуально-языкового обучения SigLIP 2; конкретные языки этой версии не перечислены. Модель распространяется в форматах PyTorch и safetensors и доступна на условиях Apache-2.0. Это конверсия исходных контрольных точек, а не отдельное дообучение. Карточка не сообщает конкретный размер модели, длину контекста или ограничения качества; результаты могут зависеть от формулировок текстовых меток и домена изображений.

Wan2.1 I2V-14B-480P — разработанная командой Wan-AI модель генерации видео из изображения. Она принимает исходное изображение и может использовать текстовый запрос, чтобы создать видео с сохранением соотношения сторон исходника; эта версия рассчитана на разрешение 480p. Модель построена на архитектуре diffusion transformer и использует разработанный для видео 3D причинный VAE Wan-VAE, который кодирует временную структуру.

zai-org представила CogVLM — открытую визуально-языковую модель для диалога по изображениям. Вариант в этом репозитории содержит 6,6 млрд параметров и использует архитектуру CogVLMForCausalLM; в README для семейства описаны визуальный энкодер ViT, MLP-адаптер, предварительно обученная языковая модель GPT и модуль визуального эксперта. Максимальная длина контекста — 2048 токенов. Модель предназначена для описания изображений, ответов на вопросы о них и задач визуального понимания, включая распознавание объектов и чтение текста на изображении. README приводит результаты семейства CogVLM на бенчмарках для генерации подписей, визуальных вопросов и локализации объектов. Метаданные указывают формат safetensors. Сведения о лицензии и ограничениях применения в предоставленных материалах отсутствуют.

Карточка модели rahulshendre/deepfake-detector-model-v1 на Hugging Face совпадает с карточкой prithivMLmods/deepfake-detector-model-v1, поэтому описание составлено по ней. deepfake-detector-model-v1 — модель классификации изображений от prithivMLmods, дообученная на базе SigLIP для бинарного определения, является ли изображение реальным или синтетически созданным. Она использует архитектуру SiglipForImageClassification и рассчитана на проверку подлинности визуальных материалов, предварительную модерацию контента и поддержку цифровой экспертизы. В отчёте для тестовой выборки указана точность 94,44%; эта метрика сама по себе не гарантирует качество на новых источниках изображений и при иных способах генерации или манипуляции. Модель работает с изображениями и выдаёт метку класса. Лицензия репозитория — Apache-2.0.

GIT-large-R-COCO — модель Microsoft для генерации описаний изображений. Это декодерный Transformer семейства GIT (GenerativeImage2Text), который получает визуальные токены изображения от CLIP и текстовые токены; размер модели — 80,1 млн параметров, длина контекста — 1024 токена. Чекпойнт дообучен на COCO; суффикс R означает повторное обучение с удалением части оскорбительных подписей из набора CC12M. Модель предназначена прежде всего для автоматического создания текстовых подписей к изображениям. Архитектура также позволяет задавать вопросы об изображении или получать текстовую метку класса, но эти сценарии не обозначены как основная настройка данного чекпойнта. Карточка описывает обучение на парах изображение—текст и приводит сведения о предварительной обработке изображений; результаты оценки отсылаются к статье. Модель принимает изображения и выдаёт текст на английском языке. Распространяется под лицензией MIT. Как и другие генераторы подписей, может ошибаться в деталях сцены или формулировать неподтверждённые изображением сведения; для результатов оценки следует обратиться к публикации.

AvoCahDoe/invoice-layout-yolov8n — дообученная AvoCahDoe модель YOLOv8n для обнаружения областей на страницах счетов-фактур. Она выделяет восемь типов блоков: метаданные счёта, данные продавца и покупателя, таблицу, строки товаров, сводку, платёжные сведения и заголовки столбцов. Модель принимает изображения страниц документов; размер входа для примеров работы — 1024 пикселя. Число параметров базовой архитектуры YOLOv8n — 3,0 млн, вычислительная сложность — 8,1 GFLOPs. Модель предназначена для предварительной разметки структуры счёта перед извлечением текста и полей с помощью OCR или последующей системы обработки документов. В README приведены метрики на тестовой выборке из семи изображений: mAP50 0,96 и точность 0,9502; размер выборки ограничен, поэтому эти результаты не гарантируют аналогичное качество на иных типах счетов. Поддерживаются счета на английском и немецком языках. Лицензия — Apache-2.0.

Lh41-1042-Magellanic-7B-0711-i1-GGUF — квантизированная версия мультимодальной vision-модели Lh41-1042-Magellanic-7B-0711, разработанной prithivMLmods и подготовленной в формате GGUF пользователем mradermacher. Модель предназначена для обработки изображений и текста, включая генерацию подписей к изображениям, оптическое распознавание символов и визуальное понимание. В README заявлена поддержка английского и китайского языков. Модель имеет размер 7B параметров и поставляется в виде weighted/imatrix-квантизаций с различными уровнями точности и размером файлов примерно от 2,0 до 6,4 ГБ. Доступны варианты IQ и Q-квантизации; Q4_K_M отмечен как рекомендуемый баланс скорости, размера и качества. Для работы с визуальными входными данными могут потребоваться дополнительные mmproj-файлы из статического репозитория. Архитектура и размер контекстного окна в представленных данных не указаны. Основные преимущества — поддержка визуальных задач, наличие компактных квантизированных вариантов и возможность локального запуска через совместимое с GGUF программное обеспечение. Ограничения связаны с потерями качества у низкобитных квантизаций: некоторые варианты прямо обозначены как низкокачественные или предназначенные для случаев с жёсткими ограничениями по памяти. Модель распространяется по лицензии Apache-2.0.

Xenova/mobileclip_s2 — экспорт модели MobileCLIP S2 в формате ONNX, подготовленный Xenova для совместимости с библиотекой Transformers.js. Модель семейства CLIP сопоставляет изображения с текстовыми описаниями и предназначена для классификации изображений по произвольным текстовым категориям без отдельного обучения классификатора; её можно использовать в JavaScript-приложениях, поддерживающих Transformers.js. Модель принимает изображения и текстовые варианты категорий и выдаёт оценки соответствия, на основе которых выбирается наиболее подходящая категория. В карточке подтверждены формат ONNX и задача zero-shot image classification. Лицензия указана как other, поэтому конкретные условия использования по имеющимся сведениям определить нельзя.

NLLB-CLIP-Large-SigLIP — мультиязычная модель для сопоставления изображений и текста, объединяющая текстовый энкодер NLLB и визуальный энкодер SigLIP. Её можно применять для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт варианты подписей, а модель оценивает их соответствие изображению. Модель расширяет возможности CLIP на 201 язык набора Flores-200 и, согласно карточке, особенно хорошо работает с языками с ограниченными ресурсами. В README заявлено, что версия превосходит стандартный вариант и показывает state-of-the-art результат на Crossmodal-3600. Модель интегрирована с OpenCLIP; веса доступны в формате PyTorch. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение. Карточка не приводит численный размер модели или длину контекста.

P2R-8B — модель тонкой настройки на 8 млрд параметров, разработанная авторами работы Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning на основе Qwen/Qwen3-VL-8B-Instruct. Она использует двухэтапный подход P2R, разделяющий восприятие визуальных деталей и последующее рассуждение; обучение проводилось с помощью стратегии обучения с подкреплением PRA-GRPO. Модель предназначена для детального визуального анализа и ответов на вопросы об изображениях. В README приведены результаты на V-Star, HR-Bench-4K, HR-Bench-8K и MME-RealWorld-Lite, где P2R-8B превосходит исходную Qwen3-VL-8B-Instruct по указанным метрикам. Она принимает изображения и текстовые запросы и генерирует текст. Доступна в формате safetensors для Transformers; лицензия — Apache-2.0.

google/pix2struct-textcaps-large — крупная модель семейства Pix2Struct от Google для создания текстовых описаний изображений. Это архитектура «визуальный энкодер — текстовый декодер», обученная на парах изображение–текст; предварительное обучение включало преобразование замаскированных снимков веб-страниц в упрощённый HTML. Модель принимает изображение и генерирует текст, в том числе подпись к изображению; семейство также применяют к визуальным вопросам и задачам понимания документов, иллюстраций, интерфейсов и обычных фотографий. В README указана обучающая длина последовательности 4096; при уменьшении числа патчей для экономии памяти качество может снижаться, особенно при значениях ниже 1024. Репозиторий содержит веса PyTorch. Модель распространяется по лицензии Apache-2.0.

AXERA-TECH 提供的 Qwen3-VL-2B-Instruct-GPTQ-Int4 是面向 AXera AX650 NPU 的视觉но-языковая модель, конвертированная с квантизацией w4a16. Она принимает изображения и видео для анализа с текстовым ответом; карточка приводит результаты обработки одного изображения и восьми видеокадров на AX650, а также требования к памяти и скорость генерации. Репозиторий заявляет совместимость с Pulsar2 5.0 и запуск через axllm, в том числе с OpenAI-совместимым интерфейсом. Модель основана на Qwen3-VL и рассчитана на локальный запуск на поддерживаемых устройствах AXera. Лицензия — MIT.

SigLIP Large Patch16 384 — мультимодальная модель Google для сопоставления изображений и текста. Она предварительно обучена на англоязычных парах изображение–текст из набора WebLI и использует функцию потерь на основе сигмоиды, предложенную в работе Sigmoid Loss for Language Image Pre-Training. Модель принимает изображения с разрешением 384×384 и текстовые запросы длиной до 64 токенов. Модель предназначена для классификации изображений без примеров обучения по заданным текстовым меткам, а также для поиска соответствий между изображениями и текстом. Её можно применять для классификации изображений по описаниям и поиска изображений по текстовому запросу или текста по изображению. Текстовая часть обучалась на английских данных, поэтому поддержка других языков не подтверждена. Весовые файлы опубликованы в формате Safetensors. Модель распространяется по лицензии Apache-2.0. Качество может зависеть от формулировки текстовых меток и распределения данных; карточка не приводит конкретных ограничений по применению.

StableAvatar — модель генерации видео с анимацией аватара под аудио. Её разработали исследователи из Фуданьского университета, Microsoft Research Asia, Сианьского университета Цзяотун и Tencent. Карточка описывает модель как дообучение Wan2.1 T2V-14B, а README также упоминает базовую версию StableAvatar-1.3B на основе Wan2.1-1.3B. На вход модель получает изображение человека и аудио, а на выходе создаёт видео с синхронизированной речью анимацией лица и сохранением идентичности персонажа. Она предназначена для генерации длинных, потенциально бесконечных роликов; README сообщает о разрешениях 480×832, 832×480 и 512×512 для версии на 1,3 млрд параметров. Для плавности между сегментами применяются скользящее окно с динамическим взвешиванием, а архитектура включает аудиоадаптер с учётом шага диффузии. Для ролика длительностью 5 секунд при 480×832 требуется около 18 ГБ видеопамяти, а генерация занимает примерно 3 минуты на RTX 4090. Фоновая музыка и шум могут ухудшать синхронизацию губ; авторы советуют отделять вокал. Репозиторий модели распространяется по лицензии MIT.

Карточка модели frankjoshua/stable-diffusion-3.5-medium на Hugging Face совпадает с карточкой stabilityai/stable-diffusion-3.5-medium, поэтому описание составлено по ней. Stable Diffusion 3.5 Medium — модель Stability AI для генерации изображений по текстовому описанию. Она использует архитектуру Multimodal Diffusion Transformer MMDiT-X с тремя предварительно обученными текстовыми энкодерами: OpenCLIP-ViT/G, CLIP-ViT/L и T5-XXL. В архитектуре применяются QK-нормализация и блоки внимания, рассчитанные на повышение связности изображений и устойчивость генерации при разных разрешениях. Модель предназначена для создания иллюстраций и художественных работ, дизайн-процессов, творческих и образовательных инструментов. Она улучшена для передачи сложных запросов и текста в изображениях; авторы также рекомендуют Skip Layer Guidance для более согласованных структуры и анатомии. В README указана длина контекста энкодеров CLIP в 77 токенов и T5 — 77 или 256 токенов на разных этапах обучения. Модель обучалась на разнообразных данных, включая синтетические и отфильтрованные общедоступные материалы. Она не предназначена для достоверного изображения реальных людей и событий; при длинных запросах свыше 256 токенов T5 на краях изображения могут появляться артефакты. Модель распространяется по Stability Community License; для коммерческого лицензирования Stability AI предлагает обращаться отдельно. Использование также должно соответствовать Acceptable Use Policy.

UME-R1-7B — мультимодальная модель на архитектуре Qwen2-VL, разработанная авторами проекта UME-R1. По карточке, модель прошла этапы supervised fine-tuning с холодным стартом и обучения с подкреплением. Она формирует представления текста, изображений, нескольких изображений и видео: поддерживает как различительные, так и генеративные эмбеддинги, а повторная генерация представлений может улучшать результаты при выводе. Модель содержит 7,1 млрд параметров, использует библиотеку Transformers и имеет контекст длиной до 32 768 токенов. Модель предназначена для мультимодального поиска и сопоставления текста с изображениями или видео, а также для задач сравнения и классификации по сходству. В README заявлено, что она превосходит различительные эмбеддинги, но сведения о наборах обучения и оценки отсутствуют, поэтому это утверждение нельзя независимо оценить по карточке. В метаданных указаны чат и зрительные возможности; основной тег задачи — image-text-to-text. Лицензия — Apache-2.0.