I.8Изображения и компьютерное зрение

StanfordAIMI/dinov2-base-xray-224 — модель извлечения признаков изображений на архитектуре DINOv2, разработанная Stanford AIMI в рамках коллекции фундаментальных моделей для радиологии. Она предназначена для получения векторных представлений рентгеновских изображений, которые можно использовать в последующих задачах анализа медицинских снимков. Модель содержит 113,2 млн параметров и распространяется в формате safetensors. Лицензия — Apache 2.0. Карточка не описывает точные сценарии применения и ограничения качества; результаты следует проверять на данных целевой клинической задачи.

DMD2 — модель синтеза изображений из текста, основанная на методе дистилляции Improved Distribution Matching Distillation. Её разработали Tianwei Yin, Michaël Gharbi, Taesung Park, Richard Zhang, Eli Shechtman, Frédo Durand и William T. Freeman. Модель предназначена для быстрой генерации изображений по текстовым запросам. Карточка описывает варианты генерации с UNet за один или четыре шага, а также использование LoRA и T2I Adapter в четырёхшаговом режиме. Модель работает с библиотекой Diffusers; веса представлены в форматах PyTorch и Safetensors. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. В карточке не приведены сведения о размере модели, поддерживаемых языках запросов и длине контекста.

EndoCoT — исследовательская модель и подход к пошаговому рассуждению в диффузионных моделях, разработанные командой InternLM. Этот чекпойнт дообучен на основе Qwen/Qwen-Image-Edit-2511 и предназначен для редактирования изображений по текстовым инструкциям с промежуточными шагами латентного рассуждения. Модель принимает изображение и текстовую инструкцию и создаёт отредактированное изображение. В README показан сценарий с задачей Maze и входным изображением головоломки; авторы сообщают, что подход превосходит обычные методы обучения на Qwen-Image-Edit-2511 и позволяет получать прозрачные промежуточные траектории рассуждений. Репозиторий предоставляет веса в формате Diffusers и Safetensors, а также код обучения. Для изменения числа шагов рассуждения требуется вручную править параметры в реализации пайплайна; авторы отмечают, что настройка пока устроена просто и планируется её улучшение. Лицензия модели — MIT. Данные обучения обозначены в метаданных как internlm/EndoCoT-Data.

FLUX.2 Klein 9B Nunchaku Lite NVFP4 r32 — конвертированная и квантованная сборка модели black-forest-labs/FLUX.2-klein-9B, подготовленная автором репозитория для загрузки через Diffusers. Модель предназначена для генерации изображений по текстовым запросам; базовая FLUX.2 Klein также поддерживает редактирование изображений с референсами. В репозитории трансформер использует NVFP4 SVDQ с группой 16 и рангом 32, отдельные слои оставлены в bf16, а текстовый энкодер квантован в 4-битный NF4 с вычислениями bf16. Сборка рассчитана на снижение времени генерации и потребления видеопамяти: в описанном тесте на RTX PRO 4000 Blackwell она показала 2,48 с и 8,32 GiB при генерации 1024×1024 за 4 шага. Для запуска нужны Diffusers с поддержкой квантайзера nunchaku_lite и пакет kernels; NVFP4 требует видеокарту NVIDIA Blackwell или новее и не поддерживается на Hopper. Лицензия указана как other, конкретные условия следует сверить с лицензиями базовой модели и репозитория.

lspindler/flux2-lspindler — это модель семейства FLUX.2 [klein], разработанного Black Forest Labs. Компактная архитектура rectified flow transformer с 4 млрд параметров объединяет генерацию изображений по тексту и редактирование изображений, включая работу с несколькими референсами. Модель рассчитана на интерактивные сценарии с низкой задержкой и может запускаться локально на потребительских GPU примерно с 13 ГБ видеопамяти; для инференса доступны Diffusers и ComfyUI. Модель подходит для создания изображений по описаниям и редактирования исходного изображения по текстовым инструкциям и референсам. README заявляет генерацию менее чем за секунду в некоторых условиях, но результат зависит от оборудования и настроек. Модель не предназначена для выдачи достоверных фактов; следование запросу может быть неполным, а текст внутри изображений — искажённым. Возможны смещения, связанные с обучающими данными. Лицензия Apache 2.0 допускает коммерческое использование; в карточке также перечислены ограничения на отдельные виды применения.

InternViT-300M-448px-V2_5 — визуальный энкодер OpenGVLab, дообученный на основе OpenGVLab/InternViT-300M-448px методом инкрементального обучения ViT с NTP loss. Модель содержит 402,7 млн параметров и предназначена для извлечения признаков изображений, в частности как визуальная основа мультимодальных языковых моделей. Обновление улучшает представление визуальной информации, особенно для многоязычного OCR и математических диаграмм, которые слабее представлены в крупных веб-датасетах. Архитектура InternViT применяется в связке ViT-MLP-LLM; стратегия высокого разрешения делит изображения на плитки 448×448 пикселей. Репозиторий содержит веса в формате safetensors. Модель принимает изображения и выдаёт визуальные признаки. Авторы отмечают, что семейство V2.5 лучше подходит для построения мультимодальных языковых моделей, чем для традиционных задач компьютерного зрения. Лицензия — MIT.

InternViT-6B-448px-V2_5 — визуальный энкодер OpenGVLab на архитектуре InternViT, дообученный на основе InternViT-6B-448px-V1-5 методом инкрементального обучения ViT с NTP loss. Модель содержит 7,4 млрд параметров и предназначена для извлечения признаков изображений; её используют как визуальный backbone при построении мультимодальных языковых моделей. Энкодер рассчитан на обработку изображений высокого разрешения с разбиением на тайлы 448×448 пикселей. Улучшения особенно заметны на многоязычных OCR-данных и математических графиках, недостаточно представленных в крупных веб-наборах данных. Семейство InternVL 2.5 также поддерживает сценарии с несколькими изображениями и видео, однако эта карточка относится к энкодеру и указывает задачу извлечения признаков изображений. Модель распространяется под лицензией MIT. Авторы отмечают, что серия V2.5 больше подходит для создания мультимодальных языковых моделей, чем для традиционных задач компьютерного зрения.

Janus-Pro-1B — мультимодальная авторегрессионная модель от DeepSeek для совместного понимания изображений и генерации изображений. Она построена на базе DeepSeek-LLM-1.5b-base и использует единую архитектуру MultiModalityCausalLM с отдельными визуальными путями для понимания и генерации. Для анализа изображений модель использует визуальный энкодер SigLIP-L, принимающий изображения размером 384 × 384 пикселя. Для генерации изображений применяется отдельный токенизатор с коэффициентом уменьшения разрешения 16. Модель предназначена для мультимодальных сценариев, где требуется сочетать визуальный ввод и генерацию; README характеризует её как универсальную модель понимания и генерации. Модель распространяется под лицензией MIT. В README не приведены оценки качества для конкретных задач и подробные ограничения применения; заявленные авторами результаты не заменяют независимой проверки.

AlperKTS/Krea-2-SVDQuant-ComfyUI — это набор квантизированных контрольных точек модели Krea 2, подготовленный для ComfyUI на базе Comfy-Org/Krea-2. Модель предназначена для генерации изображений по текстовому описанию и доступна в вариантах Krea 2 Turbo и базовой версии. Turbo является дистиллированным вариантом и рассчитан на генерацию за 8 шагов, тогда как базовая версия использует примерно 50 шагов и CFG 3.5. Основная особенность проекта — квантизация SVDQuant и native W4A4/INT4, уменьшающая размер файлов и ускоряющая работу по сравнению с распространённой версией FP8. Доступны standalone-варианты DiT размером около 7,5–9,1 ГБ, а также объединённая контрольная точка размером 12,77 ГБ, содержащая DiT, 4-битный текстовый энкодер Qwen3-VL 4B и VAE. Поддерживаются рабочие процессы ComfyUI, включая использование LoRA в вариантах с rank 256. Проект ориентирован на современные видеокарты NVIDIA с tensor cores, начиная с RTX 20-й серии. Для работы требуется сборка PyTorch с CUDA 13 или новее; при использовании более старых сборок квантизированные модели могут перейти на медленный Python-бэкенд. В README не указаны полный перечень поддерживаемых языков, максимальный контекст или точные архитектурные размеры базовой модели. Модель распространяется по лицензии Krea 2 Community License; условия приведены по ссылке https://www.krea.ai/krea-2-licensing.

alexander1i/lustify-sdxl-inpaint-endpoint — модель генерации и редактирования изображений на основе Stable Diffusion XL, подготовленная для работы с inpainting через библиотеку Diffusers. По README, для загрузки используется чекпойнт andro-flock/LUSTIFY-SDXL-NSFW-checkpoint-v2-0-INPAINTING; метаданные указывают формат Diffusers и веса Safetensors. Модель принимает текстовые запросы и изображения для генерации или изменения изображения по описанию. Модель подходит для заполнения или замены областей изображения и генерации изображений по тексту. README не описывает обучение, размер, контекст или языковую специализацию модели. Указанная лицензия — CreativeML OpenRAIL-M; модель ориентирована на откровенный контент.

Qwen2.5-VL-7B-Abliterated-Caption-it — дообученная PrithivMLmods мультимодальная модель для создания подробных описаний изображений. Она основана на Qwen/Qwen2.5-VL-7B-Instruct и предназначена для генерации развернутых подписей к обычным, художественным, техническим, абстрактным и стилизованным изображениям, включая контент, который другие модели могут фильтровать. Модель принимает изображение и текстовую инструкцию, отвечает текстом и поддерживает разные соотношения сторон и разрешения; основной язык вывода — английский, также заявлена генерация на других языках. Модель использует архитектуру Qwen2.5-VL с 7,1 млрд параметров и распространяется в формате safetensors для Transformers. Её можно применять для подготовки описаний визуальных наборов данных, творческих сценариев и исследований модерации и безопасности. Обозначение abliterated указывает на ослабление обычных фильтров; это повышает риск нежелательных описаний. Лицензия — Apache-2.0.

Qwen-Image-2512 FP8 Scaled — это версия модели Qwen/Qwen-Image-2512, преобразованная разработчиком ingtellect в формат FP8 scaled, совместимый с ComfyUI. Модель предназначена для генерации изображений по текстовому описанию и интеграции в рабочие процессы ComfyUI; также относится к экосистеме Diffusers и помечена как совместимая с LoRA. Ключевая особенность — квантованный формат FP8 scaled на основе исходного BF16-чекпойнта. В файле присутствуют метаданные квантования и масштабирование весов по слоям с использованием скалярных значений float32. Сведения о размере модели, поддерживаемых языках, максимальном контексте и дополнительных модальностях не указаны. Релиз ориентирован прежде всего на использование в ComfyUI и служит эталонной конвертацией. Ограничением является отсутствие гарантий поддержки и сопровождения со стороны автора конвертации. Указана лицензия Apache-2.0.

byteshape/Qwen-Image-2512-GGUF — GGUF-квантизированная версия диффузионной модели Qwen-Image-2512, разработанная ByteShape с использованием ShapeLearn. Модель предназначена для генерации изображений по текстовому описанию и запускается в ComfyUI через расширение ComfyUI-GGUF, а также в stable-diffusion.cpp. Доступно шесть вариантов размером от 7,77 до 16,87 ГБ и с плотностью от 3,04 до 6,61 бит на вес. ShapeLearn подбирает тип данных для отдельных тензоров, чтобы сохранить качество при низкой разрядности. Квантизация снижает требования к VRAM и позволяет использовать модель на видеокартах с разным объёмом памяти; при нехватке памяти ComfyUI может выгружать части модели в оперативную память. Текстовый энкодер и VAE загружаются отдельно. Модель сохраняет высокое качество генерации, включая отображение текста на изображениях, однако при меньшей разрядности могут ухудшаться детали сцены и изменяться отдельные элементы композиции. Квантизация не гарантирует ускорения диффузионного вывода: по приведённым данным, на NVIDIA RTX 5090 один шаг занимает около 1,2 секунды, а генерация за 20 шагов — около 24 секунд. Языки, размер контекста и точная архитектура базовой модели в README не указаны. Распространяется по лицензии Apache 2.0.

Phil2Sat/Qwen-Image-Edit-Rapid-AIO-GGUF — это GGUF-квантизированная версия модели Qwen-Image-Edit-Rapid-AIO, опубликованная пользователем Phil2Sat и основанная на компонентах Phr00t/Qwen-Image-Edit-Rapid-AIO, Qwen/Qwen-Image-Edit-2509 и lightx2v/Qwen-Image-Lightning. Модель предназначена для генерации изображений по текстовому описанию и редактирования существующих изображений в ComfyUI, включая сценарии с быстрым результатом примерно за четыре шага. В поставку также включены NSFW- и Lightning-LoRA, однако это не полностью автономный пакет AIO. Модель использует формат GGUF и работает с текстовым энкодером Qwen2.5-VL-7B-Instruct-abliterated либо с рекомендованным в README стандартным текстовым энкодером. Поддерживаются текстовые и визуальные входы для задач text-to-image и image-to-image; конкретный набор языков и размер контекстного окна не указан. Для работы необходимы отдельные текстовый энкодер и VAE, поскольку упаковать их в GGUF не удалось. Также требуется разместить файл mmproj рядом с GGUF-файлом текстового энкодера и заменить узел nodes_qwen.py в ComfyUI на исправленную версию. Сильными сторонами являются поддержка ускоренной генерации и редактирования изображений, совместимость с ComfyUI и наличие вариантов квантования, включая Q2_K и Q5_K_M. Ограничения связаны с необходимостью ручной установки дополнительных компонентов и исправленного узла ComfyUI, а также с возможным снижением качества при использовании более агрессивного квантования. В README указана лицензия Apache-2.0.

AvaXiao/ReToken-InternVL3.5-8B — модель на базе InternVL3.5-8B с методом ReToken для визуального поиска. ReToken добавляет обучаемый токен-запрос, который выбирает из предварительно заполненного визуального KV-кэша разреженный набор визуальных токенов, релевантных запросу. Репозиторий связан с работой «ReToken: One Token to Improve Vision–Language Models for Visual Retrieval». Модель принимает изображения и текстовые запросы и предназначена для визуального поиска по содержимому изображений. Весы опубликованы в формате safetensors, лицензия — MIT. README не уточняет размер контекста, поддерживаемые естественные языки и оценочные показатели качества.

Rex-Thinker-GRPO-7B — мультимодальная модель IDEA-Research для поиска объектов на изображении по текстовому описанию. Она дообучена на Qwen/Qwen2.5-VL-7B-Instruct в два этапа: с учителем на структурированных примерах рассуждений, затем с подкреплением методом GRPO. Модель оценивает предложенные детектором объекты, сопоставляя их с выражением, и возвращает подходящую область или воздерживается от выбора, если совпадения нет. Модель предназначена для задач referring expression grounding: например, найти на изображении «красную чашку слева от ноутбука». Она принимает изображение и текстовое выражение, а для работы использует кандидатов областей от open-vocabulary детектора, такого как Grounding DINO. Архитектура основана на Qwen2.5-VL, размер — 7,1 млрд параметров, заявленный контекст — 128 000 токенов. Карточка описывает английский язык; сведения о поддержке других языков не приведены. Структурированные шаги рассуждения повышают интерпретируемость сопоставления и позволяют отказаться от неподходящего кандидата. Качество зависит от кандидатов, предложенных детектором, и модель рассчитана на визуальное понимание объектов по текстовым описаниям. Лицензия в предоставленных данных не указана.

Qwen3-VL-4B-SAMTok Composite — самодостаточная составная модель с кодом для Transformers, объединяющая Qwen3-VL и декодер масок SAMTok VQ-SAM2. Репозиторий содержит веса Qwen3-VL, декодер SAMTok и контрольную точку энкодера изображений SAM2.1 Hiera Large; заявленная архитектура — составная SAMTokCompositeModel, а формат весов — safetensors. Модель предназначена для диалоговой работы с изображениями и задач зрения; README указывает, что она принимает обычные вызовы Qwen3-VL. Метаданные классифицируют её как image-text-to-text и отмечают поддержку чата и зрения. Лицензия и поддерживаемые языки не приведены в доступных сведениях, поэтому их нельзя уточнить.

Это зеркало модели Stable Diffusion 2.1 Base, размещённое для использования в качестве зафиксированной зависимости проекта Click2Mask, принятого на AAAI 2025. В карточке указано, что веса идентичны оригинальной модели; репозиторий содержит модель в формате Diffusers с файлами safetensors. Модель предназначена для генерации изображений по текстовому описанию. Базовая модель разработана Stability AI. Репозиторий указывает лицензию OpenRAIL++; подробности об ограничениях использования следует сверять с условиями этой лицензии и документацией оригинальной модели. В README не приведены сведения о размере модели, длине контекста, поддерживаемых языках или специальных ограничениях качества.

byliutao/stable-diffusion-3-medium-turbo — модель для генерации изображений по текстовому описанию, опубликованная пользователем byliutao. README описывает применение дистилляции диффузионных моделей для генерации за небольшое число шагов и связывает подход с Continuous-Time Distribution Matching (CDM), динамическим расписанием времени и согласованием условий текста и распределения изображений. Репозиторий содержит модель в форматах Diffusers и safetensors, предназначенную для конвейера StableDiffusion3Pipeline. Метаданные классифицируют её как text-to-image. README не приводит точный размер модели, длину контекста, перечень поддерживаемых языков или условия лицензии, поэтому эти характеристики не включены.

Это веса T2I-Adapter для Stable Diffusion XL Base 1.0, опубликованные SargeZT. Адаптер использует карту сегментации как дополнительное условие при генерации изображений по текстовому запросу. В README приведены примеры сцен с животными, людьми и предметами; веса предназначены для подключения к совместимому конвейеру Diffusers со Stable Diffusion XL. Для инициализации T2I требуется собственный код. Модель является производным адаптером базовой модели stabilityai/stable-diffusion-xl-base-1.0 и распространяется в форматах PyTorch и safetensors по лицензии CreativeML Open RAIL-M. README не сообщает размер весов, поддерживаемые языки или ограничения качества; применимость зависит от совместимого конвейера и наличия карты сегментации.

VBVR-Pro-Wan2.2-I2V-A14B — дообученная Video-Reason модель Wan2.2-I2V-A14B для генерации видео по изображению и текстовой инструкции. Она предназначена для задач визуального рассуждения, в которых нужно показать развитие сцены во времени, например отслеживание изменений состояния объектов. Модель использует архитектуру Wan2.2-I2V с отдельными диффузионными трансформерами для высокого и низкого уровней шума; адаптеры rank 32 уже объединены с весами экспертов. Репозиторий содержит веса в формате Diffusers и safetensors, поэтому отдельная загрузка адаптеров не требуется. Модель обучена на VBVR-Dataset и входит в исследовательский набор VBVR-Pro: в README описаны 300 процедурно созданных задач визуального рассуждения и перенос на внешние тесты. Для запуска предназначена библиотека Diffusers. Базовая модель рассчитана на генерацию видео 480p или 720p по метаданным каталога; поддерживаемые языки включают английский. Лицензия — Apache-2.0.

VILA-HD-8B-PS3-1.5K-C-RADIOv2 — мультимодальная языковая модель NVIDIA для анализа изображений высокого разрешения. Она принимает RGB-изображения и текстовые запросы, а отвечает текстом. Модель предназначена для извлечения визуальных признаков и ответов на вопросы об изображениях; поддерживает изображения размером до 1536 × 1536 пикселей и текстовый контекст до 12 288 токенов. Модель построена на архитектуре LlavaTopDownLlamaModel и основана на PS3-1.5K-C-RADIOv2. Репозиторий содержит веса в формате safetensors. Для запуска предусмотрена интеграция VILA; NVIDIA оптимизирует модели этого семейства для GPU, а в карточке перечислена совместимость с Ampere, Blackwell, Hopper и Jetson. Карточка описывает модель как предназначенную для исследований и разработок. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные материалы на тех же условиях; коммерческое использование не разрешено.

Disty0/Z-Image-Turbo-SDNQ-int8 — это 8-битная квантованная версия модели генерации изображений Tongyi-MAI/Z-Image-Turbo, подготовленная разработчиком Disty0 с использованием SDNQ. Модель предназначена для создания изображений по текстовым описаниям через библиотеку Diffusers и ZImagePipeline. Модель использует INT8-квантование без групп квантования, что рассчитано на более быстрое выполнение INT8 MatMul. Размер модели составляет около 6,2 ГБ против 12,3 ГБ у исходной версии в формате BF16. В README приведён пример генерации изображения размером 1024×1024 за 9 шагов диффузии; поддержка языков и точные архитектурные характеристики базовой модели отдельно не указаны. К сильным сторонам относятся уменьшенный объём хранения и потенциально более высокая скорость вычислений на совместимых GPU AMD, Intel ARC и Nvidia при включении квантованных матричных умножений. INT8 MatMul отключён по умолчанию и требует установки SDNQ; для ускорения также может применяться torch.compile. Модель распространяется по лицензии Apache-2.0.

ckpt/anything-v4.5 — модель генерации изображений по текстовому описанию, опубликованная пользователем или организацией ckpt на Hugging Face. Репозиторий предоставляет веса anything-v4.5 в формате checkpoint и структуру для Diffusers, совместимую с StableDiffusionPipeline. Модель предназначена для преобразования текстовых промптов в изображения и запускается через библиотеку Diffusers. В доступных источниках нет надежных сведений о точном размере, длине контекста, поддерживаемых естественных языках, составе обучающих данных или разработчике исходной модели. Лицензия в карточке модели не указана, поэтому условия использования следует проверять отдельно перед применением.

SargeZT/controlnet-sd-xl-1.0-softedge-dexined — модель ControlNet, разработанная SargeZT на базе Stability AI Stable Diffusion XL Base 1.0. Она предназначена для управляемой генерации изображений по текстовому описанию с сохранением структуры и контуров входного изображения, обработанного методом dexined soft edge. Модель подходит для сценариев text-to-image, где требуется направлять композицию, позы или геометрию объектов с помощью карты мягких границ. Она интегрируется с экосистемой Diffusers и использует архитектуру управления генерацией поверх Stable Diffusion XL. В README не указаны размер весов, точные параметры архитектуры, поддерживаемые языки, максимальная длина контекста и другие количественные характеристики. Сильная сторона модели — возможность сочетать текстовые инструкции с управлением структурой изображения через soft-edge preprocessing. Ограничения и специальные требования к качеству входных карт в README подробно не описаны. Указана лицензия SDXL 1.0 License; в метаданных также обозначена CreativeML Open RAIL-M.

lizhuang144/flan-t5-large-VG-factual-sg — модель семейства T5, разработанная на основе Flan-T5 Large. Она предварительно обучена на наборе данных Visual Genome для сценовых графов, а затем дообучена на FACTUAL для разбора изображений в сценовые графы. Модель предназначена для преобразования текстового представления сцены в структурированное описание объектов и их отношений. В репозитории указаны веса PyTorch и safetensors; размер модели составляет около 385,2 млн параметров, контекст — до 512 токенов. Карточка не сообщает лицензию и подробно не описывает формат входных данных или ограничения качества. Для визуального разбора потребуется соответствующее представление сцены, однако детали его получения не приведены.

FLUX.1 Depth [dev] — модель генерации изображений от Black Forest Labs. Это трансформер rectified flow на 12 млрд параметров, обученный с дистилляцией guidance. Он создаёт изображение по текстовому описанию и использует входное изображение, чтобы сохранять его структуру на основе карты глубины. Модель предназначена для творческих и исследовательских рабочих процессов, где нужно преобразовать или переосмыслить изображение, задавая результат текстом и сохраняя пространственную структуру исходника. Веса доступны для использования с Diffusers через FluxControlPipeline. Качество следования запросу зависит от формулировки промпта, а результат может не соответствовать ему. Лицензия FLUX.1 [dev] Non-Commercial License разрешает личное и научное использование; README также упоминает коммерческое использование, но отсылает к условиям лицензии. Модель не предназначена для выдачи фактической информации. Она может усиливать общественные предубеждения; действуют ограничения на незаконное и вредоносное использование.

MCG-NJU/I3D-ViT — самостоятельный визуальный энкодер на базе Vision Transformer, выпущенный командой MCG-NJU после этапа предварительного обучения визуального энкодера Stage 0, описанного в статье. Репозиторий содержит реализацию VideoChat3VisionModel, конфигурацию зрения и веса ViT; энкодер использовался для инициализации визуальной основы модели MCG-NJU/VideoChat3-4B. Модель предназначена для извлечения признаков из изображений и работы как визуальный компонент более крупной системы. Веса объёмом около 544,9 млн параметров доступны в формате safetensors; заявлена библиотека Transformers. Лицензия Apache-2.0. Карточка не сообщает размер контекста, конкретный список поддерживаемых языков или детальные ограничения качества.

Janus-Pro-7B — мультимодальная авторегрессионная модель DeepSeek для понимания изображений и генерации изображений в единой архитектуре. Она использует отдельные визуальные пути для понимания и генерации, объединённые общей архитектурой трансформера; модель построена на базе DeepSeek-LLM-7B-Base. Для понимания изображений применяется визуальный энкодер SigLIP-L с входным разрешением 384 × 384, а для генерации — отдельный токенизатор изображений с коэффициентом уменьшения разрешения 16. Модель подходит для диалога о содержимом изображений и создания изображений по текстовым запросам. В метаданных Hugging Face указаны задачи any-to-any и text-to-image; карточка также описывает понимание изображений. Репозиторий содержит веса PyTorch и рассчитан на Transformers. Лицензия — MIT. Раздельное кодирование изображения для понимания и генерации призвано уменьшить конфликт между этими функциями. Заявления о сравнительной производительности приведены авторами карточки, но независимые оценки и подробные ограничения там не описаны.

Карточка модели LuckyYang123/Janus-Pro-7B на Hugging Face совпадает с карточкой deepseek-ai/Janus-Pro-7B, поэтому описание составлено по ней. Janus-Pro-7B — мультимодальная авторегрессионная модель DeepSeek для понимания изображений и генерации изображений в единой архитектуре. Она использует отдельные визуальные пути для понимания и генерации, объединённые общей архитектурой трансформера; модель построена на базе DeepSeek-LLM-7B-Base. Для понимания изображений применяется визуальный энкодер SigLIP-L с входным разрешением 384 × 384, а для генерации — отдельный токенизатор изображений с коэффициентом уменьшения разрешения 16. Модель подходит для диалога о содержимом изображений и создания изображений по текстовым запросам. В метаданных Hugging Face указаны задачи any-to-any и text-to-image; карточка также описывает понимание изображений. Репозиторий содержит веса PyTorch и рассчитан на Transformers. Лицензия — MIT. Раздельное кодирование изображения для понимания и генерации призвано уменьшить конфликт между этими функциями. Заявления о сравнительной производительности приведены авторами карточки, но независимые оценки и подробные ограничения там не описаны.