I.8Изображения и компьютерное зрение

guoyww/animatediff-motion-adapter-v1-5-3 — адаптер движения AnimateDiff для моделей Stable Diffusion; карточка описывает метод AnimateDiff, разработанный GuoYWW и участниками проекта. Адаптер добавляет обученные на видеоклипах слои движения в замороженную модель преобразования текста в изображение и применяется к её UNet через MotionAdapter и UNetMotionModel. Модель предназначена для создания видео по текстовому описанию совместно с уже существующей моделью Stable Diffusion для генерации изображений. Она помогает сохранять согласованное движение между кадрами, используя предварительно обученную визуальную модель и извлечённый из видеоклипов априор движения. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой Diffusers. Это адаптер, а не самостоятельная полная модель: для генерации нужны совместимая базовая модель Stable Diffusion и соответствующая конфигурация. Лицензия в предоставленных данных не указана.

AnyFlow-FAR-Wan2.1-14B-Diffusers — 14-миллиардная причинная диффузионная модель для генерации видео, разработанная авторами AnyFlow. Она основана на Wan2.1-T2V-14B-Diffusers и представлена в формате Diffusers с весами Safetensors. Модель поддерживает генерацию видео по текстовому описанию, по изображению и преобразование исходного видео; заявлено разрешение 480p. AnyFlow использует дистилляцию flow map с обучением на собственной политике и допускает выбор произвольного числа шагов инференса одной моделью. Это позволяет получать видео при малом бюджете шагов и постепенно улучшать результат при увеличении их числа. Репозиторий указывает лицензию «other», но конкретные условия в предоставленных данных не раскрыты.

Карточка модели ModelsLab/CLIP-ViT-H-14-laion2B-s32B-b79K на Hugging Face совпадает с карточкой laion/CLIP-ViT-H-14-laion2B-s32B-b79K, поэтому описание составлено по ней. CLIP ViT-H/14 — мультимодальная модель сопоставления изображений и текста, обученная LAION под руководством Ромена Бомона с использованием OpenCLIP на англоязычной подвыборке LAION-2B из LAION-5B. В репозитории используются архитектура CLIPModel и веса в форматах PyTorch и safetensors; библиотека для работы — open_clip. Размер модели и длина контекста в предоставленных данных не указаны. Модель предназначена прежде всего для классификации изображений по произвольным текстовым меткам без специального дообучения, а также для поиска соответствий между изображениями и текстом. Её можно применять в исследованиях и как основу для последующего дообучения задач компьютерного зрения. В README указана точность zero-shot top-1 78,0% на ImageNet-1k. Модель обучалась на английских данных и рассчитана на англоязычные сценарии. Разработчики не рекомендуют развёртывание модели в продуктах и неконтролируемое применение; распознавание лиц и наблюдение обозначены как недопустимые сценарии. Качество зависит от выбранной таксономии классов, поэтому требуется проверка на конкретных данных. Обучающий набор был неотфильтрованным и мог содержать нежелательные материалы. Лицензия репозитория — MIT.

TheDenk/cogvideox-5b-controlnet-hed-v1 — модель генерации и преобразования видео на основе CogVideoX ControlNet с управлением по картам границ HED. Предназначена для создания или изменения видео с сохранением заданной структуры контуров; README содержит лишь краткие инструкции по клонированию репозитория и не описывает параметры запуска или качество результатов. Модель распространяется в формате safetensors и использует лицензию Apache 2.0. Метаданные указывают английский язык и задачу video-to-video. Размер модели, длина контекста и конкретные требования к оборудованию в доступных данных не указаны.

Карточка модели Mooshie/convnextv2_huge.dbv4-full на Hugging Face совпадает с карточкой animetimm/convnextv2_huge.dbv4-full, поэтому описание составлено по ней. Это крупная модель ConvNeXt-V2 Huge, дообученная animetimm для многометочной классификации изображений и извлечения визуальных признаков. Она предназначена для автоматического присвоения изображению тегов из набора Danbooru WD Tagger v4, в том числе общих описательных тегов, имен персонажей и категорий рейтинга. Модель содержит 692,6 млн параметров и рассчитана на изображения размером 512 × 512 пикселей. Обучение и оценка проводились на наборе animetimm/danbooru-wdtagger-v4-w640-ws-full; всего предусмотрено 12 476 тегов. Для категорий тегов README приводит отдельные пороги классификации и метрики, поэтому для лучшего результата следует учитывать рекомендованные пороги или пороги отдельных тегов. Модель принимает изображения и выдаёт оценки тегов; лицензия репозитория — GPL-3.0.

Emuru — условная генеративная модель для создания изображений по тексту и референсному изображению стиля, представленная на CVPR 2025. Архитектура объединяет текстовый декодер на базе T5ForConditionalGeneration и VAE AutoencoderKL: модель учитывает изображение-референс, описание стиля и текст с содержанием будущего изображения, а затем генерирует изображение, объединяющее эти условия. Модель предназначена для стилизованной генерации изображений, редактирования изображений по текстовым описаниям и прототипирования дизайна. В карточке также указаны исследовательские и учебные демонстрации генеративного моделирования на основе T5. Репозиторий содержит веса в формате safetensors; лицензия — MIT.

gaianet/FLUX.1-Redux-dev-GGUF — квантованный GGUF-вариант модели FLUX.1-Redux-dev от Black Forest Labs. В репозитории доступны варианты Q4_0, Q4_1, Q5_0, Q5_1 и Q8_0, а также safetensors; квантование выполнено с помощью stable-diffusion.cpp. Модель предназначена для генерации изображений по тексту и, согласно описанию базовой модели, для создания вариаций и рестайлинга изображений по исходному изображению. Для запуска нужны отдельные компоненты T5, CLIP и ae: автор предупреждает, что они не включены в репозиторий. Лицензия указана как other, поэтому конкретные условия использования следует сверять с лицензией базовой модели и файлами репозитория.

unsloth/FLUX.2-klein-9B-GGUF — GGUF-квантизированная версия модели FLUX.2-klein-9B, разработанной Black Forest Labs и подготовленной Unsloth с использованием методологии Unsloth Dynamic 2.0. Это модель генерации и редактирования изображений на основе rectified flow transformer с 9 млрд параметров, текстовым embedder Qwen3 на 8 млрд параметров и дистилляцией до 4 шагов инференса. Указан английский язык. Модель предназначена для преобразования текста в изображения, image-to-image и редактирования с одной или несколькими референсными изображениями. Она ориентирована на приложения реального времени, творческое исследование идей и сценарии, требующие высокой скорости, следования промпту и разнообразия результатов; заявленное время генерации может составлять менее секунды, а для некоторых конфигураций — менее половины секунды. Для запуска требуется около 29 ГБ VRAM, модель доступна на NVIDIA RTX 4090 и более производительных видеокартах. К сильным сторонам относятся единая компактная архитектура для генерации и редактирования, высокая скорость и заявленное качество при небольшом размере относительно более крупных моделей. Ограничения включают возможные ошибки в следовании промпту и искажения текста на изображениях; модель не предназначена для предоставления фактической информации и может воспроизводить или усиливать смещения из обучающих данных. Модель распространяется по FLUX Non-Commercial License и предназначена для некоммерческого использования; также действуют Acceptable Use Policy и ограничения на незаконный, вредоносный, обманный и высокорисковый контент.

FLUX.2 [klein] 9B NVFP4 — версия модели генерации и редактирования изображений от Black Forest Labs, представленная в формате NVFP4. В основе лежит rectified flow transformer с 9 млрд параметров. Модель создаёт изображения по текстовому описанию и поддерживает редактирование с несколькими референсными изображениями. Модель предназначена для генерации изображений по запросу и преобразования изображений с учётом текстовых инструкций и референсов. Репозиторий использует формат safetensors и библиотеку Diffusers; для запуска требуется около 29 ГБ видеопамяти, что делает доступными системы уровня NVIDIA RTX 4090 и выше. Модель не предназначена для выдачи фактической информации. Следование запросу зависит от стиля промпта, а результат может не соответствовать описанию; текст внутри изображений может быть искажён. Модель может отражать смещения обучающих данных. Для версии 9B указана некоммерческая лицензия; при использовании необходимо применять фильтры или ручную проверку входов и выходов.

ChrisColeTech подготовил сборку FLUX.2 [klein] 9B в формате GGUF с раздельным размещением компонентов. Это перекомпонованная и переквантованная версия весов Black Forest Labs без повторного обучения; доступны варианты GGUF F16, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также safetensors. Основная задача — генерация изображений по текстовому описанию; также поддерживается редактирование изображения по исходнику и подсказке. Модель дистиллирована для генерации за 4 шага: в карточке указано около 8 секунд на изображение 1024×1024 на A100. Для img2img рекомендованы отдельные настройки, поскольку запуск всего на четырёх шагах может почти не менять исходное изображение. Компоненты трансформера, текстового энкодера Qwen3-8B и VAE поставляются отдельно, поэтому загрузчику нужны пути к отдельным компонентам. Языковая поддержка явно не описана. Лицензия в репозитории указана как неизвестная; для условий распространения и коммерческого использования следует сверяться с лицензией базовой модели.

GIT-large-R-TextCaps — модель Microsoft семейства GenerativeImage2Text (GIT), дообученная для создания подписей к изображениям на наборе TextCaps. Это декодер Transformer, который получает визуальные токены изображения от CLIP и текстовые токены и генерирует текст по одному токену. Вариант R переобучен с удалением некоторых оскорбительных подписей из CC12M; модель содержит 80,1 млн параметров и использует архитектуру GitForCausalLM. Модель предназначена прежде всего для автоматического описания изображений, в том числе изображений с текстом, как в TextCaps. Архитектура GIT также применима к визуальным вопросам и ответам и классификации изображений через генерацию текста, однако карточка рекомендует использовать этот исходный чекпойнт для captioning. В метаданных указан английский язык; контекст составляет 1024 токена. Модель принимает изображения и выдает текстовые подписи. Она может ошибаться в описании деталей или текста на изображении; оценочные результаты в карточке не приведены. Распространяется по лицензии MIT.

HiDream-O1-Image-Dev-FP8 — вариант модели HiDream-O1-Image-Dev от drbaph, предназначенный для локального запуска через Diffusers и ComfyUI. Это смешанная FP8-квантизация дистиллированной модели HiDream-O1-Image-Dev, основанной на HiDream-O1-Image. Веса хранятся в FP8, а чувствительные слои сохраняют более высокую точность; для запуска требуется около 10 ГБ видеопамяти. Модель объединяет генерацию изображений и обработку условий в Pixel-level Unified Transformer без внешнего VAE и отдельных текстовых энкодеров. Она поддерживает создание изображений по тексту, редактирование по инструкциям, персонализацию по нескольким референсам, раскадровки и многоязычную отрисовку текста; заявлено разрешение до 2048 × 2048 пикселей. Dev-вариант использует 28 шагов, Euler scheduler и отключённое CFG, поэтому негативные промпты на него не влияют. Квантизация снижает требования к видеопамяти, а дистиллированный режим рассчитан на более быстрый вывод. README указывает, что на RTX 40xx и H100 вычисления FP8 ускоряются аппаратно; на более старых GPU возможна небольшая потеря скорости при деквантизации на лету. Модель распространяется по лицензии MIT.

NO8D/HighResolution — это LoRA-модель для повышения чёткости и разрешения изображений при сохранении их исходного содержания. Разработчик указан как независимый автор моделей и workflow; его имя в README не приводится. Модель предназначена для image-to-image обработки небольших, низкокачественных или размытых изображений, а также изображений, созданных генеративными моделями. Модель основана на FLUX.2-klein-4B и FLUX.2-klein-9B и относится к семейству diffusion LoRA. Это специализированная модель для обработки изображений, а не text-to-image LoRA: она не предназначена для генерации изображений только по текстовому описанию. Для Krea2 требуется дополнительный узел Krea2edit, поскольку в Krea2 отсутствует встроенная функция редактирования. В README также указаны варианты для Klein 4B, Klein 9B и Krea2Edit, а также триггерные фразы для соответствующих workflow. Заявленная сильная сторона модели — улучшение детализации без существенного изменения содержания изображения, что может быть полезно при восстановлении и увеличении изображений. При этом README не содержит количественных оценок качества, требований к разрешению, параметров запуска, сведений о поддерживаемых языках или точных ограничениях сохранения содержания, поэтому результат зависит от базовой модели и настроек workflow. Лицензия обозначена как flux-1-dev-non-commercial-license и ограничивает использование некоммерческими условиями, указанными правообладателем по ссылке в README.

HunyuanImage-3.0-Instruct-Distil — дистиллированная версия мультимодальной модели Tencent для генерации и редактирования изображений. Она принимает текстовую инструкцию и исходное изображение, интерпретирует его с учётом контекста и формирует изменённое изображение; карточка рекомендует восемь шагов сэмплирования для более эффективного вывода. Модель построена на авторегрессионной MoE-архитектуре HunyuanImage 3 и объединяет понимание текста и изображений с генерацией. В метаданных указано 3,1 млрд параметров и контекст длиной 22 800 токенов. Модель предназначена для творческого редактирования изображений по текстовым инструкциям и генерации визуальных результатов на основе изображения и запроса. README описывает HunyuanImage-3.0 как систему с сильным следованием промпту, визуальной детализацией и возможностью интерпретировать содержание изображения; эти общие характеристики семейства не сопровождаются отдельными результатами оценки дистиллированного чекпойнта. Для работы требуются значительные вычислительные ресурсы: инструкция по запуску семейства указывает Python 3.12+ и CUDA 12.8. Лицензия обозначена как other; конкретные условия использования следует проверять в файлах репозитория.

Карточка модели xxmmooee/hy3.0-mlx-q8 на Hugging Face совпадает с карточкой tencent/HunyuanImage-3.0-Instruct-Distil, поэтому описание составлено по ней. HunyuanImage-3.0-Instruct-Distil — дистиллированная версия мультимодальной модели Tencent для генерации и редактирования изображений. Она принимает текстовую инструкцию и исходное изображение, интерпретирует его с учётом контекста и формирует изменённое изображение; карточка рекомендует восемь шагов сэмплирования для более эффективного вывода. Модель построена на авторегрессионной MoE-архитектуре HunyuanImage 3 и объединяет понимание текста и изображений с генерацией. В метаданных указано 3,1 млрд параметров и контекст длиной 22 800 токенов. Модель предназначена для творческого редактирования изображений по текстовым инструкциям и генерации визуальных результатов на основе изображения и запроса. README описывает HunyuanImage-3.0 как систему с сильным следованием промпту, визуальной детализацией и возможностью интерпретировать содержание изображения; эти общие характеристики семейства не сопровождаются отдельными результатами оценки дистиллированного чекпойнта. Для работы требуются значительные вычислительные ресурсы: инструкция по запуску семейства указывает Python 3.12+ и CUDA 12.8. Лицензия обозначена как other; конкретные условия использования следует проверять в файлах репозитория.

Gerchegg/hyphoria_qwen_v1-Diffusers — пакет модели для библиотеки Diffusers, созданный на основе чекпойнта chapel/hyphoria_qwen_v1.0. В сборке используются компоненты Qwen/Qwen-Image: планировщик, текстовый энкодер, токенизатор и VAE, а веса трансформера заменены на пользовательские веса Hyphoria в формате BF16 Safetensors. Модель предназначена для генерации изображений по текстовым описаниям через QwenImagePipeline. Она основана на Qwen-Image, модели генерации и редактирования изображений с акцентом на точное отображение текста и композиции. Репозиторий распространяется под лицензией Apache-2.0.

Kandinsky 2.1 — модель генерации изображений по тексту, разработанная Арсением Шахматовым, Антоном Разжигаевым, Александром Николичем, Игорем Павловым, Андреем Кузнецовым и Денисом Димитровым. Она предназначена для создания изображений по запросам, а также для редактирования и преобразования изображений под текстовым управлением и интерполяции между изображениями. Модель сочетает подходы unCLIP и латентной диффузии: включает трансформерный image prior, диффузионную UNet и декодер MoVQGAN. CLIP-кодировщик преобразует текст и изображения в эмбеддинги; image prior связывает эти пространства, а диффузионная часть формирует изображение. Для обучения использовались данные LAION и дополнительные высококачественные изображения с описаниями. Модель доступна в формате Diffusers и поддерживает работу через библиотеку diffusers. Репозиторий распространяется по лицензии Apache-2.0. Это генеративная модель, поэтому результат зависит от формулировки запроса и может не соответствовать ему точно; описание не приводит отдельных гарантий качества для конкретных сценариев.

24aittl/klein-9b-outpaint — объединённый чекпойнт для расширения изображений за их исходные границы (outpainting), созданный на базе FLUX.2 [klein] 9B от Black Forest Labs. Веса LoRA outpaint_lora.safetensors слиты с базовой моделью методом Diffusers fuse_lora() с весом 1.0. Модель предназначена для редактирования изображений с помощью генерации содержимого за пределами исходного кадра. Базовая FLUX.2 [klein] 9B поддерживает генерацию изображений по тексту и редактирование с референсами; этот чекпойнт ориентирован на outpainting. Метаданные указывают поддержку задач text-to-image и image-to-image, однако README не уточняет точные требования к промптам или рабочему процессу расширения. Репозиторий содержит формат Diffusers и файлы safetensors. Для модели указана лицензия other; README уточняет, что применяются некоммерческая лицензия FLUX и требования допустимого использования базовой модели. Число параметров, контекст и поддерживаемые языки в предоставленных данных не описаны.

Mage-Flow — компактная модель генерации изображений, разработанная командой Microsoft. Она предназначена для создания изображений по текстовым описаниям; семейство также включает отдельную модель Mage-Flow-Edit для редактирования изображений по инструкциям. Основу Mage-Flow составляют латентный кодировщик-декодировщик Mage-VAE и мультимодальный диффузионный трансформер NR-MMDiT примерно на 4 млрд параметров, обученный методом rectified flow. Модель работает с изображениями разных пропорций и разрешений от 512 до 2048 пикселей и поставляется в вариантах Base, RL-aligned и Turbo на четыре шага. Карточка заявляет высокое качество генерации, следование запросам и отрисовку английского и китайского текста. Для запуска предусмотрен формат Diffusers с весами Safetensors; заявлена лицензия MIT. Высокая скорость и низкие требования к памяти указаны для Turbo-вариантов на оборудовании с GPU A100, поэтому эти показатели не следует автоматически переносить на другие конфигурации. В репозитории mage-flow-community/Mage-Flow метаданные подтверждают задачу text-to-image, но не указывают число параметров, базовую модель или поддерживаемые языки.

Memorizon — модель генерации видео по изображению, разработанная Tingting Liao, Xuezhi Liang, Hao Li и Guangyi Liu из Institute of Foundation Models (IFM), MBZUAI. Она создаёт видео на основе одного исходного изображения и управляющих сигналов: последовательности клавиш для перемещения и поворота камеры либо траектории камеры в виде матрицы поз. Подписи к изображениям формируются автоматически; также можно задать собственный текстовый промпт. Модель основана на Wan2.2-TI2V-5B и представлена как дистиллированный чекпойнт с четырьмя шагами генерации, использующий Self-Forcing и DMD с дистилляцией CFG. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0. Карточка описывает управление движением и камерой, но не приводит сведений о языковом охвате или длине контекста.

MetaCLIP 2 ViT-B/32 worldwide — мультиязычная модель сопоставления изображений и текста от Meta, представленная в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Это чекпойнт ViT-B-32-worldwide из оригинальной реализации MetaCLIP 2, доступный в формате safetensors для библиотеки Transformers. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт варианты классов словами, а модель оценивает соответствие изображения каждому варианту. Подходит для классификации и поиска изображений по текстовым запросам в разных языковых контекстах. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

MetaCLIP L14-400M — модель семейства CLIP, разработанная командой MetaCLIP и представленная в репозитории facebook. Это крупная версия с разрешением патчей 14, обученная на 400 миллионах примеров CommonCrawl. Модель представлена в формате PyTorch и предназначена для сопоставления изображений и текстов в общем пространстве представлений. Модель подходит для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений по текстовому запросу и поиска текста по изображению. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. README не приводит конкретных сведений о языках или длине контекста.

MIO-7B-Instruct — дообученная мультимодальная модель команды Multimodal Art Projection (M-A-P), основанная на Yi-6B-Chat от 01.AI. Карточка Hugging Face описывает репозиторий как модель для запуска через Diffusers; исследовательская статья о MIO описывает семейство как авторегрессионную модель, которая понимает и генерирует речь, текст, изображения и видео с помощью мультимодальных токенов. Семейство обучалось на мультимодальных данных и включает этапы предобучения и supervised fine-tuning для текстовых, визуальных и речевых задач. Описанные в статье возможности включают чередование видео и текста, визуальное рассуждение, генерацию визуальных инструкций и редактирование изображений. В метаданных этой версии указаны архитектура Llama, около 5,8 млрд параметров, контекст 4096 токенов и английский язык. Для репозитория указана лицензия Apache-2.0. Карточка содержит пример генерации изображения через Diffusers, но не приводит подробных оценок качества или разбивки возможностей именно этой версии; результаты статьи о семействе не следует считать отдельной оценкой MIO-7B-Instruct.

MobileCLIP2-B-OpenCLIP — адаптированный чекпойнт модели MobileCLIP2-B, разработанной Apple и опубликованной в рамках работы MobileCLIP2: Improving Multi-Modal Reinforced Training. Репозиторий использует конфигурации OpenCLIP и соответствующие имена весов; доступны веса PyTorch и safetensors для библиотеки open_clip. Модель предназначена для сопоставления изображений и текстовых описаний и классификации изображений по текстовым меткам без специального обучения на этих классах. Вариант MobileCLIP2-B содержит 86,3 млн параметров в визуальной части и 63,4 млн в текстовой. В карточке приведён результат 79,4% top-1 для zero-shot ImageNet и среднее 65,8% на 38 наборах данных. Модель подойдёт для быстрой классификации изображений по пользовательским категориям и построения поиска по соответствию текста и изображения. Карточка не приводит сведения о поддерживаемых языках или длине контекста. Лицензия — Apple AMLR; перед использованием следует учитывать её условия.

MobileCLIP2-L-14-OpenCLIP — адаптированная для OpenCLIP версия весов модели MobileCLIP2-L-14, разработанной Apple и описанной в работе MobileCLIP2: Improving Multi-Modal Reinforced Training. Репозиторий использует конфигурации OpenCLIP и соответствующие имена весов; доступны веса PyTorch и safetensors. Модель предназначена для классификации изображений по текстовым описаниям без отдельного обучения на целевых классах. Она сопоставляет изображения и текст в общей мультимодальной семантике, что позволяет задавать классы естественным языком и ранжировать их по соответствию изображению. В README приведены результаты и характеристики других вариантов MobileCLIP2, но их нельзя переносить на вариант L-14. Лицензия репозитория — apple-amlr. Для оценки скорости, точности и применимости именно этого чекпойнта следует учитывать его конфигурацию и условия лицензии.

Карточка модели PierrunoYT/moondream3-preview на Hugging Face совпадает с карточкой moondream/moondream3-preview, поэтому описание составлено по ней. Moondream 3 (Preview) — мультимодальная модель Moondream для анализа изображений и работы с текстом. Она принимает изображение и текстовый запрос, а также может использоваться как универсальная текстовая модель. Архитектура — Mixture of Experts: 9 млрд параметров всего, из них 2 млрд активны; визуальный энкодер основан на SigLIP. Модель имеет 24 слоя и контекстное окно до 32 тысяч токенов. Модель предназначена для ответов на вопросы об изображениях, создания подписей, поиска точек объектов и обнаружения объектов с ограничивающими рамками. Режим рассуждений включён по умолчанию; его можно отключить для простых запросов. Для локального запуска предлагается Transformers с FlexAttention, а также доступен облачный API. Moondream 3 выпущена как Preview, поэтому качество и поведение могут измениться. Веса распространяются по Business Source License 1.1 с Additional Use Grant: разрешены личное и исследовательское применение, внутреннее производственное использование и большинство коммерческих сценариев, но платные сервисы, конкурирующие с предложениями M87 Labs, требуют отдельного соглашения.

OmniSVG — мультимодальная модель генерации SVG от команды OmniSVG, дообученная на базе Qwen/Qwen2.5-VL-3B-Instruct. Она создаёт векторную графику по текстовому описанию и изображению: от простых значков до сложных иллюстраций и персонажей. Модель имеет плотную архитектуру Qwen2.5-VL, содержит 3,2 млрд параметров, принимает контекст до 128 000 токенов и распространяется в формате PyTorch. Модель предназначена для условной генерации SVG и подходит для создания значков, иллюстраций и персонажей по запросу или визуальному примеру. В README указано использование 17 ГБ видеопамяти при инференсе; для окружения авторы проверяли CUDA 12.1. Карточка перечисляет обучающие наборы MMSVG-Icon и MMSVG-Illustration, а также датасет MMSVG-2M с двумя миллионами размеченных SVG-объектов. Лицензия — Apache-2.0.

google/paligemma-3b-ft-cococap-224 — модель компьютерного зрения и языка от Google, дообученная для создания подписей к изображениям на COCO. Она принимает изображение и текстовую подсказку и генерирует текстовое описание изображения. Модель относится к семейству PaliGemma, сочетающему визуальную часть SigLIP с языковой моделью Gemma; вариант рассчитан на входное разрешение 224 пикселя. Карточка описывает поддержку нескольких языков, но не перечисляет их для этой версии. Модель подходит для автоматического создания коротких подписей к изображениям и задач, где требуется преобразовать визуальное содержание в текст. PaliGemma рассчитана на один ход и не предназначена для многоходового диалога; для наиболее надёжной работы её следует применять в задаче, соответствующей дообучению. Возможны фактические ошибки, слабая работа с неоднозначными или сложными запросами и унаследованные от Gemma смещения. Лицензия — Gemma.

leo009/paligemma-3b-pt-224 — вариант PaliGemma 3B от разработчика leo009, основанный на открытых компонентах SigLIP и Gemma. Это предобученная модель зрения и языка: принимает изображение размером 224×224 и текст, а затем генерирует текст; длина текстовой последовательности на входе и выходе составляет 128 токенов. Архитектура реализована в Transformers как PaliGemmaForConditionalGeneration, веса доступны в формате safetensors. Модель предназначена прежде всего для дообучения под отдельные задачи: создание подписей к изображениям и коротким видео, ответы на визуальные вопросы, чтение текста на изображениях, обнаружение и сегментация объектов. Также её можно адаптировать для вопросов по снимкам дистанционного зондирования, помощи незрячим пользователям и описания элементов интерфейса. Модель поддерживает несколько языков, но карточка не перечисляет их. PaliGemma рассчитана на один раунд ввода изображения и текста и не предназначена для многоходового диалога. Без дополнительного обучения результаты на специализированных задачах могут уступать специализированным моделям; сложные открытые запросы, нюансы языка и фактические утверждения могут обрабатываться ненадёжно. Указана лицензия Gemma.

zeromodels выпускает конверсию SigLIP Large Patch16-384 в формате Keras 3 для классификации изображений по текстовым меткам без дополнительного обучения. Модель использует двухбашенную архитектуру: кодирует изображение и текстовые подсказки и оценивает их соответствие. Размер патча — 16 пикселей, разрешение изображения — 384 пикселя; реализация работает с TensorFlow, PyTorch и JAX. Модель предназначена для zero-shot классификации изображений и поиска соответствий между изображениями и текстом. Она принимает изображения и текстовые подсказки, а на выходе даёт оценки соответствия, позволяющие выбрать подходящие метки. Основана на google/siglip-large-patch16-384; лицензия — Apache 2.0. README описывает формат и способ применения, но не приводит конкретных результатов оценки качества.