I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельЭто дообученная версия CLIP ViT-B/32 от OpenAI, разработанная на данных STL10. Модель содержит 113,2 млн параметров и использует визуальную архитектуру ViT-Base с размером патча 32. Модель извлекает признаки из изображений и предназначена для задач компьютерного зрения, включая исследования и классификацию изображений на основе полученных представлений. В README приведены результаты оценки: 0,971 для исходной модели и 0,9755 после дообучения; конкретная метрика не уточняется. Модель принимает изображения и возвращает визуальные признаки. Метаданные указывают формат safetensors. Сведения о лицензии не приведены.
CycleGRPO-4B — мультимодальная модель XinNUS для генерации описаний изображений и сегментационных масок. Она дообучена на базе zhouyik/Qwen3-VL-4B-SAMTok методом обучения с подкреплением: модель учится согласовывать описание области изображения с возможностью найти эту область обратно. На этапе RL используются оценка пересечения масок и регуляризаторы без эталонных описаний. Модель построена на архитектуре Qwen3-VL-4B и принимает изображения и текстовые запросы, выдавая текст с чередующимися специальными токенами масок для соответствующих частей описания. Обычный текст можно генерировать через Transformers; для преобразования токенов масок в сегментационные маски требуется декодер VQ-SAM2 из репозитория CycleGRPO. Модель подходит для описания объектов и областей на изображении с привязкой к их маскам, а также для визуального заземления текстовых описаний. Карточка не сообщает контекстное окно и перечень поддерживаемых языков. Распространяется по лицензии Apache-2.0.
GLUS-S — модель Lang Lin, Xueyang Yu, Ziqi Pang и Yu-Xiong Wang для сегментации объектов в видео по текстовым описаниям (RefVOS), в том числе в сложных сценах. Она объединяет глобальное понимание видео с анализом отдельных кадров и использует память по кадрам, контрастивное обучение объектов и выбор ключевых кадров для поддержания согласованности масок и локализации объекта. Модель обучена на наборах MeViS и Ref-YouTube-VOS. В README для GLUS-S приведены результаты 50,3 J&F на MeViS и 66,6 J&F на Ref-YouTube-VOS. Каталог указывает архитектуру семейства LLaVA, плотную модель с 6,6 млрд параметров и контекстом 2048 токенов; файлы представлены в формате PyTorch. Для практического запуска README описывает отдельную инфраструктуру проекта и предобученные веса LISA и SAM-2. Лицензия репозитория — Apache-2.0.
InternViT-6B-224px — разработанная OpenGVLab базовая визуальная модель и backbone для извлечения признаков изображений. Она предназначена для получения визуальных представлений, в том числе как компонент визуально-языковых моделей. Модель построена на архитектуре InternViT-6B: в README указано 5,9 млрд параметров и входное разрешение 224 × 224 пикселя; метаданные Hugging Face указывают 7,9 млрд параметров. Для VLLM авторы рекомендуют использовать признаки с блока за четыре слоя до последнего. README приводит результаты линейного зондирования на нескольких вариантах ImageNet, включая 88,2% на IN-1K. Модель обучалась на наборах изображений и пар изображение–текст, включая LAION, COYO, Conceptual Captions и Wukong. Лицензия — MIT.
Llama JoyCaption Alpha Two — визуально-языковая модель семейства LLaVA, разработанная проектом JoyCaption для автоматического описания изображений. Она предназначена прежде всего для создания подробных текстовых подписей к изображениям и подготовки описаний для обучения и дообучения диффузионных моделей. В README модель заявлена как открытая и ориентированная на широкий спектр визуальных стилей и тем; пример запуска через vLLM ограничивает длину последовательности 4096 токенами. Модель объединяет SigLIP SO400M Patch14 384 и Llama 3.1 8B Instruct. Она принимает изображения и текстовые запросы и генерирует текстовые описания. Карточка заявляет охват как обычного, так и откровенного контента. Доступны веса в формате safetensors; README указывает на GitHub как источник инструкций по запуску, но не называет лицензию, поэтому условия использования весов по этим данным определить нельзя. Модель рассчитана на автоматизацию аннотирования изображений и может применяться для разных стилей, включая цифровое искусство, фотореализм и аниме. README предупреждает, что запуск через vLLM может требовать настройки параметров памяти и режима выполнения. Заявления о качестве относительно GPT-4o приведены разработчиком и не сопровождаются здесь независимыми результатами оценки.
John6666/llama-joycaption-beta-one-hf-llava-nf4 — квантизированная в формате NF4 версия мультимодальной Visual Language Model JoyCaption Beta One, разработанной сообществом вокруг проекта JoyCaption; исходная модель опубликована fancyfeast. Модель предназначена для автоматического создания подробных описаний изображений, в частности для подготовки датасетов и обучения или дообучения diffusion-моделей. Она поддерживает взаимодействие с изображением через текстовые инструкции и относится к семейству LLaVA, используя языковую модель Llama 3.1; точный размер модели и максимальная длина контекста в README не указаны. Пример использования предполагает генерацию до 512 новых токенов и работу в формате bfloat16 с 4-битной NF4-квантизацией. JoyCaption позиционируется как бесплатная модель с открытыми весами, минимальной фильтрацией и широким охватом визуальных стилей, тематик и типов содержимого, включая SFW- и NSFW-образы. Это делает её удобной для массового captioning и специализированных наборов данных, однако модель не гарантирует безошибочное распознавание всех деталей изображения. Для запуска требуется совместимый стек Transformers и bitsandbytes, а также GPU с достаточным объёмом памяти; README отмечает, что vLLM может быть требователен к памяти и настройкам. Лицензия явно не указана, но модель заявлена как свободно распространяемая с открытыми весами и без ограничений.
Карточка модели fushh7/llmdet_swin_base_hf на Hugging Face совпадает с карточкой fushh7/llmdet_swin_tiny_hf, поэтому описание составлено по ней. LLMDet — детектор объектов с открытым словарём, представленный в версии для Hugging Face. Модель разработана авторами Shenghao Fu и коллегами; работа отмечена как Highlight на CVPR 2025. В карточке указана архитектура Grounding DINO и класс GroundingDinoForObjectDetection. Модель предназначена для обнаружения объектов по текстовым описаниям и поиска объектов на изображениях без заранее фиксированного набора классов. Её можно применять для локализации объектов по запросам на естественном языке и исследовательских экспериментов с open-vocabulary детекцией. В статье обучение описано как использующее надзор со стороны больших языковых моделей. Репозиторий содержит веса PyTorch в формате Safetensors. Лицензия — Apache-2.0. README отсылает за подробностями к GitHub и статье; параметры размера, контекстного окна и поддерживаемые языки в предоставленных данных не приведены.
LocateAnything-3B-GGUF — это GGUF-версия мультимодальной vision-language модели LocateAnything, разработанной NVIDIA в рамках семейства Eagle VLM. Модель предназначена для визуального grounding: локализации объектов по текстовому запросу, плотного обнаружения нескольких объектов, определения GUI-элементов, текстовых областей и точек на изображении. Она ориентирована на исследовательские и прикладные сценарии в робототехнике, автономном вождении, анализе документов, промышленной инспекции, наблюдении, дистанционном зондировании и построении мультимодальных агентов. Поддерживается английский язык. Архитектура основана на Qwen2.5-3B-Instruct в качестве языковой модели и vision encoder MoonViT-SO-400M. Ключевая особенность — Parallel Box Decoding: координаты ограничивающих рамок предсказываются параллельно за один шаг вместо авторегрессионного декодирования по токенам. Это повышает эффективность, сохраняет геометрическую согласованность и, по заявлению разработчиков, обеспечивает до 2,5 раза большую пропускную способность по сравнению с предыдущими подходами. Обучение проводилось на наборе из 12 млн изображений, более 138 млн запросов и 785 млн ограничивающих рамок из различных предметных областей. GGUF-сборка создана с использованием llama.cpp и включает экспериментальный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что может улучшать качество при заданном уровне квантования ценой увеличения размера файла. Ограничения включают исследовательский статус модели, неизвестные из карточки точные параметры контекстного окна и результаты бенчмарков для конкретных GGUF-квантований, а также зависимость качества от выбранного формата и уровня квантования. Модель распространяется по NVIDIA License для некоммерческого использования: разрешены академические и некоммерческие исследования, коммерческое применение запрещено, кроме NVIDIA и её аффилированных лиц.
LocateAnything-3B-MLX — конвертированная и оптимизированная Somesh Choudhary из And AI Platforms версия мультимодальной модели NVIDIA LocateAnything-3B для локального запуска на компьютерах Apple Silicon. Модель с 3 млрд параметров принимает изображение и текстовый запрос и находит соответствующие объекты или области на изображении, в том числе по запросам на естественном языке. Модель предназначена для обнаружения объектов с открытым словарём и визуальной привязки текста к областям изображения. Она возвращает текстовые метки и координаты областей, нормализованные в диапазоне от 0 до 1000. Конверсия адаптирует обработку изображений к локальным ограничениям памяти; README заявляет ускорение инференса до 20 раз, но не приводит условия измерения. Репозиторий распространяет веса в формате safetensors и предназначен для использования через MLX на Apple Silicon. Лицензия указана как other, её конкретные условия следует уточнить перед использованием.
Карточка модели Azily/Macro-Qwen-Image-Edit на Hugging Face совпадает с карточкой Qwen/Qwen-Image-Edit-2511, поэтому описание составлено по ней. Qwen-Image-Edit-2511 — модель редактирования изображений от команды Qwen, улучшенная версия Qwen-Image-Edit-2509. Она принимает изображение и текстовые инструкции для изменения сцены, сохраняя при этом сходство персонажей и согласованность нескольких людей на групповом снимке. Модель также умеет менять освещение и материалы, создавать новые ракурсы, помогать с промышленным дизайном и строить вспомогательные геометрические линии. Модель распространяется в форматах Diffusers и Safetensors и рассчитана на использование через библиотеку Diffusers. По карточке, улучшения включают снижение дрейфа изображения, поддержку эффектов популярных LoRA непосредственно в базовой модели и усиленное геометрическое рассуждение. В метаданных указаны английский и китайский языки. Лицензия — Apache-2.0.
Ming-UniVision — мультимодальная авторегрессионная модель семейства BailingMM, представленная в карточке проекта Ming-UniVision. Она объединяет понимание изображений и их генерацию в едином механизме предсказания следующего токена, используя непрерывные визуальные представления MingTok вместо дискретной квантизации и отдельных голов для разных модальностей. Модель предназначена для диалога с изображениями, генерации и редактирования изображений, включая многошаговые сценарии, где пользователь чередует вопросы и запросы на изменение изображения. README заявляет о более быстрой сходимости совместного обучения и возможности выполнять многораундовые задачи в непрерывном латентном пространстве без декодирования промежуточных состояний в изображения. В репозитории указаны веса Safetensors и библиотека Transformers; метаданные обозначают задачу any-to-any и языки en и zh. Лицензия — Apache-2.0. Размер модели и длина контекста в предоставленных данных не указаны.
OneThinker-SFT-Qwen3-8B — промежуточная модель контролируемого дообучения (SFT) для мультимодального рассуждения по изображениям и видео, представленная авторами работы OneThinker. Она основана на Qwen/Qwen3-VL-8B-Instruct и предназначена для последующего обучения с подкреплением; в карточке указана архитектура Qwen3-VL с 8 млрд параметров и формат весов safetensors. Модель объединяет ответы на вопросы об изображениях и видео, создание описаний, пространственную и временную привязку объектов, отслеживание и сегментацию. Для обучения использовались наборы OneThinker-600k и OneThinker-SFT-340k с разметкой цепочек рассуждений. Авторы сообщают о результатах на 31 бенчмарке по 10 задачам компьютерного зрения и о способности к обобщению на новые сценарии. Модель принимает изображения и видео вместе с текстовыми запросами и формирует текстовые ответы, а в задачах локализации, отслеживания и сегментации также структурированные визуальные результаты. Языки в доступных сведениях не обозначены. Лицензия — Apache-2.0. Поскольку это промежуточный SFT-чекпойнт перед RL-обучением, его качество может отличаться от итоговой версии OneThinker.
google/paligemma-3b-ft-refcoco-seg-224 — модель Google для сегментации объектов на изображениях по текстовому запросу. Это дообученная версия PaliGemma — компактной модели зрение–язык, построенной на визуальном энкодере SigLIP и языковой модели Gemma. Она принимает изображение и текст и генерирует текстовый ответ; семейство также поддерживает задачи с выходом в виде масок сегментации. Модель предназначена для одношагового взаимодействия и специализированной обработки изображений, а не для многоходового диалога. Для получения надёжных результатов следует формулировать ясные запросы; модель может ошибаться при сложных или неоднозначных задачах и не подходит как источник гарантированно точных фактов. Карточка указывает лицензию Gemma.
Карточка модели perpetual3x/Qwen-Image-Edit-2511 на Hugging Face совпадает с карточкой Qwen/Qwen-Image-Edit-2511, поэтому описание составлено по ней. Qwen-Image-Edit-2511 — модель редактирования изображений от команды Qwen, улучшенная версия Qwen-Image-Edit-2509. Она принимает изображение и текстовые инструкции для изменения сцены, сохраняя при этом сходство персонажей и согласованность нескольких людей на групповом снимке. Модель также умеет менять освещение и материалы, создавать новые ракурсы, помогать с промышленным дизайном и строить вспомогательные геометрические линии. Модель распространяется в форматах Diffusers и Safetensors и рассчитана на использование через библиотеку Diffusers. По карточке, улучшения включают снижение дрейфа изображения, поддержку эффектов популярных LoRA непосредственно в базовой модели и усиленное геометрическое рассуждение. В метаданных указаны английский и китайский языки. Лицензия — Apache-2.0.
Карточка модели ssh4dm/Qwen-Image-Edit-2511 на Hugging Face совпадает с карточкой Qwen/Qwen-Image-Edit-2511, поэтому описание составлено по ней. Qwen-Image-Edit-2511 — модель редактирования изображений от команды Qwen, улучшенная версия Qwen-Image-Edit-2509. Она принимает изображение и текстовые инструкции для изменения сцены, сохраняя при этом сходство персонажей и согласованность нескольких людей на групповом снимке. Модель также умеет менять освещение и материалы, создавать новые ракурсы, помогать с промышленным дизайном и строить вспомогательные геометрические линии. Модель распространяется в форматах Diffusers и Safetensors и рассчитана на использование через библиотеку Diffusers. По карточке, улучшения включают снижение дрейфа изображения, поддержку эффектов популярных LoRA непосредственно в базовой модели и усиленное геометрическое рассуждение. В метаданных указаны английский и китайский языки. Лицензия — Apache-2.0.
Rex-Omni — мультимодальная языковая модель с 3,1 млрд параметров, представленная IDEA-Research в работе «Detect Anything via Next Point Prediction». Она дообучена на Qwen/Qwen2.5-VL-3B-Instruct и использует архитектуру Qwen2.5-VL с генерацией следующего токена для визуального восприятия. Модель принимает изображения и текстовые запросы, а результаты описывает текстом. Rex-Omni предназначена для обнаружения объектов и других задач анализа изображений: распознавания текста (OCR), указания объектов, определения ключевых точек и визуального prompting. Карточка приводит примеры для этих сценариев и указывает совместимость с библиотекой Transformers. Контекст модели составляет 128 000 токенов; в метаданных указан английский язык. Модель выпущена под лицензией IDEA License 1.0, обозначенной в метаданных как other. README не описывает количественные оценки качества или конкретные ограничения; применимость к отдельным наборам данных и сценариям следует проверять самостоятельно.
Show-o2-1.5B — мультимодальная модель Show Lab Национального университета Сингапура и ByteDance. Она объединяет понимание и генерацию текста, изображений и видео: языковая часть предсказывает текстовые токены авторегрессионно, а отдельная часть использует flow matching для генерации изображений и видео. В основе визуальных представлений лежит пространство 3D causal VAE; архитектура использует языковую модель и пути пространственно-временного слияния признаков. Модель предназначена для мультимодальных задач, включая анализ входных данных и генерацию изображений, видео и смешанного контента. В README перечислены несколько вариантов Show-o2, в том числе версии 1.5B и 7B; в идентификаторе этой модели указан размер 1.5B. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Сведения о поддерживаемых языках и длине контекста в доступных данных отсутствуют.
TencentARC/t2iadapter_zoedepth_sd15v1 — адаптер T2I-Adapter для Stable Diffusion 1.5, разработанный авторами работы «T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models». Он добавляет управление генерацией по карте глубины, полученной методом ZoeDepth, и предназначен для использования вместе с базовой моделью runwayml/stable-diffusion-v1-5. Модель применяется в сценариях текстово-управляемой генерации изображений, когда нужно сохранить пространственную структуру сцены по карте глубины. Это адаптер на PyTorch для Diffusers; в карточке указаны английский язык и лицензия Apache 2.0. Для работы требуется совместимая базовая модель Stable Diffusion 1.5.
czczup/textnet-small — компактная модель TextNet для извлечения признаков изображения, предназначенная для обнаружения областей с текстом. В карточке описана архитектура TextNet с эффективным по числу параметров backbone; семейство включает варианты TextNet-T, TextNet-S и TextNet-B размером 6,8 млн, 8,0 млн и 8,9 млн параметров соответственно. Для данного репозитория точный вариант не уточнён. Модель рассчитана на обнаружение текста в естественных сценах, в том числе разнонаправленного и многоязычного, а также на анализ текстовых областей в документах. README сообщает о предварительном обучении на IC17-MLT и дообучении на Total-Text для сравниваемых вариантов TextNet. Утверждается, что архитектура сочетает скорость вывода с точностью, но конкретные метрики для этого чекпойнта не приведены. Входом служат изображения, выходом — признаки для задач обнаружения текста. Лицензия в предоставленных данных не указана.
Thyme-SFT — мультимодальная модель компании Kwai-Keye, дообученная на базе Qwen2.5-VL-7B-Instruct методом supervised fine-tuning. Она принимает текст и изображения и предназначена для визуального анализа, сложных рассуждений по изображениям и задач восприятия изображений высокого разрешения. Модель может самостоятельно формировать и выполнять код для обработки изображений и вычислений. Модель имеет плотную архитектуру Qwen2.5-VL с 7,1 млрд параметров и контекстом до 128 000 токенов. В карточке заявлено обучение на английском языке; используется формат safetensors. Thyme-SFT является частью двухэтапного подхода Thyme, сочетающего SFT и последующее обучение с подкреплением; упоминается алгоритм GRPO-ATS. Модель распространяется по лицензии MIT. Поскольку это SFT-этап, заявленные улучшения от обучения с подкреплением относятся к подходу Thyme в целом и не гарантированы для этого отдельного чекпойнта.
UniAR-SFT — контрольная точка модели UniAR, разработанной авторами работы «UniAR: Unified Multimodal Autoregressive Modeling with Shared Context—Visual Tokenizer is Key to Unification» для понимания изображений, генерации изображений и их редактирования в едином авторегрессионном Transformer. Это версия после supervised fine-tuning и до этапа RL, предназначенная также как отправная точка для собственного обучения с подкреплением. Модель объединяет языковую основу Qwen3-8B и визуальный токенизатор BSQ на базе SigLIP2-So400M ViT с DeepStack-связями; для декодирования изображений используется SD3.5-Medium DiT с внедрением признаков SigLIP. Общие дискретные визуальные токены позволяют модели интерпретировать изображения и работать с визуальными токенами, которые она сама генерирует. Карточка содержит компоненты для понимания и генерации изображений. Репозиторий распространяется по лицензии Apache-2.0. Метаданные Hugging Face указывают задачу image-to-text; другие заявленные в README возможности не представлены отдельными pipeline-тегами.
UniPic2-Metaquery-Flash — квантованный вариант UniPic2-MetaQuery от Skywork. Это мультимодальная авторегрессионная модель для понимания изображений, генерации изображений по текстовому описанию и редактирования изображений. В README приведены результаты UniPic2-Metaquery-9B без GRPO на тестах GenEval, DPG-Bench и GEditBench-EN; они относятся к указанной версии модели и не гарантируют такие же результаты для Flash. Модель предназначена для запуска на видеокартах NVIDIA RTX 40-й серии с объёмом видеопамяти менее 16 ГБ. В репозитории указаны веса в формате safetensors, библиотека Transformers и лицензия MIT. Точный размер Flash-варианта и поддерживаемые языки не приведены.
UniPic2-Metaquery-GRPO-9B — мультимодальная модель Skywork на 9 млрд параметров, дообученная на UniPic2-Metaquery-9B с улучшенным отображением текста на изображениях. Она предназначена для сквозного понимания изображений, генерации изображений по текстовому запросу и редактирования изображений. Модель объединяет задачи работы с текстом и изображениями и распространяется в формате safetensors для Transformers. Для запуска требуется около 40 ГБ видеопамяти; для видеокарт NVIDIA RTX 40-й серии разработчики рекомендуют вариант UniPic2-Metaquery-GRPO-Flash. Модель опубликована по лицензии MIT. Карточка не приводит сведений о поддерживаемых языках или длине контекста.
VisualClozePipeline-384 — реализация в Diffusers универсального фреймворка генерации изображений VisualCloze, основанного на визуальном обучении в контексте. Репозиторий предоставляет полные параметры модели; опубликована также отдельная версия LoRA, для которой в README указана FLUX.1-Fill-dev в качестве базовой модели. Модель предназначена для генерации и преобразования изображений по визуальным примерам: она поддерживает несколько задач внутри предметной области, может обобщать на новые задачи с помощью контекстных примеров, объединять несколько задач в один проход и восстанавливать набор условий по целевому изображению. Реализация работает с Diffusers и файлами safetensors; README сообщает об интеграции VisualCloze в официальные пайплайны Diffusers. Лицензия репозитория — Apache-2.0. В карточке не приведены размер модели, контекст и поддерживаемые естественные языки; модель ориентирована на изображения, поэтому языковая классификация не применяется.
V-JEPA 2 — видеомодель семейства V-JEPA, разработанная FAIR, исследовательским подразделением Meta. Она обучена представлять видео и изображения в виде признаков и предназначена для классификации видео, поиска похожих видео и использования в качестве видеокодировщика для визуально-языковых моделей. Для этой версии при обработке видео требуется 64 кадра; изображение можно подать как повторяющиеся кадры. Модель имеет архитектуру VJEPA2Model и содержит 838,9 млн параметров. Репозиторий распространяет веса в формате safetensors, для запуска используется библиотека Transformers. Лицензия — MIT. README заявляет сильные возможности понимания видео, но не приводит количественных результатов для этой конкретной версии; качество зависит от способа извлечения признаков и последующей модели или классификатора.
Карточка модели ACbkgyu/yolov10m на Hugging Face совпадает с карточкой onnx-community/yolov10m, поэтому описание составлено по ней. onnx-community/yolov10m — версия весов YOLOv10 в формате ONNX, опубликованная сообществом onnx-community. Модель предназначена для обнаружения объектов на изображениях и может использоваться в приложениях на Transformers.js. YOLOv10 — плотная архитектура детекции объектов, ориентированная на работу в реальном времени. Репозиторий содержит ONNX-веса; лицензия — AGPL-3.0. Данные о размере модели, поддерживаемых классах объектов и языках в карточке не приведены.
xinsir/controlnet-depth-sdxl-1.0 — модель ControlNet для Stable Diffusion XL, разработанная автором или организацией xinsir. Она предназначена для генерации изображений по текстовому описанию с дополнительным управлением композицией и пространственной структурой сцены на основе карты глубины. Модель совместима с StableDiffusionXLControlNetPipeline и базовой моделью stabilityai/stable-diffusion-xl-base-1.0. Для подготовки карты глубины в README указана поддержка детекторов Zoe и MiDaS. Рекомендуется использовать разрешение 1024×1024 или близкое к нему bucket-разрешение; в примере применяется 30 шагов инференса и возможна работа в формате float16. Размер модели, точная архитектура, перечень языков и максимальная длина текстового контекста не указаны. Для работы требуются базовая SDXL-модель, совместимый VAE и отдельный препроцессор глубины, поэтому качество зависит от исходного изображения, карты глубины и выбранной базовой модели. Лицензия — Apache-2.0.
Emu3-Stage1 — предобученная модель команды Emu3 из BAAI, обученная с нуля как плотный трансформер с авторегрессионным предсказанием следующего токена. Веса относятся к первой стадии обучения Emu3; модель содержит 7,7 млрд параметров, использует библиотеку Transformers и поддерживает контекст до 5120 токенов. На этой стадии обучение не включало видео. Модель принимает текст и изображения, токенизированные в дискретное пространство, и предназначена для генерации изображений по текстовому запросу, а также понимания изображений и создания текстовых подписей. README указывает генерацию изображений с разрешением 512×512 и возможность дообучения для дальнейших задач генерации и восприятия изображений. Заявленные для полного семейства Emu3 возможности видео не следует переносить на эту стадию. Модель распространяется под лицензией Apache-2.0. Это базовый чекпойнт предобучения, поэтому качество и пригодность для диалоговых или специализированных задач могут зависеть от дополнительного instruction tuning.
Florence-2-large-PromptGen v1.5 — разработанная MiaoshouAI и дообученная на базе Microsoft Florence-2 Large модель для создания подписей и тегов к изображениям, в том числе для MiaoshouAI Tagger в ComfyUI. Она преобразует изображение в теги в стиле Danbooru, краткую строку, структурированное описание с расположением объектов, подробную подпись или смешанный формат тегов и описания для Flux. Структурированный режим также распознаёт текст на изображении, а версия 1.5 улучшает распознавание водяных знаков и точность подписей. Модель принимает изображения и выдаёт текст. По карточке, она рассчитана на эффективную работу с памятью и может создавать подписи, используя чуть более 1 ГБ видеопамяти. Репозиторий содержит веса Safetensors и распространяется по лицензии MIT. Языки модели в карточке не перечислены.
Llama JoyCaption Beta One в формате MLX — визуально-языковая модель для создания подробных текстовых описаний изображений. Порт модели fancyfeast/llama-joycaption-beta-one-hf-llava подготовлен для эффективного инференса на Apple Silicon; разработчик порта — n0kovo. Архитектура LLaVA объединяет визуальный энкодер SigLIP2 и языковую модель Llama 3.1 8B. Модель принимает изображения и формирует текстовые подписи, в частности для подготовки данных и обучения моделей генерации изображений. Языковые веса, проектор и совместимые слои энкодера квантизированы до 8 бит с размером группы 64; часть слоёв энкодера оставлена в FP16. Репозиторий содержит веса safetensors для библиотеки MLX. Лицензия в предоставленных данных не описана.