I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельKiel-2.1-Omni — мультимодальная модель Kiel2, дообученная на базе DeepSeek Janus-Pro-1B по пользовательскому учебному курсу. Она поддерживает диалоговое понимание изображений и генерацию изображений по текстовому запросу в авторегрессионной архитектуре MultiModalityCausalLM. В репозитории опубликованы веса safetensors; карточка описывает загрузку в 16-битном режиме и использование 4-битной загрузки для экономии памяти. Модель предназначена для ответов на вопросы об изображениях, описания визуальных сцен и создания изображений по текстовым промптам. Карточка не сообщает результаты оценивания или подробно описанные ограничения качества, поэтому их нельзя определить по доступным сведениям. Лицензия не указана в предоставленных данных.
rfdetr-docvqa-media3-trainval-agree1-medium — модель обнаружения объектов на изображениях, созданная дообучением Roboflow/rf-detr-medium на неизвестном наборе данных. Она предназначена для локализации объектов и присвоения им классов; метрики оценки отдельно приведены для изображений, диаграмм и подписей, что указывает на применение к визуальным документам. Архитектура относится к семейству RF-DETR, веса сохранены в формате safetensors; библиотека — Transformers. Модель распространяется по лицензии Apache-2.0. В карточке приведены результаты оценки, включая mAP 0,2703 и mAP@50 0,4858, однако описание данных и назначения классов отсутствует. Поэтому по имеющимся сведениям нельзя оценить качество для конкретных типов документов или объектов.
HyperX-Sentience/SDXL-GGUF — это квантизированная версия Stable Diffusion XL, созданная на основе Stable Diffusion XL от Stability AI и представленная в формате GGUF. Модель предназначена для генерации изображений по текстовому описанию и может использоваться в ComfyUI, загрузчике SDXL GGUF от Kohya и других совместимых движках. Компоненты UNet, VAE и CLIP поставляются отдельно для оптимизации и совместимости. Для UNet доступны варианты квантизации Q4_K_S, Q5_K_S и Q8, тогда как VAE и CLIP предоставляются в FP16. Q4_K_S рассчитан на минимальное потребление VRAM и более высокую скорость, Q5_K_S предлагает компромисс между качеством и ресурсами, а Q8 лучше сохраняет детали, но требует больше видеопамяти. Заявлены ориентировочные требования от 2 ГБ VRAM для Q4_K_S, от 3 ГБ для Q5_K_S и от 4 ГБ для Q8. Языки, размер контекстного окна и точные характеристики архитектуры в README не указаны. Лицензия — OpenRAIL++.
SenseNova-SI-1.4-InternVL3-8B — мультимодальная чат-модель SenseNova, дообученная на базе OpenGVLab/InternVL3-8B для пространственного понимания изображений. Она предназначена для задач локализации объектов по текстовому описанию, подсчёта объектов и оценки глубины, сохраняя возможности общего визуально-языкового диалога. Модель принимает изображения и текстовые запросы и формирует текстовые ответы; в метаданных указаны архитектура InternVLChatModel, 8B в названии модели и формат safetensors. README сообщает о результатах на RefCOCO, CountBench и тестовом наборе оценки глубины. Модель ориентирована на исследования и прикладные эксперименты в области пространственного интеллекта и визуального понимания. Разработчики отмечают, что проект продолжает развиваться. Базовая модель — InternVL3-8B от OpenGVLab; лицензия — Apache-2.0. В доступных сведениях не приведены языки запросов и длина контекста, поэтому они не указаны.
Это зрительный модуль ShareGPT4V-7B, дообученный командой ShareGPT4V на собственном наборе данных ShareGPT4V. Он предназначен для извлечения признаков изображений и как компонент мультимодальных моделей и чат-ботов; карточка ориентирует его на исследования и эксперименты в компьютерном зрении, обработке естественного языка и машинном обучении. Модуль обучен в ноябре 2023 года на 1,2 млн пар изображение–текст. В метаданных указана архитектура CLIPVisionModel и размер 402,7 млн параметров; доступен формат PyTorch. Модель принимает изображения и выдаёт визуальные признаки. README не сообщает о поддерживаемых языках или длине контекста, поэтому их не следует считать характеристиками этого отдельного зрительного модуля. Лицензия в предоставленных данных не указана.
TraVisionLM-Object-Detection-ft — модель обнаружения объектов, созданная дообучением ucsahin/TraVisionLM-base на датасете COCO-OD-TR-Single-Objects-v2. Она принимает изображение и текстовую инструкцию на турецком языке, например «Tespit et: *название объекта*», и формирует текстовый ответ с меткой объекта и координатами ограничивающей рамки. Координаты кодируются специальными токенами и переводятся в пиксели с учётом размера изображения. Модель предназначена для поиска заданного объекта на изображении и рассчитана на обнаружение одного объекта в каждом изображении. В README указано обучение на 150 тысячах примеров; базовая модель имеет 875 млн параметров. Модель построена на TraVisionLM и загружается через Transformers; веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Автор предупреждает, что модель может выдавать неточные результаты и что для более надёжного обнаружения потребуется больше качественных обучающих данных. Оценка потерь на тестовой выборке составляет 2,2919; других показателей качества карточка не приводит.
kxic/zero123-xl — публикация весов Zero123-XL в формате Diffusers для запуска через Diffusers pipelines. В README указано, что файл zero123-xl.ckpt был конвертирован скриптом convert_original_stable_diffusion_to_diffusers.py; проект основан на оригинальных репозитории и весах Zero123. Модель предназначена для генерации изображения по текстовому описанию в задаче text-to-image. В метаданных для неё указан конвейер Zero1to3StableDiffusionPipeline, а файлы представлены в форматах Diffusers и PyTorch. Репозиторий распространяется по лицензии MIT. Данных о размере, контекстном окне и поддерживаемых языках нет.
Это подготовленные пользователем варианты Z-Image-Turbo в форматах FP32, FP16 и BF16, включая полные веса и версии только с EMA-параметрами. Модель основана на Tongyi-MAI/Z-Image-Turbo и предназначена для генерации изображений по текстовым описаниям через библиотеку diffusers и ZImagePipeline. Вариант EMA-only рекомендуется для инференса; полный вариант содержит также параметры обучения и подходит для продолжения обучения. Веса объединены в файлы safetensors, а варианты FP16 и BF16 получены преобразованием точности из FP32. Репозиторий подготовлен для diffusers и несовместим с ComfyUI. Указанная лицензия — Apache-2.0. Английский указан среди языков карточки; базовая модель также поддерживает английский и китайский текст на изображениях.
BFS (Best Face Swap) — серия LoRA-моделей от chfm для редактирования изображений и высокоточной замены лица или всей головы. Модели предназначены для Qwen Image Edit 2509/2511 и Flux 2 Klein 4B/9B, а также совместимых image-to-image workflows на базе Diffusers. Они рассчитаны на реалистичное смешивание оттенка кожи, освещения и деталей исходных изображений. В серию входят варианты для замены только лица и для полной замены головы. Версии Head V2–V5 улучшают соответствие оттенка кожи, позы, анатомических пропорций, выражения лица и устойчивость результата; Head V5 является актуальным вариантом для workflows на базе Qwen Image Edit 2511, а Head V1 — рекомендованным вариантом для Flux 2 Klein. В зависимости от версии поддерживается перенос волос, мимики, направления взгляда и поворота головы. Язык в метаданных модели указан как английский, однако основное применение связано с визуальными инструкциями и prompt-based редактированием изображений. К ограничениям относятся зависимость результата от выбранной базовой модели, качества контрольных изображений и корректного prompt. Для версий Head V3–V5 и Flux 2 Klein используется инвертированный порядок входов: сначала изображение тела, затем изображение лица; для Face V1 и Head V1–V2 порядок стандартный — лицо, затем тело. Автор отмечает, что модели ещё не идеальны, хотя объединённые варианты Head V5 лучше воспроизводят широкий диапазон выражений. Лицензия — MIT.
Disty0/Florence-2-large-PromptGen-v2.0 — совместимая с Hugging Face Transformers версия дообученной модели MiaoshouAI/Florence-2-large-PromptGen-v2.0 на архитектуре Florence-2. Она принимает изображение и генерирует текстовые описания и промпты, включая промпты для Flux; в карточке также указаны возможности компьютерного зрения. Репозиторий распространяет веса в формате safetensors и использует библиотеку Transformers. Модель выпущена под лицензией MIT. Карточка не содержит подробностей о размере модели, поддерживаемых языках, длине контекста и качестве на разных типах изображений. README сообщает только о совместимой версии для Transformers.
GLaMM-FullScope — мультимодальная модель семейства LLaVA, разработанная MBZUAI и дообученная на открытых наборах данных для объединения возможностей GLaMM. Она принимает изображения и текстовые запросы и генерирует текстовые ответы, связанные с содержимым изображения. Модель предназначена для диалогов с привязкой ответов к областям изображения, сегментации объектов по выражениям, описания отдельных регионов и целых изображений, а также визуальных ответов на вопросы. В метаданных указаны 6,6 млрд параметров, контекст 4096 токенов, формат PyTorch и лицензия Apache-2.0. Карточка не приводит оценки качества или подробностей об ограничениях; возможности сегментации заявлены в описании, однако способ представления масок и конкретные входные форматы не уточнены.
Gliese-Qwen3.5-2B-Abliterated-Caption — мультимодальная модель семейства Qwen, опубликованная пользователем prithivMLmods и основанная на Qwen/Qwen3.5-2B. Она предназначена прежде всего для генерации подробных описаний изображений, понимания сцен, объектов, людей и окружения, а также для создания датасетов подписей, мультимодальных исследований и локальных inference-конвейеров. Модель содержит около 2 млрд параметров и поддерживает обработку текста и изображений с генерацией текста. Заявлены языки English и Chinese. Она оптимизирована для длинных, структурированных и семантически насыщенных описаний, а также доступна в форматах Transformers и GGUF, включая варианты BF16, F16, F32 и Q8_0. В README не указана максимальная длина контекста. Ключевая особенность — abliterated-модификация: с использованием анализа направлений отказа и специального обучения были снижены внутренние склонности к отказам, чтобы повысить полноту и «нефильтрованный» характер описаний. Это может быть полезно для исследовательских задач, но одновременно повышает риск генерации нежелательного или небезопасного контента; качество и безопасность результатов требуют контроля со стороны пользователя. Модель распространяется по лицензии Apache-2.0 и предназначена авторами для исследований и обучения.
Illuma — модель генерации изображений по текстовому описанию, опубликованная fuhaddesmond как копия Salesforce/BLIP3o-NEXT-GRPO-TexT-3B. Она использует двухэтапную архитектуру: авторегрессионная часть на базе Qwen2.5-VL генерирует визуальные токены, а декодер диффузии SANA 1.5 преобразует их в изображение. В README указано около 4 млрд параметров суммарно, тогда как метаданные Hugging Face указывают 1,9 млрд; поэтому размер модели противоречив. Метаданные также относят архитектуру к семейству llava_qwen_grpo. Модель предназначена для создания изображений по текстовым запросам. Обучение GRPO, согласно README, улучшило отображение текста внутри сгенерированных изображений. Карточка предлагает локальный запуск и развёртывание через Hugging Face Inference Endpoints с пользовательским обработчиком. Репозиторий распространяется по лицензии Apache 2.0.
Карточка модели Shivanshkmr/Janus-Pro-1B на Hugging Face совпадает с карточкой deepseek-ai/Janus-Pro-7B, поэтому описание составлено по ней. Janus-Pro-7B — мультимодальная авторегрессионная модель DeepSeek для понимания изображений и генерации изображений в единой архитектуре. Она использует отдельные визуальные пути для понимания и генерации, объединённые общей архитектурой трансформера; модель построена на базе DeepSeek-LLM-7B-Base. Для понимания изображений применяется визуальный энкодер SigLIP-L с входным разрешением 384 × 384, а для генерации — отдельный токенизатор изображений с коэффициентом уменьшения разрешения 16. Модель подходит для диалога о содержимом изображений и создания изображений по текстовым запросам. В метаданных Hugging Face указаны задачи any-to-any и text-to-image; карточка также описывает понимание изображений. Репозиторий содержит веса PyTorch и рассчитан на Transformers. Лицензия — MIT. Раздельное кодирование изображения для понимания и генерации призвано уменьшить конфликт между этими функциями. Заявления о сравнительной производительности приведены авторами карточки, но независимые оценки и подробные ограничения там не описаны.
Kandinsky 2.2 Decoder — декодер генеративной модели Kandinsky 2.2, созданной Арсением Шахматовым, Антоном Разжигаевым, Александром Николичем, Игорем Павловым, Андреем Кузнецовым и Денисом Димитровым. Он предназначен для генерации изображений по текстовым описаниям и входит в состав конвейера на основе unCLIP и латентной диффузии. Архитектура включает U-Net для диффузии и блок MoVQGAN, который преобразует латентное представление в изображение; полный конвейер также использует трансформерный image prior и CLIP-ViT-G. Модель обучалась на наборах LAION Improved Aesthetics и LAION HighRes и дообучалась на коллекции высококачественных изображений с описаниями, включавшей COYO, аниме и российские достопримечательности. Kandinsky 2.2 обучалась на разрешениях от 512×512 до 1536×1536 и поддерживает генерацию изображений 1024×1024 с различными соотношениями сторон. Репозиторий распространяется в форматах Diffusers, PyTorch и Safetensors по лицензии Apache 2.0. Эта карточка относится к декодеру, поэтому для генерации требуется использовать его как часть совместимого конвейера Kandinsky 2.2. README также описывает генерацию с текстовым управлением и интерполяцию как возможности полного конвейера; метаданные этой модели указывают только задачу text-to-image.
Kandinsky 2.2 Prior — модель-приор для генерации изображений по тексту из семейства Kandinsky, созданного Арсением Шахматовым, Антоном Разжигаевым, Александром Николичем, Игорем Павловым, Андреем Кузнецовым и Денисом Димитровым. Она преобразует текстовые представления CLIP в эмбеддинги изображений, которые используются основными моделями Kandinsky для синтеза изображений. Архитектура включает трансформерный image prior; основная система Kandinsky также использует диффузионную модель на базе latent diffusion и декодер MoVQGAN. Модель предназначена для работы в конвейере генерации изображений по текстовому запросу и поддерживает сценарии создания, редактирования и интерполяции изображений в составе Kandinsky 2.2. Для семейства указана генерация изображений 1024 × 1024 с разными пропорциями сторон. Обучение включало данные LAION Improved Aesthetics и LAION HighRes, а основная модель дополнительно дообучалась на высококачественных изображениях с описаниями. Репозиторий распространяется в форматах Diffusers, PyTorch и safetensors по лицензии Apache-2.0. Это именно компонент prior, поэтому для получения готового изображения его следует использовать вместе с остальными компонентами конвейера Kandinsky; в README приведены примеры интеграции через Diffusers.
realrebelai/LLaDa-Image_ComfyUI — неофициальная квантованная производная модели LLaDA-Image от inclusionAI, адаптированная RealRebelAI для работы в ComfyUI. Релиз использует инфраструктуру Hugging Face Diffusers и предназначен для более экономичного по памяти запуска базовой версии модели на совместимых GPU. Модель поддерживает генерацию изображений по текстовому описанию и нативное редактирование изображений через режим generation_mode="editing" с передачей исходного изображения и текстовых инструкций. Для редактирования не требуется отдельная контрольная точка; применяются те же трансформер и текстовый энкодер. В состав входят трансформер в формате native INT8 Safetensors и текстовый энкодер LLaDA2 MoE в формате GGUF с квантованием Q4_K_M. Также требуется совместимый VAE LLaDA. Рекомендуемые настройки базовой версии — около 50 шагов и CFG 5.0; размеры изображения при редактировании должны быть кратны 32. Ключевое преимущество — снижение требований к памяти благодаря квантованию, поддержке CPU offload и тайлинговому декодированию VAE, что делает модель более подходящей для систем с ограниченной VRAM. Ограничения включают необходимость установки пользовательских ComfyUI-узлов и ComfyUI-GGUF, корректного размещения компонентов и использования INT8-трансформера как Safetensors, а не через GGUF-загрузчик диффузионных моделей. Языки, точный размер модели и перечень поддерживаемых модальностей в README не указаны. Модель и её компоненты остаются subject to оригинальным лицензиям upstream-проекта LLaDA-Image; перед распространением или коммерческим использованием необходимо ознакомиться с условиями лицензии inclusionAI. Релиз не связан официально с inclusionAI.
unc-nlp/lxmert-base-uncased — предобученная мультимодальная модель семейства LXMERT, опубликованная UNC NLP. Архитектура объединяет языковой энкодер, энкодер отношений объектов и межмодальный энкодер; репозиторий предоставляет веса для PyTorch и TensorFlow, а конфигурация рассчитана на контекст до 512 токенов. Модель предназначена для получения признаковых представлений текста и визуальных данных, в том числе для последующей настройки на задачи взаимодействия языка и изображений. LXMERT была разработана для таких сценариев, как визуальные вопросы и ответы и понимание связей между изображениями и текстом. В карточке Hugging Face лицензия не указана; условия использования следует сверять с первоисточником и материалами репозитория. Модель не является генеративным чат-ассистентом.
QuantFunc/Nunchaku-Qwen-Image-2512 — это серия предварительно квантованных производных весов модели Qwen/Qwen-Image-2512, подготовленная разработчиком QuantFunc для генерации изображений по текстовому описанию. Модель предназначена прежде всего для использования в ComfyUI через плагин QuantFunc, а также совместима с экосистемой Nunchaku-ComfyUI и LoRA. Доступны варианты с приоритетом качества, сбалансированные и ориентированные на максимальную скорость, в форматах INT4 и FP4. Ключевая особенность — офлайн-квантизация весов и инференс через нативный C++/CUDA-движок QuantFunc без зависимости от Python-моделей, что, по данным README, обеспечивает ускорение в 2–11 раз по сравнению со стандартными BF16/FP16-пайплайнами. Варианты различаются параметром low_rank: 256 для максимального качества, 128 для баланса и 32 для скорости. Заявлена поддержка GPU NVIDIA RTX 20/30/40/50, A100 и других современных ускорителей с CUDA 12 и 13, включая нативный FP4 на Blackwell. Указаны английский и китайский языки. Модель ориентирована на текст-в-изображение; плагин также предоставляет сценарии работы с референсными изображениями, inpainting и LoRA. Ограничения включают зависимость от QuantFunc/ComfyUI и потери, связанные с квантизацией. Лицензия — Apache License 2.0, унаследованная от базовой модели; репозиторий не аффилирован с авторами Qwen, MIT HAN Lab или проектом Nunchaku.
nrl-ai/pp-ocrv5-voicebridge-snapdragon — комплект моделей распознавания текста PP-OCRv5, подготовленный для локального запуска на NPU Snapdragon 8 Elite. В него входят детектор текста PP-HGNetV2 с DB++ и распознаватели китайского и корейского текста на архитектуре SVTR/CTC; модели скомпилированы в формат int8 TFLite через Qualcomm AI Hub. Комплект предназначен для извлечения текста с вывесок и знаков безопасности на китайском и корейском языках в мобильных приложениях, включая офлайн-перевод. По данным карточки, полный конвейер выполняется примерно за 2,2 мс на Hexagon NPU смартфона Samsung Galaxy S25 Ultra, без перехода на CPU. На 200 фотографиях вывесок из ReCTS полнота точного распознавания составила 48,5%, а средняя полнота по символам — 66%; результат зависит от сложности изображения. Латинский распознаватель не поддерживает предварительно составленные вьетнамские гласные с тоновыми знаками, поэтому модель не подходит для вьетнамского текста. Лицензия — Apache-2.0.
Abiray/Qwen-Image-2.1-GGUF — набор квантизированных контрольных точек GGUF для модели Qwen-Image-2.1, разработанной командой Qwen компании Alibaba Cloud. Репозиторий поддерживает генерацию изображений по текстовому описанию и редактирование изображений в ComfyUI с использованием расширения ComfyUI-GGUF. Основное назначение — запуск диффузионной модели на видеокартах с ограниченным объёмом видеопамяти. Квантизация diffusion transformer снижает требования к памяти, сохраняя, согласно описанию репозитория, детализацию, композицию и соответствие промпту. Доступны варианты Q8_0 размером 7,59 ГБ, Q6_K размером 5,88 ГБ, Q5_K_M размером 5,01 ГБ, Q4_K_M размером 4,19 ГБ, Q4_K_S размером 4,06 ГБ и Q3_K_M размером 3,19 ГБ; рекомендуемый объём VRAM составляет примерно от 4 до 12 ГБ в зависимости от варианта. Модель предназначена для работы в ComfyUI и требует совместимые текстовые энкодеры и VAE, которые предоставляются отдельно. В репозитории есть готовые рабочие процессы для text-to-image и image-to-image. Сильная сторона — выбор нескольких уровней квантизации для компромисса между качеством и потреблением памяти. Ограничения включают зависимость от ComfyUI, расширения ComfyUI-GGUF и дополнительных компонентов; сведения о поддерживаемых языках и размере базовой архитектуры в README не указаны. Лицензия обозначена как qwen-research; точные условия следует уточнять по лицензии базовой модели Qwen-Image-2.1.
Это FP8 E4M3FN-конверсия трансформера Qwen-Image-2512, подготовленная 777Radik для хранения и загрузки через DiffSynth. Модель предназначена для генерации изображений по текстовому описанию; исходная модель особенно хорошо справляется с реалистичными изображениями людей, детализированными природными сценами и отрисовкой текста, в том числе кириллицы. В FP8 представлены только веса трансформера в формате safetensors: их объём уменьшен примерно на 50% по сравнению с исходным хранилищем BF16. Токенизатор, текстовый энкодер и VAE нужно загрузить отдельно из Qwen/Qwen-Image-2512. В описанном автором тесте на 100 русских запросах результаты совпали с исходной BF16-версией побайтно; проверка проводилась в конкретном конвейере DiffSynth с ControlNet. Лицензия — Apache-2.0. Автор предупреждает, что вне проверенных DiffSynth-пайплайна и среды Blackwell FP8 работа не гарантируется.
Disty0/Qwen-Image-2512-SDNQ-4bit-dynamic — это динамически квантованная версия модели генерации изображений Qwen/Qwen-Image-2512, подготовленная пользователем Disty0 с использованием технологии SDNQ. Модель предназначена для преобразования текстовых описаний в изображения через QwenImagePipeline библиотеки Diffusers и может применяться для создания изображений с различными соотношениями сторон. Квантование выполняется по слоям с подбором типа данных на основе нормированной среднеквадратичной ошибки. Используется смешанная точность с типами int4, uint4, int5, float4_e3m0fn и float5_e3m1fn; минимальная разрядность составляет 4 бита, а порог ошибки — 1e-2. SVD-квантование отключено. Размер модели сокращён примерно с 40,9 ГБ в исходной BF16-версии до 12,0 ГБ. README не указывает архитектуру исходной модели, число параметров, поддерживаемые языки и максимальный контекст. Для работы требуются Python-пакет sdnq, PyTorch и Diffusers; предусмотрены оптимизации quantized matmul для GPU AMD, Intel ARC и Nvidia при доступности Triton. Доступны CPU offload и опциональная компиляция transformer-модуля. Ключевое преимущество — существенное уменьшение размера при сохранении сценария использования исходной модели, однако квантование может влиять на качество генерации и совместимость зависит от поддерживаемого программного и аппаратного окружения. Модель распространяется по лицензии Apache-2.0.
Qwen-Image-Pruning — открытый вариант модели Qwen-Image, созданный OPPOer удалением 20 слоёв при сохранении весов 40 слоёв. Модель содержит около 12 млрд параметров и предназначена для генерации изображений по текстовым описаниям; в README также заявлена совместимость с пользовательскими моделями LoRA и ControlNet. Модель работает через библиотеку Diffusers и распространяется в форматах Diffusers и Safetensors. В метаданных указаны английский и китайский языки. По сравнению с исходной моделью отмечено небольшое снижение объективных метрик; разработчики продолжают итеративную оптимизацию. Лицензия — Apache-2.0.
frankjoshua/realvisxlV50_v50LightningBakedvae — модель генерации изображений по текстовому описанию, разработанная пользователем frankjoshua и опубликованная на Hugging Face. Она предназначена для сценариев text-to-image: создания изображений на основе текстовых промптов, включая иллюстрации, концепт-арт, персонажей и фотореалистичные сцены. Модель реализована для библиотеки Diffusers и использует архитектуру StableDiffusionXLPipeline; формат весов — SafeTensors. В репозитории также присутствуют компоненты UNet, VAE, текстовые энкодеры и токенизаторы.
sanskar003/sam3-qwen3.5-2b — мультимодальная модель, созданная объединением Qwen3.5-2B от Qwen и визуального энкодера SAM 3 от Meta. К энкодеру изображений Qwen добавлены признаки SAM 3, чтобы улучшить точность локализации объектов; модель предназначена прежде всего для поиска объектов на изображениях и выдачи их координат в JSON, нормированных в диапазоне 0–1000 относительно исходного размера изображения. Модель принимает изображения и текстовые запросы через стандартный процессор Qwen3.5 и генерирует текстовый ответ. Она рассчитана на статичные изображения; обработка видео не поддерживается. В README указано, что обучение проводилось на закрытом наборе данных с одной формулировкой запроса, поэтому поведение на других доменах, формулировках и в общих задачах визуальных вопросов не проверено. Слияние добавляет дополнительный проход энкодера SAM 3 и примерно вдвое снижает пропускную способность относительно исходной Qwen3.5-2B; повышается точность локализации за счёт подавления ложных срабатываний, но полнота обнаружения не улучшается. Репозиторий использует библиотеку Transformers и формат safetensors. Лицензия указана как other, поэтому конкретные условия использования следует сверять с файлами репозитория и лицензиями базовых моделей. Проверен режим bfloat16.
Stable Diffusion XL Base 1.0 — модель генерации и редактирования изображений по текстовому описанию, разработанная Stability AI. Она использует латентную диффузию и два предварительно обученных текстовых энкодера: OpenCLIP-ViT/G и CLIP-ViT/L. Базовую модель можно применять самостоятельно либо вместе с отдельной моделью-рефайнером для финальной обработки изображения; также описан двухэтапный вариант с повышением разрешения через img2img. Модель предназначена для создания иллюстраций и художественных изображений, а также для творческих и образовательных инструментов и исследований генеративных моделей. Она поддерживает генерацию изображений по текстовым запросам; репозиторий предлагает варианты запуска через Diffusers, ONNX и OpenVINO. Лицензия — CreativeML Open RAIL++-M (в метаданных указана openrail++).
T2I-R1 — модель генерации изображений по текстовому описанию, разработанная авторами исследования «T2I-R1: Reinforcing Image Generation with Collaborative Semantic-level and Token-level CoT». Это дообученная версия мультимодальной DeepSeek Janus-Pro-7B с 6,5 млрд параметров, опубликованная в формате safetensors и предназначенная для запуска через Transformers. Для генерации модель использует двухуровневое рассуждение: семантическое планирование содержания запроса и пошаговую обработку токенов изображения. Обучение с подкреплением BiCoT-GRPO совместно оптимизирует эти этапы с помощью набора наград. Модель предназначена для преобразования текстовых запросов в изображения. Авторы сообщают об улучшении результатов относительно базовой Janus-Pro на 13% на T2I-CompBench и на 19% на WISE; README также утверждает, что модель превосходит FLUX.1 на этих тестах. Контекст составляет 16 384 токена. Для использования требуется подготовить репозиторий по инструкциям проекта и запустить скрипт инференса. Лицензия — Apache-2.0.
VILA-HD-8B-PS3-1.5K-SigLIP2 — мультимодальная языковая модель NVIDIA для анализа изображений высокого разрешения и ответов на вопросы о них. Архитектура основана на LlavaTopDownLlamaModel; модель разработана на базе PS3-1.5K-SigLIP2 и принимает изображение RGB размером до 1512 × 1512 пикселей вместе с текстовым запросом. Длина текстового ввода и ответа — до 12 288 токенов. Модель предназначена для извлечения визуальных признаков и сценариев, где требуется описать содержимое изображения или ответить на вопрос по нему. В карточке указано применение на системах с ускорителями NVIDIA; перечислена совместимость с Ampere, Blackwell, Hopper и Jetson. Поддерживаемый язык — английский. Распространяется по лицензии CC BY-NC-SA 4.0, которая предусматривает некоммерческое использование и распространение на тех же условиях.
Bhavu02/BFS-Best-Face-Swap — серия LoRA-адаптеров для редактирования изображений, разработанная автором Bhavu02. Адаптеры предназначены для моделей Qwen Image Edit 2509/2511, FLUX.2 Klein 4B/9B и Krea 2 и специализируются на замене лица, головы или всего человека с естественным смешиванием оттенка кожи, освещения и внешности. В серию входят варианты для замены только лица, полной головы и тела. Версии Head V2–V5 улучшают сопоставление тона кожи, выравнивание позы, анатомическую согласованность и перенос выражения; Head V5 является актуальным вариантом для рабочих процессов 2511. Для FLUX.2 Klein и большинства версий Head требуется инвертированный порядок входных изображений: сначала изображение тела или базовый кадр, затем лицо. Версия для замены тела в Krea 2 экспериментальная, поэтому поза может переноситься неточно. Модель работает с визуальными входами; заявленный язык — английский. Размер, максимальный контекст и точные параметры архитектуры не указаны. Использование требует совместимой базовой модели, соответствующего рабочего процесса и правильного порядка изображений. Для разных версий доступны workflows, включая интеграцию с ComfyUI. Серия распространяется по лицензии MIT.