I.8Изображения и компьютерное зрение

Это линейный пробник семантической сегментации ADE20K для CanViT, разработанный авторами CanViT. Он обучен на замороженных признаках сцены, представленными на холсте размером 64 × 64, и предназначен для разметки изображений по классам объектов и областей сцены. Базовая модель CanViT — активная vision transformer, которая воспринимает сцену последовательностью фрагментов и сохраняет её представление на общем холсте; пробник состоит из LayerNorm, dropout, BatchNorm и свёртки 1 × 1. При обучении использовались сцены размером 512 px и десять просмотров по 128 px с R-IID viewpoints. Модель рассчитана на семантическую сегментацию сцен из набора ADE20K. Репозиторий использует библиотеку canvit-pytorch, веса опубликованы в формате safetensors. Лицензия — MIT. README описывает конкретный пробник и протокол, но не приводит численных показателей качества.

onnx-community/rfdetr_nano-ONNX — модель обнаружения объектов семейства RF-DETR в формате ONNX. Репозиторий подготовлен сообществом onnx-community и рассчитан на запуск через Transformers.js. Модель предназначена для поиска объектов на изображениях и подходит для интеграции компьютерного зрения в JavaScript-приложения. Метаданные указывают на архитектуру RF-DETR и формат ONNX; размер модели и набор поддерживаемых классов в доступных сведениях не описаны. Модель распространяется по лицензии Apache-2.0. Практическое качество обнаружения и ограничения по классам зависят от исходного чекпойнта; в карточке приведена только краткая инструкция по использованию.

Sa2VA-4B — мультимодальная модель ByteDance для диалога о визуальном содержимом, объединяющая возможности языковой модели и сегментации изображений и видео. В карточке указана архитектура Sa2VAChatModel; модель основана на объединении с InternVL2.5-4B и использует языковую часть Qwen2.5-3B-Instruct. Репозиторий содержит веса в формате safetensors и предназначен для работы через Transformers. Модель отвечает на вопросы по изображениям и видео, понимает визуальные подсказки и выполняет плотную сегментацию объектов на обоих типах данных. В README заявлены результаты, сопоставимые с Qwen2-VL и InternVL2.5 на бенчмарках вопросов и ответов, а также сильные результаты в задачах визуального заземления и сегментации. Указанная лицензия — Apache-2.0. Карточка не приводит размер контекста и конкретный перечень поддерживаемых языков.

Карточка модели ByteDance/Sa2VA-InternVL3-14B на Hugging Face совпадает с карточкой ByteDance/Sa2VA-Qwen2_5-VL-3B, поэтому описание составлено по ней. ByteDance/Sa2VA-Qwen2_5-VL-3B — мультимодальная чат-модель семейства Sa2VA, предназначенная для работы с изображениями и видео. Она отвечает на вопросы по визуальному содержимому, понимает визуальные подсказки и выполняет сегментацию объектов с плотной привязкой к изображению или кадрам видео. Семейство Sa2VA объединяет языковые и визуальные компоненты; в этом репозитории указаны 3,1 млрд параметров, архитектура Sa2VAChatModelQwen и контекст до 128 000 токенов. Модель рассчитана на визуальные диалоги, локализацию объектов и сегментацию, включая задачи на видео. В README семейство Sa2VA описано как конкурентоспособное с Qwen2.5-VL и InternVL3 в тестах ответов на вопросы и сильное в визуальной привязке и сегментации. Указанная лицензия — Apache-2.0. Поддержка языков обозначена как многоязычная, без перечисления отдельных языков.

Карточка модели ByteDance/Sa2VA-InternVL3-2B на Hugging Face совпадает с карточкой ByteDance/Sa2VA-Qwen2_5-VL-3B, поэтому описание составлено по ней. ByteDance/Sa2VA-Qwen2_5-VL-3B — мультимодальная чат-модель семейства Sa2VA, предназначенная для работы с изображениями и видео. Она отвечает на вопросы по визуальному содержимому, понимает визуальные подсказки и выполняет сегментацию объектов с плотной привязкой к изображению или кадрам видео. Семейство Sa2VA объединяет языковые и визуальные компоненты; в этом репозитории указаны 3,1 млрд параметров, архитектура Sa2VAChatModelQwen и контекст до 128 000 токенов. Модель рассчитана на визуальные диалоги, локализацию объектов и сегментацию, включая задачи на видео. В README семейство Sa2VA описано как конкурентоспособное с Qwen2.5-VL и InternVL3 в тестах ответов на вопросы и сильное в визуальной привязке и сегментации. Указанная лицензия — Apache-2.0. Поддержка языков обозначена как многоязычная, без перечисления отдельных языков.

SenseNova-U1-8B-MoT-SFT — мультимодальная модель SenseNova, обученная для совместного понимания, рассуждения и генерации текста и изображений. Она построена на плотной архитектуре NEO-unify с MoT и содержит 8 млрд параметров. Модель принимает изображения и текст, поддерживает визуальное понимание, редактирование и генерацию изображений, а также создание чередующихся фрагментов текста и изображений в одном ответе. Модель предназначена для диалоговых сценариев, где нужно описывать или анализировать изображения, отвечать на вопросы по визуальному содержимому, редактировать изображения по текстовому запросу и создавать насыщенные информацией визуальные материалы. В README заявлена поддержка английского и китайского языков; веса доступны в формате safetensors. Лицензия — Apache 2.0. Это SFT-чекпойнт серии SenseNova-U1. В README также говорится, что финальные модели серии после этапов унифицированного обучения проходят начальный раунд обучения с подкреплением для генерации текста в изображение; не утверждается, что этот SFT-чекпойнт содержит этот этап. Показанный пример запуска редактирования использует репозиторий SenseNova-U1-8B-MoT, поэтому параметры контекста и отдельные характеристики именно варианта SFT не приведены. Опубликованные сведения не позволяют оценить ограничения качества на конкретных задачах.

Show-1-SR2 — модель повышения разрешения видео в составе каскадной системы генерации видео Show-1, разработанной Show Lab Национального университета Сингапура. Это диффузионная модель, дообученная на WebVid-10M: она принимает видео размером 256×160 пикселей и увеличивает его до 576×320. Модель предназначена для второго этапа генерации видео по текстовому запросу, обеспечивая более высокое визуальное качество при сохранении соответствия исходного видео запросу. Модель дообучена на основе cerspense/zeroscope_v2_576w с использованием шагов диффузии 0–900. Репозиторий содержит веса в форматах Diffusers и PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

TokenCompose_SD21_A — модель генерации изображений по текстовому описанию, представленная авторами работы для CVPR 2024. Она дообучена на базе Stable-Diffusion-v2-1 на парах изображений и подписей COCO из раздела VSR в течение 32 000 шагов. Обучение на разрешении 768×768 сочетает функцию потерь диффузионного восстановления с терминами привязки на уровне токенов, чтобы точнее размещать несколько категорий объектов в одной композиции и улучшить фотореалистичность. Модель предназначена для создания изображений по текстовым запросам с несколькими объектами и заданными отношениями или композицией. В карточке приведены результаты улучшения точности объектов и показателей композиции по сравнению с SD 2.1. Репозиторий использует библиотеку Diffusers и форматы Diffusers и safetensors. Указанная лицензия — CreativeML OpenRAIL-M.

ETCHR-FLUX.2-klein-9B — специализированный редактор изображений, разработанный авторами проекта ETCHR и дообученный на базе FLUX.2-klein-base-9B. Он принимает изображение и вопрос или инструкцию, а затем редактирует изображение, чтобы помочь мультимодальной языковой модели лучше рассуждать о мелких деталях, пространственных преобразованиях и визуальных задачах. Модель предназначена для совместного использования с MLLM в задачах распознавания мелких деталей, понимания диаграмм, логических рассуждений, восстановления головоломок и пространственного понимания 3D-сцен. В предложенном авторами процессе Edit-Verify-Reason основная модель проверяет результат редактирования и при неудачной проверке возвращается к исходному изображению. Репозиторий содержит веса в форматах Diffusers и SafeTensors; лицензия указана как other, поэтому конкретные условия следует сверить с карточкой модели.

ljnlonoljpiljm/florence-2-base-nsfw-v2-mlx — версия Florence-2 Base, преобразованная в формат MLX из ljnlonoljpiljm/florence-2-base-nsfw-v2 с помощью mlx-vlm 0.1.13. Это плотная модель семейства Florence-2 с архитектурой Florence2ForConditionalGeneration. Она принимает изображения и текстовые запросы и предназначена для задач компьютерного зрения с генерацией текстового ответа; каталог также относит её к генерации текста. В README указано использование через mlx-vlm. В метаданных формат файлов обозначен как safetensors. Точные размер модели, контекст и поддерживаемые языки в предоставленных источниках не описаны. Метка not-for-all-audiences указывает на ограничение по аудитории, однако README не раскрывает характер такого контента. Лицензия в предоставленных данных не указана.

Gliese-Qwen3.5-9B-Abliterated-Caption — мультимодальная vision-language модель от prithivMLmods, построенная на базе Qwen/Qwen3.5-9B. Она предназначена прежде всего для обобщённого и нефильтрованного описания изображений: генерации подробных подписей, анализа сцен, объектов, людей и окружения. Модель ориентирована на создание датасетов подписей, разметку изображений, мультимодальные исследования и локальные inference-пайплайны. Модель содержит около 9 млрд параметров и поддерживает обработку текста и изображений. В карточке заявлены английский и китайский языки, архитектура для image-text-to-text и интеграция с Transformers, vLLM и text-generation-inference. Она оптимизирована для длинных, структурированных и семантически насыщенных описаний, а также поставляется в форматах GGUF, включая BF16, F16, F32 и Q8_0. Размер контекстного окна не указан. Ключевая особенность — применение анализа направлений отказа и abliteration-тренировки для снижения внутренних отказов модели и получения более свободных описаний. Это может быть полезно для исследовательских и экспериментальных задач, но одновременно повышает риск нежелательного или небезопасного контента: встроенные ограничения снижены, поэтому результаты требуют дополнительной проверки и фильтрации. Модель распространяется по лицензии Apache-2.0; авторы указывают, что она предназначена для исследований и обучения, а ответственность за законное и безопасное использование лежит на пользователе.

Janus-Pro-1B — мультимодальная авторегрессионная модель семейства Janus, представленная в сообществе deepseek-community. Она объединяет понимание изображений и генерацию изображений в единой модели на базе трансформера, используя отдельные визуальные пути для этих задач. Для понимания изображений применяется энкодер SigLIP-L с поддержкой входа 384 × 384 пикселя; для генерации — визуальный токенизатор с коэффициентом уменьшения разрешения 16. Модель построена на базе DeepSeek-LLM, однако README не уточняет, какой именно вариант использован в этой версии на 1B. Модель предназначена для ответов на вопросы по изображениям и генерации изображений по текстовым запросам. Репозиторий использует библиотеку Transformers и формат Safetensors; лицензия — MIT. Карточка описывает объединённые мультимодальные возможности, но не приводит подробных результатов оценки именно этой версии.

Kiel-2-Omni — мультимодальная авторегрессионная модель на архитектуре Janus, дообученная на базе deepseek-ai/Janus-Pro-1B. Модель разработана автором репозитория kiel2 и объединяет генерацию текста, понимание изображений и создание изображений по текстовому описанию в единой модели MultiModalityCausalLM. Модель предназначена для диалоговых ответов, визуального вопросно-ответного взаимодействия, описания сцен и мультимодального анализа, а также для генерации творческих изображений по запросу. Веса доступны в формате safetensors для использования с Transformers. Лицензия — MIT. В карточке не приведены данные о размере модели и длине контекста, поэтому эти характеристики не описываются.

Kosmos-2 patch14-224 — мультимодальная модель Microsoft для работы с изображениями и текстом, представленная в репозитории как реализация для Hugging Face Transformers. Она генерирует описания изображений и отвечает на вопросы о них, связывая упомянутые объекты с их расположением на изображении. Модель поддерживает визуальное заземление фраз, понимание выражений, указывающих на объекты, и генерацию таких выражений; в README также приведены сценарии визуальных вопросов и ответов с ограничивающими рамками. Модель принимает изображение и текстовый запрос, а выдаёт текст; при задачах заземления результат также содержит координаты рамок объектов. В карточке приведены примеры кратких и подробных описаний. В репозитории доступны веса в форматах PyTorch и Safetensors. Лицензия — MIT. Размер модели, длина контекста и поддерживаемые естественные языки в предоставленных данных не описаны.

onnx-community/LFM2.5-VL-450M-ONNX — ONNX-версия мультимодальной модели LFM2.5-VL-450M, разработанной Liquid AI и основанной на языковом backbone LFM2.5-350M. Модель предназначена для обработки изображений и текста, включая описание изображений, общее визуально-языковое понимание, обнаружение объектов и предсказание ограничивающих рамок. Также поддерживает function calling для текстового ввода. Архитектура включает языковую модель LFM2.5-350M и vision encoder SigLIP2 NaFlex размером 86M параметров. Контекст составляет 32 768 токенов, словарь содержит 65 536 токенов. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, португальский и испанский языки. Модель обрабатывает изображения с исходным разрешением до 512×512 пикселей без увеличения, сохраняет нестандартные соотношения сторон и может разбивать крупные изображения на тайлы 512×512 с дополнительным thumbnail-представлением. К сильным сторонам относятся улучшенное следование инструкциям, мультиязычное визуальное понимание, поддержка обнаружения объектов и возможность регулировать число визуальных токенов и тайлов для компромисса между качеством и скоростью. Модель ориентирована на запуск на периферийных устройствах и может использоваться локально через transformers.js и WebGPU. Она хуже подходит для задач, требующих глубоких фоновых знаний, а также для точного OCR и мелкодетального распознавания текста. В README указана лицензия lfm1.0; репозиторий также помечен как использующий лицензию other.

Экспериментальный текстовый адаптер lilquail для LingBot-Vision-Giant, обученный связывать текстовые признаки Qwen3.5-0.8B с патч-признаками изображения. Обучалась только выравнивающая голова примерно на 1,58 млн параметров; признаки 2 048 тегов сохранены вместе с адаптером. Голова проецирует признаки изображения и текста в нормализованное 256-мерное пространство и оценивает сходство для каждого патча и тега. Модель предназначена для поиска тегов на изображении и получения пространственных карт отклика по запросам, например для определения областей, связанных с понятием «меч». Обучение проводилось с разметкой на уровне изображения на датасете Booru-Essence; доступны сохранённые запросы, а для новых текстовых запросов при инференсе требуется загрузить Qwen3.5-0.8B. Качество и пространственное поведение зависят от изображения, запроса и разрешения, а вне обученного словаря результаты могут быть ограничены. Адаптер распространяется по лицензии CC BY-NC-SA 4.0.

Llama JoyCaption Beta One — визуально-языковая модель для описания изображений, разработанная автором проекта JoyCaption для сообщества. Она принимает изображение и формирует текстовую подпись; основной сценарий — автоматическая подготовка описаний изображений для обучения и дообучения моделей генерации изображений. Модель также поддерживает диалоговый интерфейс и рассчитана на изображения разных стилей, включая цифровое искусство, фотореализм и аниме. Архитектура — LLaVA с объединёнными компонентами SigLIP 2 So400m Patch14 384 и Llama 3.1 8B Instruct; репозиторий использует Transformers и формат safetensors. В README автор заявляет о широком охвате обычных и откровенных концепций и минимальной фильтрации. Модель ориентирована на подробное описание изображений, но качество и пригодность конкретных подписей следует проверять для выбранного набора изображений. README указывает на свободные открытые веса; точные условия лицензии в предоставленных данных не приведены.

LMD+ — система генерации изображений по тексту, разработанная авторами проекта LLM-grounded Diffusion. Она использует большую языковую модель как предварительный обработчик запроса: извлекает объекты, их атрибуты и пространственные отношения, планирует компоновку, а затем передаёт её генератору изображений. Такой подход улучшает следование сложным запросам, включая понимание отрицаний, привязку атрибутов к объектам и генерацию заданного количества объектов. Модель основана на Stable Diffusion v1.4 и включает адаптеры, обученные с GLIGEN. Для использования предназначен конвейер LLMGroundedDiffusionPipeline; эта версия упрощает LMD+ и не выполняет генерацию отдельно для каждой рамки объекта. Репозиторий содержит веса в форматах Diffusers, PyTorch и Safetensors. Лицензия — CreativeML OpenRAIL-M.

Mobile-O-0.5B — компактная мультимодальная модель Amshaker для мобильных и периферийных устройств, объединяющая понимание изображений и генерацию изображений в одной архитектуре. Метаданные указывают 493,7 млн параметров, контекст 32 768 токенов и формат Safetensors; README приводит другое значение размера — 1,6 млрд параметров, поэтому точный размер модели по доступным сведениям неоднозначен. Модель поддерживает диалог по изображениям, визуальные вопросы и ответы, OCR, рассуждения по визуальному содержимому, генерацию изображений по тексту и редактирование изображений. В описанной архитектуре используются FastVLM-0.5B с визуальным энкодером FastViT и языковой основой Qwen2-0.5B, диффузионный декодер SANA-600M-512 и проектор для связи компонентов. Метаданные отмечают слияние FastVLM-0.5B и SANA_600M_512px_diffusers; модель доступна через Transformers. Модель предназначена для сценариев на мобильных устройствах, включая генерацию изображений 512×512; README заявляет время генерации около трёх секунд на iPhone. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение. В карточке не приведены результаты независимых оценок качества.

Motif-Technologies разработала Motif VAE — сверточный трёхмерный причинный вариационный автоэнкодер (VAE) для кодирования и восстановления изображений и видео. Модель использует детерминированный энкодер без attention, латентное пространство из 128 каналов и сжатие по времени в 4 раза и по пространству в 32 раза. Например, ролик размером 256×256 пикселей и длиной 17 кадров кодируется в латентный тензор размером 128×5×8×8. При обработке одного изображения VAE работает в режиме T=1. Модель предназначена прежде всего для высококомпрессионной токенизации видео и изображений перед обучением и запуском латентных диффузионных моделей. Сжатие уменьшает число пространственно-временных токенов и вычислительные затраты последующей модели; по приведённым в карточке сравнениям, VAE также хорошо сохраняет детали документов, восстанавливает изображения и видео и формирует латентное пространство, подходящее для диффузионного моделирования. Для работы с латентами в диффузионном процессе карточка показывает их нормализацию с помощью параметров scale и shift с последующим обратным преобразованием перед декодированием. Весы распространяются в формате safetensors через библиотеку diffusers; указана лицензия MIT. Карточка не приводит ограничений применимости, а оценки качества относятся к описанным в ней наборам данных и протоколам сравнения.

Nitro-T-1.2B — открытая диффузионная модель генерации изображений по тексту, разработанная AMD. Она построена на архитектуре MMDiT, сходной с Stable Diffusion 3, работает в латентном пространстве DC-AE и использует Llama 3.2 1B для текстового кондиционирования. Модель предназначена для создания изображений с разрешением 1024 пикселя по текстовым запросам. Модель обучена с нуля на наборе примерно из 35 миллионов изображений, включавшем реальные и синтетические данные из открытых источников. Разработчики ориентировали Nitro-T на эффективное обучение: обучение версии 1.2B заняло менее суток на 32 ускорителях AMD Instinct MI300X. Для загрузки с Hugging Face требуется Diffusers версии 0.34 или новее. Лицензия — Apache-2.0.

Ertugrul/Qwen2-VL-7B-Captioner-Relaxed — дообученная мультимодальная модель на основе Qwen2-VL-7B-Instruct, созданная для подробного описания изображений. Она формирует развернутые подписи на естественном английском языке, описывает объекты и их расположение и предназначена, в частности, для подготовки текстовых описаний для наборов данных генерации изображений. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2-VL и принимает изображения с текстовыми инструкциями; контекст — до 32 768 токенов. Дообучение на вручную отобранном наборе данных направлено на более подробные и свободные описания, которые можно использовать в системах text-to-image. Карточка указывает, что качество на других задачах может быть ниже, чем у исходной модели: например, результат на mmmu_val снизился примерно на 10%. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Instruct-Unredacted-MAX — дообученная мультимодальная модель prithivMLmods на архитектуре Qwen3-VL с 4 млрд параметров. Она принимает текстовые запросы и изображения и формирует текстовые ответы; предназначена для диалога с визуальным контекстом, понимания изображений, генерации описаний и мультимодальных экспериментов. Поддерживает изображения разных разрешений и пропорций и рассчитана на эффективный запуск по сравнению с более крупными моделями. Модель подходит для создания подписей к изображениям и подготовки аннотаций для наборов данных, оценки систем компьютерного зрения с языковым интерфейсом и прототипирования приложений, объединяющих текст и изображения. Выпуск обновляет упаковку и совместимость с Transformers относительно huihui-ai/Qwen3-VL-4B-Instruct-abliterated, сохраняя возможности исходной архитектуры. Репозиторий распространяется по лицензии Apache-2.0. Качество зависит от чёткости изображения и формулировки запроса; интерпретации сложных сцен могут быть неполными или непоследовательными. Для стабильного вывода требуется достаточно видеопамяти, а результаты зависят от настроек декодирования и среды запуска.

Карточка модели ByteDance/Sa2VA-InternVL3-8B на Hugging Face совпадает с карточкой ByteDance/Sa2VA-Qwen2_5-VL-3B, поэтому описание составлено по ней. ByteDance/Sa2VA-Qwen2_5-VL-3B — мультимодальная чат-модель семейства Sa2VA, предназначенная для работы с изображениями и видео. Она отвечает на вопросы по визуальному содержимому, понимает визуальные подсказки и выполняет сегментацию объектов с плотной привязкой к изображению или кадрам видео. Семейство Sa2VA объединяет языковые и визуальные компоненты; в этом репозитории указаны 3,1 млрд параметров, архитектура Sa2VAChatModelQwen и контекст до 128 000 токенов. Модель рассчитана на визуальные диалоги, локализацию объектов и сегментацию, включая задачи на видео. В README семейство Sa2VA описано как конкурентоспособное с Qwen2.5-VL и InternVL3 в тестах ответов на вопросы и сильное в визуальной привязке и сегментации. Указанная лицензия — Apache-2.0. Поддержка языков обозначена как многоязычная, без перечисления отдельных языков.

SDXL-Lightning — модель генерации изображений по текстовому описанию, разработанная ByteDance и опубликованная как часть исследовательской работы о дистилляции диффузионных моделей. Она основана на Stable Diffusion XL 1.0 и предназначена для быстрого создания изображений размером 1024 пикселя за 1, 2, 4 или 8 шагов генерации. Доступны полные чекпойнты UNet и адаптеры LoRA; для лучшего качества авторы рекомендуют полные чекпойнты на базе SDXL, а LoRA — при использовании других базовых моделей. Варианты на 2, 4 и 8 шагов рассчитаны на быструю генерацию с высоким качеством. Версия на 1 шаг экспериментальная и менее стабильна по качеству. Для запуска нужны подходящий числу шагов чекпойнт и корректные настройки планировщика; в ComfyUI рекомендованы Euler и sgm_uniform. Модель распространяется по лицензии OpenRAIL++ с условиями использования, указанными в лицензии.

ShareCaptioner — модель для создания подробных описаний изображений, разработанная Lin-Chen и дообученная на базе InternLM-Xcomposer-7B. Она обучалась в ноябре 2023 года на 100 тысячах пар «изображение — текст», где подписи были созданы с помощью GPT-4 Vision. Модель рассчитана на ввод изображений с разрешением 448×448 и генерирует текстовые подписи; её архитектура — плотная InternLMXComposerForCausalLM, размер — 6,9 млрд параметров, контекст — 2048 токенов. Модель предназначена для исследователей и любителей компьютерного зрения, NLP и машинного обучения, которым нужны детальные подписи к изображениям. В метаданных Hugging Face основной тег задачи — feature-extraction, однако карточка описывает именно генерацию подписей, поэтому основная задача каталога — image-to-text. Репозиторий содержит веса PyTorch. Лицензия в доступных данных не указана.

Это производная версия google/t5gemma-2-270m-270m, подготовленная PhatcatDK: из мультимодальной модели T5Gemma 2 на базе Gemma 3 выделен только энкодер вместе с компонентами обработки изображений. Репозиторий содержит веса в формате safetensors; для загрузки в README указан класс T5Gemma2Model и библиотека Transformers. Модель предназначена для извлечения признаков из входных данных. Удаление декодера уменьшает потребление видеопамяти примерно на 13% по сравнению с исходной seq2seq-моделью. Лицензия — Gemma Terms of Use. Данные не сообщают длину контекста и конкретный перечень поддерживаемых языков.

UniDiffuser-v1 — мультимодальная генеративная диффузионная модель, разработанная командой thu-ml. Она объединяет генерацию изображений и текста в одной модели на базе трансформера U-ViT и поддерживает генерацию изображения по тексту, описания изображения по изображению, генерацию текста и пар «изображение—текст», а также вариаций изображений и текста. UniDiffuser-v1 продолжает обучение UniDiffuser-v0 на менее шумных внутренних парах изображений и текста; базовая версия обучалась на LAION-5B. В состав входят автоэнкодер изображений из Stable Diffusion, визуальный и текстовый энкодеры CLIP и дообученный декодер текста GPT-2. Модель рассчитана на английский язык и распространяется в формате Diffusers/PyTorch по лицензии AGPL-3.0. Подходит для творческой генерации изображений и подписей, прототипирования мультимодальных приложений и исследования генеративных моделей. Она не предназначена для достоверного изображения реальных людей или событий; результаты могут содержать ошибки и отражать предубеждения обучающих данных.

WD ConvNext Tagger v3 — модель SmilingWolf для автоматической разметки изображений тегами Danbooru. Она использует архитектуру ConvNeXt и предназначена для предсказания рейтингов, персонажей и общих тегов по изображению. Обучена на изображениях Danbooru; редкие теги и изображения с малым числом общих тегов исключались из обучающей выборки. Версия датасета v3 включает более свежие теги по состоянию на 28 февраля 2024 года и больше обучающих изображений. Для борьбы с дисбалансом классов применялось масштабирование функции потерь по частоте тегов. Репозиторий содержит модели в форматах ONNX и safetensors; также заявлена совместимость с timm. Для ONNX требуется onnxruntime версии 1.17.0 или новее. Лицензия — Apache-2.0. Модель подходит для пакетного автоматического тегирования изображений и извлечения тегов для поиска или каталогизации. Валидация на указанном наборе дала F1 0,4419 при пороге 0,2682 для версии v2.0; эти показатели не гарантируют аналогичного качества на других изображениях. Обучение проводилось на изображениях Danbooru, поэтому покрытие тегов и качество на изображениях вне этого домена могут быть ограничены.

Модель mosesb/best-comic-panel-detection — дообученный вариант YOLOv12x для обнаружения отдельных панелей на страницах комиксов. Она возвращает ограничивающие рамки класса «Comic Panel» и предназначена для автоматической оцифровки и структурирования страниц. Модель обучена на пользовательском размеченном наборе данных Custom-Workflow-3-Object-Detection-1 с использованием PyTorch и Ultralytics. Её можно применять для подготовки страниц к цифровому чтению, выделения панелей перед извлечением текста или персонажей, а также для анализа композиции страниц и создания датасетов. В README указаны высокие результаты на валидационной выборке: mAP50 0,991 и mAP50-95 0,985; это показатели на данных обучения и не гарантируют аналогичного качества на комиксах с другими стилями или разметкой. Модель выдаёт прямоугольные рамки и может хуже работать с сильно неправильными или перекрывающимися панелями. Лицензия репозитория — Apache-2.0.