/ Профессии
Универсальные способности и операции

I.8Изображения и компьютерное зрение

В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеТекст
AI-задач
17
в этой профессии
Подходящих моделей
6 331
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеТекст

Рекомендованные модели

6 331 модель
Загрузки
Лайки
Дата выхода
601–630 из 6 331
inclusionAI
LLaDA2.0-Uni-FP8

LLaDA2.0-Uni-FP8 — версия LLaDA2.0-Uni, подготовленная Inclusion AI, в которой веса MoE-экспертов блочно квантованы до FP8. Квантизация уменьшает объём памяти для загрузки модели примерно на 48% по сравнению с вариантом BF16, при этом README заявляет о сохранении качества результатов. Модель относится к мультимодальному семейству LLaDA2 MoE и поддерживает генерацию изображений по тексту, понимание изображений и редактирование изображений. Заявленный контекст составляет 8192 токена; модель использует Transformers и хранится в формате safetensors. Для загрузки FP8-варианта требуется около 32,5 ГБ памяти GPU; пиковое потребление при инференсе сопоставимо с BF16 и зависит от сценария. Лицензия — Apache-2.0.

735май 2026ctx8.2K
textapache-2.0hugging-face
timm
mobilevit_xxs.cvnets_in1k

MobileViT-XXS — компактная модель классификации изображений из семейства MobileViT, представленная авторами статьи и доступная через библиотеку timm. Модель обучена на ImageNet-1k; в README указаны 1,3 млн параметров, 0,4 GMACs и входной размер изображения 256 × 256 пикселей. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Компактный размер и низкая вычислительная стоимость делают её подходящей для экспериментов и сценариев компьютерного зрения с ограниченными ресурсами. Для применения на изображениях вне ImageNet-1k может потребоваться адаптация. В репозитории доступны веса PyTorch и safetensors. Лицензия в метаданных указана как other; README отсылает к сведениям о лицензии, но конкретные условия в предоставленной карточке не приведены.

12K1апр. 2023
imageotherhugging-face
QuantFunc
Nunchaku-Qwen-Image-EDIT-2511

QuantFunc/Nunchaku-Qwen-Image-EDIT-2511 — это квантизированная производная модель Qwen-Image-Edit-2511, подготовленная командой QuantFunc для ускоренного редактирования изображений. Модель предназначена для image-to-image задач, включая редактирование по текстовым инструкциям, работу с референсными изображениями и inpainting. Она рассчитана на использование в ComfyUI через плагин QuantFunc и совместима с workflow с 4-шаговой LoRA. Доступны варианты INT4 и FP4 с приоритетом качества, скорости или баланса между ними; параметр low_rank составляет 256, 128 или 32 в зависимости от варианта. Заявлены ускорение инференса в 2–11 раз относительно стандартных BF16/FP16 Python-пайплайнов, нативная реализация на C++/CUDA и отсутствие зависимости от Python-моделей в inference engine. В состав входит текстово-визуальный энкодер Qwen2.5-VL-7B. В метаданных указаны английский и китайский языки, однако размер контекста не приведён. Сильными сторонами модели являются высокая скорость, сниженные требования к вычислениям благодаря квантизации, поддержка современных GPU RTX 20/30/40/50, A100 и других ускорителей, а также возможность выбора между качеством и производительностью. Ограничения включают необходимость использования совместимого плагина QuantFunc и подходящего GPU/CUDA-окружения; сведения о точных требованиях к памяти, качестве на разных типах задач и максимальном разрешении в README отсутствуют. Модель распространяется по лицензии Apache License 2.0 как квантизированная производная базовой модели.

9.0K116янв. 2026
textimageapache-2.0hugging-face
mikoy92
PP-OCRv6-tiny-det-mlx

PP-OCRv6 tiny text detection MLX — компактная модель обнаружения текстовых областей из семейства PaddleOCR, подготовленная mikoy92 для запуска на Apple Silicon через MLX и mlx-vlm. Это конверсия модели PaddlePaddle/PP-OCRv6_tiny_det_safetensors; лицензия — Apache-2.0. Модель принимает изображение документа и возвращает координаты рамок с найденными текстовыми областями. Она предназначена для этапа обнаружения текста в лёгких OCR-системах, например при разборе сканов и фотографий документов. Для распознавания содержимого найденных областей потребуется отдельная OCR-модель.

250июнь 2026
textimageapache-2.0hugging-face
timm
qwen3_vit_306m_enc.qwen3_5_4b

Модель timm/qwen3_vit_306m_enc.qwen3_5_4b — извлечённый из Qwen3.5-4B визуальный энкодер для получения признаков изображений; исходные веса разработаны командой Qwen, а вариант timm представлен как перенос весов в формат библиотеки timm без дополнительного обучения. Энкодер включает зрительный backbone, пространственный мерджер и проекцию в ширину исходной языковой модели. Он содержит около 332,7 млн параметров, поддерживает прямоугольные изображения и рассчитан на входной размер 768 × 768. Модель принимает RGB-изображения и выдаёт пространственные визуальные токены или карты признаков. Она предназначена для извлечения представлений изображений и использования в мультимодальных системах; в репозитории нет весов языковой модели и обученной головы классификации. Размеры изображения должны делиться на 16, а для вариантов с мерджером 2 × 2 — на 32. Используется нормализация RGB со средним и стандартным отклонением 0,5. Лицензия — Apache 2.0.

310сент. 2026
imageembeddingapache-2.0hugging-face
timm
qwen3_vit_306m_enc.qwen3_vl_4b

Это извлечённый из Qwen3-VL-4B-Instruct визуальный энкодер Qwen3 ViT, преобразованный для библиотеки timm. Модель содержит vision backbone, пространственный merger и проекцию признаков в размерность 2560; языковые веса и обученная классификационная голова отсутствуют. В карточке указаны 332,7 млн параметров и базовый размер изображения 768 × 768. Энкодер предназначен для получения признаков и пространственных токенов из изображений, а также промежуточных карт признаков. Он принимает RGB-изображения с размерами, кратными 16; для варианта с merger 2 × 2 размеры должны быть кратны 32. Поддерживаются прямоугольные изображения, позиционные эмбеддинги интерполируются для размера входной сетки. Реализация работает только с изображениями и не включает обработку языка или видео. Это перенос весов в формат timm без дополнительного обучения. Лицензия — Apache 2.0. Энкодер сам по себе не выполняет классификацию: для неё нужна классификационная голова.

270сент. 2026
imageembeddingapache-2.0hugging-face
timm
qwen3_vit_416m_enc.qwen3_vl_8b

Это модель извлечения признаков изображений, содержащая визуальный энкодер Qwen3-VL-8B-Instruct, перенесённый в формат timm. Веса энкодера включают пространственный merger и проекцию к размерности исходной языковой модели; обучающие веса языковой модели и голова классификации в репозиторий не входят. Дополнительного обучения при переносе не проводилось. Модель преобразует RGB-изображения в пространственные признаки и токены, пригодные для дальнейшей обработки. Поддерживаются прямоугольные изображения; размеры каждой стороны должны делиться на 16, а для вариантов с merger 2×2 — на 32. Указанный в карточке типичный размер изображения — 768×768. Модель содержит около 455 млн параметров; доступны промежуточные карты признаков. Энкодер подходит для извлечения визуальных признаков в мультимодальных системах и исследовательских конвейерах компьютерного зрения, но сам по себе не генерирует текст и не выполняет классификацию без добавленной головы. Для нормализации RGB используются среднее и стандартное отклонение 0,5 по каждому каналу. Лицензия — Apache 2.0.

300сент. 2026
imageembeddingapache-2.0hugging-face
Fargol83
Qwen-Image-Layered

Карточка модели Fargol83/Qwen-Image-Layered на Hugging Face совпадает с карточкой Qwen/Qwen-Image-Layered, поэтому описание составлено по ней. Qwen-Image-Layered — модель на базе Qwen-Image, предназначенная для разложения изображения на несколько RGBA-слоёв. Каждый слой отделяет отдельные смысловые или структурные элементы, чтобы их можно было независимо редактировать, перемещать, масштабировать, перекрашивать или удалять, сохраняя остальное содержимое изображения. Модель поддерживает разложение на переменное число слоёв и повторное разложение отдельных слоёв. Она предназначена для редактирования изображений с сохранением согласованности между изменениями и может использоваться как этап подготовки изображения к дальнейшей обработке. Карточка указывает поддержку английского и китайского языков; модель распространяется в форматах Diffusers и Safetensors под лицензией Apache-2.0.

150июль 2026
textimageapache-2.0hugging-face
smp-hub
resnet152.imagenet

В репозитории smp-hub/resnet152.imagenet размещены предварительно обученные на ImageNet веса ResNet-152 для использования в качестве энкодера в библиотеке segmentation-models-pytorch. Это сверточная модель классификации изображений; веса представлены в формате safetensors. Их можно использовать как основу для задач компьютерного зрения, в частности при построении моделей сегментации с энкодером ResNet-152. Модель подходит для классификации изображений и как компонент систем семантической сегментации. В карточке указана лицензия other, поэтому перед использованием следует проверить условия лицензии репозитория и исходных весов ImageNet.

4.5K0янв. 2025
imageotherhugging-face
lllyasviel
sd-controlnet-canny

lllyasviel/sd-controlnet-canny — модель ControlNet, разработанная Lvmin Zhang и Maneesh Agrawala. Это диффузионная модель условной генерации изображений, предназначенная для работы совместно с Stable Diffusion v1.5. Она принимает текстовое описание на английском языке и дополнительное условие в виде карты границ Canny — монохромного изображения с белыми контурами на чёрном фоне — чтобы управлять структурой создаваемого изображения. Модель подходит для сценариев text-to-image и image-to-image, когда важно сохранить композицию, контуры и общую геометрию исходного изображения, одновременно изменяя его содержание или визуальный стиль по текстовому запросу. ControlNet усиливает управляемость генерации и может применяться в художественных и прикладных задачах обработки изображений. Точный размер модели и длина контекстного окна в README не указаны. Модель распространяется по лицензии CreativeML OpenRAIL M, адаптированной из Open RAIL M; ограничения и условия использования определяются текстом этой лицензии.

27K252февр. 2023
textopenrailhugging-face
timm
tinynet_b.in1k

tinym/tinynet_b.in1k — компактная модель классификации изображений из семейства TinyNet, обученная авторами статьи на ImageNet-1k. Она предназначена для присвоения изображению метки из набора классов ImageNet, а также может использоваться как лёгкая основа для извлечения признаковых карт и эмбеддингов изображений. Модель содержит около 3,7 млн параметров, требует примерно 0,2 GMAC на изображение и рассчитана на вход размером 188 × 188 пикселей. Репозиторий предоставляет веса в форматах PyTorch и safetensors; библиотека для работы с моделью — timm. Лицензия — Apache-2.0. Компактный размер и низкие вычислительные затраты подходят для классификации изображений и извлечения признаков при ограниченных ресурсах. Карточка подтверждает обучение на ImageNet-1k, но не описывает качество на других наборах данных или специализированных предметных областях; для таких сценариев может потребоваться дообучение.

3000дек. 2022
imageapache-2.0hugging-face
KBlueLeaf
TTVidT

TT-VidT — разработанный KohakuBlueleaf самоконтролируемый видеоэнкодер для выделения движения. Модель сочетает визуальный путь DINOv3 ViT-B/16, обрабатывающий кадры независимо, и компактный временной путь Temporal Transfer, который передаёт информацию между кадрами с помощью motion-токенов. Эту версию предварительно обучили на OpenVid-1M; она содержит 195,5 млн параметров и принимает последовательность из 8 RGB-кадров размером 256 × 256, рассчитанную на частоту 6 кадров в секунду. Основной выход — вектор движения размерности 768 для каждого кадра. Эмбеддинги подходят для классификации видео и могут использоваться как признаки движения в задачах поиска, описания и генерации видео; перечисленные сценарии за пределами классификации представлены авторами как возможные направления применения. В опубликованной оценке замороженный энкодер показал результаты на нескольких наборах данных распознавания действий. Для загрузки используются PyTorch и Transformers. Веса доступны по лицензии Apache-2.0.

1138сент. 2026
videoapache-2.0hugging-face
timm
vit_pwee_patch16_reg1_gap_256.sbb_in1k

Модель timm/vit_pwee_patch16_reg1_gap_256.sbb_in1k — компактная Vision Transformer для классификации изображений и извлечения признаков. Её разработчики обучили её в библиотеке timm на ImageNet-1k; модель содержит 15,3 млн параметров и рассчитана на изображения размером 256 × 256 пикселей. Архитектура использует патчи 16 × 16, один register-токен и глобальное усреднение признаков. Модель подходит для присвоения изображениям классов ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0. README не приводит метрик качества именно этой модели; применимость к классам и данным вне ImageNet-1k отдельно не описана.

2652май 2024
imageapache-2.0hugging-face
facebook
webssl-dino3b-full2b-224

Web-SSL DINO ViT-3B — визуальный трансформер, разработанный авторами работы «Scaling Language-Free Visual Representation Learning» (Fan et al., 2025). Модель обучена методом самообучения DINOv2 на 2 млрд веб-изображений из данных MetaCLIP без языковой супервизии. Модель содержит около 3,9 млрд параметров и обрабатывает изображения с разрешением 224×224 пикселя. Её основное назначение — извлечение визуальных признаков для задач компьютерного зрения; в README также сообщается о результатах на традиционных тестах зрения, визуальных вопросах, OCR и понимании диаграмм. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Карточка описывает визуальные возможности, однако не приводит ограничений или оценок качества для отдельных сценариев.

8662апр. 2025
imageembeddingcc-by-nc-4.0hugging-face
rmaser
aloe-dinov3-base-in1k-lp

Карточка модели rmaser/aloe-dinov3-base-in1k-lp на Hugging Face совпадает с карточкой rmaser/aloe-siglip2-base, поэтому описание составлено по ней. rmaser/aloe-siglip2-base — визуальный энкодер семейства ALOE, разработанный для преобразования представлений SigLIP2 ViT-B/16 в объяснимую B-cos-модель. На этапе выравнивания модель обучалась сопоставлять глобальные и промежуточные токенные признаки замороженного учителя на изображениях без разметки. Она предназначена для использования как визуальный backbone в классификации изображений, извлечении признаков и задачах переноса, включая zero-shot классификацию с текстовым энкодером SigLIP2. Модель содержит 113,2 млн параметров и публикуется в формате safetensors для Transformers; для загрузки требуется пользовательский код репозитория. ALOE стремится сохранить геометрию признаков и качество исходного энкодера, одновременно предоставляя встроенные B-cos-объяснения. В README отмечено, что публичные чекпойнты следует считать исследовательскими артефактами. Лицензия — CC BY-NC-SA 4.0, допускающая использование с указанием авторства и на условиях распространения производных материалов, но не коммерческое использование.

460июль 2026
imagecc-by-nc-sa-4.0hugging-face
rmaser
aloe-dinov3-large-in1k-lp

Карточка модели rmaser/aloe-dinov3-large-in1k-lp на Hugging Face совпадает с карточкой rmaser/aloe-siglip2-base, поэтому описание составлено по ней. rmaser/aloe-siglip2-base — визуальный энкодер семейства ALOE, разработанный для преобразования представлений SigLIP2 ViT-B/16 в объяснимую B-cos-модель. На этапе выравнивания модель обучалась сопоставлять глобальные и промежуточные токенные признаки замороженного учителя на изображениях без разметки. Она предназначена для использования как визуальный backbone в классификации изображений, извлечении признаков и задачах переноса, включая zero-shot классификацию с текстовым энкодером SigLIP2. Модель содержит 113,2 млн параметров и публикуется в формате safetensors для Transformers; для загрузки требуется пользовательский код репозитория. ALOE стремится сохранить геометрию признаков и качество исходного энкодера, одновременно предоставляя встроенные B-cos-объяснения. В README отмечено, что публичные чекпойнты следует считать исследовательскими артефактами. Лицензия — CC BY-NC-SA 4.0, допускающая использование с указанием авторства и на условиях распространения производных материалов, но не коммерческое использование.

410июль 2026
imagecc-by-nc-sa-4.0hugging-face
rmaser
aloe-siglip2-so400m-432-in1k-lp

Карточка модели rmaser/aloe-siglip2-so400m-432-in1k-lp на Hugging Face совпадает с карточкой rmaser/aloe-siglip2-base, поэтому описание составлено по ней. rmaser/aloe-siglip2-base — визуальный энкодер семейства ALOE, разработанный для преобразования представлений SigLIP2 ViT-B/16 в объяснимую B-cos-модель. На этапе выравнивания модель обучалась сопоставлять глобальные и промежуточные токенные признаки замороженного учителя на изображениях без разметки. Она предназначена для использования как визуальный backbone в классификации изображений, извлечении признаков и задачах переноса, включая zero-shot классификацию с текстовым энкодером SigLIP2. Модель содержит 113,2 млн параметров и публикуется в формате safetensors для Transformers; для загрузки требуется пользовательский код репозитория. ALOE стремится сохранить геометрию признаков и качество исходного энкодера, одновременно предоставляя встроенные B-cos-объяснения. В README отмечено, что публичные чекпойнты следует считать исследовательскими артефактами. Лицензия — CC BY-NC-SA 4.0, допускающая использование с указанием авторства и на условиях распространения производных материалов, но не коммерческое использование.

310июль 2026
imagecc-by-nc-sa-4.0hugging-face
ddz16
CamSFT-4B

CamSFT-4B — мультимодальная модель для анализа движений камеры в видео, созданная дообучением Qwen/Qwen3-VL-4B-Instruct методом supervised fine-tuning. Для каждого сегмента видео она формирует структурированный JSON с временными границами, типом и направлением базового движения камеры, скоростью и специальными приёмами съёмки. Модель предназначена для сегментации и описания движений камеры в видеороликах. Для воспроизведения результатов работы требуется использовать рекомендованный в README prompt и настройки обработки видео; точные параметры приведены в репозитории CamDistill. Модель распространяется в формате safetensors по лицензии Apache-2.0.

340июль 2026ctx262.1K
textvideoapache-2.0hugging-face
xinsir
controlnet-union-sdxl-1.0

ControlNet Union SDXL 1.0 — модель, разработанная командой xinsir для управляемой генерации и редактирования изображений на базе Stable Diffusion XL и архитектуры ControlNet. Она предназначена для text-to-image и image-to-image сценариев, в которых нужно задавать структуру, позу, глубину, контуры, линейный рисунок и другие визуальные условия, а также комбинировать несколько условий в одном запросе. В версии ProMax заявлена поддержка более 10 типов управления и пяти расширенных функций редактирования, включая устранение размытия по тайлам, вариативность, тайловое суперразрешение, inpainting и outpainting. Модель использует модифицированную архитектуру оригинального ControlNet с общими параметрами и единым энкодером условий для разных типов входных изображений. По заявлению авторов, она обучалась на более чем 10 миллионах изображений с применением bucket training, многоразмерного обучения, аугментаций и переформулированных описаний. Это позволяет работать с изображениями высокого разрешения и различными соотношениями сторон, поддерживать одновременное использование нескольких условий без заметного увеличения вычислительных затрат и сохранять совместимость с другими SDXL- и LoRA-моделями. Точный размер модели, список поддерживаемых языков, максимальная длина контекста и полный перечень условий в README не указаны. Сильные стороны модели — универсальность, управление композицией и структурой изображения, поддержка объединения нескольких условий, а также применение к задачам детального редактирования и увеличения разрешения. Ограничения связаны с отсутствием в README подробных инструкций по инференсу, точных требований к оборудованию и количественных результатов оценки; заявленные характеристики производительности и качества не подтверждены приведёнными метриками. Модель распространяется по лицензии Apache-2.0.

136K1.9Kиюль 2024
textapache-2.0hugging-face
prithivMLmods
DeepCaption-VLA-7B

DeepCaption-VLA-7B — мультимодальная модель prithivMLmods на архитектуре Qwen2.5-VL-7B, объединяющая доработанные варианты Qwen2.5-VL-7B-Instruct. Она предназначена для подробного описания изображений и атрибуции визуальных свойств: модель описывает объекты, сцены и окружение, уделяя внимание признакам и деталям. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache-2.0. Модель рассчитана на изображения разного соотношения сторон и может формировать как краткие подписи, так и более подробные описания по запросу. Основной язык карточки — английский; автор указывает, что многоязычные подписи можно получать с помощью промптов. Подходит для подготовки подписей к датасетам, визуальной разметки и описания художественных, технических и обычных изображений. В неоднозначных изображениях модель может приписывать свойства, которые нельзя уверенно подтвердить по картинке; результаты зависят от формулировки запроса, а точность может снижаться на синтетических и сильно абстрактных изображениях. Фильтрация откровенного или чувствительного содержимого не является целью модели.

13121авг. 2025
textimageapache-2.0hugging-face
nvidia
E-RADIO

E-RADIO — модель извлечения визуальных признаков, разработанная NVIDIA Research. Она формирует два представления изображения: сводный вектор, похожий по назначению на CLS-токен ViT и описывающий изображение целиком, и пространственные признаки, сохраняющие локальную информацию. Эти представления подходят для построения систем компьютерного зрения, включая семантическую сегментацию, а также для передачи визуальных признаков в языковую модель. Модель доступна через Transformers как `AutoModel`; для загрузки из карточки требуется `trust_remote_code=True`. Репозиторий содержит веса PyTorch в формате safetensors. Условия лицензии в предоставленных данных не описаны.

19314дек. 2023
textembeddinghugging-face
OpenGVLab
InternViT-6B-448px-V1-2

InternViT-6B-448px-V1-2 — визуальная foundation-модель и backbone для извлечения признаков, разработанная OpenGVLab. Это продолжительно предобученная версия InternViT-6B для использования в системах компьютерного зрения и как визуальный энкодер мультимодальных языковых моделей. Модель принимает изображения размером 448 × 448 пикселей и содержит 45 блоков InternVisionModel; в карточке Hugging Face указано 7,4 млрд параметров, а README сообщает 5,5 млрд параметров после удаления трёх последних блоков. При дообучении использовались данные для описания изображений и OCR, включая наборы с китайским и английским текстом. Это расширяет возможности визуального представления сцен и распознавания текста на изображениях. Авторы отмечают, что серия InternViT V2.5 лучше подходит для построения мультимодальных языковых моделей, чем для традиционных задач компьютерного зрения. Репозиторий распространяется по лицензии MIT.

7826февр. 2024
textmithugging-face
OpenGVLab
InternViT-6B-448px-V1-5

InternViT-6B-448px-V1-5 — визуальная foundation-модель и backbone для извлечения признаков, разработанная OpenGVLab. Это дообученная версия InternViT-6B-448px-V1-2: при дальнейшем предобучении использовались изображения с динамическим разрешением на основе плиток 448×448, от 1 до 12 плиток на изображение. В README указано 5,54 млрд параметров после удаления последних трёх блоков; метаданные репозитория указывают 7,4 млрд параметров. Модель предназначена прежде всего для получения визуальных признаков, в том числе как зрительная часть мультимодальных языковых моделей. Обучение на разнообразных данных изображений и дополнительных OCR-данных усилило устойчивость, распознавание текста на изображениях и работу с высоким разрешением. Для построения MLLM авторы рекомендуют использовать признаки последнего слоя. README отмечает, что серия InternViT V2.5 лучше подходит для построения MLLM, чем для традиционных задач компьютерного зрения. Лицензия — MIT.

34576апр. 2024
textmithugging-face
fushh7
llmdet_swin_tiny_hf

LLMDet — детектор объектов с открытым словарём, представленный в версии для Hugging Face. Модель разработана авторами Shenghao Fu и коллегами; работа отмечена как Highlight на CVPR 2025. В карточке указана архитектура Grounding DINO и класс GroundingDinoForObjectDetection. Модель предназначена для обнаружения объектов по текстовым описаниям и поиска объектов на изображениях без заранее фиксированного набора классов. Её можно применять для локализации объектов по запросам на естественном языке и исследовательских экспериментов с open-vocabulary детекцией. В статье обучение описано как использующее надзор со стороны больших языковых моделей. Репозиторий содержит веса PyTorch в формате Safetensors. Лицензия — Apache-2.0. README отсылает за подробностями к GitHub и статье; параметры размера, контекстного окна и поддерживаемые языки в предоставленных данных не приведены.

2.9K3апр. 2025ctx512
imageapache-2.0hugging-face
DeepGlint-AI
mlcd-vit-bigG-patch14-448

MLCD-ViT-bigG-patch14-448 — модель зрения на базе Vision Transformer, разработанная DeepGlint AI. Она использует RoPE2D и предназначена для извлечения признаков из изображений; в карточке также описана оценка её визуального представления в составе системы с Qwen2.5-7B на задачах понимания документов и визуальных вопросов. Размер модели — 2,5 млрд параметров; веса опубликованы в формате safetensors, лицензия — MIT. Модель можно применять как визуальную часть мультимодальных систем, в том числе для анализа документов, диаграмм и изображений.

3344февр. 2025
imageembeddingmithugging-face
nvidia
PS3-4K-SigLIP2

PS3-4K-SigLIP2 — разработанный NVIDIA визуальный энкодер на основе SigLIP2 для извлечения признаков из изображений высокого разрешения. Он принимает RGB-изображения размером до 3780 × 3780 пикселей и возвращает тензор визуальных эмбеддингов для последующей обработки другими моделями. Модель использует Vision Transformer и кодирует изображения на нескольких масштабах — от 378 до 3780 пикселей. Она поддерживает выбор информативных участков изображения по визуальной значимости или текстовому запросу; в полном режиме выход объединяет признаки до 88 209 патч-токенов. Модель рассчитана на исследования и разработку, а NVIDIA указывает оптимизацию для своих GPU-ускорителей. Для практического использования эмбеддингов требуется downstream-модель. В README не приведены условия лицензии, поэтому определить их по доступным материалам нельзя.

1682июль 2025
imageembeddinghugging-face
ByteDance
Sa2VA-8B

Sa2VA-8B — мультимодальная модель ByteDance для диалога с визуальными данными. Она объединяет возможности InternVL2.5-8B и сегментацию на основе SAM2; в карточке семейства для языковой части указана internlm2_5-7b-chat. Модель обрабатывает изображения и видео, отвечает на вопросы о них, понимает визуальные подсказки и выполняет плотную сегментацию объектов с привязкой к содержимому сцены. Модель подходит для визуального поиска и анализа сцен, сегментации объектов по текстовому или визуальному запросу, а также для вопросов и ответов по изображениям и видео. В README заявлены результаты, сопоставимые с Qwen2-VL и InternVL2.5 на бенчмарках вопросов и ответов, и сильные результаты на бенчмарках визуальной привязки и сегментации; конкретные оценки приведены для Sa2VA-8B. Репозиторий содержит веса safetensors, модель использует Transformers и распространяется по лицензии Apache-2.0.

3.1K64янв. 2025ctx16.4K
textapache-2.0hugging-face
showlab
show-o2-7B

Show-o2-7B — унифицированная мультимодальная модель, разработанная Show Lab Национального университета Сингапура совместно с ByteDance. Она объединяет авторегрессионное предсказание текстовых токенов и flow matching для генерации изображений и видео; визуальные представления строятся в пространстве 3D causal VAE с пространственно-временным слиянием признаков. Модель предназначена для мультимодального понимания и генерации с текстом, изображениями и видео, включая смешанные сценарии. В README указано семейство моделей размером 7B, но отдельные характеристики этого чекпойнта, например длина контекста, не приведены. Репозиторий содержит веса PyTorch и опубликован по лицензии Apache-2.0.

2.7K18июнь 2025
textapache-2.0hugging-face
czczup
textnet-base

TextNet — компактная архитектура компьютерного зрения для извлечения признаков изображения и обнаружения текстовых областей. Модель опубликована пользователями Raghavan, jadechoghari и nielsr; репозиторий использует библиотеку Transformers и хранит веса в формате safetensors. В семействе описаны варианты TextNet-T, TextNet-S и TextNet-B размером 6,8 млн, 8,0 млн и 8,9 млн параметров соответственно; конкретный вариант репозитория czczup/textnet-base в README не уточняется. Модель предназначена для обнаружения текста в естественных сценах и документах, включая разноязычный текст с различной ориентацией. README сообщает о предварительном обучении на IC17-MLT и дообучении на Total-Text, а также о компромиссе между точностью и скоростью на GPU. Это извлекатель визуальных признаков, поэтому сам по себе он не выполняет распознавание текста и не генерирует транскрипцию. Лицензия в предоставленных данных не приведена.

15K4дек. 2024
texthugging-face
ShareLab-SII
UniAR-RL

UniAR-RL — мультимодальная авторегрессионная модель ShareLab-SII для понимания и генерации изображений. Этот чекпойнт дообучен методом обучения с подкреплением GRPO поверх UniAR-SFT и улучшает качество генерации и следование инструкциям, включая рендеринг текста на изображениях. Модель объединяет обработку визуальных токенов и текста в одном Transformer. В её составе — Qwen3-8B, визуальный токенизатор на основе BSQ-квантированного SigLIP2-So400M ViT и визуальный декодер SD3.5-Medium DiT. Чекпойнт включает компоненты для понимания и генерации изображений; заявленная задача карточки Hugging Face — image-to-text. Лицензия — Apache-2.0.

2.2K1июнь 2026ctx131.1K
textimageapache-2.0hugging-face

Задачи профессии

17 задач
122Обнаружение объектов и определение их координат. — AI локализует объекты на изображении или видеокадре и присваивает каждому класс, координаты рамки и оценку уверенности. Модель использует размеченные изображения и учитывает масштаб, перекрытия, освещение и фон. Результат — список объектов и визуальная разметка; качество проверяют по precision, recall и IoU на независимой выборке.
123Пиксельная сегментация объектов и областей. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: назначает класс каждому пикселю и уточняет границы соприкасающихся областей. Входной контекст включает изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: результат «Пиксельная сегментация объектов и областей» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
124Отслеживание объектов между кадрами. — Механизм: AI поддерживает актуальное состояние объекта по потоковым данным и уведомляет при выходе показателей за допустимые границы. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Исходные данные: видеоряд, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: актуальное состояние в рамках «Отслеживание объектов между кадрами», временной журнал изменений и предупреждения при значимых отклонениях. Проверка: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
125Подсчёт объектов на изображении или видеопотоке. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. К исходным данным относятся видеоряд, фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: структурированные данные, полученные в рамках «Подсчёт объектов на изображении или видеопотоке», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
126Оценка позы и движения человека или животного. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Рабочие входы: видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: оценка по задаче «Оценка позы и движения человека или животного» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
127Распознавание жестов и действий. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестов и действий», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
128Оценка глубины, расстояний и геометрии сцены. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: восстанавливает глубину, форму и топологию, затем согласует геометрию между ракурсами. Исходные данные: изображения с разных ракурсов, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: оценка по задаче «Оценка глубины, расстояний и геометрии сцены» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
129Построение трёхмерной модели по изображениям. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: вычислительная модель или карта для «Построение трёхмерной модели по изображениям» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
130Измерение размеров, площади, объёма или деформации объекта. — Для этой задачи система объединяет количественные и качественные признаки, после чего формирует оценку и показывает вклад основных факторов. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: оценка по задаче «Измерение размеров, площади, объёма или деформации объекта» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
131Обнаружение визуальных дефектов, повреждений и загрязнений. — Практическая реализация: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Входной контекст включает изображения, видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение визуальных дефектов, повреждений и загрязнений», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
132Выявление изменений между снимками разных дат. — Механизм: AI выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: перечень объектов, событий или отклонений, относящихся к «Выявление изменений между снимками разных дат», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
133Восстановление повреждённого или недостающего фрагмента изображения. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: преобразованный материал по задаче «Восстановление повреждённого или недостающего фрагмента изображения» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
134Повышение разрешения, резкости и читаемости изображения. — Для этой задачи система сравнивает альтернативы по нескольким критериям и ищет устойчивый компромисс между качеством, стоимостью, временем и риском. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Рабочие входы: изображения, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: рекомендуемая конфигурация для «Повышение разрешения, резкости и читаемости изображения» с целевыми показателями, ограничениями и сравнением с исходным вариантом. Критерии приёмки: сравнением с базовым решением, проверкой всех ограничений и испытанием устойчивости при изменении условий; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
135Удаление фона, объектов, бликов, шума или артефактов. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Входной контекст включает фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: преобразованный материал по задаче «Удаление фона, объектов, бликов, шума или артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
136Коррекция цвета, освещения, перспективы и композиции. — Механизм: AI поддерживает процесс в допустимом диапазоне, выбирая безопасные действия с учётом инерции и задержек системы. Исходные данные: видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: управляющее решение для «Коррекция цвета, освещения, перспективы и композиции» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Проверка: в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
137Генерация нового изображения по описанию или референсу. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: редактируемый артефакт по задаче «Генерация нового изображения по описанию или референсу», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — визуальный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
138Создание вариантов изображения с управляемыми изменениями. — Для этой задачи система создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Рабочие входы: изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: редактируемый артефакт по задаче «Создание вариантов изображения с управляемыми изменениями», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — визуальный результат. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке. <a id="section-i-9"></a>

0 моделей