/ Профессии
Универсальные способности и операции

I.8Изображения и компьютерное зрение

В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеТекст
AI-задач
17
в этой профессии
Подходящих моделей
6 331
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеТекст

Рекомендованные модели

6 331 модель
Загрузки
Лайки
Дата выхода
5 881–5 910 из 6 331
nsugianto
tblstructrecog_finetuned_tbltransstrucrecog_v2_s1_370s

Это дообученная модель обнаружения объектов на основе Table Transformer, опубликованная пользователем nsugianto. Она предназначена для распознавания элементов структуры таблиц на изображениях документов; в метаданных указана задача object-detection и архитектура TableTransformerForObjectDetection. Модель содержит 6,3 млн параметров, использует формат safetensors и имеет контекстное окно 1024 токена. Карточка не описывает обучающие данные, качество распознавания, поддерживаемые языки или конкретные классы объектов. Модель распространяется по лицензии MIT. Она может быть полезна как компонент конвейера разбора табличных документов, но её точность и пригодность для конкретных документов следует оценить отдельно.

750май 2024ctx1K
imagemithugging-face
timm
ViT-B-16-SigLIP2-256

timm/ViT-B-16-SigLIP2-256 — контрастивная модель зрения и языка семейства SigLIP 2, обученная на наборе WebLI и преобразованная из исходных контрольных точек JAX проекта Big Vision для использования в OpenCLIP. Модель предназначена для классификации изображений по текстовым описаниям без отдельного обучения на целевых классах: она сопоставляет изображение с предложенными текстовыми вариантами и позволяет выбрать наиболее подходящий. Модель работает с изображениями и текстом и рассчитана на zero-shot классификацию. В карточке указаны архитектура ViT-B/16 с разрешением 256 и обучение на WebLI; веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Результаты зависят от формулировок текстовых меток и от соответствия изображений данным обучения; модель может хуже работать на редких понятиях, специализированных изображениях и языках, для которых качество отдельно не подтверждено. Она предназначена для сопоставления изображений и текста, а не для генерации описаний или локализации объектов.

74K9февр. 2025
textimageapache-2.0hugging-face
microsoft
xclip-large-patch14-16-frames

X-CLIP Large Patch14 — видеотекстовая модель Microsoft для распознавания действий и классификации видео. Это расширение CLIP, обученное контрастивным способом на парах видео и текста; архитектура модели обозначена как XCLIPModel. Модель обучена с учителем на наборе Kinetics-400, используя 16 кадров на видео с разрешением 336×336 пикселей. Модель оценивает соответствие текста видеоролику и подходит для классификации видео zero-shot, few-shot и с обучением на размеченных примерах, а также для поиска соответствий между видео и текстом. На Kinetics-400 указаны результаты 87,7% top-1 и 97,4% top-5. Репозиторий содержит веса PyTorch; лицензия — MIT.

1.0K11сент. 2022ctx77
videomithugging-face
candra
blip-image-captioning-finetuned

Модель candra/blip-image-captioning-finetuned — дообученная версия BLIP (Bootstrapping Language-Image Pretraining) для автоматического описания изображений. Она принимает цветное изображение и генерирует текстовую подпись о его содержимом; из подписи также можно получить очищенные ключевые слова в формате хештегов. Базовая модель — Salesforce/blip-image-captioning-base. Модель подходит для автоматического создания подписей к изображениям и подготовки кратких тематических хештегов. В метаданных указаны архитектура BLIP с классом BlipForConditionalGeneration, поддержка изображений и текста, формат весов safetensors и английский язык. Данных о лицензии и размере модели в предоставленной карточке нет.

305июль 2025ctx512
textimagehugging-face
embedl
Cosmos-Reason2-2B-W4A16-Edge2

Cosmos-Reason2-2B-W4A16-Edge2 — оптимизированная Embedl версия мультимодальной модели NVIDIA Cosmos-Reason2-2B. Она принимает текст и изображения или видео и генерирует текст; предназначена для рассуждений по визуальным данным, диалогового взаимодействия, видеоаналитики и планирования, в том числе на периферийных устройствах NVIDIA, таких как Jetson Orin Nano Super. Веса квантованы до INT4, активации и отдельные чувствительные слои сохранены в FP16. По заявлению README, смешанная точность почти не снижает точность и сохраняет двукратное ускорение; для некоторых периферийных конфигураций могут потребоваться пропатченная сборка vLLM и оптимизации Embedl. Лицензия указана как Apache 2.0, при этом оптимизированные компоненты распространяются по Embedl Models Community Licence v1.0 без права перераспространения.

10915февр. 2026
textimageotherhugging-face
mradermacher
Janus-Pro-7B-GGUF

Janus-Pro-7B-GGUF — это GGUF-квантизированная версия мультимодальной модели Janus-Pro-7B, разработанной DeepSeek и опубликованной сообществом deepseek-community. Данный вариант подготовлен mradermacher. Модель предназначена для унифицированной работы с текстом и изображениями, включая мультимодальные сценарии и генерацию изображений по текстовому описанию. В основе лежит модель размером 7B параметров; доступны варианты в форматах f16 и различных уровнях квантизации GGUF — от Q2_K до Q8_0, а также IQ4_XS. Размер файлов составляет примерно от 2,8 до 13,9 ГБ. Для мультимодальной обработки предусмотрены отдельные компоненты mmproj в вариантах Q8_0 и f16. В метаданных указан английский язык, однако подробные сведения о поддерживаемых языках, длине контекста и конкретной архитектуре отсутствуют. Ключевое преимущество модели — сочетание текстовых и визуальных возможностей в единой системе, а квантизация позволяет запускать её с различными компромиссами между размером, скоростью и качеством. Ограничения связаны с потерями качества у более низких уровней квантизации и отсутствием в README подробных результатов оценки, требований к оборудованию и инструкций по работе с мультимодальными функциями. Модель распространяется по лицензии MIT; в метаданных также указано имя лицензии deepseek.

1.6K8нояб. 2025
textimagemithugging-face
facebook
metaclip-2-worldwide-b16

Distilled MetaCLIP 2 ViT-B/16 (worldwide) — модель семейства MetaCLIP 2, представленная авторами работы «MetaCLIP 2: A Worldwide Scaling Recipe». Этот чекпойнт соответствует варианту ViT-B-16-worldwide оригинальной реализации и предназначен для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах: пользователь задаёт варианты меток, а модель сопоставляет с ними изображение. Модель мультимодальная: принимает изображения и текстовые описания и оценивает их соответствие. В карточке указано применение через Transformers; веса опубликованы в формате safetensors. Языковая метка — multilingual, поэтому модель рассчитана на многоязычные текстовые запросы. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение. Размер модели и длина контекста в предоставленных данных не указаны. Это дистиллированный чекпойнт, поэтому его результаты могут отличаться от исходной модели; README не приводит количественных оценок качества или подробных ограничений по языкам.

1.7K4нояб. 2025
textimagecc-by-nc-4.0hugging-face
Jooju2872
moondream2

Jooju2872/moondream2 — размещённая пользователем версия небольшой модели Moondream, разработанной для эффективной работы на устройствах с ограниченными ресурсами. Это плотная vision-language модель архитектуры HfMoondream, принимающая изображения и текстовые запросы и формирующая текстовые ответы. Метаданные указывают задачу image-text-to-text; модель подходит для визуальных вопросов и ответов, описания изображений и чтения текста на изображениях и документах. В README приведены результаты на наборах VQAv2, GQA, TextVQA, DocVQA, TallyQA и POPE. Репозиторий содержит веса Safetensors и GGUF в формате F16. README отмечает совместимость с Torch 2.1.1 и поддержку параметров temperature и top_p; также рекомендуется фиксировать версию модели, поскольку она регулярно обновляется. Лицензия — Apache-2.0. В карточке не указаны точный размер модели и длина контекста.

2450апр. 2025ctx2K
textapache-2.0hugging-face
mradermacher
OpenCaption-4B-VL-SFT-v1.0-i1-GGUF

OpenCaption-4B-VL-SFT-v1.0-i1-GGUF — это мультимодальная vision-language модель примерно на 4 млрд параметров, разработанная на базе prithivMLmods/OpenCaption-4B-VL-SFT-v1.0 и представленная в GGUF-квантизованном формате пользователем mradermacher. Модель дообучена методом supervised fine-tuning и предназначена для обработки изображений и генерации текста на их основе. Основные сценарии применения — создание подписей к изображениям, включая детализированное и мелкозернистое описание визуального содержимого, а также visual question answering, то есть ответы на вопросы об изображениях. В обучении использовались наборы OpenCaption-FineGrained, SuperFlickr-30K-LARGE-Remastered, OpenCaption-UHD и OpenCaption-Unified-10K. В карточке указана поддержка английского языка. Модель относится к классу conditional-generation и vision-language систем; сведения о максимальном контексте, точной архитектуре, поддержке дополнительных языков и характеристиках визуального энкодера не приведены. GGUF-представление доступно в нескольких вариантах квантизации с различным размером, скоростью и качеством. Более компактные варианты требуют меньше ресурсов, но могут заметно терять в качестве; в README рекомендованы некоторые варианты среднего размера, включая i1-Q4_K_M, как компромисс между скоростью и качеством. Для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория. Лицензия модели указана как Apache-2.0.

8751июль 2026
textimageapache-2.0hugging-face
kkk5
Re3Cap-SC-Qwen2.5-VL-7B

Re3Cap-SC-Qwen2.5-VL-7B — мультимодальная модель на 7,1 млрд параметров, дообученная авторами на основе Qwen/Qwen2.5-VL-7B-Instruct методом GRPO. Она предназначена для описания изображений: стратегия Re³Cap использует подсказки для уточнения подписи и оценку её качества, чтобы находить галлюцинации и пропуски; дополнительное вознаграждение SC поощряет исправление ошибок на уровне ключевых слов. Модель принимает изображения и текстовые инструкции и формирует текстовые подписи. Базовая модель поддерживает контекст до 128 000 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

250июнь 2026ctx128K
textimageapache-2.0hugging-face
kkk5
Re3Cap-SC-Qwen2-VL-7B

Re3Cap-SC-Qwen2-VL-7B — мультимодальная модель для создания описаний изображений, разработанная на основе Qwen2-VL-7B-Instruct. Авторы дообучили её методом GRPO с наградой за самоисправление на уровне ключевых слов и стратегией Re³Cap, которая использует поиск для уточнения подписи к изображению. Модель предназначена для создания более точных и подробных подписей: компоненты Caption Refinement Suggester и Caption Quality Assessor помогают выявлять галлюцинации и пропуски в описании. Модель имеет архитектуру Qwen2-VL, содержит 7,1 млрд параметров, принимает изображения и текст и выдаёт текст; длина контекста составляет 32 768 токенов. Лицензия — Apache-2.0.

330июнь 2026ctx32.8K
textimageapache-2.0hugging-face
PaddlePaddle
SLANeXt_wired

SLANeXt_wired — модель PaddlePaddle для распознавания структуры таблиц на изображениях. Она определяет строки, столбцы и ячейки и преобразует область таблицы в HTML, чтобы результат можно было редактировать или передать на последующую обработку в системе распознавания таблиц. Модель входит в экосистему PaddleOCR и предназначена для использования как отдельный модуль или в составе конвейеров распознавания документов. Модель ориентирована на таблицы с линиями-разделителями. Полный конвейер может сочетать распознавание структуры с детекцией ячеек и текста, распознаванием текста и анализом макета, а результат выдавать в HTML или Excel. В карточке приведено примечание, что показатели точности SLANeXt_wired получены при совместном тестировании с SLANeXt_wireless, поэтому их нельзя считать оценкой отдельной модели. Модель распространяется по лицензии Apache-2.0.

7.4K3июнь 2025
textimageapache-2.0hugging-face
openbmb
MiniCPM-V-4.6-gguf

openbmb/MiniCPM-V-4.6-gguf — это GGUF-квантованная версия мультимодальной модели MiniCPM-V 4.6, разработанной командой OpenBMB. Модель предназначена для понимания изображений, нескольких изображений и видео, включая визуальные вопросы и ответы, OCR и другие задачи анализа визуального содержимого. Она ориентирована прежде всего на эффективное развёртывание на периферийных устройствах и мобильных платформах: iOS, Android и HarmonyOS. Архитектура основана на визуальном энкодере SigLIP2-400M и языковой модели Qwen3.5-0.8B. Для повышения эффективности используется смешанное сжатие визуальных токенов 4x/16x, а вычислительная стоимость визуального кодирования, согласно README, снижена более чем на 50%. Заявлена примерно в 1,5 раза более высокая пропускная способность токенов по сравнению с Qwen3.5-0.8B. Модель поддерживает inference через Transformers, vLLM, SGLang, llama.cpp и Ollama, а также адаптацию и дообучение с помощью SWIFT и LLaMA-Factory. Точные параметры контекстного окна и перечень поддерживаемых языков в представленных данных не указаны. Сильные стороны модели — компактность, низкая вычислительная стоимость, поддержка анализа изображений и видео и возможность запуска на потребительских устройствах. Ограничения связаны с меньшим размером языковой части по сравнению с крупными мультимодальными моделями и с тем, что квантование может влиять на точность; конкретные характеристики зависят от выбранного варианта GGUF. Репозиторий распространяется по лицензии Apache-2.0.

21K82май 2026
textimageapache-2.0hugging-face
kkk5
Re3Cap-CLIP-Qwen2.5-VL-7B

Re3Cap-CLIP-Qwen2.5-VL-7B — мультимодальная модель для описания изображений, созданная дообучением Qwen2.5-VL-7B-Instruct. В работе применены GRPO, награда на основе сходства изображения и текста CLIP и стратегия Re³Cap, разработанная для уточнения подписей к изображениям с помощью retrieval-guided refinement. Модель предназначена для генерации более точных и подробных подписей к изображениям. Компоненты Caption Refinement Suggester и Caption Quality Assessor помогают выявлять в подписи галлюцинации и пропущенные детали. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает изображения с текстовыми инструкциями; заявленная длина контекста — 128 000 токенов. В карточке указана лицензия Apache-2.0. README связывает метод с основной статьёй EMNLP 2026, но не приводит сравнительных метрик или подробностей о датасетах, поэтому качество на конкретных типах изображений по этим данным оценить нельзя.

240июнь 2026ctx128K
textimageapache-2.0hugging-face
zhiqiulin
clip-flant5-xl

CLIP-FlanT5-XL (VQAScore) — дообученная Zhiqiu Lin и соавторами генеративная модель «зрение—язык» на основе Google Flan-T5-XL. Она предназначена для задач сопоставления изображений и текста и оценки соответствия изображения текстовому описанию в сценариях поиска и ранжирования. Модель использует архитектуру T5 и содержит 1,5 млрд параметров. Она принимает текстовые инструкции; в задачах VQAScore также использует изображения и формирует текстовый ответ или оценку соответствия. Указанный в метаданных контекст — 512 токенов, основной язык карточки — английский. Лицензия — Apache-2.0.

93K3дек. 2023ctx512
textapache-2.0hugging-face
baidu
ERNIE-Image-Turbo

ERNIE-Image-Turbo — модель генерации изображений по текстовому описанию, разработанная командой ERNIE-Image компании Baidu. Это дистиллированная версия ERNIE-Image на основе одно-поточной архитектуры Diffusion Transformer (DiT), распространяемая в формате Diffusers с весами Safetensors и лицензией Apache 2.0. Модель предназначена для быстрого создания изображений по сложным запросам: она генерирует результат за 8 шагов и рассчитана на сценарии, где важны точное следование инструкции и композиция. Среди заявленных сильных сторон — отрисовка длинного текста, постеры, инфографика, комиксы, раскадровки и многопанельные макеты; также поддерживаются фотореалистичные и стилизованные изображения. Авторы сообщают, что модель может запускаться на потребительских GPU с 24 ГБ видеопамяти. Модель принимает текстовые запросы и выдаёт изображения. В карточке показаны результаты тестов на английском и китайском языках, но другие поддерживаемые языки не перечислены. Качество зависит от запроса и сценария; результаты бенчмарков в README относятся к ERNIE-Image, а не отдельно к Turbo, поэтому их нельзя напрямую считать оценкой этой версии.

3.4K409апр. 2026
textimageapache-2.0hugging-face
OsGo
ERNIE-Image-Turbo

Карточка модели OsGo/ERNIE-Image-Turbo на Hugging Face совпадает с карточкой baidu/ERNIE-Image-Turbo, поэтому описание составлено по ней. ERNIE-Image-Turbo — модель генерации изображений по текстовому описанию, разработанная командой ERNIE-Image компании Baidu. Это дистиллированная версия ERNIE-Image на основе одно-поточной архитектуры Diffusion Transformer (DiT), распространяемая в формате Diffusers с весами Safetensors и лицензией Apache 2.0. Модель предназначена для быстрого создания изображений по сложным запросам: она генерирует результат за 8 шагов и рассчитана на сценарии, где важны точное следование инструкции и композиция. Среди заявленных сильных сторон — отрисовка длинного текста, постеры, инфографика, комиксы, раскадровки и многопанельные макеты; также поддерживаются фотореалистичные и стилизованные изображения. Авторы сообщают, что модель может запускаться на потребительских GPU с 24 ГБ видеопамяти. Модель принимает текстовые запросы и выдаёт изображения. В карточке показаны результаты тестов на английском и китайском языках, но другие поддерживаемые языки не перечислены. Качество зависит от запроса и сценария; результаты бенчмарков в README относятся к ERNIE-Image, а не отдельно к Turbo, поэтому их нельзя напрямую считать оценкой этой версии.

70сент. 2026
textimageapache-2.0hugging-face
mlx-community
Qwen3.6-35B-A3B-nvfp4

mlx-community/Qwen3.6-35B-A3B-nvfp4 — это MLX-версия модели Qwen3.6-35B-A3B, преобразованная сообществом mlx-community с использованием mlx-vlm 0.4.4. Модель предназначена для мультимодальных задач, прежде всего для обработки изображений и текста, включая генерацию текстового описания изображения. Формат рассчитан на использование в экосистеме MLX. В карточке указано, что модель имеет размер 35B и конфигурацию A3B, однако подробности архитектуры, поддерживаемые языки, размер контекста и точный набор модальностей не приведены. Ключевое преимущество — адаптация к MLX и возможность запуска через mlx-vlm, что делает модель ориентированной на соответствующую программно-аппаратную экосистему. Ограничения и результаты бенчмарков в README не описаны. Модель распространяется по лицензии Apache-2.0. Для получения полного описания возможностей рекомендуется обращаться к карточке исходной модели Qwen/Qwen3.6-35B-A3B.

1.1K15апр. 2026ctx262.1K
textimageapache-2.0hugging-face
mlx-community
Qwen3.8-27B-mxfp4

mlx-community/Qwen3.8-27B-mxfp4 — модель в формате MLX, созданная сообществом mlx-community на основе Qwen/Qwen3.8-27B, разработанной Qwen. Конвертация выполнена с использованием mlx-vlm версии 0.6.8. Модель предназначена для задач, объединяющих изображения и текст, включая генерацию текстовых описаний изображений и другие сценарии image-text-to-text на устройствах, совместимых с MLX. Из известных характеристик указаны размер базовой модели 27B параметров и формат mxfp4. Конкретные сведения об архитектуре, поддерживаемых языках, длине контекста и точных мультимодальных возможностях в README отсутствуют. Преимуществами являются MLX-совместимый формат и сниженная точность представления, потенциально уменьшающая требования к памяти; ограничения и фактическая производительность зависят от исходной модели и аппаратной платформы. Модель распространяется по лицензии Apache-2.0.

3.2K7авг. 2026ctx262.1K
textimageapache-2.0hugging-face
Hitelcy
Sarvix_handwriting_AI

Карточка модели Hitelcy/Sarvix_handwriting_AI на Hugging Face совпадает с карточкой microsoft/trocr-base-handwritten, поэтому описание составлено по ней. TrOCR base handwritten — модель Microsoft, дообученная на наборе IAM для распознавания рукописного текста на изображениях отдельных строк. Она использует архитектуру encoder-decoder: Transformer-кодировщик изображений, инициализированный весами BEiT, и авторегрессионный Transformer-декодер текста, инициализированный весами RoBERTa. Изображение разбивается на патчи размером 16×16 пикселей, по которым модель генерирует последовательность текстовых токенов. Модель предназначена для OCR рукописных строк; её можно применять, например, для оцифровки рукописных заметок и строк документов. В карточке указана лицензия MIT. Доступны веса PyTorch и Safetensors. Ограничение, указанное в карточке: модель рассчитана на отдельные текстовые строки, поэтому для распознавания страниц или сложной структуры документов потребуется предварительно выделить строки. В предоставленных данных не описана поддержка конкретных языков.

3460июнь 2026ctx512
textimagemithugging-face
google
siglip-base-patch16-256

SigLIP base patch16 256 — мультимодальная модель Google для сопоставления изображений и текста, предобученная на англоязычных парах WebLI. Она использует архитектуру SigLIP и функцию потерь на основе sigmoid, которая работает с парами изображение–текст без нормализации по всей матрице сходства. Модель обрабатывает изображения с разрешением 256×256 и текст длиной до 64 токенов. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения и для поиска изображений по текстовым запросам или текста по изображению. Английский язык указан для обучающих пар; модель принимает изображения и текст и выдаёт оценки их соответствия. Распространяется по лицензии Apache-2.0. Карточка не приводит сведений о числе параметров.

56K11янв. 2024ctx64
textapache-2.0hugging-face
prithivMLmods
AI-vs-Deepfake-vs-Real-Siglip2

AI-vs-Deepfake-vs-Real-Siglip2 — модель классификации изображений, разработанная на базе SigLIP 2 от Google и дообученная автором репозитория prithivMLmods. Она использует архитектуру SiglipForImageClassification и относит изображение к одному из трёх классов: полностью сгенерированное ИИ, дипфейк с изменённым реальным содержимым или подлинная фотография. Модель предназначена для выявления синтетических и изменённых изображений, проверки медиаматериалов и предварительной фильтрации контента. Модель принимает изображения и выдаёт метку класса. Её можно применять как вспомогательный инструмент для фактчекинга, цифровой экспертизы и модерации, но классификация сама по себе не подтверждает происхождение изображения и может ошибаться на новых способах генерации или манипуляции. Репозиторий распространяется по лицензии Apache-2.0.

9.0K2февр. 2025
imageapache-2.0hugging-face
zai-org
cogvlm-chat-hf

CogVLM-Chat-HF — открытая визуально-языковая модель от команды Zhipu AI. Она принимает изображение вместе с текстовым запросом и ведёт диалог о содержимом изображения: описывает сцены, отвечает на вопросы и находит объекты или детали по текстовому указанию. В README описана архитектура с визуальным энкодером ViT, MLP-адаптером, языковой моделью и модулем Visual Expert; репозиторий содержит вариант для Transformers с весами Safetensors и примерно 6,6 млрд параметров. Контекст составляет 2048 токенов. Модель предназначена для визуального вопросно-ответного диалога, описания изображений и задач, требующих связать текст с визуальным содержимым. README сообщает о высоких результатах на ряде мультимодальных бенчмарков, включая локализацию объектов и визуальные вопросы, но приведённые там результаты относятся к CogVLM-17B и не гарантируют те же показатели для этой версии. Для вывода требуется около 40 ГБ видеопамяти либо распределение модели между несколькими устройствами. Лицензия — Apache-2.0; README также описывает бесплатное коммерческое использование после регистрации через анкету.

886200нояб. 2023ctx2K
textapache-2.0hugging-face
OpenGVLab
InternVL2_5-8B-MPO-hf

InternVL2_5-8B-MPO-hf — мультимодальная модель для диалога по изображениям и тексту, выпущенная OpenGVLab как версия InternVL2.5-MPO в формате Transformers. Она сочетает визуальный энкодер InternViT-300M-448px-V2_5 с языковой частью internlm2_5-7b-chat; серия использует Mixed Preference Optimization. Модель подходит для описания изображений, визуальных вопросов и ответов, распознавания текста на изображениях и других задач понимания изображений с ответом на естественном языке. В карточке указаны мультиязычная поддержка и лицензия MIT. Доступные метаданные подтверждают архитектуру InternVL и поддержку чата и зрения; конкретная длина контекста не установлена использованными источниками.

2.4K0апр. 2025ctx8.2K
textimagehugging-face
cjpais
llava-v1.6-34B-gguf

LLaVA-v1.6-34B — мультимодальная модель для диалогового взаимодействия с текстом и изображениями, представленная в виде GGUF-квантизованных файлов. Модель разработана проектом LLaVA; её базовая языковая модель — NousResearch/Nous-Hermes-2-Yi-34B. Это авторегрессионная модель на архитектуре Transformer, дообученная на мультимодальных данных для следования инструкциям. Версия LLaVA-v1.6-34B обучалась в декабре 2023 года. Модель предназначена прежде всего для исследовательских задач, разработки мультимодальных чат-ботов, анализа изображений по текстовым запросам и экспериментов в области computer vision, NLP и машинного обучения. В обучении использовались пары изображение–текст, мультимодальные инструкции, данные для VQA, материалы GPT-4V и ShareGPT. Доступны варианты с квантизацией от Q3_K_XS до Q8_0 размером примерно от 14,2 до 36,5 ГБ. Q4_K_M и Q5-варианты предлагают компромисс между размером и сохранением качества. README не содержит сведений о размере контекста, поддерживаемых языках и точном наборе визуальных архитектурных компонентов. Квантизация уменьшает требования к хранению и запуску, но варианты с меньшим числом бит могут заметно терять качество; наиболее крупные варианты требуют значительных ресурсов. Модель распространяется по лицензии Apache-2.0, указанной для данного репозитория.

1.7K42февр. 2024
textimageapache-2.0hugging-face
ngoctham
Mage-VL

Mage-VL — мультимодальная модель для понимания изображений и видео, включая потоковое видео. Визуальный энкодер Mage-ViT обучен с нуля; он использует структуру видеокодека, чтобы сохранять все патчи ключевых кадров и выбирать значимые патчи предсказанных кадров. По заявлению авторов, это сокращает число визуальных токенов более чем на 75% и даёт ускорение инференса до 3,5 раза относительно равномерной выборки кадров. Текстовую часть составляет причинный декодер Qwen3-4B-Instruct-2507, подключённый через двухслойный MLP-проектор. Модель предназначена для ответов и описаний по изображениям и видео, временной локализации событий и потоковых сценариев с упреждающим комментированием: лёгкий когнитивный шлюз отслеживает поток и вызывает основную VLM при появлении значимого события. Для выделения визуальных признаков поддерживаются кодековые сигналы H.264/AVC, HEVC/H.265 и DCVC-RT. В карточке приведены результаты на бенчмарках, но они не гарантируют аналогичного качества в прикладных условиях. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0. README описывает базовый декодер и публичный checkpoint microsoft/Mage-VL, но не устанавливает их связь с конкретным репозиторием ngoctham/Mage-VL, поэтому происхождение этой копии и её базовая модель не определены.

120авг. 2026ctx131.1K
textimageapache-2.0hugging-face
Veritone
siglip2-large-patch16-384-text

Veritone публикует текстовую башню модели SigLIP 2 Large на базе google/siglip2-large-patch16-384. Эта сокращённая копия содержит только текстовый энкодер: он преобразует текстовые запросы в общее пространство эмбеддингов с визуальной башней и предназначен для отдельной загрузки на этапе поиска, что сокращает расход памяти и время загрузки. Визуальная башня находится в Veritone/siglip2-large-patch16-384-vision. Модель подходит для кодирования текстовых запросов при поиске по изображениям и для классификации изображений без дополнительного обучения в паре с соответствующей визуальной башней. Семейство SigLIP 2 рассчитано на семантическое сопоставление текста и изображений; исходная модель обучалась на наборе WebLI. Лицензия репозитория — Apache-2.0. Карточка описывает только текстовую башню, поэтому сама по себе эта модель не принимает изображения и не выполняет полную классификацию изображений без визуальной башни.

50июнь 2026ctx64
textimageapache-2.0hugging-face
yifeihu
TF-ID-base

Карточка модели yifeihu/TF-ID-base на Hugging Face совпадает с карточкой yifeihu/TF-ID-large, поэтому описание составлено по ней. TF-ID-large — модель компьютерного зрения, разработанная Yifei Hu для поиска таблиц и рисунков на страницах научных статей. Это версия семейства TF-ID с 0,77 млрд параметров, дообученная на контрольных точках Microsoft Florence-2. На вход подаётся изображение одной страницы статьи; модель возвращает рамки объектов и их метки, включая подписи к таблицам и рисункам. Модель предназначена для извлечения структурных элементов научных публикаций и подготовки страниц к дальнейшему разбору или индексации. В проверке на 258 страницах статей вне обучающей выборки корректный результат получен для 253 страниц (98,06%); при этом возможны лишние или дробящие один объект рамки. Репозиторий содержит веса PyTorch в формате Safetensors. Лицензия — MIT.

25238июль 2024ctx1K
textmithugging-face
Salesforce
blip2-itm-vit-g-coco

Карточка модели Salesforce/blip2-itm-vit-g-coco на Hugging Face совпадает с карточкой Salesforce/blip2-itm-vit-g, поэтому описание составлено по ней. Salesforce/blip2-itm-vit-g — модель семейства BLIP-2 для классификации изображений без предварительного обучения на заданных категориях. Она сопоставляет изображение с текстовыми описаниями или метками и позволяет выбирать наиболее подходящие варианты. Архитектура реализована классом Blip2ForImageTextRetrieval; файлы доступны в форматах PyTorch и safetensors, модель предназначена для использования с библиотекой Transformers. Модель подходит для поиска изображений по тексту и классификации изображений по наборам пользовательских меток. Карточка автоматически сгенерирована и не содержит сведений о разработчике, обучающих данных, языках или результатах оценки. В карточке указано, что выпуск предназначен для исследовательских целей и что перед внедрением следует оценивать точность, безопасность и справедливость модели. Лицензия — MIT. Модель принимает изображение и текстовые варианты для сопоставления и возвращает оценки соответствия; она не предназначена для генерации изображений.

5422авг. 2023ctx512
textimagemithugging-face
nemozxy123
Huihui-Qwen3.5-9B-abliterated-AWQ-4bit

Huihui-Qwen3.5-9B-abliterated-AWQ-4bit — это 4-битная AWQ-квантизированная версия мультимодальной модели Huihui-Qwen3.5-9B-abliterated, разработанной Huihui AI. Модель предназначена для задач понимания изображений и видео, включая обработку видеоматериалов, с возможностью эффективного запуска на потребительских GPU через vLLM. Модель основана на архитектуре Qwen3.5 и содержит около 9 миллиардов параметров. Используется формат квантизации W4A16; конфигурация квантизации соответствует cyankiwi/Qwen3.5-9B-AWQ-4bit, а для калибровки применён набор данных mit-han-lab/pile-val-backup. Заявлена поддержка контекстного окна до 262 144 токенов. На RTX 5060 Ti с 16 ГБ видеопамяти полный контекст может использоваться с FP8-квантизацией KV-кэша, однако на видеокартах RTX 40-й серии и старше возможна нехватка памяти при одновременной загрузке визуальных возможностей. К сильным сторонам относятся сохранение возможностей понимания изображений и видео при сниженных требованиях к памяти, а также поддержка прямого видеоввода в vLLM. Ограничения включают зависимость от совместимости GPU и версии vLLM, возможные ошибки нехватки памяти, а также отсутствие в предоставленных данных сведений о поддерживаемых языках и результатах сравнительных тестов. Модель распространяется по лицензии Apache-2.0.

5852май 2026ctx262.1K
textimageapache-2.0hugging-face

Задачи профессии

17 задач
122Обнаружение объектов и определение их координат. — AI локализует объекты на изображении или видеокадре и присваивает каждому класс, координаты рамки и оценку уверенности. Модель использует размеченные изображения и учитывает масштаб, перекрытия, освещение и фон. Результат — список объектов и визуальная разметка; качество проверяют по precision, recall и IoU на независимой выборке.
123Пиксельная сегментация объектов и областей. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: назначает класс каждому пикселю и уточняет границы соприкасающихся областей. Входной контекст включает изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: результат «Пиксельная сегментация объектов и областей» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
124Отслеживание объектов между кадрами. — Механизм: AI поддерживает актуальное состояние объекта по потоковым данным и уведомляет при выходе показателей за допустимые границы. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Исходные данные: видеоряд, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: актуальное состояние в рамках «Отслеживание объектов между кадрами», временной журнал изменений и предупреждения при значимых отклонениях. Проверка: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
125Подсчёт объектов на изображении или видеопотоке. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. К исходным данным относятся видеоряд, фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: структурированные данные, полученные в рамках «Подсчёт объектов на изображении или видеопотоке», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
126Оценка позы и движения человека или животного. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Рабочие входы: видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: оценка по задаче «Оценка позы и движения человека или животного» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
127Распознавание жестов и действий. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестов и действий», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
128Оценка глубины, расстояний и геометрии сцены. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: восстанавливает глубину, форму и топологию, затем согласует геометрию между ракурсами. Исходные данные: изображения с разных ракурсов, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: оценка по задаче «Оценка глубины, расстояний и геометрии сцены» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
129Построение трёхмерной модели по изображениям. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: вычислительная модель или карта для «Построение трёхмерной модели по изображениям» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
130Измерение размеров, площади, объёма или деформации объекта. — Для этой задачи система объединяет количественные и качественные признаки, после чего формирует оценку и показывает вклад основных факторов. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: оценка по задаче «Измерение размеров, площади, объёма или деформации объекта» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
131Обнаружение визуальных дефектов, повреждений и загрязнений. — Практическая реализация: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Входной контекст включает изображения, видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение визуальных дефектов, повреждений и загрязнений», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
132Выявление изменений между снимками разных дат. — Механизм: AI выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: перечень объектов, событий или отклонений, относящихся к «Выявление изменений между снимками разных дат», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
133Восстановление повреждённого или недостающего фрагмента изображения. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: преобразованный материал по задаче «Восстановление повреждённого или недостающего фрагмента изображения» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
134Повышение разрешения, резкости и читаемости изображения. — Для этой задачи система сравнивает альтернативы по нескольким критериям и ищет устойчивый компромисс между качеством, стоимостью, временем и риском. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Рабочие входы: изображения, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: рекомендуемая конфигурация для «Повышение разрешения, резкости и читаемости изображения» с целевыми показателями, ограничениями и сравнением с исходным вариантом. Критерии приёмки: сравнением с базовым решением, проверкой всех ограничений и испытанием устойчивости при изменении условий; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
135Удаление фона, объектов, бликов, шума или артефактов. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Входной контекст включает фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: преобразованный материал по задаче «Удаление фона, объектов, бликов, шума или артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
136Коррекция цвета, освещения, перспективы и композиции. — Механизм: AI поддерживает процесс в допустимом диапазоне, выбирая безопасные действия с учётом инерции и задержек системы. Исходные данные: видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: управляющее решение для «Коррекция цвета, освещения, перспективы и композиции» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Проверка: в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
137Генерация нового изображения по описанию или референсу. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: редактируемый артефакт по задаче «Генерация нового изображения по описанию или референсу», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — визуальный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
138Создание вариантов изображения с управляемыми изменениями. — Для этой задачи система создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Рабочие входы: изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: редактируемый артефакт по задаче «Создание вариантов изображения с управляемыми изменениями», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — визуальный результат. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке. <a id="section-i-9"></a>

0 моделей