/ Профессии
Универсальные способности и операции

I.8Изображения и компьютерное зрение

В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеТекст
AI-задач
17
в этой профессии
Подходящих моделей
6 331
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеТекст

Рекомендованные модели

6 331 модель
Загрузки
Лайки
Дата выхода
5 641–5 670 из 6 331
Veritone
siglip2-base-patch16-224-text

Veritone подготовила текстовую башню SigLIP 2 Base Patch16-224 — отдельную часть модели google/siglip2-base-patch16-224 для кодирования текстовых запросов в общее пространство эмбеддингов с изображениями. Её используют вместе с соответствующей башней изображений Veritone/siglip2-base-patch16-224-vision: текстовую башню можно загружать отдельно на этапе поиска, экономя память и время загрузки. Модель рассчитана на поиск по тексту и изображениям, включая классификацию изображений с нулевым обучением в связке с визуальной башней. Она основана на архитектуре SigLIP 2 и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. README описывает обучение полной модели на WebLI; размер текстовой башни отдельно не приводится.

50июнь 2026ctx64
textimageapache-2.0hugging-face
nttdataspain
vit-gpt2-stablediffusion2-lora

nttdataspain/vit-gpt2-stablediffusion2-lora — модель архитектуры VisionEncoderDecoder, разработанная nttdataspain. Это дообученная с применением LoRA модель ViT для генерации текстовых описаний изображений; README сообщает об обучении на наборе изображений Stable Diffusion 2.0. Она предназначена для сценариев, где нужно получить подпись к изображению. В метаданных указаны поддержка английского языка и форматы PyTorch и safetensors. Модель распространяется по лицензии MIT. README заявляет о разумном времени работы, но не приводит количественных оценок качества или производительности.

326июнь 2023ctx1K
textimagemithugging-face
Bercraft
blip-image-captioning-large

Карточка модели Bercraft/blip-image-captioning-large на Hugging Face совпадает с карточкой Salesforce/blip-image-captioning-large, поэтому описание составлено по ней. Salesforce/blip-image-captioning-large — модель семейства BLIP, разработанная Salesforce Research для описания изображений. Это базовая модель с визуальным энкодером ViT-Large, обученная на наборе COCO; архитектура поддерживает генерацию текста по изображению. Модель предназначена для создания подписей к изображениям в условном и безусловном режимах. Её можно применять для автоматического описания фотографий и визуального наполнения каталогов. Карточка не сообщает о поддержке нескольких языков, поэтому основной сценарий — генерация текстовых описаний без заявленной языковой специализации. Модель опубликована в форматах PyTorch, Safetensors и TensorFlow. Лицензия — BSD-3-Clause. Авторы отмечают, что выпуск предназначен для исследований и не проверен для всех практических сценариев; перед внедрением следует оценить точность, безопасность и справедливость результатов.

70сент. 2026ctx512
textimagebsd-3-clausehugging-face
zhiqiulin
clip-flant5-xxl

CLIP-FlanT5-XXL (VQAScore) — зрительно-языковая генеративная модель, разработанная Чжицю Линем и соавторами на основе дообучения google/flan-t5-xxl. Модель предназначена для задач сопоставления изображений и текста и извлечения релевантных соответствий между ними. Она использует архитектуру T5 и содержит 5,8 млрд параметров. Модель принимает изображение и текст для оценки их соответствия и выдаёт текстовый результат, пригодный для ранжирования или поиска по релевантности. В карточке Hugging Face указана задача text-generation; лицензия — Apache-2.0. Карточка не содержит дополнительных сведений о длине контекста или специальных ограничениях применения.

13K5дек. 2023ctx2K
textapache-2.0hugging-face
Hukyl
dfine-egret-x-rukopys

Hukyl/dfine-egret-x-rukopys — модель обнаружения объектов для анализа рукописных украинских страниц. Она разработана Hukyl на основе D-FINE-X и дообучена на размеченном наборе Rukopys; архитектура включает backbone HGNetV2 и декодер в стиле RT-DETR. Модель содержит около 62,7 млн параметров и распознаёт семь типов областей: рукописный и печатный текст, формулы, таблицы, аннотации, изображения и графики. Модель предназначена для поиска и классификации областей документа перед передачей распознавателям текста или формул. На отложенной выборке из 133 страниц mAP@50 составила 0,6704, а mAP@50–95 — 0,4441; качество заметно различается между классами. Модель обучали и оценивали при размере изображения 640×640; результаты для документов иных типов не проверялись. Слабыми классами являются аннотации и изображения, а малое число примеров некоторых категорий делает их метрики нестабильными. Веса распространяются по лицензии Apache-2.0; обучающие данные Rukopys указаны с лицензией CC BY 4.0.

920июнь 2026
imageapache-2.0hugging-face
skillclass
english-image-caption-blip

english-image-caption-blip — дообученная модель BLIP на основе Salesforce/blip-image-captioning-base для генерации англоязычных подписей к изображениям. Она принимает изображение и выдаёт текстовое описание его содержимого; архитектура реализована классом BlipForConditionalGeneration и использует визуальный энкодер ViT Base. Модель предназначена для автоматического создания кратких подписей к изображениям и может использоваться в системах каталогизации и поиска по визуальному содержимому. Карточка не раскрывает обучающий датасет и не приводит подробностей о качестве, поэтому результаты оценки из README (loss 2.0130 и token accuracy 0.0696) сами по себе не позволяют судить о практической точности подписей. Лицензия — BSD 3-Clause.

410сент. 2026
textimagebsd-3-clausehugging-face
aaabushiren
fg-clip2-base

Карточка модели aaabushiren/fg-clip2-base на Hugging Face совпадает с карточкой qihoo360/fg-clip2-base, поэтому описание составлено по ней. FG-CLIP 2 — двуязычная модель визуально-текстового выравнивания для детального понимания изображений и текста. В карточке указаны авторы Chunyu Xie, Bin Wang и коллеги; модель доступна в репозитории qihoo360 и предназначена для английского и китайского языков. Модель сопоставляет изображения с текстовыми описаниями и поддерживает классификацию изображений без дополнительного обучения, а также поиск по изображению и тексту. Авторы сообщают о проверке на 29 наборах данных и восьми задачах, где FG-CLIP 2 превзошла ряд сильных базовых моделей, включая SigLIP 2 и MetaCLIP 2. Архитектура FG-CLIP 2 представлена классом Fgclip2Model; для загрузки в README приведён интерфейс Transformers с обработкой изображений и токенизатором. Модель принимает изображения и текстовые запросы и формирует выравненные представления для сопоставления и классификации. Репозиторий содержит веса в формате Safetensors. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

60авг. 2026
textapache-2.0hugging-face
microsoft
git-large

GIT-large (GenerativeImage2Text) — модель Microsoft для генерации текста по изображениям. Она использует декодер Transformer, обусловленный визуальными токенами CLIP и текстовыми токенами, и предсказывает текст по одному токену. Вариант large обучен на 20 миллионах пар изображение—текст; размер модели — 80,1 млн параметров, контекст — 1024 токена. Модель предназначена прежде всего для описания изображений. Архитектура GIT также подходит для визуальных вопросов и ответов, подписей к видео и классификации изображений через генерацию текстовой метки, однако README рекомендует использовать этот исходный чекпойнт для описания изображений. Модель принимает изображения и текстовый запрос, выдаёт текст; в метаданных указан английский язык. Качество зависит от содержания изображения и обучающих данных, а ответы могут быть неточными или упускать детали. Лицензия — MIT.

1.3K22янв. 2023ctx1K
textmithugging-face
leafyseay
LaME-7B

LaME-7B — мультимодальная модель для получения эмбеддингов, разработанная на основе Qwen2-VL-7B-Instruct. Она использует восемь обучаемых токенов [REASON], обучение с совместной контрастивной и декодерной супервизией и проекцию размерности 3584; латентный декодер основан на Qwen3-0.6B. Модель предназначена для поиска и сопоставления текста, изображений, видео и визуальных документов. README сообщает о высоких результатах на наборах MMEB-v2 и MRMR. Для запуска указаны Transformers и AutoModel/AutoProcessor; веса представлены в формате safetensors. Лицензия — Apache-2.0.

131июль 2026ctx32.8K
textembeddingapache-2.0hugging-face
microsoft
LLM2CLIP-Llama-3-8B-Instruct-CC-Finetuned

LLM2CLIP-Llama-3-8B-Instruct-CC-Finetuned — текстовый энкодер семейства Llama, разработанный Microsoft совместно с исследователями из Университета Тунцзи. Это компонент подхода LLM2CLIP: энкодер дообучен на подписях к изображениям с помощью контрастивного обучения, чтобы получать текстовые эмбеддинги, лучше различающие содержание длинных и сложных описаний. В README указаны обучающие данные CC3M, CC12M, YFCC15M и подмножество Recap-DataComp-1B. Модель предназначена для сопоставления текстов с изображениями и поиска по изображениям или текстовым описаниям. Веса опубликованы в формате safetensors; метаданные указывают 7,5 млрд параметров, контекст до 8192 токенов и лицензию Apache-2.0. README сообщает об улучшениях в межъязыковом поиске и задачах retrieval в составе LLM2CLIP, но отмечает, что результаты PyTorch могут отличаться от результатов версии Hugging Face.

25K45нояб. 2024ctx8.2K
textapache-2.0hugging-face
facebook
metaclip-h14-fullcc2.5b

MetaCLIP H/14 — модель семейства CLIP, выпущенная командой MetaCLIP и представленная в работе Xu и соавторов «Demystifying CLIP Data». Это крупная версия с разрешением патчей 14, обученная на 2,5 миллиарда примеров CommonCrawl. Модель сопоставляет изображения и текст в общем пространстве эмбеддингов. Она предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений по запросу и поиска текста по изображению. Карточка не приводит сведения о поддерживаемых языках или длине контекста. Доступны веса PyTorch и Safetensors; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

4.2K51окт. 2023ctx77
textimagecc-by-nc-4.0hugging-face
anton96vice
mobileclip2_tflite

Репозиторий anton96vice содержит TFLite-версии моделей семейства MobileCLIP — мультимодальных моделей сопоставления изображений и текста, разработанных для эффективного запуска на мобильных и периферийных устройствах. В репозитории представлены варианты MobileCLIP-B, MobileCLIP-S1 и MobileCLIP-S2, включая несколько вариантов контрольных точек. Модели предназначены для классификации изображений по текстовым меткам без специального дообучения, поиска изображений по текстовому запросу и семантического поиска. Они формируют эмбеддинги изображений и текста, которые можно сопоставлять для оценки соответствия. Формат TFLite рассчитан на локальный инференс; точные входные и выходные сигнатуры зависят от файла и требуют адаптации приложения. Репозиторий лицензирован по Apache-2.0. Карточка не приводит точных размеров моделей, поддерживаемых языков текста или численных характеристик качества, поэтому применимость для конкретного языка и устройства следует проверять отдельно.

2211июнь 2025
textimageapache-2.0hugging-face
zeromodels
siglip_base_p16_224

zeromodels представляет конверсию Google SigLIP Base Patch16-224 для библиотеки Keras 3. Это мультимодальный двойной энкодер изображений и текста, обученный с попарной сигмоидной функцией потерь; модель принимает изображения и текстовые подсказки и сопоставляет их для классификации изображений без обучения на целевых классах. Реализация работает с TensorFlow, PyTorch и JAX. Модель подходит для классификации изображений по текстовым описаниям и выбора наиболее подходящей подписи или категории из заданного пользователем списка. Размер изображения — 224 × 224 пикселя, патчи — 16 × 16. Лицензия — Apache 2.0. Английский текст указан в описании базовой модели; поддержка других языков в предоставленных данных не подтверждена.

340июль 2026
textimageapache-2.0hugging-face
cnmoro
tiny-image-captioning

cnmoro/tiny-image-captioning — компактная модель для создания текстовых описаний изображений. Она разработана на основе архитектуры vision-encoder-decoder с визуальным энкодером ViT-small-patch16-224 и текстовым декодером BERT-tiny; общий размер весов — около 100 МБ. Модель предназначена для генерации англоязычных подписей к изображениям и, по заявлению автора, быстро работает на CPU. Модель принимает изображение и выдаёт текстовое описание. Она опубликована под лицензией Apache-2.0. Карточка не сообщает об ограничениях точности или поддержке других языков; качество подписи может зависеть от содержания изображения.

2635янв. 2025
textimageapache-2.0hugging-face
UCSC-VLAA
ViT-L-16-HTxt-Recap-CLIP

Recap-CLIP-ViT-L-16-Txt-Huge-2.56B — контрастивная модель UCSC-VLAA для сопоставления изображений и текстовых описаний и классификации изображений по текстовым меткам без дообучения. Она основана на CLIPA с архитектурой OpenCLIP и обучена на Recap-DataComp-1B; в наборе использованы описания изображений, созданные LLaVA-1.5-LLaMA3-8B. Модель подходит для поиска изображений по тексту и классификации по заданным категориям в режиме zero-shot. Доступна под лицензией CC BY 4.0. Обучение на изображениях из интернета и автоматически созданных подписях может приводить к смещениям и неточностям. Для оценки этих рисков авторы рекомендуют ознакомиться с карточкой датасета.

2.5K18июнь 2024ctx512
textimagecc-by-4.0hugging-face
BAAI
BGE-VL-MLLM-S2

BAAI/BGE-VL-MLLM-S2 — дообученная BAAI мультимодальная модель для поиска изображений по тексту, изображению или их сочетанию. Она основана на LLaVA-NeXT с Mistral-7B и предназначена для универсального мультимодального поиска: например, можно задать изображение вместе с текстовым уточнением и найти подходящие изображения в коллекции. Модель формирует эмбеддинги размерности 4096, которые сравнивают по сходству; для обработки изображений рекомендуется размер 512 × 512. В README описана работа через sentence-transformers: инструкции в prompt задают формат запроса, а без prompt вход используется как кандидат для поиска. Метаданные указывают библиотеку sentence-transformers, формат весов safetensors и лицензию MIT. Карточка приводит примеры текстовых и визуальных запросов, но не заявляет поддержку языков помимо английского.

17717март 2025
textembeddingmithugging-face
microsoft
dit-large

Document Image Transformer (DiT) large — визуальный трансформер-энкодер, разработанный Microsoft и впервые опубликованный в репозитории microsoft/dit-large. Модель предварительно обучена без учителя на 42 миллионах изображений документов из набора IIT-CDIP. Её архитектура соответствует BEiT: изображения разбиваются на патчи размером 16×16, а при предобучении модель учится восстанавливать визуальные токены для замаскированных участков. Размер модели — 411 млн параметров. DiT предназначена для получения векторных представлений изображений документов и дообучения для классификации документов, обнаружения таблиц и анализа структуры страницы. Она подходит для построения признаков, используемых в специализированных системах обработки документов. Модель принимает изображения и выдаёт представления, пригодные для последующих задач машинного обучения. В карточке указана лицензия Apache-2.0. Для прикладных задач обычно требуется обучить классификационную или иную задачу-специфичную голову на размеченных данных; сама базовая модель не выполняет готовую классификацию, обнаружение таблиц или анализ макета без такого дообучения.

96423март 2022
texthugging-face
prithivMLmods
Gemma4-BLIP3o-Captioner-5B

Gemma4-BLIP3o-Captioner-5B — экспериментальная мультимодальная модель для генерации подробных описаний изображений, разработанная prithivMLmods на основе Google Gemma-4-E2B-it. Модель дообучена примерно на 3 тысячах примеров из набора BLIP3o-Pretrain-Long-Caption и настроена на имитацию системы BLIP3o (Bootstrapped Language-Image Pretraining). Она предназначена для автоматического описания сцен, природных ландшафтов, портретов, объектов и других визуальных категорий, включая последовательное описание кадров видео. Основной язык — английский. Модель использует мультимодальную архитектуру базовой Gemma-4-E2B-it, поддерживает обработку изображений и ориентирована на локальный inference с использованием Transformers или llama.cpp. Модифицированный chat template содержит встроенный системный промпт для плотных, детализированных и контекстно насыщенных описаний; режим рассуждений по умолчанию отключён для снижения задержки. Доступны файлы GGUF в форматах от Q2_K до Q8_0, а также варианты BF16 и F16. Сильными сторонами модели являются специализация на подробном image captioning, поддержка последовательных видеокадров и пригодность для локальных или ориентированных на приватность сценариев. Ограничение заключается в том, что модель экспериментальная и может выдавать артефакты или ухудшенные результаты при использовании для общего диалога и задач, не связанных с описанием изображений. Модель распространяется по лицензии Apache-2.0.

6713июнь 2026
textimageapache-2.0hugging-face
microsoft
git-base-coco

GIT-base-COCO — модель Microsoft семейства GenerativeImage2Text, дообученная на наборе COCO для создания подписей к изображениям. Она использует декодер Transformer, который получает визуальные токены изображения от CLIP и предыдущие текстовые токены, а затем последовательно генерирует текст. Размер модели — 80,1 млн параметров; формат весов — PyTorch, лицензия — MIT. Модель предназначена прежде всего для генерации кратких текстовых описаний изображений. Архитектура GIT также подходит для визуальных вопросов и ответов, описания видео и классификации через генерацию метки, однако карточка рекомендует использовать этот исходный чекпойнт для подписей к изображениям. В метаданных указан контекст 1024 токена; язык карточки и языковой тег — английский. Модель обучалась на 10 млн пар изображение–текст, а затем дообучалась на COCO. Карточка не приводит результаты оценки, поэтому качество для конкретных сценариев следует проверять отдельно. Для других задач могут потребоваться специализированные версии GIT.

4.8K25дек. 2022ctx1K
textmithugging-face
microsoft
git-base-textcaps

microsoft/git-base-textcaps — модель семейства GIT (Generative Image-to-text), разработанная Microsoft и дообученная на наборе TextCaps. Это трансформер-декодер, который обрабатывает токены изображения, полученные из CLIP, и генерирует текстовые токены. Модель содержит 80,1 млн параметров и рассчитана на контекст до 1024 токенов. Основное назначение этой версии — создание подписей к изображениям, в том числе с распознаванием текста, встречающегося на изображении. Семейство GIT также применимо к визуальным вопросам и ответам и классификации изображений через текстовую генерацию, однако эти сценарии не заявлены как специализация данного чекпойнта. В карточке указан английский язык. Модель принимает изображения и текстовый контекст и выдаёт текст. Ограничение: это специализированная версия для TextCaps, поэтому её качество на других задачах и типах изображений может отличаться; подробные результаты оценки приведены в статье. Лицензия — MIT.

25812дек. 2022ctx1K
textmithugging-face
bipin
image-caption-generator

bipin/image-caption-generator — модель генерации подписей к изображениям, дообученная на наборе Flickr8k. Она использует архитектуру VisionEncoderDecoderModel и предназначена для создания текстового описания по входному изображению. В карточке приведены результаты оценки на тестовом наборе и пример загрузки через библиотеку Transformers. Модель подходит для автоматического составления коротких подписей к фотографиям. В README указано обучение в течение четырёх эпох; оценочная потеря составила 0,2536. Язык подписей, размер модели и условия лицензии в доступных сведениях не приведены.

6920март 2022
textimagehugging-face
prithivMLmods
Mirage-Photo-Classifier

Mirage-Photo-Classifier — модель классификации изображений, созданная на основе google/siglip2-base-patch16-224 и дообученная для бинарного определения подлинности фотографий. Она использует архитектуру SiglipForImageClassification и относит изображение к классу Real (настоящее) или Fake (сгенерированное ИИ). Разработчик в карточке модели не назван. Модель предназначена для поиска синтетических изображений в новостях, социальных сетях и наборах данных, а также для поддержки цифровой экспертизы и модерации контента. В README приведён отчёт на тестовой выборке из 10 000 изображений: точность составила 94,64%, F1 для классов Real и Fake — 0,9446 и 0,9481 соответственно. Эти результаты относятся к указанной выборке и не гарантируют такую же точность на других типах изображений. Модель принимает изображения и выдаёт метки классов. В метаданных указан английский язык карточки; другие поддерживаемые языки не заявлены. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

1222апр. 2025
imageapache-2.0hugging-face
prithivMLmods
Qwen3-VL-8B-Heretic-Stable

Qwen3-VL-8B-Heretic-Stable — мультимодальная модель prithivMLmods на архитектуре Qwen3-VL с 8 млрд параметров для диалога, анализа изображений и генерации текстовых ответов. Она принимает изображения и текст, поддерживает визуальное рассуждение, создание подписей и структурированных описаний, а также прототипирование инструментов анализа изображений. В карточке заявлены совместимость с актуальными версиями Transformers, обновлённая разбивка весов на шарды и сохранение поведения исходной модели без изменения основных весов или архитектуры. Модель основана на prithivMLmods/Qwen3-VL-8B-Instruct-Unredacted-MAX и связана в README с huihui-ai/Huihui-Qwen3-VL-8B-Instruct-abliterated; README описывает выпуск как переупаковку, тогда как метаданные указывают дообучение базовой модели. Поддерживаемый язык карточки — английский. Репозиторий использует safetensors и библиотеку Transformers; лицензия — Apache-2.0. Ответы могут быть неточными или неполными, а качество зависит от изображения, запроса, разрешения и сложности входных данных. Для эффективного инференса, особенно с изображениями высокого разрешения, README рекомендует GPU. Модель помечена как предназначенная для исследований и обучения; авторы возлагают ответственность за использование и полученные результаты на пользователя.

2894май 2026ctx262.1K
textimageapache-2.0hugging-face
Renesas
SigLIP-so400m-patch14-384

Это версия SigLIP-SO400M-patch14-384, подготовленная Renesas для выполнения вывода на платформе Renesas X5H. Модель использует архитектуру dual encoder: Vision Transformer кодирует изображение, а Transformer — текст; нормализованные эмбеддинги сравниваются по сходству. Это не генеративная модель: она выдаёт оценки соответствия изображения текстовым меткам, поддерживая классификацию изображений без дообучения и сопоставление изображений с текстом. Модель предназначена для запуска на NPU Renesas X5H. README описывает варианты FP16 и W4A16 и приводит измерения задержки для FP16 на плате X5H. Для работы нужны плата X5H и SDK версии 4.32.0 или 4.34.0. Модель основана на google/siglip-so400m-patch14-384; репозиторий содержит вариант GGUF F16. Лицензия — Apache-2.0.

311июль 2026
textimageapache-2.0hugging-face
Image-Captioning-ML
Vit-GPT2-COCO2017Flickr-85k-09

Image-Captioning-ML/Vit-GPT2-COCO2017Flickr-85k-09 — дообученная модель архитектуры VisionEncoderDecoderModel для создания текстовых описаний изображений. В качестве базовой модели указана NourFakih/Vit-GPT2-COCO2017Flickr-85k-09; веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель принимает изображение и генерирует текстовую подпись. В README приведены результаты оценки: Loss 0,6343, ROUGE-1 38,8156, ROUGE-2 13,6737 и ROUGE-L 34,9479; длина генерации в оценке — около 12 токенов. Данные обучения и сведения о языках в карточке не раскрыты, поэтому назначение для конкретного языка или предметной области не подтверждено.

610июнь 2024ctx1K
textimageapache-2.0hugging-face
timm
ViT-SO400M-16-SigLIP2-384

timm/ViT-SO400M-16-SigLIP2-384 — визуально-языковая модель семейства SigLIP 2, обученная на наборе WebLI и подготовленная для использования в библиотеке OpenCLIP. Репозиторий содержит конверсию исходных контрольных точек JAX из Big Vision; веса доступны в форматах PyTorch и Safetensors, лицензия — Apache-2.0. Модель сопоставляет изображения с текстовыми описаниями и предназначена для классификации изображений без дообучения: пользователь задаёт варианты классов текстом, а модель оценивает их соответствие изображению. Подходит для поиска по изображениям и семантической сортировки по текстовым запросам. В карточке также упомянута многоязычная направленность семейства SigLIP 2, но конкретный перечень поддерживаемых языков и размер контекста не приведены.

85K5февр. 2025
textimageapache-2.0hugging-face
arnabdhar
YOLOv8-nano-aadhar-card

arnabdhar/YOLOv8-nano-aadhar-card — дообученная модель обнаружения объектов на базе YOLOv8 nano, опубликованная пользователем arnabdhar. Она находит на изображениях карт Aadhaar области с номером Aadhaar, датой рождения, полом, именем и адресом, выдавая рамки и метки классов; обнаруженные области текста можно передать следующему этапу для распознавания или извлечения данных. Модель предназначена для автоматизации ввода данных, проверки документов и выявления подделок в сценариях обработки карт Aadhaar. Модель реализована на PyTorch и рассчитана на обработку изображений. В README указано дообучение на наборе данных из Roboflow Universe. Лицензия репозитория — Apache-2.0. Карточка не описывает OCR-распознавание содержимого внутри найденных областей, поэтому для получения текстовых значений может потребоваться отдельный распознаватель.

4.5K7окт. 2023
imageapache-2.0hugging-face
OpenMOSS-Team
AnyGPT-chat

OpenMOSS-Team/AnyGPT-chat — чат-модель AnyGPT от команды OpenMOSS, построенная на плотной архитектуре LLaMA и содержащая 6,7 млрд параметров. Она представляет речь, текст, изображения и музыку дискретными токенами, чтобы обрабатывать их в общей последовательности и выполнять преобразования между модальностями. Для обработки речи, изображений и музыки используются отдельные токенизаторы и модули восстановления. Модель предназначена для мультимодального диалога и генерации: она может создавать изображения по тексту, описывать изображения и музыку, распознавать речь, синтезировать речь, в том числе с голосовым образцом, и создавать музыку по текстовому описанию. Веса доступны в формате PyTorch; базовая конфигурация имеет контекст 2048 токенов. В README не указаны языки, на которые специально рассчитаны мультимодальные возможности. Авторы предупреждают, что из-за ограничений данных и вычислительных ресурсов генерация может быть нестабильной; результаты могут потребовать повторных запусков или настройки декодирования. README указывает лицензию исходной LLaMA 2, а метаданные Hugging Face — Apache-2.0; это расхождение не позволяет однозначно установить условия использования по доступным сведениям.

19420март 2024ctx2K
textapache-2.0hugging-face
gokaygokay
Florence-2-SD3-Captioner

Florence-2-SD3-Captioner — модель на архитектуре Florence-2, опубликованная gokaygokay. Она предназначена для создания текстовых описаний изображений и подходит для автоматического аннотирования изображений и подготовки подписей к визуальному контенту. Метаданные указывают задачи image-text-to-text и text-generation, а также обучение на наборах данных Docci, ImageInWords и синтетических высококачественных подписях DALL·E 3. Модель принимает изображения и выдаёт текст; в карточке указан английский язык. Репозиторий содержит веса в формате safetensors и использует Transformers. Лицензия — Apache-2.0.

1.2K44июнь 2024ctx1K
textapache-2.0hugging-face
LanguageBind
LanguageBind_Video_FT

LanguageBind_Video_FT — полностью дообученный видеоэнкодер проекта LanguageBind, разработанного авторами одноимённой работы, принятой на ICLR 2024. Он связывает видео с языковым семантическим пространством и предназначен для сопоставления видеоданных с текстовыми описаниями, в том числе для классификации видео по текстовым меткам без отдельного обучения классификатора. В карточке Hugging Face задача модели обозначена как zero-shot image classification. Модель использует архитектуру LanguageBindVideo на базе CLIPModel и распространяется в формате PyTorch. README рекомендует полностью дообученную версию как более сильную по сравнению с LoRA-вариантом LanguageBind_Video. Подход LanguageBind выравнивает модальности через язык; в этом репозитории описаны видео- и мультимодальные сценарии, однако данный чекпойнт предназначен для видео. Лицензия — MIT. Модель подходит для поиска видео по текстовым запросам и для классификации видео на основе текстовых описаний. В предоставленных материалах нет сведений о размере модели, длине контекста или конкретных поддерживаемых языках, поэтому они не указаны. Качество зависит от соответствия текстовых меток и видеоматериала; README не приводит здесь количественных результатов именно для этого чекпойнта.

1.6K8нояб. 2023ctx77
textimagemithugging-face

Задачи профессии

17 задач
122Обнаружение объектов и определение их координат. — AI локализует объекты на изображении или видеокадре и присваивает каждому класс, координаты рамки и оценку уверенности. Модель использует размеченные изображения и учитывает масштаб, перекрытия, освещение и фон. Результат — список объектов и визуальная разметка; качество проверяют по precision, recall и IoU на независимой выборке.
123Пиксельная сегментация объектов и областей. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: назначает класс каждому пикселю и уточняет границы соприкасающихся областей. Входной контекст включает изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: результат «Пиксельная сегментация объектов и областей» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
124Отслеживание объектов между кадрами. — Механизм: AI поддерживает актуальное состояние объекта по потоковым данным и уведомляет при выходе показателей за допустимые границы. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Исходные данные: видеоряд, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: актуальное состояние в рамках «Отслеживание объектов между кадрами», временной журнал изменений и предупреждения при значимых отклонениях. Проверка: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
125Подсчёт объектов на изображении или видеопотоке. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. К исходным данным относятся видеоряд, фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: структурированные данные, полученные в рамках «Подсчёт объектов на изображении или видеопотоке», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
126Оценка позы и движения человека или животного. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Рабочие входы: видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: оценка по задаче «Оценка позы и движения человека или животного» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
127Распознавание жестов и действий. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестов и действий», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
128Оценка глубины, расстояний и геометрии сцены. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: восстанавливает глубину, форму и топологию, затем согласует геометрию между ракурсами. Исходные данные: изображения с разных ракурсов, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: оценка по задаче «Оценка глубины, расстояний и геометрии сцены» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
129Построение трёхмерной модели по изображениям. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: вычислительная модель или карта для «Построение трёхмерной модели по изображениям» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
130Измерение размеров, площади, объёма или деформации объекта. — Для этой задачи система объединяет количественные и качественные признаки, после чего формирует оценку и показывает вклад основных факторов. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: оценка по задаче «Измерение размеров, площади, объёма или деформации объекта» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
131Обнаружение визуальных дефектов, повреждений и загрязнений. — Практическая реализация: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Входной контекст включает изображения, видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение визуальных дефектов, повреждений и загрязнений», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
132Выявление изменений между снимками разных дат. — Механизм: AI выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: перечень объектов, событий или отклонений, относящихся к «Выявление изменений между снимками разных дат», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
133Восстановление повреждённого или недостающего фрагмента изображения. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: преобразованный материал по задаче «Восстановление повреждённого или недостающего фрагмента изображения» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
134Повышение разрешения, резкости и читаемости изображения. — Для этой задачи система сравнивает альтернативы по нескольким критериям и ищет устойчивый компромисс между качеством, стоимостью, временем и риском. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Рабочие входы: изображения, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: рекомендуемая конфигурация для «Повышение разрешения, резкости и читаемости изображения» с целевыми показателями, ограничениями и сравнением с исходным вариантом. Критерии приёмки: сравнением с базовым решением, проверкой всех ограничений и испытанием устойчивости при изменении условий; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
135Удаление фона, объектов, бликов, шума или артефактов. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Входной контекст включает фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: преобразованный материал по задаче «Удаление фона, объектов, бликов, шума или артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
136Коррекция цвета, освещения, перспективы и композиции. — Механизм: AI поддерживает процесс в допустимом диапазоне, выбирая безопасные действия с учётом инерции и задержек системы. Исходные данные: видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: управляющее решение для «Коррекция цвета, освещения, перспективы и композиции» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Проверка: в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
137Генерация нового изображения по описанию или референсу. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: редактируемый артефакт по задаче «Генерация нового изображения по описанию или референсу», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — визуальный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
138Создание вариантов изображения с управляемыми изменениями. — Для этой задачи система создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Рабочие входы: изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: редактируемый артефакт по задаче «Создание вариантов изображения с управляемыми изменениями», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — визуальный результат. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке. <a id="section-i-9"></a>

0 моделей