/ Профессии
Универсальные способности и операции

I.8Изображения и компьютерное зрение

В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеТекст
AI-задач
17
в этой профессии
Подходящих моделей
6 331
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеТекст

Рекомендованные модели

6 331 модель
Загрузки
Лайки
Дата выхода
2 971–3 000 из 6 331
SPO-Diffusion-Models
SPO-SDXL_4k-p_10ep

SPO-SDXL_4k-p_10ep — модель генерации изображений по тексту от авторов метода Step-by-step Preference Optimization (SPO). Она дообучена на базе Stable Diffusion XL Base 1.0 для улучшения эстетического качества изображений и соответствия текстовым запросам. Чекпойнт объединяет веса LoRA с базовой моделью; обучение проводилось на 4 000 запросах в течение 10 эпох. Модель подходит для создания визуально привлекательных изображений по текстовым описаниям, в том числе для творческих задач и генерации иллюстраций. Она использует архитектуру Stable Diffusion XL и формат Diffusers с весами Safetensors. Лицензия — Apache-2.0. В README заявлено улучшение эстетики без ухудшения соответствия изображения запросу; независимые показатели качества в карточке не приведены.

3868июнь 2024
textimageapache-2.0hugging-face
gxkok
starlight-xl-animated-v3

Starlight XL Animated V3 — модель генерации изображений по текстовому описанию от gxkok, опубликованная в формате Diffusers и совместимая с StableDiffusionXLPipeline. Она предназначена для создания изображений по текстовым запросам; связанная карточка модели описывает вариант SDXL для концепт-арта и иллюстраций с выразительной стилизованной подачей. Репозиторий содержит компоненты SDXL, включая UNet, VAE, текстовые энкодеры и токенизаторы. Модель принимает текст и выдаёт изображения. Лицензия — OpenRAIL++. В доступных материалах не приведены надёжные сведения о размере контекста и поддерживаемых языках; название «Animated» не подтверждает генерацию анимации или видео.

3.1K0март 2024
textimageopenrail++hugging-face
laicsiifes
swin-distilbertimbau

Swin-DistilBERTimbau — модель для создания подписей к изображениям на бразильском португальском языке. Она разработана на базе Swin Transformer в качестве визуального энкодера и DistilBERTimbau в качестве текстового декодера и дообучена на португалоязычной версии Flickr30K, переведённой с помощью Google Translator API. Модель принимает изображение и генерирует текстовое описание; обучение и оценка проводились при разрешении 224 × 224 пикселя и максимальной длине последовательности 512 токенов. Модель предназначена для автоматического описания фотографий и экспериментов с генерацией подписей к изображениям на португальском языке. В README приведены результаты на тестовой части Flickr30K Portuguese по метрикам CIDEr-D, BLEU@4, ROUGE-L, METEOR и BERTScore. Репозиторий предоставляет веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Описания ограничены областью и характером обучающих данных Flickr30K и могут быть ненадёжны для изображений, существенно отличающихся от фотографий этого датасета. Португальские подписи обучались на машинном переводе, что может влиять на их качество и естественность.

385сент. 2024
textimagemithugging-face
ali-vilab
text-to-video-ms-1.7b

Text-to-video-ms-1.7b — диффузионная модель генерации видео по текстовому описанию, разработанная ModelScope и опубликованная Alibaba. Она принимает описание на английском языке и создаёт соответствующее видео. Модель использует многоэтапную архитектуру из трёх частей: извлечение текстовых признаков, диффузия в латентном пространстве видео и преобразование видео из латентного пространства в визуальное; диффузионная часть построена на UNet3D. Размер модели составляет около 1,7 млрд параметров. Модель предназначена для создания видео по произвольным англоязычным запросам и экспериментов с генерацией видео. В README описана возможность генерации роликов продолжительностью до 25 секунд при оптимизации использования памяти, однако результат зависит от оборудования и настроек. Модель плохо справляется со сложными композициями, не создаёт чёткий текст в кадре и не обеспечивает кинематографическое качество. Она обучалась на публичных наборах данных, включая WebVid, LAION5B и ImageNet, поэтому результаты могут отражать их смещения. В README указана лицензия CC-BY-NC-ND, тогда как метаданные Hugging Face указывают CC-BY-NC-4.0; условия лицензирования в источниках расходятся. Перед использованием следует свериться с актуальной лицензией репозитория. В README также запрещена генерация порнографического, насильственного и кровавого контента, а также унижающего или вредоносного контента.

8.7K698март 2023
textvideocc-by-nc-4.0hugging-face
MCG-NJU
TimeLens2-8B-SFT

TimeLens2-8B-SFT — мультимодальная модель для временной локализации событий в видео, разработанная MCG-NJU. Она принимает видео и текстовый запрос и возвращает временные интервалы, в которых присутствуют запрошенные визуальные свидетельства. Модель предназначена прежде всего для генерации примеров для следующего этапа обучения TimeLens2 методом GRPO, а также для воспроизведения и изучения конвейера обучения temporal grounding. Это контрольная точка supervised fine-tuning на базе Qwen/Qwen3-VL-8B-Instruct с длинноконтекстным обучением на временной локализации. При обучении использовался контекст до 100 тысяч токенов; визуальный энкодер был заморожен. Данные включали TimeLens2-93K, TimeLens-100K и обучающую часть Ego4D-NLQ-v2. Чекпойнт является промежуточным SFT-этапом, а не финальной оптимизированной методом GRPO версией из статьи. Модель распространяется по лицензии Apache-2.0.

585июль 2026ctx262.1K
textvideoapache-2.0hugging-face
Yntec
Timeless

Timeless — модель генерации изображений по текстовому описанию, опубликованная Yntec. Это объединение Timeless Diffusion и FabulousAlpha; в README указано, что FabulousAlpha объединяет fennPhoto и Incredible World 2. Модель создана для генерации изображений в эстетике Timeless и стремится сохранять этот стиль даже без соответствующей фразы в запросе, а также меньше зависеть от негативных промптов. Примеры демонстрируют портреты известных людей и вымышленных персонажей, исторические и фантастические сцены, а также образы в ретро-стилистике. Репозиторий содержит веса в форматах Diffusers и safetensors; метаданные указывают английский язык. Лицензия — CreativeML Open RAIL-M.

1605март 2024
textimagecreativeml-openrai…hugging-face
Raretutor
vdn-minimax-h3-comfyui-int8-convrot

Это INT8-квантованные веса линейной ветви VDN-H3, подготовленные Raretutor для использования с ComfyUI. Они основаны на OpenVDN/vdn-minimax-h3 и предназначены для генерации видео по текстовому запросу в составе модели MiniMax H3 VDN. Квантование ConvRot с группой 256 уменьшает размер файлов примерно с 4,3 до 2,1 ГБ и, по заявлению карточки, снижает пиковое потребление видеопамяти при загрузке примерно на 4,7 ГБ, сохраняя близкое к BF16 качество изображения. Репозиторий содержит веса в формате safetensors; заявлена совместимость с ComfyUI и RT Minimax H3 VDN. Для работы эти веса нужно поместить в каталог линейной ветви модели VDN Minimax H3 в ComfyUI. Лицензия указана как other, конкретные условия использования в карточке не раскрыты.

38911сент. 2026
textvideootherhugging-face
Yntec
VectorArtz

VectorArtz Diffusion — модель генерации изображений по текстовому описанию в формате Diffusers с весами safetensors. Карточка описывает вариант с разрешением 768×768 и встроенным GhibliVAE, который, по README, усиливает детализацию ценой повышенной насыщенности цветов. Для усиления характерного эффекта в запрос можно добавить слово «vectorartz». Модель подходит для создания стилизованных иллюстраций по текстовым запросам: например, пейзажей, изометрических деревень, стимпанк-механизмов и подводных рифов. Она основана на Stable Diffusion и распространяется по лицензии CreativeML OpenRAIL-M.

1571нояб. 2024
textimagecreativeml-openrai…hugging-face
dhead
wai-nsfw-illustrious-sdxl-v140-sdxl

dhead/wai-nsfw-illustrious-sdxl-v140-sdxl — модель генерации изображений по текстовому описанию, опубликованная пользователем dhead на Hugging Face. Она основана на Stable Diffusion XL и предназначена для работы через diffusers StableDiffusionXLPipeline, включая создание реалистичных и фотореалистичных изображений по промптам. Модель ориентирована на сценарии, связанные с генерацией изображений для взрослых и другой аудитории, поскольку в метаданных отмечена как not-for-all-audiences. Доступна по лицензии CreativeML OpenRAIL-M. Размер модели, длина контекста и поддерживаемые естественные языки в предоставленных данных не указаны.

48824май 2025
textimagecreativeml-openrai…hugging-face
ostris
watercolor_style_lora_sdxl

Watercolor Style — это LoRA-адаптер для генерации изображений на основе text-to-image-модели Stable Diffusion XL Base 1.0. В карточке указан разработчик ostris. Адаптер предназначен для преобразования текстовых запросов в изображения с акварельной стилистикой и может применяться в сценариях художественной генерации, создания иллюстраций и стилизации изображений средствами совместимого пайплайна Diffusers и SDXL. Модель использует архитектуру LoRA поверх Stable Diffusion XL Base 1.0. Она работает с текстовыми запросами и генерирует изображения; сведения о размере, максимальном контексте, поддерживаемых языках и дополнительных модальностях не указаны. Специальное триггерное слово не требуется. Рекомендуемый вес адаптера — 1.0, однако для получения нужной степени стилизации его может потребоваться увеличить или уменьшить. Сильная сторона модели — специализированная акварельная стилизация произвольных текстовых описаний без обязательного использования триггеров. Ограничение заключается в зависимости от базовой модели Stable Diffusion XL Base 1.0 и совместимого инструментария; точность следования сложным запросам и качество результата могут зависеть от промпта и выбранного веса LoRA. Модель распространяется по лицензии Apache-2.0.

1.4K33авг. 2023
textimageapache-2.0hugging-face
digiplay
WhiteDreamyHillMix_v1

WhiteDreamyHillMix_v1 — модель генерации изображений по текстовому описанию в формате Stable Diffusion Diffusers. В карточке представлены примеры изображений, созданных по промптам; указана версия без VAE, а отдельная версия с VAE размещена в другом репозитории. Модель предназначена для создания иллюстраций и других изображений по текстовым запросам. Репозиторий содержит веса в форматах Diffusers, PyTorch и Safetensors. Лицензия указана как other, поэтому условия использования следует проверять в файлах репозитория.

833июнь 2023
textimageotherhugging-face
digiplay
ZHMix-Dramatic-v3.0

ZHMix-Dramatic-v3.0 — модель для генерации изображений по текстовому описанию, опубликованная пользователем digiplay на Hugging Face. В метаданных указана задача text-to-image и совместимость с Diffusers StableDiffusionPipeline; файлы представлены в формате safetensors. Карточка содержит примеры изображений, созданных через API Hugging Face, но не описывает архитектуру, размер, контекст, поддерживаемые языки, сильные стороны или ограничения модели. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в репозитории модели.

226нояб. 2023
textimageotherhugging-face
berryber09
10Eros-Max-h3-turbo-hybrid-beta4-w4a8

berryber09/10Eros-Max-h3-turbo-hybrid-beta4-w4a8 — квантизированная W4A8-версия гибридной модели 10Eros-Max H3 Turbo beta4 от TenStrip. Модель предназначена для генерации коротких видео по текстовому запросу; в метаданных основная задача указана как text-to-video. По README, веса представлены в формате safetensors с асимметричной квантизацией W4A8, размер около 11,68 ГБ. Квантовано 200 линейных слоёв, а нормализации, первый и последний слои сохранены в более высокой точности. Сборка ориентирована на запуск в ComfyUI и требует ComfyUI версии 0.31.0 или новее с поддержкой W4A8 либо дополнительного патча, а также CUDA с SM 8.0 или выше. README подтверждает загрузку модели и генерацию связного изображения в ComfyUI; это само по себе не подтверждает качество генерации видео. Модель уменьшена примерно на 68,8% относительно bf16-источника и рассчитана на размещение на видеокарте с 16 ГБ памяти. Лицензия унаследована от исходной модели; в метаданных она обозначена как other.

2.7K10авг. 2026
textvideootherhugging-face
Yntec
Analog

Yntec/Analog — модель генерации изображений по текстовому описанию, созданная путём слияния Analog Diffusion и моделей семейства Paramount. Она предназначена для получения изображений с эстетикой аналоговой и винтажной фотографии: характерными цветами, зернистостью плёнки и атмосферой кадров прошлых десятилетий. Примеры в карточке охватывают портреты, интерьеры, пейзажи и фантастические сцены. Модель использует Stable Diffusion Pipeline и распространяется в форматах Diffusers и Safetensors. В качестве основы слияния указаны wavymulder/Analog-Diffusion и Yntec/Paramount; рецепт также описывает использование Stable Diffusion 1.5 в процессе смешивания. Для текстовых запросов карточка указывает английский язык. Модель распространяется по лицензии CreativeML OpenRAIL-M.

536янв. 2024
textimagecreativeml-openrai…hugging-face
leloy
Anole-7b-v0.1-hf

leloy/Anole-7b-v0.1-hf — преобразованная в совместимый с Hugging Face формат версия Anole, авторегрессионной мультимодальной модели семейства Chameleon. Модель содержит 6,7 млрд параметров, использует архитектуру ChameleonForConditionalGeneration и принимает текст и изображения, создавая чередующиеся последовательности текста и изображений; также поддерживает генерацию изображений по тексту и мультимодальное понимание. Anole дообучена на тщательно отобранном наборе примерно из 6 000 изображений. Карточка отмечает следование сложным инструкциям и генерацию согласованного текстово-изобразительного содержимого. Контекст составляет 4096 токенов. Модель предназначена для мультимодальной генерации и исследований, однако для этой конвертированной версии указан нестандартный вариант Transformers, что ограничивает совместимость с обычными установками. Лицензия — Apache-2.0.

1.4K11июль 2024ctx4.1K
textimageapache-2.0hugging-face
Yntec
AnythingV3.1

Anything 3.1 — дообученная модель семейства Stable Diffusion, предназначенная для генерации изображений по текстовым запросам. В карточке указано, что в неё встроен MoistMixV2VAE; среди примеров — аниме-персонажи, чиби-иллюстрации и изображения с живописной стилизацией. Модель распространяется в форматах Diffusers и Safetensors и поддерживает генерацию по англоязычным запросам. Модель подходит для создания аниме-иллюстраций, портретов и стилизованных сцен по описанию. Лицензия — CreativeML OpenRAIL-M. Размер модели и длина контекста в предоставленных данных не указаны.

1722март 2024
textimagecreativeml-openrai…hugging-face
stablediffusionapi
anything-v5

Anything V5 — модель генерации изображений по текстовому описанию, опубликованная stablediffusionapi. Карточка показывает её использование через ModelsLab API и указывает идентификатор модели anything-v5. Пример запроса задаёт текстовый prompt и negative prompt, разрешение изображения, число шагов генерации и guidance scale. Модель предназначена для создания изображений по текстовым запросам; пример ориентирован на аниме и цифровую иллюстрацию, включая портреты и концепт-арт. Репозиторий содержит веса в форматах Diffusers, PyTorch и safetensors. Лицензия — CreativeML OpenRAIL-M.

4.0K211апр. 2023
textimagecreativeml-openrai…hugging-face
digiplay
BeautifulArt_v1

BeautifulArt_v1 — модель генерации изображений по текстовому описанию в формате Stable Diffusion Diffusers. По карточке, она предназначена для создания изображений с эффектом 2.5D и выразительной передачей оттенков кожи. Репозиторий содержит веса в формате safetensors для использования с Diffusers. Карточка рекомендует модель, но не приводит сведений об архитектурных деталях, размере, контексте или поддерживаемых языках. Лицензия указана как other, поэтому условия использования следует сверить с файлами репозитория.

356июнь 2023
textimageotherhugging-face
digiplay
BeautifulFantasyRealMix_diffusers

BeautifulFantasyRealMix_diffusers — модель генерации изображений по текстовому описанию, опубликованная пользователем digiplay. В репозитории указана версия beautifulfantasyreal_v10.safetensors; метаданные относят модель к Stable Diffusion и формату Diffusers. Модель предназначена для создания изображений по текстовым запросам. Название указывает на фэнтезийную и реалистичную стилистику, однако README не содержит подробностей о рекомендуемых запросах или результатах, поэтому конкретные художественные возможности карточкой не подтверждены. Репозиторий создан в мае 2023 года. Лицензия обозначена как other, без дополнительных условий в доступных данных. В README не приведены сведения о базовой модели, размере, поддерживаемых языках или контекстном окне.

966май 2023
textimageotherhugging-face
Yntec
BelleOfTheBall

Belle of the Ball — модель для генерации изображений по текстовому описанию, опубликованная Yntec. Она создана на основе дообученной Isabelia и объединена с Coquett: автор указывает, что Isabelia улучшает композицию, а Coquett — проработку глаз. Модель предназначена для создания преимущественно аниме- и стилизованных 2.5D-изображений персонажей и сцен, в том числе с детализированным фоном. Используется через Diffusers как Stable Diffusion Pipeline; файлы представлены в форматах Diffusers и safetensors. Размер и длина контекста в предоставленных данных не указаны. Лицензия — CreativeML OpenRAIL-M; ознакомьтесь с её условиями перед использованием и распространением результатов.

2501нояб. 2024
textimagecreativeml-openrai…hugging-face
Yntec
darelitesFantasyMix

DareLight's Fantasy Mix — модель генерации изображений по текстовому описанию, опубликованная Yntec. Она предназначена для создания фантазийных, мультяшных и полуреалистичных иллюстраций, в том числе портретов и изображений персонажей. Модель распространяется в формате Diffusers с весами Safetensors; в неё встроен VAE kl-f8-anime2, который, согласно карточке, улучшает детализацию. Примеры в карточке ориентированы на женские портреты, аниме и цифровую живопись с детализированными лицами и волосами. Модель предназначена для генерации изображений по текстовым промптам. Карточка не сообщает размер модели, длину контекста или список поддерживаемых языков. Лицензия — CreativeML OpenRAIL-M.

1380сент. 2024
textimagecreativeml-openrai…hugging-face
zw89
DreamShaper

Карточка модели zw89/DreamShaper на Hugging Face совпадает с карточкой Lykon/DreamShaper, поэтому описание составлено по ней. Lykon/DreamShaper — модель генерации изображений по текстовому описанию, размещённая разработчиком Lykon на Hugging Face. Репозиторий содержит веса в форматах Diffusers, PyTorch и SafeTensors; метаданные связывают модель со Stable Diffusion и указывают английский язык карточки и художественную направленность. Модель подходит для создания художественных изображений и иллюстраций по текстовым запросам. Карточка упоминает сервисы Mage.space и sinkin.ai для запуска модели. В метаданных указана лицензия «other», поэтому условия использования следует проверять в самой карточке или в приложенных файлах лицензии. README не описывает ограничения качества, архитектурные детали, размер модели или длину контекста.

7380апр. 2026
textimageotherhugging-face
Lykon
dreamshaper-xl-lightning

Dreamshaper XL Lightning — модель генерации изображений от Lykon, созданная дообучением Stable Diffusion XL Base 1.0. Она предназначена для создания изображений по текстовым описаниям и доступна в формате Diffusers с весами Safetensors. Модель использует архитектуру Stable Diffusion XL и рассчитана на художественные сценарии генерации изображений. В тегах карточки указаны стили art и anime, а также связь с Lightning, Turbo и LCM. Карточка не сообщает размер модели или длину контекста. Модель распространяется по лицензии OpenRAIL++.

41K86февр. 2024
textimageopenrail++hugging-face
xyn-ai
EimisAnimeDiffusion_1.0v

EimisAnimeDiffusion_1.0v — диффузионная модель генерации изображений, обученная на качественных детализированных изображениях в стиле аниме. Она предназначена для создания аниме-иллюстраций и пейзажных сцен по текстовым описаниям; также подходит для уточнения изображений в сценарии image-to-image. В карточке приведён пример генерации фона с облаками, горами, замком и лесом. Модель распространяется в форматах Diffusers, PyTorch и Safetensors и использует лицензию CreativeML OpenRAIL-M. Примеры и описание ориентированы на англоязычные промпты. В README отмечено, что некоторые промпты могут давать нежелательные цвета; качество результата зависит от формулировки запроса.

61март 2023
textimagecreativeml-openrai…hugging-face
Yntec
elldrethSDreamMix

Elldreth's Dream Mix — модель генерации изображений по текстовому описанию, опубликованная Yntec. Это версия elldrethSDreamMix_v10 в формате safetensors с встроенным zVAE; в метаданных указан StableDiffusionPipeline и библиотека diffusers. Модель предназначена для создания иллюстраций, в том числе аниме-персонажей и художественных изображений по промптам. В README приведён пример промпта для изображения милой девушки в эстетике рекламы 1940-х и аниме 1980-х, что показывает подходящие сценарии стилизации и создания персонажей. Модель распространяется по лицензии CreativeML OpenRAIL-M. Количество параметров и контекстная длина для генерации изображений неприменимы к указанному сценарию.

723нояб. 2023
textimagecreativeml-openrai…hugging-face
WarmBloodAban
Flux2_Klein_Anything_to_Real_Characters

WarmBloodAban/Flux2_Klein_Anything_to_Real_Characters — LoRA-адаптер для модели black-forest-labs/FLUX.2-klein-9B, предназначенный прежде всего для преобразования аниме- и cel-shaded-изображений в реалистичный, близкий к live-action стиль. Адаптер работает с задачами генерации и редактирования изображений через библиотеку Diffusers и использует текстовые триггеры, включая «realistic style of a young Asian girl», а также варианты для разных возрастов и полов. По данным README, обучение выполнено на 145 парах изображений, всего 290 изображений. Заявленные улучшения включают более стабильную работу, восстановление и выразительность эмоций, поддержку разных возрастных и гендерных групп, а также более реалистичные текстуры кожи и освещение. Для базовой модели указано 9B параметров, однако сведения о поддерживаемых языках и размере контекста отсутствуют. Рекомендуемые параметры: CFG Scale 1, 8 шагов сэмплирования и вес LoRA от 0,6 до 1,0. Модель подходит для стилизации персонажей, конвертации аниме-образов в фотореалистичные изображения и редактирования изображений с помощью подробных текстовых описаний. К ограничениям относятся зависимость качества от базовой модели, исходного изображения, промпта и выбранного веса LoRA; количественные результаты оценки и подробные сведения о стабильности для различных сюжетов не приведены. Указана лицензия Apache-2.0, при этом пользователю рекомендуется учитывать лицензионные условия базовой модели; адаптер заявлен для творческого и исследовательского использования.

2.7K44янв. 2026
textimageapache-2.0hugging-face
mlx-community
gemma-4-e4b-it-bf16

Gemma 4 E4B Instruct в формате MLX — конверсия модели Google Gemma 4 для работы на компьютерах Apple с Apple Silicon. Это плотная мультимодальная модель с диалоговым режимом и поддержкой анализа изображений; пример из карточки показывает генерацию текстового описания по изображению. Репозиторий содержит веса в формате safetensors с точностью bf16 и рассчитан на запуск через библиотеку mlx-vlm. Модель подходит для визуальных вопросов и ответов, описания изображений и диалога с текстовыми запросами. Она унаследовала возможности базовой Gemma 4 E4B Instruct, включая рассуждения, программирование и обработку аудио, однако карточка этой конверсии явно подтверждает только сценарий с изображениями. Для использования требуется среда MLX на Apple Silicon. Лицензия — Gemma.

6608апр. 2026
textimagegemmahugging-face
Yntec
Genuine

Genuine — модель генерации изображений по тексту, созданная автором Yntec как смесь Generate Me! и nuipenimix v1. Она предназначена для создания стилизованных изображений и дизайна персонажей; примеры демонстрируют милых персонажей в эстетике аниме, чиби, манги и иллюстрации, а также изображения с фотореалистичными деталями. Модель использует Stable Diffusion и распространяется в формате Diffusers с файлами Safetensors; доступна версия со встроенным VAE MoistmixV2. Модель принимает текстовые промпты и выдаёт изображения. В репозитории указана лицензия CreativeML OpenRAIL-M, условия которой следует учитывать при использовании и распространении результатов.

604янв. 2024
textimagecreativeml-openrai…hugging-face
MBZUAI
geochat-7B

GeoChat-7B — мультимодальная модель MBZUAI для анализа изображений дистанционного зондирования Земли. Модель содержит 6,6 млрд параметров, использует архитектуру GeoChatLlamaForCausalLM и дообучена на основе LLaVA-1.5 для сценариев дистанционного зондирования. Она предназначена для описания изображений и отдельных областей, визуальных вопросов и ответов, классификации сцен, диалогов с визуальной привязкой и обнаружения объектов по текстовому запросу. Модель рассчитана на работу с изображениями высокого разрешения и региональное рассуждение; README заявляет устойчивые результаты zero-shot на этих задачах. Модель принимает изображения и текстовые запросы, а отвечает текстом; её контекст составляет 4096 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. README не приводит количественных оценок качества или сведений об ограничениях применимости.

1.5K28февр. 2024ctx4.1K
textapache-2.0hugging-face
microsoft
git-large-vqav2

GIT-large-VQAv2 — модель семейства GenerativeImage2Text, разработанная Microsoft и дообученная на наборе VQAv2 для визуальных вопросов и ответов. Это плотный Transformer-декодер с классом GitForCausalLM: он обрабатывает токены изображения, полученные из CLIP, вместе с текстовыми токенами и генерирует ответ по изображению и вопросу. Размер модели — 80,1 млн параметров; нативная длина контекста — 1024 токена. Модель предназначена прежде всего для ответов на вопросы об изображениях. Архитектура GIT также применима к описанию изображений и видео, визуальным вопросам о видео и классификации изображений через генерацию текстовой метки, но этот вариант настроен именно на VQAv2. В описании обучения для GIT-large указаны 20 млн пар «изображение — текст» перед дообучением на VQAv2. Модель принимает изображение и текстовый вопрос, выдаёт текстовый ответ; в метаданных указан английский язык. Репозиторий содержит веса PyTorch и safetensors. Лицензия — MIT. Карточка направляет к документации Transformers за примерами использования и не приводит конкретных оценок качества.

68324янв. 2023ctx1K
textmithugging-face

Задачи профессии

17 задач
122Обнаружение объектов и определение их координат. — AI локализует объекты на изображении или видеокадре и присваивает каждому класс, координаты рамки и оценку уверенности. Модель использует размеченные изображения и учитывает масштаб, перекрытия, освещение и фон. Результат — список объектов и визуальная разметка; качество проверяют по precision, recall и IoU на независимой выборке.
123Пиксельная сегментация объектов и областей. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: назначает класс каждому пикселю и уточняет границы соприкасающихся областей. Входной контекст включает изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: результат «Пиксельная сегментация объектов и областей» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
124Отслеживание объектов между кадрами. — Механизм: AI поддерживает актуальное состояние объекта по потоковым данным и уведомляет при выходе показателей за допустимые границы. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Исходные данные: видеоряд, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: актуальное состояние в рамках «Отслеживание объектов между кадрами», временной журнал изменений и предупреждения при значимых отклонениях. Проверка: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
125Подсчёт объектов на изображении или видеопотоке. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. К исходным данным относятся видеоряд, фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: структурированные данные, полученные в рамках «Подсчёт объектов на изображении или видеопотоке», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
126Оценка позы и движения человека или животного. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Рабочие входы: видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: оценка по задаче «Оценка позы и движения человека или животного» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
127Распознавание жестов и действий. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестов и действий», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
128Оценка глубины, расстояний и геометрии сцены. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: восстанавливает глубину, форму и топологию, затем согласует геометрию между ракурсами. Исходные данные: изображения с разных ракурсов, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: оценка по задаче «Оценка глубины, расстояний и геометрии сцены» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
129Построение трёхмерной модели по изображениям. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: вычислительная модель или карта для «Построение трёхмерной модели по изображениям» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
130Измерение размеров, площади, объёма или деформации объекта. — Для этой задачи система объединяет количественные и качественные признаки, после чего формирует оценку и показывает вклад основных факторов. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: оценка по задаче «Измерение размеров, площади, объёма или деформации объекта» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
131Обнаружение визуальных дефектов, повреждений и загрязнений. — Практическая реализация: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Входной контекст включает изображения, видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение визуальных дефектов, повреждений и загрязнений», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
132Выявление изменений между снимками разных дат. — Механизм: AI выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: перечень объектов, событий или отклонений, относящихся к «Выявление изменений между снимками разных дат», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
133Восстановление повреждённого или недостающего фрагмента изображения. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: преобразованный материал по задаче «Восстановление повреждённого или недостающего фрагмента изображения» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
134Повышение разрешения, резкости и читаемости изображения. — Для этой задачи система сравнивает альтернативы по нескольким критериям и ищет устойчивый компромисс между качеством, стоимостью, временем и риском. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Рабочие входы: изображения, текстовые инструкции, фотографии, видеокадры и медицинские или промышленные снимки. Формат результата: рекомендуемая конфигурация для «Повышение разрешения, резкости и читаемости изображения» с целевыми показателями, ограничениями и сравнением с исходным вариантом. Критерии приёмки: сравнением с базовым решением, проверкой всех ограничений и испытанием устойчивости при изменении условий; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
135Удаление фона, объектов, бликов, шума или артефактов. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Входной контекст включает фотографии, видеокадры, медицинские или промышленные снимки и разметка. Формат результата: преобразованный материал по задаче «Удаление фона, объектов, бликов, шума или артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
136Коррекция цвета, освещения, перспективы и композиции. — Механизм: AI поддерживает процесс в допустимом диапазоне, выбирая безопасные действия с учётом инерции и задержек системы. Исходные данные: видеокадры, медицинские или промышленные снимки, разметка и текстовые инструкции. Формат результата: управляющее решение для «Коррекция цвета, освещения, перспективы и композиции» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Проверка: в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
137Генерация нового изображения по описанию или референсу. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. К исходным данным относятся изображения, медицинские или промышленные снимки, разметка, текстовые инструкции и фотографии. Формат результата: редактируемый артефакт по задаче «Генерация нового изображения по описанию или референсу», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — визуальный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке.
138Создание вариантов изображения с управляемыми изменениями. — Для этой задачи система создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Рабочие входы: изображения, разметка, текстовые инструкции, фотографии и видеокадры. Формат результата: редактируемый артефакт по задаче «Создание вариантов изображения с управляемыми изменениями», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — визуальный результат. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности локализации, совпадению с разметкой, устойчивости к условиям съёмки и экспертной проверке. <a id="section-i-9"></a>

0 моделей