/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
1 681–1 710 из 8 953
facebook
mms-tts-rub

facebook/mms-tts-rub — модель синтеза речи на языке гунгу (rub), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Для каждого языка MMS-TTS обучается отдельный чекпойнт; эта модель преобразует входной текст в речевую аудиоволну и доступна через библиотеку Transformers. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, предсказатель длительности и декодер, похожий на HiFi-GAN. Веса представлены в форматах PyTorch и Safetensors; размер модели — 3,5 млн параметров. Стохастический предсказатель длительности позволяет варьировать ритм синтеза, поэтому для повторения того же результата требуется фиксировать seed. Модель предназначена для генерации речи на гунгу из текста. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка не сообщает длину контекста или дополнительные языки синтеза.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-rug

facebook/mms-tts-rug — модель синтеза речи на языке ровiana (Roviana, rug), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на ровiana. Модель построена на архитектуре VITS: текстовый энкодер и потоковые слои формируют акустическое представление, а декодер генерирует аудио; отдельный предиктор длительности позволяет варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors для использования через Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sas

facebook/mms-tts-sas — модель синтеза речи на языке сасак, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текста на сасакском языке. Модель построена на архитектуре VITS и обучена отдельно для этого языка. В её составе — текстовый энкодер на основе Transformer, flow-модуль, декодер HiFi-GAN и стохастический предиктор длительности, благодаря которому один текст может произноситься с разным ритмом. Размер модели — 3,5 млн параметров; для воспроизводимого результата генерации требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

890сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-suv

facebook/mms-tts-suv — модель синтеза речи для языка пуройк (suv), выпущенная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на пуройк. Для каждого языка в MMS-TTS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер, flow-модуль, декодер волновой формы и стохастический предиктор длительности. Чекпойнт насчитывает 3,5 млн параметров; для работы доступен через Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и safetensors. Предиктор длительности стохастический, поэтому для повторения результата требуется фиксированное начальное значение генератора. Модель предназначена для пуройк и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-toc

facebook/mms-tts-toc — модель синтеза речи на языке тотонак, вариант Койутла, из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на тотонаке в речевую аудиоволну и подходит для озвучивания текста и создания речи для приложений на этом языке. Модель построена на архитектуре VITS и обучена отдельно для одного языка. В архитектуре сочетаются вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста, декодер формы сигнала и стохастический предсказатель длительности, благодаря которому одна и та же фраза может звучать с разным ритмом. Размер модели — 3,5 млн параметров; она доступна для Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация речи недетерминирована: для повторения того же результата требуется фиксированный seed. Качество и естественность озвучивания в предоставленных материалах не оценены.

880сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-war

facebook/mms-tts-war — модель синтеза речи на Waray-Waray, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания голосовых интерфейсов на Waray-Waray. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. В её состав входят текстовый энкодер на базе Transformer, потоковый модуль, декодер HiFi-GAN и стохастический предиктор длительности, позволяющий варьировать ритм речи. Модель содержит 3,5 млн параметров и доступна для использования через Transformers версии 4.33 и выше. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное значение seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

2160сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-xtm

facebook/mms-tts-xtm — модель синтеза речи на языке Mixtec, Magdalena Peñasco (xtm), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, нормализующих потоков и декодера, построенного по принципу HiFi-GAN. Для каждого языка проекта обучается отдельный чекпойнт; размер этой модели — 3,5 млн параметров. Она доступна через Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста; для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
ndrugov
nanoVLM-encoder-free

Encoder-free nanoVLM — минималистичная vision-language модель с архитектурой без отдельного визуального энкодера. Она разработана ndrugov и принимает изображение и текст: изображение масштабируется с сохранением пропорций, разбивается на патчи исходных пикселей и передаётся языковой модели через embedder и projector. Число визуальных токенов зависит от размера изображения. Языковая основа — причинная языковая модель Hugging Face, по умолчанию Qwen/Qwen3-1.7B. Модель предназначена для сценариев взаимодействия с изображениями на естественном языке; для загрузки требуется собственный код репозитория, а не прямой вызов через Transformers. Репозиторий распространяется по лицензии MIT. В карточке нет сведений о поддерживаемых языках и длине контекста.

80июнь 2026
textimagemithugging-face
YTan2000
Ornith-1.0-35B-TQ3_4S

Ornith-1.0-35B-TQ3_4S — компактная сборка модели deepreinforce-ai/Ornith-1.0-35B в формате GGUF с квантованием TurboQuant TQ3_4S. По README, исходная модель построена на мультимодальной архитектуре Qwen-VL и принимает изображения вместе с текстом; для обработки изображений требуется отдельный проектор mmproj в формате F16. Сборка предназначена для запуска через специальную версию llama.cpp с поддержкой TQ3_4S; в README приведена проверка на NVIDIA GeForce RTX 3090 с 24 ГБ видеопамяти. Модель подходит для диалога по изображениям и ответов на вопросы о визуальном содержимом. Карточка содержит локальные результаты сравнительных тестов, но они не являются результатами родительского репозитория. Модельный репозиторий распространяется по лицензии Apache-2.0.

14210июнь 2026
textimageapache-2.0hugging-face
teamcognilabs
oryn-v1

Oryn-v1 — дообученная мультимодальная модель на архитектуре Qwen2-VL, разработанная ohyeahmman. Она принимает текст и изображения и предназначена для диалоговых задач с визуальным вводом, например для ответов на вопросы об изображениях. Модель основана на unsloth/qwen2-vl-7b-instruct-unsloth-bnb-4bit; при обучении использовались Unsloth и библиотека TRL от Hugging Face. Модель распространяется в формате Safetensors по лицензии Apache-2.0. В карточке не приведены конкретные результаты оценки или подробности о поддерживаемых языках за пределами английского, поэтому качество на других языках и в специализированных сценариях не подтверждено.

2922сент. 2026ctx32.8K
textimageapache-2.0hugging-face
google
paligemma-3b-ft-vqav2-448

google/paligemma-3b-ft-vqav2-448 — мультимодальная модель Google для ответов на вопросы по изображениям, дообученная на VQAv2. Она построена на архитектуре PaliGemma, сочетающей визуальный энкодер SigLIP и языковую модель Gemma; принимает изображение и текстовый запрос и генерирует текст. Вариант с разрешением 448 предназначен для визуальных задач, а карточка относит его к image-text-to-text и указывает формат safetensors. Модель подходит для визуальных вопросов и ответов, а семейство PaliGemma также может дообучаться для описания изображений, чтения текста на изображениях, обнаружения и сегментации объектов. Это одношаговая модель, рассчитанная на конкретные задачи, а не на многоходовой диалог; для этого варианта уместно использовать вопросы по изображениям VQAv2. В README заявлена поддержка нескольких языков, но основные языки этого чекпойнта не уточнены. Модель может ошибаться в фактических ответах, сложных рассуждениях и интерпретации нюансов; возможны смещения, унаследованные от обучающих данных. Лицензия — Gemma; применяются условия и ограничения использования моделей Gemma.

6618май 2024
textimagegemmahugging-face
PAPOGalaxy
PAPO-D-Qwen2.5-VL-3B

PAPO-D — официальная модель PAPO Galaxy для исследования Perception-Aware Policy Optimization в мультимодальных рассуждениях. Это плотная модель семейства Qwen2.5-VL с 3,1 млрд параметров, предназначенная для диалоговой работы с изображениями и текстом. Она использует обучение с подкреплением по проверяемым вознаграждениям и внутренние сигналы, чтобы совместно улучшать визуальное восприятие и многошаговое рассуждение; в работе сообщается о снижении ошибок восприятия и улучшении результатов на мультимодальных тестах. Модель принимает текст и изображения и формирует текстовые ответы. Она доступна в формате Safetensors, рассчитана на контекст до 128 000 токенов и используется через библиотеку Transformers. В README приведены результаты исследовательской работы, но нет подробных примеров применения или оценки для конкретных сценариев. Лицензия — MIT.

1160авг. 2025ctx128K
textimagemithugging-face
microsoft
Phi-3-vision-128k-instruct-onnx-cpu

Это конверсия мультимодальной модели Phi-3 Vision-128K-Instruct от Microsoft в формат ONNX, оптимизированная для инференса через ONNX Runtime, в том числе на CPU. Репозиторий отмечен как устаревший и содержит вариант с квантизацией INT4 методом RTN. Для запуска указаны CPU и не менее 16 ГБ оперативной памяти. Модель предназначена для генерации ответов по текстовым инструкциям и изображениям, а также для визуального рассуждения и понимания изображений. В README заявлена исходная поддержка контекста до 128 тысяч токенов, но метаданные указывают нативный контекст в 4096 токенов. Лицензия — MIT. Русский язык в качестве поддерживаемого языка не заявлен.

20633май 2024ctx131.1K
textmithugging-face
microsoft
Phi-3-vision-128k-instruct-onnx-directml

Это конверсия мультимодальной модели Microsoft Phi-3 Vision-128K-Instruct в формат ONNX, оптимизированная для инференса с ONNX Runtime и DirectML на Windows GPU. Модель предназначена для диалогов и инструктивных запросов с текстом и изображениями, включая визуальные вопросы и рассуждения по содержимому изображений. В базовой модели заявлено контекстное окно до 128 тысяч токенов, однако метаданные этой ONNX-версии указывают нативный контекст 4096 токенов. В репозитории описан вариант INT4 с RTN; проверка проведена на RTX 4080, а минимальная конфигурация для Windows включает DirectX 12 GPU и 10 ГБ совокупной памяти. Репозиторий помечен как устаревший. Модель разработана Microsoft; лицензия — MIT. Она подходит для локального запуска на совместимом оборудовании, но заявленная производительность близка к Phi-3-mini-128k-instruct-onnx при генерации токенов.

18711май 2024ctx131.1K
textmithugging-face
shi-labs
pretrain_dsg_OLA-VLM-CLIP-ConvNeXT-Phi3-4k-mini

Предварительно обученная мультимодальная модель OLA-VLM от SHI Labs, построенная на Phi-3-mini-4k-instruct и предназначенная для диалогов по изображениям. Метод обучения переносит визуальную информацию от целевых энкодеров в промежуточные представления языковой модели, оптимизируя визуальные эмбеддинги на выбранных слоях вместе с предсказанием следующего токена. Модель содержит 3,7 млрд параметров, принимает текст и изображения и генерирует текст; заявленный контекст — 4096 токенов. Доступна в формате Safetensors и использует лицензию Apache-2.0. README описывает подход к обучению, но не приводит подробных результатов оценки или перечня поддерживаемых языков помимо английского в метаданных.

150нояб. 2024ctx4.1K
textapache-2.0hugging-face
mlx-community
Qwen3.5-0.8B-8bit

mlx-community/Qwen3.5-0.8B-8bit — это 8-битная версия модели Qwen3.5-0.8B в формате MLX, предназначенная для запуска с использованием библиотеки mlx-vlm. Модель преобразована сообществом mlx-community из Qwen/Qwen3.5-0.8B с помощью mlx-vlm версии 0.3.12; базовая модель указана как Qwen/Qwen3.5-0.8B-Base, а разработчиком исходной модели является команда Qwen. Модель относится к классу image-text-to-text и предназначена для задач, в которых требуется генерировать текст на основе изображения и текстового запроса, например описывать изображения. В README не указаны точная архитектура, число параметров исходной модели, поддерживаемые языки, размер контекстного окна и другие характеристики. Также не приведены сведения о специальных сильных сторонах и ограничениях, поэтому их нельзя достоверно оценить по имеющимся данным. Модель распространяется по лицензии Apache-2.0.

5.6K2март 2026ctx262.1K
textimageapache-2.0hugging-face
bczhou
TinyLLaVA-1.5B

TinyLLaVA-1.5B — компактная мультимодальная модель для диалога по изображениям из семейства TinyLLaVA, разработанного авторами проекта TinyLLaVA. Она сочетает визуальный модуль с языковой моделью TinyLlama и предназначена для ответов на вопросы об изображениях, их описания и других сценариев визуального диалога. В карточке указаны около 1 млрд параметров, плотная архитектура TinyLlavaLlamaForCausalLM и контекст 2048 токенов; модель принимает изображения и текст, а генерирует текст. В README приведены результаты оценки на наборах LLaVA-Bench-Wild, MME, MMBench, MM-Vet, SQA-image, VQA-v2, GQA и TextVQA. Модель обучалась с использованием данных LLaVA и ShareGPT4V, включая наборы для предварительного обучения и инструкционного дообучения. Метаданные отмечают английский и китайский языки. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Компактный размер удобен для исследовательских и прикладных экспериментов с визуальными вопросами и ответами, но доступные результаты показывают более скромные показатели версии 1.5B по сравнению с более крупными вариантами TinyLLaVA; языковое покрытие и качество за пределами оценённых сценариев могут быть ограничены.

14720февр. 2024ctx2K
textapache-2.0hugging-face
bczhou
TinyLLaVA-2.0B

Карточка модели bczhou/TinyLLaVA-2.0B на Hugging Face совпадает с карточкой bczhou/TinyLLaVA-1.5B, поэтому описание составлено по ней. TinyLLaVA-1.5B — компактная мультимодальная модель для диалога по изображениям из семейства TinyLLaVA, разработанного авторами проекта TinyLLaVA. Она сочетает визуальный модуль с языковой моделью TinyLlama и предназначена для ответов на вопросы об изображениях, их описания и других сценариев визуального диалога. В карточке указаны около 1 млрд параметров, плотная архитектура TinyLlavaLlamaForCausalLM и контекст 2048 токенов; модель принимает изображения и текст, а генерирует текст. В README приведены результаты оценки на наборах LLaVA-Bench-Wild, MME, MMBench, MM-Vet, SQA-image, VQA-v2, GQA и TextVQA. Модель обучалась с использованием данных LLaVA и ShareGPT4V, включая наборы для предварительного обучения и инструкционного дообучения. Метаданные отмечают английский и китайский языки. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Компактный размер удобен для исследовательских и прикладных экспериментов с визуальными вопросами и ответами, но доступные результаты показывают более скромные показатели версии 1.5B по сравнению с более крупными вариантами TinyLLaVA; языковое покрытие и качество за пределами оценённых сценариев могут быть ограничены.

456февр. 2024ctx4.1K
textapache-2.0hugging-face
maveryn
trace-qwen2.5-vl-7b

TRACE Qwen2.5-VL 7B — мультимодальная модель Maveryn, полученная дообучением Qwen/Qwen2.5-VL-7B-Instruct методом GRPO. Чекпойнт обучен на 64 000 примерах визуального рассуждения для 1 000 задач; опубликована объединённая версия после 500 шагов обучения. Модель содержит 7,1 млрд параметров, работает через Transformers, принимает текст и изображения и поддерживает контекст до 128 000 токенов. Модель предназначена для визуального рассуждения и диалоговых задач с изображениями. В README приведена оценка на 24 внешних бенчмарках, где TRACE показала более высокий макросредний результат, чем исходная Qwen2.5-VL-7B-Instruct; эти результаты зависят от промптов, декодирования, парсеров и оценщиков. Модель может выдавать неверные ответы, необоснованные рассуждения и ненадёжные привязки к содержимому изображения. Она не проверена для критически важных медицинских, юридических или автономных решений. Лицензия — Apache-2.0.

940июль 2026ctx128K
textimageapache-2.0hugging-face
phonsobon
TTS-Khmer-Checkpoint

TTS-Khmer-Checkpoint — контрольная точка синтеза речи на кхмерском языке, подготовленная phonsobon на основе модели facebook/mms-tts-khm из проекта Meta AI Massively Multilingual Speech. Модель использует архитектуру VITS и принимает текст, выдавая речь на кхмерском языке. В метаданных указано 3,6 млн параметров; веса представлены в форматах PyTorch и Safetensors. Модель предназначена для преобразования кхмерского текста в речь. Это односпикерная модель: она синтезирует голос, на котором обучалась, и не принимает вектор говорящего, поэтому сама по себе не подходит для смены голоса или клонирования. Для этого в README предложена отдельная постобработка моделью преобразования голоса; её качество зависит от записи-образца, а поддержка кхмерского не гарантирована. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но некоммерческое. README описывает контрольную точку как основу для дальнейшей работы над синтезом кхмерской речи.

150авг. 2026
textaudiocc-by-nc-4.0hugging-face
aitf-ub-2026
ub-sr-02-qwen3.5-9b-cpt-final

Qwen3.5-9B-Base CPT Merged — мультимодальная модель на архитектуре Qwen3.5 с 9 млрд параметров, созданная разработчиком aitf-ub-2026 на основе Qwen/Qwen3.5-9B-Base. Веса объединяют базовую модель и LoRA-адаптер после этапа continual pre-training; опубликованы в формате SafeTensors для Transformers с точностью BF16. Модель предназначена для диалоговых сценариев с пониманием изображений и текста. Карточка сообщает, что continual pre-training завершён, но supervised fine-tuning ещё не проводился, поэтому модель не следует считать готовой к инструкционному диалогу без дополнительной настройки. Использование регулируется лицензией базовой модели Qwen/Qwen3.5-9B-Base.

350июнь 2026ctx262.1K
textimagehugging-face
vibevoice
VibeVoice-Realtime-0.5B

VibeVoice-Realtime-0.5B — потоковая модель синтеза речи от Microsoft из семейства VibeVoice. Она принимает текст частями и генерирует речь по мере поступления текста; авторы указывают задержку до первого слышимого фрагмента около 300 мс, зависящую от оборудования. Модель имеет плотную архитектуру VibeVoiceStreaming и размер 0,5 млрд параметров. Заявлены контекст 8 тыс. токенов и генерация речи продолжительностью примерно до 10 минут. Модель рассчитана на англоязычную речь, потоковые TTS-сервисы и длинную озвучку. Она поддерживает только одного говорящего и генерирует речь, но не музыку, фоновую атмосферу или звуковые эффекты. README отмечает непредсказуемые результаты на коротких фразах по сравнению с её фокусом на длинную речь; код, формулы и редкие символы требуют предварительной нормализации. Лицензия — MIT, однако авторы не рекомендуют коммерческое или реальное применение без дополнительного тестирования и разработки; README также ограничивает предполагаемое использование исследованием генерации речи в реальном времени.

335дек. 2025
textaudiomithugging-face
ayertey01
wav2vec2-large-xlsr-53-AsanteTwi-06

Модель ayer teу01/wav2vec2-large-xlsr-53-AsanteTwi-06 — версия wav2vec2-large-xlsr-53, дообученная разработчиком на Common Voice 13.0 для автоматического распознавания речи. Это модель архитектуры Wav2Vec2ForCTC с 402,7 млн параметров, принимающая аудио и выдающая текст. На тестовой выборке указаны loss 0,6122 и WER 0,5; модель ориентирована на речь на асанте-тви. Опубликована в формате PyTorch под лицензией Apache-2.0. Высокий WER указывает на возможные ошибки распознавания; результаты могут зависеть от качества записи и соответствия аудио обучающим данным.

80июнь 2023
textaudioapache-2.0hugging-face
nikhil6041
wav2vec2-large-xlsr-tamil-commonvoice

Модель nikhil6041/wav2vec2-large-xlsr-tamil-commonvoice — дообученная nikhil6041 версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания речи на датасете Common Voice. Это модель архитектуры Wav2Vec2 с CTC-выходом, содержащая 402,7 млн параметров и сохранённая в формате PyTorch. Она предназначена для преобразования аудиозаписей на тамильском языке в текст; указанный результат на оценочной выборке — WER 0,8512. Модель выпущена под лицензией Apache-2.0. В карточке не приведены подробности о рекомендуемых сценариях применения и известных ограничениях; высокий WER указывает на значительное число ошибок распознавания на указанной оценочной выборке.

330март 2022
textaudioapache-2.0hugging-face
jasort
chinse

jasort/chinse — дообученная jasort модель на базе unsloth/gemma-4-E2B-it, созданная с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная мультимодальная модель семейства Gemma 4 с поддержкой диалога и анализа изображений; её основная задача — отвечать текстом на запросы, содержащие текст и изображения. Модель подходит для визуальных вопросов и разбора изображений в формате диалога. Модель распространяется в формате safetensors по лицензии Apache 2.0. В карточке не описаны конкретные данные обучения, целевые сценарии дообучения и результаты оценки качества, поэтому специализацию и преимущества относительно базовой модели определить нельзя.

690авг. 2026ctx131.1K
textimageapache-2.0hugging-face
usermma
fable-gpt-4b-mlx-bf16

usermma/fable-gpt-4b-mlx-bf16 — преобразованная для MLX версия модели aemmeath/fable-gpt-4b. Репозиторий указывает конвертацию с помощью mlx-lm версии 0.31.3; метаданные описывают архитектуру как плотную Qwen3.5 для условной генерации и связывают исходную модель с дообучением. Модель предназначена для диалоговых задач с изображениями и текстом: принимает текстовые запросы и изображения и формирует текстовые ответы. В карточке указаны возможности чата и vision, а языком карточки отмечен английский. Репозиторий распространяется по лицензии Apache-2.0.

190июнь 2026ctx262.1K
textimageapache-2.0hugging-face
gokaygokay
Florence-2-Flux-Large

Florence-2-Flux-Large — дообученная на датасете kadirnar/fluxdev_controlnet_16k модель gokaygokay на основе Microsoft Florence-2-large. Она принимает изображение и текстовый запрос и предназначена для генерации текстового описания или ответа о содержимом изображения. Архитектура — Florence-2, класс Florence2ForConditionalGeneration; модель распространяется в формате safetensors и рассчитана на использование через Transformers. Карточка не уточняет, какие именно визуальные задачи или сценарии были улучшены этим дообучением. Базовая Florence-2-large умеет описывать изображения, обнаруживать и локализовать объекты, сегментировать их и выполнять OCR, однако нельзя уверенно приписывать все эти возможности данной версии. Лицензия — Apache-2.0.

1.7K62авг. 2024ctx1K
textapache-2.0hugging-face
qihoo360
Inner-Adaptor-Architecture

IAA (Inner-Adaptor Architecture) — мультимодальная модель от команды Qihoo 360, построенная на замороженной языковой модели и внутренней архитектуре адаптеров. Вариант в репозитории содержит 7,5 млрд параметров; для запуска используется Transformers, веса представлены в формате safetensors. Контекст модели — 8192 токена. Модель предназначена для диалога об изображениях, мультимодального понимания и визуальной локализации объектов. README описывает отдельные рабочие режимы для мультимодальных задач, grounding и работы только с текстом; метаданные также отмечают поддержку генерации текста и общения на китайском и английском языках. Авторы сообщают, что подход сохраняет языковые возможности исходной модели и может превосходить варианты с дообученной языковой моделью на задачах понимания изображений и визуальной локализации. IAA основана на замороженной языковой модели, но точный идентификатор базовой модели в метаданных не приведён. В README упоминаются связанные проекты Meta Llama 3, LLaVA и 360VL, однако это не устанавливает однозначно базовую модель данного чекпойнта. Модель распространяется по лицензии Apache-2.0. Практическое применение требует соответствующего кода и весов; заявленные авторами преимущества относятся к указанным мультимодальным задачам и не гарантируют качество на иных сценариях.

14210авг. 2024ctx8.2K
textapache-2.0hugging-face
ddrkane
kore

ddrkane/kore — модель семейства Gemma 3 для диалога с изображениями и текстом, доступная в формате safetensors и предназначенная для работы через Transformers. В метаданных указаны возможности чата и обработки изображений. README сообщает, что модель обучена с нуля на неизвестном наборе данных, но не приводит подробностей об обучении или оценке. Модель подходит для диалога по изображениям и текстовым запросам. Данных о поддерживаемых языках, размере, длине контекста, лицензии и проверенных ограничениях в доступных источниках нет.

1260сент. 2025
textimagehugging-face
llava-hf
llava-interleave-qwen-7b-hf

LLaVA Interleave — мультимодальный чат-бот на основе трансформерной авторегрессионной языковой модели, созданный путём дообучения Qwen/Qwen1.5-7B-Chat на данных для следования мультимодальным инструкциям. Репозиторий содержит вариант на 7 млрд параметров в формате safetensors; метаданные относят его к семейству LLaVA и указывают поддержку диалога с изображениями. Модель предназначена для диалоговых запросов по изображениям, в том числе с несколькими изображениями в одном запросе и чередованием визуального содержимого с текстом. В README также описаны сценарии с видео и 3D или многовидовыми входами, однако метаданные подтверждают только задачу image-text-to-text. Основные пользователи — исследователи и энтузиасты компьютерного зрения, обработки естественного языка и машинного обучения. README ограничивает назначение исследовательским изучением мультимодальных моделей и запрещает коммерческое использование; лицензия в метаданных указана как other. Для работы с моделью приведены примеры на Transformers и упомянуты варианты ускорения генерации. Качество ответов и ограничения по языкам отдельно не описаны.

72929июль 2024ctx32.8K
textimageotherhugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей