/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
2 821–2 850 из 8 953
Sony
AKI-4B-phi-3.5-mini

AKI-4B — мультимодальная модель Sony для диалога по изображениям. В её составе визуальный энкодер SigLIP SoViT-400m, соединитель Perceiver Resampler и языковой декодер Phi-3.5-mini-instruct; согласно названию, модель относится к классу 4B. Она использует механизм modality-mutual attention, который позволяет изображениям учитывать текстовый контекст без добавления параметров модели. Модель предназначена для ответов на вопросы об изображениях, описания сцен, визуального рассуждения и распознавания текста на изображениях. В README приведены результаты на наборах тестов для визуальных вопросов, OCR и других задач понимания изображений. Для общения рекомендуется формат чата. Модель разработана в рамках исследовательской работы «Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs». Релиз предназначен для исследований. Авторы предупреждают, что модель не оценивалась для всех прикладных сценариев и советуют отдельно проверять точность, безопасность и справедливость перед развёртыванием. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование.

14727март 2025ctx131.1K
textimagecc-by-nc-4.0hugging-face
bustamiyusoef
_Arabic_nougat_AHR

ArabicnougatAHR — дообученная модель bustamiyusoef на базе MohamedRashad/arabic-base-nougat. Это модель архитектуры vision-encoder-decoder, предназначенная для преобразования изображений страниц арабских книг в текст. README сообщает значение loss 0,3533 на оценочном наборе, но не описывает набор данных и условия оценки. Модель принимает изображения и выдаёт текст; метаданные указывают формат safetensors и библиотеку Transformers. Лицензия — GPL-3.0.

120янв. 2025ctx4.1K
textimagegpl-3.0hugging-face
speechbrain
asr-crdnn-rnnlm-librispeech

SpeechBrain CRDNN-RNNLM — англоязычная система автоматического распознавания речи, обученная на LibriSpeech. Она предназначена для транскрибации английских аудиозаписей и поддерживает распознавание отдельных файлов и пакетную обработку через SpeechBrain. Система объединяет акустическую модель CRDNN с CTC- и attention-декодерами, unigram-токенизатором и рекуррентной языковой моделью RNNLM. Акустическая часть использует свёрточные блоки и двунаправленную LSTM. Для обучения использовались одноканальные записи с частотой 16 кГц; при обработке система может привести аудио к нужному формату. В README указан WER 3,09 на тестовом наборе LibriSpeech. Модель опубликована SpeechBrain под лицензией Apache-2.0. Разработчики предупреждают, что качество на наборах данных, отличных от LibriSpeech, не гарантируется.

61611март 2022
textaudioapache-2.0hugging-face
thunderboltc
combined_whisper_sanlish_lr2e5

combinedwhispersanlishlr2e5 — дообученная модель распознавания речи на базе openai/whisper-small, подготовленная разработчиком thunderboltc. Она принимает аудио и преобразует речь в текст; в метаданных указаны архитектура WhisperForConditionalGeneration и библиотека Transformers. README приводит результаты оценки: WER 33,4213 и CER 8,1594; сведений о языке и составе обучающих данных нет. Модель подходит для транскрибирования аудиозаписей в сценариях, соответствующих данным её дообучения. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. README не описывает назначение дообучения и ограничения качества, поэтому область применения по языкам и типам аудио определить нельзя.

6840сент. 2026
textaudioapache-2.0hugging-face
RodrigoLimaRFL
distil-whisper-nurc-sp-fine-tuned

RodrigoLimaRFL/distil-whisper-nurc-sp-fine-tuned — модель распознавания речи на базе Whisper, дообученная автором на наборе данных NURC-SP. Она предназначена для преобразования аудиозаписей в текст; обучение на NURC-SP указывает на специализацию на речевых данных этого набора. Модель содержит 905,2 млн параметров и распространяется в формате safetensors. Модель принимает аудио и выдаёт текст, pipeline Hugging Face — automatic-speech-recognition. В метаданных указан португальский язык. Лицензия — MIT. Подробности об оценке качества и ограничениях применения в карточке не приведены.

171июнь 2024
textaudiomithugging-face
dots-studio
dots.tts-base

dots.tts-base — базовая предварительно обученная модель синтеза речи от разработчиков проекта dots.tts. Это сквозная авторегрессионная система с 2 млрд параметров: семантический энкодер передаёт текст в LLM, а акустическая голова на основе flow matching генерирует аудио через непрерывное латентное представление AudioVAE с частотой 48 кГц. Дискретные аудиокодеки в конвейере не используются; LLM основана на Qwen2.5-1.5B-Base и принимает текст в BPE-токенах без фонемной транскрипции. Модель обучена на примерно 1,5 млн часов речи и предназначена для преобразования текста в речь, включая клонирование голоса по аудиореференсу. Контрольный чекпойнт предлагается как отправная точка для дообучения. По README, качество на малоресурсных и недостаточно представленных языках ниже, в частности для арабского, хинди, турецкого и вьетнамского; обучение на речевых данных не охватывает пение и совместную генерацию речи со звуками. Лицензия — Apache-2.0.

69053июнь 2026ctx131.1K
textaudioapache-2.0hugging-face
charsiu
en_w2v2_ctc_libris_and_cv

charsiu/en_w2v2_ctc_libris_and_cv — модель автоматического распознавания речи, опубликованная пользователем charsiu на Hugging Face. Она предназначена для преобразования английской речи в текст и может использоваться через Transformers как модель AutoModelForCTC или в pipeline automatic-speech-recognition. Модель основана на архитектуре wav2vec2, использует PyTorch и библиотеку Transformers. Название указывает на обучение на данных LibriSpeech и Common Voice, однако точные размер, конфигурация архитектуры, параметры контекста, поддерживаемые варианты английского языка, метрики качества и ограничения в карточке модели не описаны. Лицензия также не указана, поэтому условия использования по доступным данным установить нельзя.

6311март 2022
textaudiohugging-face
kiranpantha
exp2-w2v-bert-2.0-nepali-unlabeled-0

Модель kiranpantha/exp2-w2v-bert-2.0-nepali-unlabeled-0 — дообученная Kiran Pantha модель распознавания непальской речи. Она основана на kiranpantha/w2v-bert-2.0-nepali и обучена на наборе kiranpantha/OpenSLR54-Balanced-Nepali. Архитектура Wav2Vec2-BERT с CTC-выходом содержит около 402,7 млн параметров и принимает аудио, преобразуя речь в текст. Модель предназначена для автоматической транскрибации непальской речи. В README приведены результаты на тестовой выборке: WER 0,4058 и CER 0,0951; качество может различаться на записях с другими условиями и содержанием. Распространяется по лицензии MIT.

100окт. 2024
textaudiomithugging-face
luodian
Flamingo-Llama2-Chat7B-CC3M

luodian/Flamingo-Llama2-Chat7B-CC3M — это мультимодальная модель семейства Flamingo, разработанная авторами репозитория на основе Llama 2 Chat 7B и обученная на CC3M. Авторы сообщают, что обучение на четырёх A100 заняло менее пяти часов. Модель предназначена для генерации текстовых описаний изображений, в том числе в режиме zero-shot. Она принимает изображение и текстовый запрос, а результат выдаёт в виде текста. В README отмечено, что качество данных для описания изображений помогает быстрее согласовать визуальную и языковую части модели. В метаданных указаны архитектура Flamingo, формат PyTorch и лицензия MIT. README описывает перспективные способности к captioning, но не приводит количественных оценок качества; результаты могут зависеть от качества входного изображения и запроса.

9410июль 2023
textmithugging-face
h-gajdov
full_moonshine_tiny_wup1_ep3_lr1e-4

Модель h-gajdov/full_moonshine_tiny_wup1_ep3_lr1e-4 — полное дообучение Moonshine Tiny, выполненное h-gajdov для преобразования македонской речи в текст. Это модель распознавания речи с архитектурой encoder-decoder Moonshine и 27,1 млн параметров. Она принимает аудиосигнал в виде необработанной волновой формы; вычислительные затраты зависят от фактической длительности записи, что подходит для распознавания на устройствах с ограниченными ресурсами. Модель обучена на наборе vezilka-asri в течение трёх эпох. В README указаны результаты на отложенном тестовом наборе из 44 аудиофрагментов: WER 14,24 и CER 6,42; оценка точного совпадения целых высказываний неинформативна для длинных клипов. Декодер ограничен длиной 192 токена, а вызовы generate() не должны передавать параметры language или task. Модель опубликована в формате safetensors; лицензия в предоставленных данных не указана.

2.1K0авг. 2026ctx194
textaudiohugging-face
dxv2k
gemma-4-E4B-it-merged

Модель dxv2k/gemma-4-E4B-it-merged — версия Google Gemma 4 E4B Instruct с объединёнными с базовыми весами параметрами LoRA-адаптера. Адаптер обучен для слоёв q/k/v/o/gate/up/down языковой модели с рангом 16 и alpha 32; веса сохранены в формате bf16. По метаданным, модель поддерживает диалог и анализ изображений и предназначена для задач image-text-to-text. Модель принимает текст и изображения и генерирует текстовые ответы. Для развёртывания README предлагает Inference Endpoints с пользовательским обработчиком и Transformers версии не ниже 5.12.1; для запуска на GPU требуется не менее 24 ГБ видеопамяти. Используется лицензия Gemma.

130июнь 2026
textimagegemmahugging-face
al-bo
gigaam-v3-rnnt-mlx

Это конвертированная в формат MLX модель GigaAM v3 RNNT для распознавания русской речи на устройствах Apple Silicon. Она основана на чекпойнте ai-sage/GigaAM-v3, ревизии RNNT; архитектура включает 16-слойный Conformer-энкодер с размерностью 768 и 16 головами внимания. Веса представлены в fp16 и занимают около 423 МБ. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт посимвольную транскрипцию русского текста. RNNT-выход состоит из строчных букв русского алфавита без пунктуации; автор сообщает о меньшем WER по сравнению с CTC и приводит результаты оценки на 200 аудиофрагментах. Для пунктуации или нормализации текста потребуется дополнительная обработка. Репозиторий предназначен для запуска на Apple Silicon с MLX; README также описывает совпадение транскрипций с исходной реализацией PyTorch на проверенной выборке. Лицензия — MIT.

2903март 2026
textaudiomithugging-face
ZeeshanGeoPk
haitian-speech-to-text

ZeeshanGeoPk разработал дообученную модель распознавания речи на архитектуре Whisper с 153,1 млн параметров. Она преобразует аудио на гаитянском креольском языке в текст и предназначена для автоматической транскрибации речи. В карточке указана оценка Word Error Rate 0,19126; модель доступна в формате Safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Данные о длине контекста и дополнительных языках в предоставленных источниках отсутствуют.

24219февр. 2024ctx1K
textaudioapache-2.0hugging-face
rootxhacker
HobbyLM-Omni

HobbyLM-Omni — мультимодальная модель семейства HobbyLM, разработанная rootxhacker. Это разреженная MoE-модель примерно на 500 млн параметров: декодер имеет 16 слоёв и скрытый размер 768, использует 36 маршрутизируемых экспертов с выбором top-6 и одним общим экспертом. Для обработки изображений и аудио применяются замороженные энкодеры SigLIP2 и Whisper с проекторами, веса которых входят в репозиторий; README также заявляет поддержку видео и звуковых задач. Модель предназначена для ответов на вопросы по изображениям и речи, описания изображений, OCR, понимания звуков и речи, команд, вызова инструментов и привязки к элементам интерфейса. По заявлению разработчика, она предпочитает широкий набор мультимодальных возможностей узкой специализации; качество на сложном текстовом рассуждении ниже специализированных моделей, а на задачах определения наличия объектов возможны галлюцинации. Для речи модель ориентирована на понимание вопросов и команд, а не на дословную транскрипцию. Лицензия — Apache-2.0.

212июнь 2026
textimageapache-2.0hugging-face
minsu0567
IAD-X1-GRPO-answer-last-2

Карточка модели minsu0567/IAD-X1-GRPO-answer-last-2 на Hugging Face совпадает с карточкой minsu0567/IAD-X1-GRPO-answer-last, поэтому описание составлено по ней. minsu0567/IAD-X1-GRPO-answer-last — дообученная minsu0567 модель семейства Qwen3.5 для преобразования изображений и текста в текст. Карточка указывает на обучение с Unsloth и библиотекой TRL; метаданные описывают архитектуру как плотную условную генеративную модель с поддержкой изображений и диалогового взаимодействия. Модель предназначена для задач image-text-to-text. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о размере модели, длине контекста и конкретных языках использования; метаданные указывают английский язык.

90июль 2026ctx8.2K
textimageapache-2.0hugging-face
6Morpheus6
IndicF5

Карточка модели 6Morpheus6/IndicF5 на Hugging Face совпадает с карточкой ai4bharat/IndicF5, поэтому описание составлено по ней. IndicF5 — полиглотная модель синтеза речи от AI4Bharat, обученная на 1417 часах аудио из Rasa, IndicTTS, LIMMITS и IndicVoices-R. Она преобразует текст в речь на 11 индийских языках: ассамском, бенгальском, гуджарати, хинди, каннада, малаялам, маратхи, одиа, пенджаби, тамильском и телугу. Для генерации нужны текст, эталонный аудиофрагмент и его расшифровка; эталон задаёт характеристики голоса и просодию. Модель предназначена для синтеза речи с управлением голосом по примеру, например для озвучивания текстов и создания голосовых интерфейсов на поддерживаемых языках. Авторы характеризуют качество как близкое к человеческому. Лицензия — MIT. Использовать клонирование голоса разрешено только при наличии явного согласия владельца; несанкционированное клонирование запрещено.

3441июль 2025
textaudiohugging-face
OpenGVLab
InternVL3_5-14B-MPO

InternVL3.5-14B-MPO — мультимодальная модель OpenGVLab на архитектуре InternVLChatModel с плотной 14B языковой частью. Это вариант семейства InternVL3.5, дообученный на данных MMPR-v1.2 и MMPR-Tiny для улучшения мультимодальных ответов и рассуждений. Модель принимает изображения и текстовые запросы и генерирует текст; подходит для диалога по изображениям, визуального анализа, распознавания текста на изображениях и решения задач на рассуждение. Семейство InternVL3.5 использует каскадное обучение с подкреплением для улучшения рассуждений и Visual Resolution Router для динамической настройки разрешения визуальных токенов. Модель распространяется в формате safetensors и использует библиотеку Transformers. README описывает мультимодальное понимание, включая задачи по изображениям; конкретные языки и размер контекстного окна для этой версии в предоставленных данных не установлены. Лицензия — Apache-2.0.

903авг. 2025ctx14.6K
textapache-2.0hugging-face
OpenGVLab
InternVL3_5-241B-A28B-Flash

InternVL3.5-241B-A28B-Flash — мультимодальная чат-модель OpenGVLab из семейства InternVL3.5, основанная на InternVL3.5-241B-A28B и дообученная на данных MMPR-v1.2 и MMPR-Tiny. Модель принимает изображения и текст и формирует текстовые ответы; она предназначена для диалога по изображениям, визуальных рассуждений, решения задач и агентных сценариев, включая взаимодействие с графическим интерфейсом и задачи с видео. В README описаны Cascade Reinforcement Learning для улучшения рассуждений и Visual Resolution Router, динамически настраивающий разрешение визуальных токенов. Версия Flash поддерживает раздельное размещение зрительной и языковой частей модели для эффективного инференса. Репозиторий использует формат Safetensors и библиотеку Transformers; лицензия — Apache-2.0. Для эксплуатации крупной модели нужны значительные вычислительные ресурсы; точные параметры этой версии и размер её контекста в предоставленных данных не приведены.

937сент. 2025ctx14.6K
textapache-2.0hugging-face
mlx-community
Kokoro-82M-8bit

mlx-community/Kokoro-82M-8bit — модель синтеза речи, подготовленная сообществом mlx-community для запуска в формате MLX. README сообщает, что модель преобразована из hexagrad/Kokoro-82M с помощью mlx-audio 0.0.1; метаданные связывают её с yl4579/StyleTTS2-LJSpeech как с базовой моделью. Репозиторий содержит веса safetensors и предназначен для использования через библиотеку mlx-audio. Модель преобразует текст в речь; по языковым метаданным она ориентирована на английский. README отсылает к карточке исходной модели за подробностями, поэтому характеристики голоса и дополнительные языки здесь не установлены. Лицензия репозитория — Apache-2.0.

1.5K9февр. 2025
textaudioapache-2.0hugging-face
zaakirio
kokoro-ru

zaakirio/kokoro-ru — русскоязычная модель синтеза речи, разработанная как порт Kokoro-82M. Это плотная модель семейства StyleTTS2 с 81,81 млн параметров; доступны три голоса, включая Sveta и Masha, использующие общий чекпойнт с разными voicepack. Модель принимает фонемные идентификаторы, а преобразование русского текста в фонемы выполняется внешним фронтендом. Для локального запуска доступны ONNX-экспорты, совместимые с kokoro, transformers.js, kokoro-js и ONNX Runtime. Модель предназначена для озвучивания русского текста на CPU и, по данным карточки, работает примерно в 9,8 раза быстрее реального времени на ноутбуке без GPU. В описанной оценке она показала 2,50% WER при обратном распознавании Whisper на коротком тестовом наборе; проверка фонетических особенностей дала 15 правильных результатов из 16. Эти измерения оценивают разборчивость, а не естественность речи. Ограничения включают более тёмный тембр по сравнению с исходными записями, узкополосные артефакты у некоторых шипящих и свистящих звуков, ошибки в омографах и детерминированную просодию. Качество ударений зависит от фронтенда: README сообщает о худших результатах Node.js-варианта на словах с трудным ударением по сравнению с Python-фронтендом. Веса распространяются по лицензии OpenRAIL, код — Apache-2.0.

7.5K17июль 2026ctx512
textaudioopenrailhugging-face
microsoft
kosmos-2-patch14-224

Kosmos-2 patch14-224 — мультимодальная модель Microsoft для работы с изображениями и текстом, представленная в репозитории как реализация для Hugging Face Transformers. Она генерирует описания изображений и отвечает на вопросы о них, связывая упомянутые объекты с их расположением на изображении. Модель поддерживает визуальное заземление фраз, понимание выражений, указывающих на объекты, и генерацию таких выражений; в README также приведены сценарии визуальных вопросов и ответов с ограничивающими рамками. Модель принимает изображение и текстовый запрос, а выдаёт текст; при задачах заземления результат также содержит координаты рамок объектов. В карточке приведены примеры кратких и подробных описаний. В репозитории доступны веса в форматах PyTorch и Safetensors. Лицензия — MIT. Размер модели, длина контекста и поддерживаемые естественные языки в предоставленных данных не описаны.

61K186окт. 2023
textimagemithugging-face
LiquidAI
LFM2.5-Audio-1.5B

LFM2.5-Audio-1.5B — сквозная аудиоязыковая модель Liquid AI для голосового общения в реальном времени. Она принимает аудио и может формировать речь и текст, поэтому для диалога не требуются отдельные компоненты распознавания и синтеза речи. Поддерживаются распознавание речи (ASR), синтез речи (TTS) и разговорный режим с чередованием текста и аудио. В составе модели — мультимодальная языковая основа LFM2.5, аудиокодировщик FastConformer и RQ-трансформер для генерации аудиотокенов с лёгким аудиодетокенизатором. В README указано 1,5 млрд параметров для модели в целом и 1,2 млрд для языковой части; архитектура языковой основы сочетает свёрточные слои и внимание. Модель рассчитана на низкую задержку; для CPU доступны совместимые с llama.cpp сборки GGUF. Указан английский язык. Модель предназначена для голосовых ассистентов, диалоговых систем, распознавания речи и преобразования текста в речь. В метаданных указан базовый репозиторий LiquidAI/LFM2-1.2B и связь типа дообучения. Лицензия обозначена как other, поэтому перед использованием следует проверить условия в карточке репозитория. README также сообщает о лучшем качестве ASR и TTS по сравнению с предыдущей версией, но результаты зависят от набора данных и сценария.

6.1K471дек. 2025
audiootherhugging-face
Varun12387
LFM2.5-VL-450M-SFT-GGUF

Varun12387 опубликовал производную модель LiquidAI/LFM2.5-VL-450M: мультимодальную LFM2.5-VL-450M дообучили с помощью LoRA на 3 500 примерах с изображениями, а веса объединили и подготовили для локального запуска через llama.cpp. Модель принимает изображения и текстовые запросы, чтобы отвечать на вопросы о визуальном содержимом, читать текст, диаграммы и схемы, а также описывать сцены и объекты. В основе — плотная архитектура LFM2-VL с языковой частью LFM2 и визуальным энкодером SigLIP2 NaFlex; указанный в README контекст — 128 000 токенов. Репозиторий содержит GGUF-варианты F16, Q8_0 и Q4_K_M, а также safetensors. Дообучение охватывало визуальные вопросы, анализ диаграмм и схем и локализованные описания. В приведённых автором тестах результаты ниже показателей базовой модели по RealWorldQA, OCRBench и POPE, поэтому точность на сложных визуальных задачах может быть ограничена. Лицензия указана как other; конкретные условия следует сверить с карточкой модели и лицензией базовой модели.

3500сент. 2026
textimageotherhugging-face
mradermacher
Lh41-1042-Magellanic-7B-0711-i1-GGUF

Lh41-1042-Magellanic-7B-0711-i1-GGUF — квантизированная версия мультимодальной vision-модели Lh41-1042-Magellanic-7B-0711, разработанной prithivMLmods и подготовленной в формате GGUF пользователем mradermacher. Модель предназначена для обработки изображений и текста, включая генерацию подписей к изображениям, оптическое распознавание символов и визуальное понимание. В README заявлена поддержка английского и китайского языков. Модель имеет размер 7B параметров и поставляется в виде weighted/imatrix-квантизаций с различными уровнями точности и размером файлов примерно от 2,0 до 6,4 ГБ. Доступны варианты IQ и Q-квантизации; Q4_K_M отмечен как рекомендуемый баланс скорости, размера и качества. Для работы с визуальными входными данными могут потребоваться дополнительные mmproj-файлы из статического репозитория. Архитектура и размер контекстного окна в представленных данных не указаны. Основные преимущества — поддержка визуальных задач, наличие компактных квантизированных вариантов и возможность локального запуска через совместимое с GGUF программное обеспечение. Ограничения связаны с потерями качества у низкобитных квантизаций: некоторые варианты прямо обозначены как низкокачественные или предназначенные для случаев с жёсткими ограничениями по памяти. Модель распространяется по лицензии Apache-2.0.

1.2K0июль 2025
textimageapache-2.0hugging-face
meta-llama
Llama-4-Scout-17B-16E

Llama 4 Scout — мультимодальная авторегрессионная модель Meta с архитектурой mixture-of-experts и ранним объединением модальностей. В модели 17 млрд параметров и 16 экспертов; она предназначена для работы с текстом и изображениями. Модель подходит для диалогового помощника, визуального рассуждения, распознавания содержимого изображений, создания подписей и ответов на вопросы об изображениях. Поддерживает арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки. В README указано, что модель тестировалась на понимание до пяти изображений за один запрос. Модель распространяется по специальной коммерческой лицензии Llama 4 Community License Agreement с ограничениями Acceptable Use Policy. Это статическая модель, обученная на офлайн-данных; качество ответов и работу в конкретных сценариях следует проверять отдельно. Возможности понимания изображений сверх пяти изображений за запрос требуют дополнительного тестирования и настройки.

2.6K275апр. 2025
textimageotherhugging-face
xtuner
llava-internlm2-20b

LLaVA-InternLM2-20B — визуально-языковая модель, разработанная XTuner и дообученная на базе InternLM2-Chat-20B с использованием CLIP-ViT-Large-patch14-336 как визуального энкодера. Для обучения применялись наборы LLaVA-Pretrain и LLaVA-Instruct-150K. Модель принимает изображения и текстовые запросы и формирует текстовые ответы. Она предназначена для диалога о содержимом изображений, визуальных вопросов и ответов, а также для описания и анализа визуальных данных. Карточка приводит результаты оценки на мультимодальных бенчмарках, включая MMBench, MME и MMVet. Это дообученная модель семейства LLaVA с языковой основой InternLM2-Chat-20B. В карточке не приведены сведения о лицензии, поэтому условия использования по доступным данным определить нельзя.

8214янв. 2024
textimagehugging-face
ICTNLP
llava-mini-llama-3.1-8b

ICTNLP/llava-mini-llama-3.1-8b — мультимодальная чат-модель семейства LLaVA-Mini, разработанная Shaolei Zhang, Qingkai Fang, Zhe Yang и Yang Feng. Она принимает изображения и видеокадры вместе с текстовым запросом и генерирует текстовые ответы о визуальном содержимом; примеры включают чтение надписи на изображении и описание событий в видео. Модель использует плотную архитектуру LlavaMiniLlamaForCausalLM, содержит 7,5 млрд параметров и имеет заявленный контекст 131 072 токена. Для представления каждого изображения LLaVA-Mini использует один визуальный токен; авторы сообщают о снижении вычислительных затрат и задержки по сравнению с обычной обработкой визуальных токенов, а также о поддержке видео. В карточке приведён формат safetensors. Модель подходит для диалога по изображениям и видео, включая анализ изображений высокого разрешения. Карточка не сообщает поддерживаемые естественные языки и конкретные ограничения качества, поэтому язык ответов и точность на отдельных типах визуальных задач следует оценивать отдельно. Лицензия — GPL-3.0.

18958янв. 2025ctx131.1K
textgpl-3.0hugging-face
Akfmsk
LocateAnything-3B-custom

Карточка модели Akfmsk/LocateAnything-3B-custom на Hugging Face совпадает с карточкой nvidia/LocateAnything-3B, поэтому описание составлено по ней. LocateAnything-3B — разработанная NVIDIA в рамках семейства Eagle vision-language модель для визуальной локализации по изображениям и текстовым запросам. Она предназначена для разработчиков и исследователей, которым нужны обнаружение объектов, поиск областей по описанию и другие задачи пространственного понимания в приложениях Enterprise Intelligence и Physical AI. Модель основана на трансформерной VLM с визуальным энкодером MoonViT, языковой частью Qwen2.5-3B-Instruct и MLP-проектором; содержит около 3 млрд параметров. Принимает RGB-изображения исходного разрешения до 2,5K и текстовые запросы; заявлена поддержка промптов до 24K токенов. Модель выполняет поиск одного или нескольких объектов, плотное обнаружение в сложных сценах, привязку выражений к областям, локализацию элементов GUI и текста, а также выдаёт рамки и точки. Механизм Parallel Box Decoding предсказывает координаты блоками параллельно, что, по данным карточки, обеспечивает до 2,5 раза более высокую пропускную способность по сравнению с предшествующими подходами. Обучение охватывает природные сцены, робототехнику, вождение, GUI и документы; заявленный масштаб обучающих данных — 12 млн изображений и более 138 млн запросов. Карточка позиционирует релиз для исследований и разработки. Лицензия указана как other, поэтому конкретные права использования следует сверять с условиями репозитория.

420июнь 2026ctx16.4K
textimageotherhugging-face
mudler
magpie-tts.cpp-gguf

mudler/magpie-tts.cpp-gguf — это локальная мультиязычная модель синтеза речи NVIDIA Magpie TTS Multilingual 357M, адаптированная командой LocalAI для inference-движка magpie-tts.cpp. Модель распространяется в формате GGUF и предназначена для преобразования текста в монофоническую речь с частотой дискретизации 22,05 кГц без необходимости использовать Python, PyTorch, NeMo или CUDA Toolkit во время инференса. В каждый файл входят TTS-модель, декодер NanoCodec, токенизатор и словари G2P. Модель поддерживает как минимум девять языков и их варианты: английский, испанский, немецкий, французский, итальянский, португальский (включая pt-BR), хинди, вьетнамский, корейский и арабский. Доступны пять голосов: Aria, Jason, John, Leo и Sofia. Китайский и японский языки пока не поддерживаются C++-токенизатором. Для запуска используются GGUF-файлы с разной точностью: от f32 до q4_k; рекомендуемым вариантом назван q8_0, который занимает около 624 МБ и обеспечивает примерно в 1,6 раза более быстрое декодирование по сравнению с f32. Меньшие варианты экономят память, но могут сильнее терять качество на сложных текстах. Сильная сторона модели — полностью автономный локальный запуск на CPU и высокая производительность: в заявленном тесте f32-версия работала примерно в 66 раз быстрее эталонного конвейера NeMo на том же CPU. Ограничения включают фиксированный набор голосов и языков, отсутствие поддержки китайского и японского языков в текущем токенизаторе, а также возможное ухудшение качества при использовании q5_k и q4_k. Код инференса распространяется по лицензии MIT, а веса модели — по NVIDIA Open Model License.

3.4K1июль 2026
textaudiootherhugging-face
openbmb
MiniCPM-V-2_6-int4

openbmb/MiniCPM-V-2_6-int4 — квантованная до int4 версия мультимодальной модели MiniCPM-V 2.6, разработанная командой OpenBMB. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов на вопросы о визуальном содержимом. Указана поддержка многоязычных сценариев, OCR, работы с несколькими изображениями и видео. Ключевая особенность версии int4 — сниженное потребление видеопамяти: около 7 ГБ по данным README. Модель запускается через Hugging Face Transformers на NVIDIA GPU с использованием custom code и поддерживает потоковую генерацию ответов. Архитектура и точное количество параметров, размер контекстного окна, перечень языков и поддерживаемых модальностей в README не указаны. Сильной стороной модели является более экономичное развертывание по сравнению с полной версией MiniCPM-V 2.6 при сохранении её мультимодального назначения. Ограничениями являются зависимость от NVIDIA GPU и необходимости использовать совместимые версии программных компонентов, а также возможное влияние int4-квантизации на качество. Лицензия в предоставленных данных не указана.

3.6K90авг. 2024ctx32.8K
texthugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей