/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
5 071–5 100 из 8 953
ahmadsm1
MiMo-Audio-7B-Instruct

Карточка модели ahmadsm1/MiMo-Audio-7B-Instruct на Hugging Face совпадает с карточкой XiaomiMiMo/MiMo-Audio-7B-Instruct, поэтому описание составлено по ней. MiMo-Audio-7B-Instruct — 7-миллиардная плотная аудиоязыковая модель XiaomiMiMo на архитектуре семейства Qwen2. Она объединяет аудиоэнкодер, языковую модель и аудиодекодер и предназначена для выполнения разнообразных задач с аудио и текстом по инструкциям и примерам. Модель обучена на корпусе инструкций для понимания и генерации аудио и поддерживает контекст до 8192 токенов. Модель подходит для распознавания и понимания речи, диалогов с голосовым вводом и синтеза речи по тексту. В описании семейства также заявлены продолжение речи, преобразование голоса, перенос стиля и редактирование речи. Карточка сообщает о высоких результатах на тестах понимания аудио, голосового диалога и instruct-TTS; эти заявления относятся к оценкам авторов и не гарантируют качество в каждом сценарии. Модель распространяется в формате safetensors по лицензии MIT. Для запуска приведён демонстрационный интерфейс на Gradio; инструкции указывают Linux, Python 3.12 и CUDA 12.0 или новее.

80июль 2026ctx8.2K
textmithugging-face
RESMP-DEV
MiMo-V2.5-ASR-FP8

MiMo-V2.5-ASR-FP8 — FP8-квантизированная версия модели Xiaomi MiMo для сквозного распознавания речи. Она основана на XiaomiMiMo/MiMo-V2.5-ASR и использует плотную архитектуру семейства Qwen2 с 7 млрд параметров и контекстом 8192 токена. Модель предназначена для транскрибирования речи на китайском и английском языках, включая переключение между ними, китайские диалекты, шумную и многоголосую речь, а также тексты песен; поддерживает расстановку пунктуации. Веса линейных слоёв представлены в формате FP8 e4m3fn с масштабированием по выходным каналам; эмбеддинги и нормализации оставлены в BF16. По README, объём весов сокращён примерно с 32 до 16–17 ГБ. Для обработки аудио требуется отдельно загрузить MiMo-Audio-Tokenizer, а для загрузки чекпойнта — использовать совместимую реализацию FP8Linear; это не стандартный чекпойнт для обычной загрузки через from_pretrained. Для инференса нужны CUDA GPU с FP8 tensor cores и CUDA 12.0 или новее. Квантизация может немного ухудшить WER относительно BF16. Лицензия — MIT.

90июнь 2026ctx8.2K
textmithugging-face
heretic-org
MiniCPM-V-4.6-Thinking-heretic

heretic-org/MiniCPM-V-4.6-Thinking-heretic — производная модель на основе openbmb/MiniCPM-V-4.6-Thinking, изменённая методом abliteration для снижения числа отказов. По карточке, в указанной проверке она отказала в 14 случаях из 416 против 314 у исходной модели. Базовая модель предназначена для диалога и рассуждений по изображениям и видео, включая распознавание текста на изображениях и визуальные математические задачи. Модель принимает текст и изображения, а также поддерживает видео по описанию базовой модели. Архитектура MiniCPM-V 4.6 Thinking сочетает визуальный энкодер SigLIP2-400M и языковую модель Qwen3.5-0.8B; она формирует цепочку рассуждений перед итоговым ответом и использует сжатие визуальных токенов 4x/16x. Репозиторий содержит веса safetensors и заявляет возможности диалога, работы с изображениями и интерфейс вызова инструментов. Модель подходит для вопросов по изображениям и видео, OCR и мультимодальных рассуждений, в том числе локального запуска на мобильных устройствах. Снижение числа отказов может привести к выдаче нежелательного или небезопасного содержания; результаты проверки отказов не гарантируют качества во всех задачах. Лицензия — Apache-2.0.

704май 2026ctx262.1K
textimageapache-2.0hugging-face
sonic-coder
MiniCPM-V-4.6-Thinking-heretic

Карточка модели sonic-coder/MiniCPM-V-4.6-Thinking-heretic на Hugging Face совпадает с карточкой heretic-org/MiniCPM-V-4.6-Thinking-heretic, поэтому описание составлено по ней. heretic-org/MiniCPM-V-4.6-Thinking-heretic — производная модель на основе openbmb/MiniCPM-V-4.6-Thinking, изменённая методом abliteration для снижения числа отказов. По карточке, в указанной проверке она отказала в 14 случаях из 416 против 314 у исходной модели. Базовая модель предназначена для диалога и рассуждений по изображениям и видео, включая распознавание текста на изображениях и визуальные математические задачи. Модель принимает текст и изображения, а также поддерживает видео по описанию базовой модели. Архитектура MiniCPM-V 4.6 Thinking сочетает визуальный энкодер SigLIP2-400M и языковую модель Qwen3.5-0.8B; она формирует цепочку рассуждений перед итоговым ответом и использует сжатие визуальных токенов 4x/16x. Репозиторий содержит веса safetensors и заявляет возможности диалога, работы с изображениями и интерфейс вызова инструментов. Модель подходит для вопросов по изображениям и видео, OCR и мультимодальных рассуждений, в том числе локального запуска на мобильных устройствах. Снижение числа отказов может привести к выдаче нежелательного или небезопасного содержания; результаты проверки отказов не гарантируют качества во всех задачах. Лицензия — Apache-2.0.

201июнь 2026ctx262.1K
textimageapache-2.0hugging-face
Felldude
Ministral-3-8B-Uncensored-FP8

Felldude/Ministral-3-8B-Uncensored-FP8 — мультимодальная модель на архитектуре Mistral 3, дообученная на задачах, связанных с изображениями и текстом. Она включает языковую часть на 8,4 млрд параметров и визуальный энкодер на 0,4 млрд параметров и предназначена для понимания изображений и генерации текстовых ответов. Модель поддерживает многоязычные сценарии, следование системным инструкциям, вызов функций и выдачу структурированного JSON; заявлено контекстное окно 256 тыс. токенов и оптимизация для запуска на периферийных устройствах. Основные сценарии — описание изображений, извлечение текста и данных с изображений, классификация текста и мультимодальные ассистенты. В README также заявлены перевод в реальном времени и применение для NSFW-контента, включая подписи к изображениям и генерацию историй и ответов. Для запуска приведён пример на Transformers с CUDA. Модель распространяется по лицензии Apache 2.0; качество заявленных возможностей независимо не подтверждено карточкой.

1436май 2026
textimageapache-2.0hugging-face
hts98
Model2

hts98/Model2 — модель автоматического распознавания речи на архитектуре Whisper с 455,8 млн параметров. Разработчик указывает, что модель дообучена на основе hts98/Model1; задача обучения названа, но набор данных обозначен как None. Модель принимает аудио и генерирует текстовую транскрипцию. Она распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не содержит сведений о целевых языках, сценариях применения, результатах оценки или известных ограничениях. Поэтому качество распознавания и пригодность для конкретных типов аудио по имеющимся данным определить нельзя.

60май 2023ctx1K
textaudioapache-2.0hugging-face
Luigi
moss-transcribe-diarize-litert

MOSS-Transcribe-Diarize LiteRT — это порт модели OpenMOSS-Team/MOSS-Transcribe-Diarize, опубликованный Luigi и предназначенный для автоматического распознавания речи с одновременной диаризацией говорящих и разметкой временных интервалов высказываний. Модель обрабатывает аудио и генерирует текст с тегами говорящих и временными метками; заявлены поддерживаемые языки Chinese и English. Архитектура объединяет Whisper-medium encoder, модуль VQAdaptor и 4-кратное объединение временных отсчётов с языковой частью на базе Qwen3-0.6B. Исходная модель имеет размер около 0,9 млрд параметров. Реализация LiteRT разделена на encoder, embedder и decoder в формате TFLite; производственный набор использует int8-квантизированные encoder и embedder и int4 decoder. Доступны варианты f32, fp16, q8 и int4, включая конфигурации с KV cache для окон длительностью примерно до 90 секунд или более, в зависимости от варианта. Сильные стороны модели — единый конвейер распознавания речи и определения говорящих, точное соответствие эталонной PyTorch-реализации для f32-варианта и высокая близость к ней для квантизированных версий. Версия v2 с QAT повышает устойчивость int4-модели к тишине и устраняет зацикленные галлюцинации на беззвучных фрагментах. Ограничения включают заметные требования к памяти и вычислительным ресурсам, зависимость производительности от явной настройки числа CPU-потоков и снижение точности при агрессивной квантизации. Для Android GPU рекомендуется fp16, а для CPU — q8 или int4. Лицензия Apache-2.0.

5293июль 2026
textaudioapache-2.0hugging-face
yky-h
nue-asr

Nue ASR — модель для сквозного распознавания японской речи, первоначально выпущенная компанией rinna Co., Ltd.; этот репозиторий является её зеркалом. Архитектура объединяет аудиоэнкодер HuBERT, мостовую сеть и декодер GPT-NeoX. Веса энкодера и декодера инициализированы из japanese-hubert-base и japanese-gpt-neox-3.6b соответственно. Модель обучали примерно на 19 000 часах японской речи из ReazonSpeech v1; из обучения исключали аудиозаписи длиннее 16 секунд. Она предназначена для транскрибирования японской речи и, по данным карточки, может распознавать речь быстрее реального времени при использовании GPU. Для работы с аудио поддерживаются файлы, массивы NumPy и тензоры PyTorch; входные файлы автоматически приводятся к частоте 16 кГц. Лицензия — Apache 2.0.

714дек. 2025
textaudioapache-2.0hugging-face
google
paligemma2-3b-pt-448

PaliGemma 2 3B PT 448 — предобученная мультимодальная модель Google для обработки изображений и текста. Она сочетает визуальный энкодер SigLIP с языковой моделью Gemma 2 и принимает изображения размером 448×448 пикселей вместе с текстовым запросом; на выходе генерирует текст. Модель поддерживает несколько языков, а входная и выходная последовательности текста рассчитаны на 512 токенов. Модель предназначена прежде всего для дообучения под конкретные задачи: описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения объектов и сегментации. Она также может служить основой для специализированных сценариев, например анализа снимков дистанционного зондирования или объяснения элементов интерфейса. Это базовая модель, не многотуровый чат-бот; её результаты без дообучения на прикладной задаче могут быть слабее, чем у моделей общего назначения. Возможны фактические ошибки и смещения. Доступна в формате bfloat16 для дообучения; лицензия — Gemma, применяются условия использования и политика запрещённых применений Gemma.

6.1K56нояб. 2024
textimagegemmahugging-face
handy-computer
parakeet-tdt-0.6b-v3-gguf

Это GGUF-конверсия модели parakeet-tdt-0.6b-v3, разработанной NVIDIA, для работы с библиотекой transcribe.cpp. Модель предназначена для офлайн-распознавания речи и преобразования аудио в текст; поддерживает автоматическое определение языка и обрабатывает 16-кГц моно WAV. Потоковый режим и перевод речи не поддерживаются. Модель содержит около 600 млн параметров и использует архитектуру Conformer или FastConformer с транcducer-декодером TDT/RNNT. Она поддерживает 25 европейских языков: болгарский, хорватский, чешский, датский, нидерландский, английский, эстонский, финский, французский, немецкий, греческий, венгерский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, русский, словацкий, словенский, испанский, шведский и украинский. Доступны варианты квантования F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 485 МБ до 2,51 ГБ; поддерживаются токеновые временные метки. Сильные стороны модели — офлайн-обработка, многоязычность, автоматическое определение языка и высокая точность: для LibriSpeech test-clean показатель WER составляет около 1,92–1,98% в зависимости от квантования, а для русского языка на тесте FLEURS — 6,54% для Q8_0. Ограничения включают отсутствие потокового распознавания и перевода, требование входного аудио в формате 16 кГц моно WAV, а также зависимость от transcribe.cpp для запуска. Модель распространяется по лицензии CC-BY-4.0, унаследованной от базовой модели.

648K7апр. 2026
textaudiocc-by-4.0hugging-face
FriendliAI
Qwen2-VL-7B-Instruct

FriendliAI/Qwen2-VL-7B-Instruct — копия модели Qwen2-VL-7B-Instruct, размещённая FriendliAI. В README указано, что в tokenizer.json добавлены отсутствовавшие токены; метаданные связывают репозиторий с Qwen/Qwen2-VL-7B как с базовой моделью для дообучения. Это плотная мультимодальная модель с архитектурой Qwen2-VL и 7,1 млрд параметров, предназначенная для диалоговых задач с изображениями. Она принимает текст и изображения и формирует текстовые ответы; базовая модель также описана как способная понимать видео, однако поддержка видео именно этой копией в README не подтверждена. Контекст составляет 32 768 токенов. Модель подходит для вопросов по изображениям, описания визуального содержимого и диалогового взаимодействия с визуальными данными. Карточка указывает библиотеку Transformers и формат safetensors. Лицензия — Apache-2.0. README не описывает отдельного дообучения или оценок качества этой копии.

610март 2025ctx32.8K
textimageapache-2.0hugging-face
DazzlingShadow
Qwen3.5-122B-A10B-heretic-ARA

DazzlingShadow/Qwen3.5-122B-A10B-heretic-ARA — постобученная мультимодальная модель диалога на архитектуре Qwen3.5 MoE, опубликованная в формате Transformers. Abliteration изменяет поведение отказов: в приведённом сравнении модель отказала в 0 из 100 запросов против 88 из 100 у исходной Qwen/Qwen3.5-122B-A10B. Модель принимает текст и изображения и генерирует текст; она подходит для диалога, визуального понимания и ответов на вопросы по изображениям. Модель содержит 122 млрд параметров, из которых активируется около 10 млрд; архитектура включает 48 слоёв и разреженный Mixture of Experts. Контекстное окно — 262 144 токена, с заявленным расширением до 1 010 000. В карточке исходного семейства заявлена поддержка 201 языка и диалекта, однако языковая таблица в README опущена. Весы доступны в safetensors и совместимы с Transformers и рядом движков инференса. Лицензия — Apache-2.0.

120июнь 2026ctx262.1K
textimageapache-2.0hugging-face
harlemmvp
Qwen3-ForcedAligner-0.6B-GGUF

harlemmvp/Qwen3-ForcedAligner-0.6B-GGUF — неофициальная конверсия модели Qwen/Qwen3-ForcedAligner-0.6B в формат GGUF для запуска через llama.cpp. В репозитории веса bf16 разделены на текстовую модель и аудиоэнкодер с проектором и головкой временных меток; это модель для принудительного выравнивания текста с речью и получения временных меток слов. Модель принимает аудио и соответствующий ему текст, а возвращает временные позиции слов. В README приведены проверки совпадения с официальной реализацией на записях совещания AMI и подкаста; максимальное различие в одном из сравнений составило один интервал в 80 мс. Для сопоставления требуется использовать те же единицы слов, что и эталонная реализация: например, удалить пунктуацию и записывать «twenty-four» как «twentyfour». Конверсия сохраняет исходные веса и точность bf16; автор репозитория не связан с командой Qwen. Базовая модель выпущена под лицензией Apache-2.0. README указывает, что для запуска используется специализированная реализация aligner в llama.cpp-omni; поддержка в других средах не описана.

2100сент. 2026
textaudioapache-2.0hugging-face
llmfan46
Qwen3-VL-32B-Instruct-ultra-uncensored-heretic

Это доработанная независимым автором модель llmfan46 на основе Qwen3-VL-32B-Instruct: в ней применён метод abliteration, чтобы заметно снизить частоту отказов. Это плотная мультимодальная модель с архитектурой Qwen3-VL и 32 млрд параметров, предназначенная для диалога по изображениям и видео, распознавания текста на изображениях и визуального рассуждения. Она также принимает текстовые запросы и генерирует текстовые ответы; базовая модель заявляет контекст до 256 тыс. токенов с возможностью расширения до 1 млн и поддержку OCR на 32 языках. В тестах автора доля отказов снизилась до 4 из 100 против 99 из 100 у исходной модели. Точность на PIQA близка к исходной (92,87% против 93,09%), а на MMLU ниже (79,87% против 82,44%), поэтому изменение ограничений сопровождается некоторой потерей результатов на этом тесте. Модель распространяется по лицензии Apache-2.0. README описывает возможности и характеристики базовой Qwen3-VL; эти сведения не следует считать отдельной независимой оценкой данной доработки.

92129апр. 2026ctx262.1K
textimageapache-2.0hugging-face
prithivMLmods
Qwen3-VL-8B-Instruct-Unredacted-MAX

Qwen3-VL-8B-Instruct-Unredacted-MAX — мультимодальная модель на 8 млрд параметров от prithivMLmods, дообученная на Qwen/Qwen3-VL-8B-Instruct. Это плотная vision-language-модель Qwen3-VL для диалога и задач, где нужно совместно анализировать изображения и текст; она поддерживает переменное разрешение изображений и выдаёт текстовые ответы, подписи и структурированные описания. Модель подходит для генерации подписей к изображениям, подготовки наборов данных, визуального рассуждения, тестирования устойчивости VLM и прототипирования систем с анализом изображений. В карточке отмечены улучшения упаковки, стабильности инференса и совместимости с современными версиями Transformers. Качество зависит от чёткости изображения, формулировки запроса и параметров генерации; на сложных сценах рассуждения могут быть неполными или непоследовательными, а качество меняется в зависимости от предметной области. Для инференса может потребоваться от умеренного до большого объёма VRAM, особенно при высоком разрешении. Лицензия — Apache-2.0.

27511февр. 2026ctx262.1K
textimageapache-2.0hugging-face
islomov
rubaistt_v2_medium

rubaiSTT-2v Medium — модель распознавания речи на основе Whisper Medium, дообученная автором islomov для транскрибирования узбекской речи. Она принимает аудио и выдаёт текст; особенно хорошо обучена на материалах ташкентского диалекта. В метаданных указано 455,8 млн параметров, тогда как README приводит для базовой модели 769 млн; README также сообщает о WER около 17% и CER около 5,5%. Эти показатели относятся к оценке автора и зависят от тестовых данных. Модель обучена примерно на 475 часах узбекского аудио: подкастах, новостях, материалах Common Voice 17, USC и Google FLEURS. По README, половина транскрипций подготовлена людьми, половина — автоматически с помощью Gemini 2.5 Pro. В набор вошли записи с акцентом на ташкентский диалект; другие региональные варианты пока охвачены слабее. Репозиторий распространяется по лицензии Apache-2.0.

5.8K28июнь 2025ctx1K
textaudioapache-2.0hugging-face
surendirakrishna
salad

CHAI OCR — экспериментальная мультимодальная модель для распознавания текста и анализа документов, созданная на основе Qwen 3.5 4B VL. В ней применено слияние task arithmetic: адаптация визуального энкодера усилена коэффициентом 1,25, а языковая модель, MTP-голова и эмбеддинги сохранены от настроенного исходного чекпойнта. Изменены 297 тензоров визуального энкодера, около 333 млн параметров. Модель предназначена для OCR сканов, включая старые и повреждённые документы, а также для анализа структуры страниц, таблиц, форм и многоколоночных материалов. Она принимает изображения и текстовые запросы, выдаёт текстовые ответы. В README приведён экспериментальный результат бенчмарка, но модель обозначена как непроверенная; усиление визуальной адаптации может как улучшить OCR, так и ухудшить другие возможности. Лицензия в доступных данных не указана.

2413сент. 2026ctx262.1K
textimagehugging-face
ctaguchi
ssc-aln-mms-model

ctaguchi/ssc-aln-mms-model — дообученная модель распознавания речи на базе facebook/mms-1b-all. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 1,3 млрд параметров; модель рассчитана на преобразование аудио в текст. Базовая MMS поддерживает более тысячи языков, однако язык и назначение конкретной дообученной версии не уточнены. В README приведены результаты оценки: Loss 1,1100, CER 0,2283 и WER 0,5834; набор данных не назван. Модель опубликована в формате safetensors и предназначена для использования с Transformers. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

8990дек. 2025
textaudiocc-by-nc-4.0hugging-face
unum-cloud
uform-gen

UForm-Gen — компактная генеративная модель «зрение—язык» от Unum Cloud для понимания изображений и создания текстовых ответов о них. Она сочетает визуальный энкодер uform-vl-english с языковой моделью Sheared-LLaMA-1.3B, настроенной на наборы инструкций; размер модели в карточке указан как 1,5 млрд параметров. Модель предназначена прежде всего для создания подписей к изображениям, краткого описания их содержимого и ответов на вопросы по изображению. Поведение можно направлять текстовыми запросами. Обучение включало MSCOCO, SBU Captions, Visual Genome, VQAv2, GQA и внутренние наборы данных. В README приведены результаты оценки на VQAv2 и показатели скорости генерации на RTX 3090; они не гарантируют аналогичное качество на других данных и оборудовании. Модель принимает изображения и текстовые инструкции, выдаёт текст; заявленный язык — английский. Репозиторий использует формат safetensors и распространяется по лицензии Apache-2.0.

3245дек. 2023
textapache-2.0hugging-face
NCSOFT
VARCO-VISION-14B-HF

VARCO-VISION-14B — мультимодальная модель NC Research, команды Multimodal Generation Team, для диалоговой работы с изображениями на английском и корейском языках. Модель построена по архитектуре LLaVA-OneVision и объединяет Qwen/Qwen2.5-14B-Instruct с визуальным энкодером google/siglip-so400m-patch14-384. Она принимает одно изображение и текстовый запрос, а выдаёт текст; поддерживает распознавание текста на изображении (OCR), поиск объектов и текста с привязкой к областям изображения и ответы на вопросы о визуальном содержимом. Модель предназначена для понимания изображений и задач визуально-языкового диалога. Для запуска README рекомендует Transformers версии 4.45.0 или новее. В карточке сообщается о выпуске версии 2.0 в июле 2025 года, поэтому эта версия 1.0 устарела относительно более новой. Лицензия CC BY-NC 4.0 запрещает коммерческое использование; разработчик указывает исследовательское назначение.

17630нояб. 2024ctx131.1K
textimagecc-by-nc-4.0hugging-face
microsoft
VibeVoice-ASR-Streaming-1.5B

VibeVoice-ASR-Streaming-1.5B — потоковая модель распознавания речи от Microsoft на базе семейства VibeVoice. Она преобразует поступающий аудиопоток в текст и связывает реплики с говорящими, а пользовательские ключевые слова помогают распознавать имена и специальные термины. Модель поддерживает 10 языков: китайский, английский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский. В метаданных указаны плотная архитектура VibeVoice и формат весов Safetensors; README сообщает размер 1,5 млрд параметров. Модель предназначена для сценариев потоковой транскрибации с атрибуцией говорящих и пользовательскими подсказками. Лицензия — MIT.

4.0K61сент. 2026ctx131.1K
textaudiomithugging-face
suzii
vi-whisper-large-v3-turbo

Модель suzii/vi-whisper-large-v3-turbo — дообученная разработчиком suzii версия Whisper large-v3-turbo для распознавания вьетнамской речи. Она принимает аудио и преобразует его в текст; обучение продолжалось 240 часов на одной видеокарте Nvidia A6000 с использованием нескольких корпусов вьетнамской речи. Архитектура — WhisperForConditionalGeneration, около 905,2 млн параметров; доступны веса в форматах Safetensors и ONNX, модель рассчитана на работу через Transformers. Модель предназначена для транскрибирования вьетнамской речи, в том числе аудиозаписей, разговоров, видеороликов и аудиокниг. Её языковая специализация и дообучение на вьетнамских корпусах ориентированы на улучшение распознавания этого языка относительно исходной мультиязычной модели. Лицензия в предоставленных данных не указана.

20815янв. 2025
textaudiohugging-face
facebook
wav2vec2-conformer-rope-large-960h-ft

facebook/wav2vec2-conformer-rope-large-960h-ft — акустическая модель распознавания речи, разработанная авторами Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Sravya Popuri, Dmytro Okhonko, Juan Pino и опубликованная в репозитории Facebook. Это архитектура Wav2Vec2-Conformer с rotary position embeddings и примерно 402,7 млн параметров; модель дообучена на 960 часах английской речи из LibriSpeech. Она принимает аудио с частотой дискретизации 16 кГц и предназначена для преобразования речи в текст. Модель подходит для транскрибирования английской речи и оценки качества распознавания на данных, близких к LibriSpeech. В карточке указаны форматы PyTorch и Safetensors, лицензия Apache 2.0. Языковая поддержка по данным карточки — английский; требования к частоте дискретизации входного аудио следует соблюдать.

100K14апр. 2022
textaudioapache-2.0hugging-face
NbAiLab
wav2vec2-large-voxrex-npsc-nynorsk

NbAiLab разработала wav2vec2-large-voxrex-npsc-nynorsk — модель распознавания речи, дообученную на наборе NBAILAB/NPSC 16K_MP3_NYNORSK. Она принимает аудио и преобразует речь в текст, с акцентом на норвежский нюнорск. Модель основана на архитектуре Wav2Vec2 с CTC-декодированием и содержит 402,7 млн параметров. На оценочном наборе указаны значения Loss 0,4142 и WER 0,1576. Модель подходит для транскрибации записей на нюнорске; данные карточки не описывают ограничения по условиям записи или устойчивости к шуму. Веса опубликованы в формате PyTorch по лицензии Apache 2.0.

160март 2022
textaudioapache-2.0hugging-face
f77777
wav2vec2-large-xls-r-300m-firdous-malay-colab

Модель f77777/wav2vec2-large-xls-r-300m-firdous-malay-colab — дообученная на наборе Common Voice 13.0 модель распознавания речи на основе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст. Название указывает на настройку для малайского языка, однако README и метаданные не подтверждают язык обучения или область применения, поэтому эту специализацию нельзя считать установленной. Модель содержит около 402,7 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0. Она предназначена для преобразования речи в текст; сведения о качестве, ограничениях и оценке модели в карточке отсутствуют.

1360апр. 2024
textaudioapache-2.0hugging-face
anton-l
wav2vec2-large-xlsr-53-slovenian

Wav2Vec2-Large-XLSR-53-Slovenian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на словенском языке на данных Common Voice. Она принимает аудиозапись речи и преобразует её в текст; входной сигнал должен иметь частоту дискретизации 16 кГц. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Доступны веса PyTorch и Flax. В тесте на словенской части Common Voice указана метрика 36,04%; карточка не уточняет название метрики. Модель распространяется по лицензии Apache-2.0.

300K0март 2022
textaudioapache-2.0hugging-face
imvladikon
wav2vec2-xls-r-1b-hebrew

imvladikon/wav2vec2-xls-r-1b-hebrew — модель распознавания речи на базе wav2vec 2.0 XLS-R, дообученная разработчиком imvladikon на основе facebook/wav2vec2-xls-r-1b. Она принимает аудио и преобразует речь на иврите в текст; подходит, например, для транскрибирования записей и аудиоматериалов на этом языке. Модель содержит 1,3 млрд параметров, использует архитектуру Wav2Vec2ForCTC и опубликована в форматах PyTorch и Safetensors. В оценке указаны loss 0,3533 и WER 0,2251. Датасет дообучения в карточке обозначен как None, поэтому по этим результатам нельзя судить о поведении на иных источниках и условиях записи. Лицензия — Apache-2.0.

7482март 2022
textaudioapache-2.0hugging-face
ubamba98
wav2vec2-xls-r-1b-ro

ubamba98/wav2vec2-xls-r-1b-ro — модель распознавания речи, дообученная на базе facebook/wav2vec2-xls-r-1b на румынской части набора Mozilla Common Voice 7.0. Она использует архитектуру wav2vec2 с выходной головой CTC и предназначена для преобразования румынской речи в текст. На оценочной выборке указаны WER 0,4770 и CER 0,0306. Модель принимает аудио и выдаёт текст; в репозитории указаны веса PyTorch. Лицензия — Apache-2.0.

110март 2022
textaudioapache-2.0hugging-face
facebook
wav2vec2-xls-r-300m-21-to-en

Wav2Vec2-XLS-R-300M-21-EN — модель Facebook для перевода речи с 21 языка на английский. Это модель типа SpeechEncoderDecoderModel: кодировщик основан на facebook/wav2vec2-xls-r-300m, декодер — на facebook/mbart-large-50; модель дообучена на парах перевода из набора CoVoST 2. Она принимает аудио на французском, немецком, испанском, каталанском, итальянском, русском, китайском, португальском, персидском, эстонском, монгольском, нидерландском, турецком, арабском, шведском, латышском, словенском, тамильском, японском, индонезийском и валлийском языках и генерирует перевод на английском. Модель подходит для перевода устной речи и аудиозаписей, например для создания английской версии многоязычного аудиоконтента. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. В карточке приведена ссылка на оценку качества на CoVoST 2, но конкретные численные результаты здесь не указаны.

1065март 2022
textaudioapache-2.0hugging-face
DrishtiSharma
wav2vec2-xls-r-300m-kk-n2

DrishtiSharma/wav2vec2-xls-r-300m-kk-n2 — модель распознавания речи, дообученная на базе facebook/wav2vec2-xls-r-300m на казахской части набора Mozilla Common Voice 8.0. Она принимает аудио и преобразует речь на казахском языке в текст; архитектура — Wav2Vec2ForCTC семейства wav2vec2, размер — 402,7 млн параметров. На тестовой оценке автор сообщает WER 0,451 и loss 0,7149. Модель распространяется по лицензии Apache-2.0.

81март 2022
textaudioapache-2.0hugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей