I.7Речь, диалоги и встречи

GPT Audio — аудиомодель OpenAI, представленная как первая общедоступная аудиомодель компании. В описании снимка модели упомянут улучшенный декодер, который делает голоса естественнее и помогает сохранять их постоянство. Модель предназначена для работы с аудио; доступный текст карточки не уточняет конкретные сценарии, архитектуру, размер, языки и длину контекста. Метаданные каталога классифицируют её как модель автоматического распознавания речи, однако README не описывает входы и выходы подробнее. Дата создания репозитория — 19 января 2026 года. Условия лицензирования в предоставленных данных не указаны.

Это модель автоматического распознавания японской речи, созданная на основе rinna/japanese-hubert-base и дообученная на common_voice_11_0. Она использует архитектуру HuBERT с CTC-головой, содержит 113,3 млн параметров и распространяется в формате safetensors. Модель преобразует аудио в текст для задач распознавания японской речи. Её вывод ограничен хираганой. На common_voice_11_0 указаны WER 27,51% и CER 11,70%. Лицензия — Apache-2.0.

HumanSense_Omni_Reasoning — мультимодальная модель Ant Group и Сианьского университета Цзяотун, дообученная на базе Qwen2.5-Omni-7B для понимания человеческих намерений и создания эмпатичных, учитывающих контекст ответов с использованием рассуждений. Она предназначена для анализа длительного видеоконтекста, в том числе с аудио, и выдачи текстовых ответов; в карточке Hugging Face основная задача обозначена как video-text-to-text. Архитектура — плотная Qwen2.5-Omni для условной генерации; модель опубликована в формате safetensors и принимает видео, аудио и текст согласно возможностям базовой omni-модели. Модель обучалась с многоэтапным прогрессивным по модальностям обучением с подкреплением и оценивалась на бенчмарке HumanSense, ориентированном на человекоцентричное восприятие и взаимодействие. Подходит для интерпретации намерений и эмоционального контекста в мультимодальных сценариях и формирования обоснованной обратной связи. Размер базовой модели — 7 млрд параметров; поддерживаемый язык карточки — английский. Лицензия — Apache-2.0. README не приводит отдельных численных характеристик качества модели.

HariprasathSB/indic-whisper-vulnerable — дообученная модель распознавания речи на базе Vignesh-M/Indic-whisper. Она использует архитектуру WhisperForConditionalGeneration и содержит 455,8 млн параметров. Модель предназначена для преобразования аудио в текст; карточка указывает задачу automatic-speech-recognition. В README приведены результаты оценки: loss 0,9019 и WER 73,2647. Описание обучения, набора данных, языков и предполагаемых сценариев использования не раскрывает дополнительных подробностей. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

Ke-Omni-R — дообученная мультимодальная модель KE-Team на базе Qwen2.5-Omni-3B для рассуждений по аудио и ответов на вопросы о звуках, музыке и речи. В карточке описано обучение с GRPO на 10 тысячах примеров, взятых из AVQA и MusicBench, и краткий внутренний процесс рассуждения менее чем из 50 слов. Метаданные указывают архитектуру Qwen2.5 Omni Thinker и формат safetensors. Модель принимает аудио и текстовый запрос и формирует текстовый ответ. В README приведены результаты на бенчмарке MMAU и метрики распознавания речи на тестах WenetSpeech и LibriSpeech; результаты зависят от набора данных и не гарантируют аналогичное качество в иных условиях. Указана лицензия Apache-2.0.

Это экспертная модель на базе Llama 3.2 1B Instruct, созданная авторами SMAT (Simple and Efficient Merge-Aware Training) для экспериментов с объединением моделей. Чекпойнт соответствует эксперту из таблицы 1 статьи SMAT и обучен с seed 42; заявленная цель подхода — сохранять качество на целевой задаче и улучшать совместимость при слиянии моделей. Модель использует плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и принимает текст для генерации текста в диалоговом формате. Она дообучена на MeetingBank, однако карточка не уточняет конкретные сценарии или метрики качества этого эксперта. Контекст — до 131 072 токенов. Для использования действуют лицензия Llama 3.2 и соответствующая политика допустимого использования Meta.

LLaSM-Baichuan — двуязычный голосовой и языковой помощник, разработанный командой LLaSM. Это модель для диалогов на китайском и английском языках с речевым и текстовым вводом; она основана на Baichuan-7B и дообучена на наборе инструкций LLaSM-Audio-Instructions. В репозитории указаны 6,7 млрд параметров, архитектура LlaaaLlamaForCausalLM, контекст 2048 токенов и формат PyTorch. Модель предназначена для голосовых и текстовых диалогов на китайском и английском языках. Её можно использовать для создания разговорного помощника, который отвечает на речевые запросы и ведёт мультимодальный диалог. Метаданные Hugging Face обозначают основную задачу как генерацию текста; карточка описывает поддержку речевого и текстового взаимодействия. В карточке заявлена открытая коммерческая доступность, однако README указывает Apache-2.0, а метаданные Hugging Face — OpenRAIL. Эти сведения о лицензии расходятся, поэтому перед применением следует проверить лицензионные условия именно этого репозитория. Контекст ограничен 2048 токенами; подробные оценки качества и ограничения распознавания или синтеза речи в карточке не приведены.

Это дообученная модель распознавания речи на основе facebook/mms-1b-all, разработанная автором репозитория csikasote. Модель построена на архитектуре wav2vec2 с выходной головой CTC и содержит 1,3 млрд параметров. Она предназначена для автоматического преобразования речи в текст; обучение проведено на наборе BIGC_MINI - BEM. В карточке приведены результаты оценки на тестовом наборе: loss 34,5988 и CER 0,1198. Базовая MMS-1B обучена для распознавания речи на более чем тысяче языков, однако README не уточняет языки и характеристики данных, использованных при дообучении, поэтому пригодность этой версии для конкретных языков или условий записи не установлена. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Moonshine Streaming Small — Japanese — это потоковая модель распознавания японской речи из семейства Moonshine, опубликованная moonshine-ai. Она принимает аудио и выдаёт текст по мере поступления речи, что подходит для транскрипции на устройствах с ограниченными ресурсами. В метаданных указано 48,2 млн параметров; README приводит другое значение — 112,9 млн, поэтому размер модели в источниках расходится. Модель использует аудиофронтенд с частотой 50 Гц, скользящий оконный Transformer-энкодер и декодер; задержка упреждения составляет около 80 мс. Для работы в Transformers требуется передавать attention mask. Модель обучена для японского языка на автоматически размеченных корпусах подкастов и YouTube, где транскрипты созданы моделью-учителем семейства Whisper. В оценке используются CER без пробелов: макро-CER составил 17,15 на выборке из FLEURS и ReazonSpeech при пакетном размере 1. Это вариант потокового распознавания для японской речи, включая чтение и спонтанную речь. Возможны ошибки в именах собственных, числах и переключении языков; на коротких фрагментах иногда возникают циклы повторения, поэтому следует ограничивать длину вывода. Качество не оценивалось на телефонной речи, детской речи, тяжёлых диалектах и шумной речи с большого расстояния. Модель выпущена под лицензией MIT; README исключает применение для слежки без согласия, идентификации говорящего и решений с высокими ставками.

Это GGUF-квантизированная версия модели ndizi-gemma4-e2b-african-asr-merged, разработанной smutuvi и преобразованной в GGUF пользователем mradermacher. Модель предназначена прежде всего для автоматического распознавания речи на африканских языках, включая суахили, амхарский и оромо, и может использоваться в сценариях транскрибации аудиозаписей и обработки речи. В исходных данных также указаны наборы данных, связанные с этими языками и задачами распознавания речи. Модель основана на Gemma4 и представлена в мультимодальном формате с дополнительными файлами mmproj, необходимыми для работы с аудиовходом. Точный размер базовой архитектуры, максимальная длина контекста и другие параметры в README не указаны. Доступны варианты GGUF с разными уровнями квантования: от Q2_K размером около 3,1 ГБ до f16 размером около 9,4 ГБ. В README варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как обеспечивающий высокое качество. Преимущество модели — специализация на нескольких африканских языках и возможность локального запуска через совместимые с GGUF инструменты. Ограничения включают возможное снижение качества при низком уровне квантования, отсутствие подробных результатов оценки и неизвестные требования к оборудованию. Лицензия указана как Gemma; условия её применения следует уточнять по лицензии Gemma.

Qwen3-ASR-0.6B Streaming — причинный аудиобашенный энкодер от автора репозитория qfuxa, дообученный на основе Qwen/Qwen3-ASR-0.6B для потокового распознавания речи. Он обрабатывает аудио последовательными блоками примерно по 1,92 секунды, использует KV-кэш и ограниченное окно внимания 15 секунд, поэтому не пересчитывает прошлые блоки, а вычислительные затраты на новый фрагмент остаются постоянными по мере роста потока. Репозиторий содержит только дообученную аудиобашню; декодер, адаптер и экстрактор признаков берутся из базовой модели. Модель рассчитана на транскрибацию английской речи в потоках с низкими затратами на вычисления: например, при большом числе одновременных сессий или на устройствах с ограниченной энергией. В README сообщается о результатах на длинных научных выступлениях и LibriSpeech, но качество ниже, чем у стандартного потокового варианта Qwen3-ASR при сопоставимом режиме оценки. Задержка подтверждения слов обычно составляет несколько секунд, а для длинных записей предусмотрен сброс состояния на границах предложений. Для работы требуется совместимая базовая модель Qwen/Qwen3-ASR-0.6B и потоковый стек WhisperLiveKit; указанный размер файлов аудиобашни — 746 МБ в формате fp32 safetensors. Лицензия — Apache-2.0. Модель проверена только с базовой версией 0.6B; README предупреждает о резком ухудшении качества на других языках.

Модель автоматического распознавания речи, созданная дообучением facebook/w2v-bert-2.0. В карточке она названа моделью для раджастхани, магадхи, маратхи, чхаттисгархи, бходжпури и марвари. Архитектура — Wav2Vec2-BERT с CTC-выходом; модель содержит 402,8 млн параметров и распространяется в формате safetensors для библиотеки Transformers. Модель преобразует аудио в текст и подойдёт для распознавания речи на перечисленных языках. В README приведены результаты оценки: loss 2,0250 и CER 0,1801. Сведения о наборе данных, методике оценки и ограничениях применения в карточке не раскрыты. Лицензия — MIT.

ScaduTorrent1.1-8b-model_stock — разговорная языковая модель семейства Llama 3, созданная методом Model Stock с помощью mergekit. В слияние вошли модели и адаптеры для ролевого общения, математики и диалогов в стиле психотерапевтической беседы; в качестве основы в конфигурации указан failspy/Llama-3-8B-Instruct-MopeyMule с Blackroot/Llama-3-8B-Abomination-LORA. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст для генерации текста и диалога. Заявленная длина контекста — 8192 токена. Она подходит для разговорных сценариев и генерации ответов, включая ролевые беседы и задачи с математической составляющей. Карточка не сообщает отдельные результаты оценки качества; совместимость навыков, унаследованных от компонентов слияния, может различаться. Лицензия в предоставленных данных не указана.

Kaousheik/tempo-ablation-naive — экспериментальный чекпойнт TEMPO, разработанный для временной привязки содержания аудио. Он дообучен на базе NVIDIA Audio Flamingo 3: аудиоэнкодер Whisper-large соединён с языковой моделью Qwen2-7B через MLP-проектор. Модель принимает аудио и текстовый запрос с тегом задачи и выдаёт текст с временными метками; охватывает речь, звуки и музыку, поддерживает распознавание речи, диаризацию говорящих, плотное описание аудио и поиск интервалов по текстовому запросу. Этот вариант «Table 3 — Naive» создан для абляционного эксперимента на подмножестве из 2 000 примеров. В нём отключены учитывающая расстояние функция потерь и проектор с временным кодированием, поэтому опубликованные результаты уступают более полным вариантам TEMPO. Модель рассчитана на английский язык; метки времени ограничены 60 секундами, а записи большей длины нужно разбивать на фрагменты. Распознавание речи нескольких говорящих остаётся сложным, музыкальные оценки приблизительны, а метки говорящих согласованы только внутри отдельной записи. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели.

VITA-1.5 — мультимодальная модель семейства VITA-Qwen2, представленная авторами исследования «VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction». Репозиторий содержит веса модели в формате safetensors; размер модели — 7,1 млрд параметров, длина контекста — 32 768 токенов. Модель предназначена для диалогового взаимодействия с визуальными и речевыми данными в реальном времени. Она может принимать видео и текст и формировать текстовые ответы; карточка также указывает на чат и интерфейс вызова инструментов. README не приводит подробных сведений о поддерживаемых языках, качестве на отдельных задачах или условиях лицензирования, поэтому эти характеристики нельзя уточнить.

Это модель автоматического распознавания речи, разработанная Kiran Pantha и дообученная на базе kiranpantha/w2v-bert-2.0-nepali на датасете OpenSLR54. Она преобразует аудиозаписи на непальском языке в текст и предназначена для транскрибации речи. Архитектура основана на Wav2Vec2-BERT, класс модели — Wav2Vec2BertForCTC; размер составляет 402,7 млн параметров. В README указаны результаты оценки на тестовом наборе: loss 0,4058 и WER 0,4307. Модель распространяется по лицензии MIT. Подробные сведения о сценариях применения и ограничениях в карточке не приведены.

snehatyagi/wav2vec2_test — дообученная модель распознавания речи на базе facebook/wav2vec2-base. Она использует архитектуру Wav2Vec2ForCTC, содержит 113,3 млн параметров и принимает аудио для преобразования речи в текст. Модель опубликована в формате PyTorch под лицензией Apache-2.0. Карточка приводит результаты оценки: loss 91,1661 и WER 0,5714. Датасет обучения и поддерживаемые языки не указаны, поэтому область применимости и качество распознавания для конкретных языков или условий записи подтвердить нельзя.

AndrewMcDowell/wav2vec2-xls-r-1b-japanese-hiragana-katakana — модель распознавания японской речи, созданная дообучением facebook/wav2vec2-xls-r-1b на японской части набора Mozilla Common Voice 8.0. Это плотная модель Wav2Vec2ForCTC с 1,3 млрд параметров, принимающая аудио и выдающая текст; карточка указывает японский язык и библиотеку Transformers с весами PyTorch. Модель предназначена для автоматической транскрипции японской речи. В README приведены результаты на тестовой выборке: WER 1,0132 и CER 0,1609. Указана лицензия Apache-2.0. Оценка WER выше 1 означает существенные ошибки распознавания, поэтому качество следует проверять на данных целевого сценария.

Это модель автоматического распознавания речи на основе Wav2Vec2-XLS-R, разработанная shahruk10 и дообученная на базе arijitx/wav2vec2-xls-r-300m-bengali. Она преобразует бенгальскую речь в текст и предназначена прежде всего для аудио с бангладешским акцентом. Обучение проводилось примерно на 300 часах аудио Common Voice 9.0 с частотой 16 кГц; для декодирования использовалась языковая модель 5-грамм. В метаданных указаны архитектура Wav2Vec2ForCTC и 402,8 млн параметров. На валидационной выборке соревнования BUET CSE Fest 2022 DL Sprint модель показала CER 0,08079 и WER 0,017939 с 5-граммной языковой моделью и заняла первое место в публичном и приватном рейтингах соревнования. Эти показатели относятся к конкретным данным и настройке декодирования; тестовые метки организаторы не предоставили. Модель распространяется по лицензии Apache-2.0.

Aniemore/wavlm-bert-fusion-s-emotion-v1-crosslingual — модель AniEmore для распознавания эмоций в речи по аудиосигналу и его расшифровке. Она классифицирует речь по семи категориям: гнев, отвращение, энтузиазм, страх, счастье, нейтральность и грусть. Архитектура WavLMBertForSequenceClassification объединяет WavLM и RuBERT; модель дообучена на смеси 27 939 аудиофрагментов из восьми языков и трёх речевых регистров, чтобы лучше распознавать спонтанную речь. Модель подходит для анализа эмоциональной окраски разговоров, подкастов и других речевых записей. На тесте спонтанной русской речи она заметно лучше предыдущей русскоязычной версии, тогда как на актированной русской речи результат ниже; показатель на CAMEO авторы рекомендуют считать внутридоменным, а не доказательством переноса между языками. В репозитории доступны варианты int8, fp8 и int4 наряду с fp32. Модель принимает чистую расшифровку вместе с аудио, поэтому качество может снижаться при использовании неточных результатов ASR. Лицензия репозитория — MIT; README указывает, что лицензия следует лицензиям базовых моделей microsoft/wavlm-large и DeepPavlov/rubert-base-cased.

ElizabethMwangi/whisper-large-v3-swahili-nss-afrivoice-cv — модель распознавания речи на суахили, разработанная как второй этап дообучения Whisper large-v3. Она адаптирована к нестандартной речи кенийских говорящих на наборе Kenyan Swahili Nonstandard Speech; предыдущий этап обучался на данных AfriVoice из пяти областей и Common Voice Swahili. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и сохраняется в формате safetensors. Модель предназначена для транскрибации кенийской речи на суахили, в том числе речи с выраженными нестандартными особенностями. На тестовой выборке Kenyan Swahili Nonstandard Speech авторы сообщают WER 0,328 и CER 0,158; WER составил 0,21 для лёгкой, 0,25 для умеренной и 0,34 для тяжёлой степени нестандартности. Лицензия — Apache-2.0.

Карточка модели VARabic/whisper-medium-finetuned-sada-asr на Hugging Face совпадает с карточкой wageehkhad/whisper-medium-finetuned-sada-asr, поэтому описание составлено по ней. Модель wageehkhad/whisper-medium-finetuned-sada-asr — версия Whisper Medium, дообученная на наборе SADA22 для автоматического распознавания саудовской арабской речи. Она преобразует аудиозаписи в текст и использовалась как компонент распознавания речи в экспериментах по оценке диалектности арабского языка: полученную расшифровку передавали текстовому классификатору диалектности. Модель построена на архитектуре WhisperForConditionalGeneration и содержит 455,8 млн параметров; опубликована в формате safetensors. Базовая модель — openai/whisper-medium. Основной сценарий — транскрибация саудовской арабской речи. Модель рассчитана на речевые сегменты длительностью до 30 секунд; более длинные записи можно обрабатывать с автоматическим разбиением на части в используемом pipeline. Дообучение ориентировано на саудовский диалект, поэтому качество на других арабских диалектах и передачах на литературном арабском может быть ниже. Лицензия — Apache-2.0.

Это дообученная модель распознавания речи на базе openai/whisper-medium, разработанная автором репозитория dianavdavidson. Она предназначена для преобразования аудио в текст; в названии указана специализация на хинди и набор Vaani, однако README сообщает, что модель обучалась на датасете None, поэтому точный состав обучающих данных не подтверждён. Модель содержит 455,8 млн параметров, использует архитектуру Whisper и формат safetensors; библиотека для работы — Transformers. В README приведены результаты оценки: loss 0,4456 и Global WER 23,25. Описание сценариев применения, подробности обучающих данных и ограничения автором не раскрыты. Лицензия — Apache-2.0.

ales/whisper-small-belarusian — модель автоматического распознавания речи, дообученная на основе openai/whisper-small на белорусской части набора Mozilla Common Voice 11.0. Она принимает аудио и генерирует текстовую транскрипцию, в первую очередь для белорусской речи. Архитектура Whisper, около 153,1 млн параметров; веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. В README указаны WER 6,3672 на валидационной выборке и 6,79 на тестовой выборке. Эти показатели относятся к оценке на Common Voice и не гарантируют такое же качество для других записей, условий записи или разновидностей белорусской речи. Карточка не описывает дополнительные сценарии применения.

MAdel121/whisper-small-egyptian-arabic — модель распознавания речи, созданная дообучением openai/whisper-small автором репозитория на наборе MAdel121/arabic-egy-cleaned с использованием SpeechBrain. Она предназначена для транскрибации речи на египетском диалекте арабского языка и доступна для запуска через pipeline автоматического распознавания речи в Transformers. Модель имеет плотную архитектуру Whisper и содержит 153,1 млн параметров; репозиторий хранит веса в формате safetensors. Для тестовой части обучающего набора указаны WER 22,69% и CER 16,70%. Лицензия — MIT. Модель рассчитана прежде всего на египетскую арабскую речь. Точность может снижаться на других арабских диалектах, шумных записях, а также на специализированной тематике, недостаточно представленной в обучающих данных.

Whisper small Fa — модель распознавания речи, созданная дообучением openai/whisper-small на датасете Mozilla Common Voice 17.0. Она предназначена для преобразования аудиозаписей на фарси в текст и подходит для транскрибирования речи в пользовательских записях и наборах данных. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. В тестировании на карточке указаны наилучшие значения WER 0,419 и CER 0,196. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

nyadla-sys/whisper-tiny.en.tflite — это конвертированная в формат TensorFlow Lite версия модели Whisper tiny.en, разработанной OpenAI и портированной Niranjan Yadla для запуска на периферийных устройствах. Модель предназначена для автоматического распознавания речи на английском языке, в том числе локально на Android и других встраиваемых платформах без обязательной передачи аудио в облако. Модель содержит около 39 млн параметров и использует интерфейс TFLite с сигнатурой serving_default. Вариант .en является англоязычным и рассчитан на транскрибацию английской речи; функции автоматического определения языка, мультиязычной транскрибации и перевода к этой конкретной модели не относятся. README не указывает размер контекстного окна и точные характеристики архитектуры, но описывает преобразование Whisper в TFLite с динамической квантизацией диапазона. К сильным сторонам относятся небольшой размер, высокая относительная скорость и пригодность для on-device inference, что делает модель подходящей для мобильных приложений и систем с ограниченными ресурсами. Ограничения включают поддержку только английского языка, меньшую точность по сравнению с более крупными версиями Whisper и отсутствие в README конкретных метрик качества. Модель распространяется по лицензии MIT.

Это компактная модель распознавания речи, созданная дообучением OpenAI Whisper tiny командой wrice с помощью GRPO — оптимизации политики по групповому вознаграждению. Она преобразует аудио в текст и предназначена для транскрибации записей на языках Common Voice; при обучении использован набор cv22_index со всеми 77 локалями Common Voice, а язык клипа задавался по локали. Модель обучали выбирать транскрипции по смешанной оценке на основе WER, CER и штрафов за длину и повторы. В README указаны лучшие значения на проверочной выборке: WER 0,765 и CER 0,344 в целом по 77 языкам. Модель доступна для использования через библиотеку Transformers и распространяется по лицензии MIT. Это экспериментальная модель и доказательство концепции, а не настроенная для промышленного применения система. Результаты приведены для нормализованного текста на отложенной выборке Common Voice; точность в реальных условиях зависит от предметной области, акцента, языка и качества аудио.

Wellyowo/whisper-tiny-zh-tw — дообученная версия Whisper Tiny, опубликованная Wellyowo и обученная на наборе Common Voice 13.0. Модель предназначена для автоматического распознавания речи и выдачи текстовой расшифровки. Это плотная модель архитектуры Whisper с 29,4 млн параметров; репозиторий содержит веса в формате Safetensors. В карточке приведены результаты оценки: WER 59,22 и орфографический WER 60,0. Модель рассчитана на китайский язык (Тайвань) согласно названию репозитория. Лицензия — Apache-2.0.

JRHuy/whisper-vietnamese-2 — дообученная модель семейства Whisper, разработанная на основе duytran3112/whisper-sm-vivos. Она предназначена для автоматического распознавания речи: принимает аудио и генерирует текстовую расшифровку. Модель содержит 153,1 млн параметров; в репозитории указаны веса PyTorch. На оценочном наборе README сообщает Loss 0,4398, WER 15,4165 и CER 8,2906; описание набора данных и методики оценки не приведено, поэтому эти результаты не позволяют надёжно судить о качестве на других записях. По названию модель ориентирована на вьетнамскую речь. Модель распространяется по лицензии Apache-2.0.