I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиEMOVA-Qwen-2.5-7B-HF — мультимодальная модель-ассистент на 7 млрд параметров, разработанная командой EMOVA и основанная на Qwen2.5-7B-Instruct с визуальным энкодером. Она принимает текстовые, визуальные и речевые входы и предназначена для диалога, понимания изображений и речи, а также генерации текстовых и речевых ответов. Для речевого диалога поддерживаются английский и китайский языки, 24 варианта управления голосом: два говорящих, три высоты голоса и четыре эмоции. По данным README, модель показывает высокие результаты в тестах на понимание изображений и речи; карточка приводит оценки для варианта 7B, но подробности контекста и замеров речи здесь не представлены. Репозиторий содержит веса в формате Hugging Face для загрузки через Transformers Auto API. Лицензия — Apache-2.0.
English Whisper Non-Standard Medium — модель распознавания речи, созданная дообучением OpenAI Whisper Medium на английской речи с нестандартными и региональными произносительными вариантами кенийских говорящих. Она предназначена для преобразования такой речи в текст, в том числе в сценариях, где стандартное произношение английского представлено недостаточно. Архитектура — WhisperForConditionalGeneration с 455,8 млн параметров; модель принимает аудио и выдаёт текст. В карточке указаны английский язык и дообучение на подмножестве Mozilla Common Voice и специально отобранной кенийской английской речи. В README приведены метрики оценки: WER 0,1484 на dev и 0,1107 на test, CER 0,0810 на dev и 0,0613 на test. Эти результаты относятся к указанной оценке и не гарантируют такую же точность на других акцентах, акустических условиях или типах записей. Модель распространяется по лицензии Apache-2.0.
Модель kiranpantha/exp2-w2v-bert-2.0-nepali-unlabeled-0 — дообученная Kiran Pantha модель распознавания непальской речи. Она основана на kiranpantha/w2v-bert-2.0-nepali и обучена на наборе kiranpantha/OpenSLR54-Balanced-Nepali. Архитектура Wav2Vec2-BERT с CTC-выходом содержит около 402,7 млн параметров и принимает аудио, преобразуя речь в текст. Модель предназначена для автоматической транскрибации непальской речи. В README приведены результаты на тестовой выборке: WER 0,4058 и CER 0,0951; качество может различаться на записях с другими условиями и содержанием. Распространяется по лицензии MIT.
Hamsa (همسة) — модель автоматического распознавания речи от NADSOFT, созданная на основе Whisper и предназначенная для транскрибирования арабской речи. Она содержит 455,8 млн параметров и обучалась на аудиоданных, включая наборы Jordan-Audio, FLEURS и Common Voice 11. Модель ориентирована на арабский язык и особенности речи Ближнего Востока и Северной Африки; для набора Jordan-Audio указана оценка WER 18,22. Модель подходит для преобразования арабской речи в текст, в том числе в задачах транскрибации записей. Разработчик отмечает, что система находится в разработке. Лицензия Apache-2.0.
Это англоязычная модель автоматического распознавания речи, опубликованная в ESPnet под идентификатором espnet/kamo-naoyuki-mini_an4_asr_train_raw_bpe_valid.acc.best. Модель обучена kan-bayashi по рецепту jsut/tts1 в ESPnet; карточка указывает набор данных mini-an4 и формат весов PyTorch. Модель преобразует аудио в текст и предназначена для распознавания речи в аудиозаписях. В примере использования аудио загружается с приведением к одному каналу и частоте 16 кГц. Модель распространяется по лицензии CC BY 4.0. Карточка не сообщает размер модели, длину контекста или показатели качества; результаты для других языков и условий записи не описаны.
Keak Ember 1.4 — компактная языковая модель Keak для локальной работы в приложении диктовки. Это дообученная версия Qwen3-1.7B, опубликованная в формате GGUF; текущий файл модели использует квантизацию Q4_K_M. Модель рассчитана на исправление ошибок диктовки с сохранением сказанного, точное написание пользовательской лексики, преобразование голосовых команд в структурированные данные, определение адресата сообщения, краткие ответы и ответы на языке запроса. Ember специализируется на ограниченном наборе задач и не предназначена для широких знаний общего назначения. В README приведены результаты KeakBench и отмечено, что версия 1.4 улучшила общую точность относительно 1.3, однако проверка защитных отказов набрала 0,841 при целевом значении 1,000; автор рекомендует вручную проверять такие сбои перед использованием с чувствительными данными. Модель рассчитана на офлайн-запуск через llama.cpp или Ollama с контекстом 4096 токенов. Лицензия — Apache-2.0.
LFG-3 — аудиоязыковая модель Glenn2, которая принимает английскую речь и формирует текстовые ответы. Она объединяет разговорные возможности Gemma 4 31B с аудиоэнкодером Parakeet через обученный проекционный слой и предназначена для понимания устных вопросов и инструкций, включая то, как они произнесены, а не только для преобразования речи в текст. Модель создана как независимый эксперимент и обучалась одним разработчиком на одном H100. В README заявлено первое место в Voice Bench на момент выпуска; приведены оценки AlpacaEval, CommonEval и WildVoice. Карточка не указывает лицензию и размер чекпойнта, поэтому условия распространения по этим данным определить нельзя.
Модель janmbuys/omniASR-CTC-300m-v2-Zulu-Lwazi — дообученная для распознавания речи на isiZulu версия uctnlp/omniASR-CTC-300m-v2-Zulu-Baseline. Это модель Wav2Vec2ForCTC с символьным CTC-выходом; адаптация LoRA к телефонной речи с частотой 8 кГц объединена с весами. В репозитории также находятся символьный декодер, лексикон и 6-граммовая субсловная языковая модель для декодирования. Модель предназначена прежде всего для транскрибации спонтанной isiZulu-речи в телефонных записях. В README для набора Lwazi приведён WER 38,16% для адаптированной модели при жадном декодировании; тестовые выборки небольшие, поэтому небольшие различия в результатах могут быть незначимы. Модель содержит 413,2 млн параметров по метаданным Hugging Face; README указывает 326 млн параметров для акустической модели. Доступна через Transformers и загружается как самостоятельный чекпойнт. Лицензия — CC BY 4.0. Ограничения: настройка рассчитана на узкополосную телефонную речь 8 кГц; для широкополосного аудио базовая модель без адаптации может работать лучше. Языковая модель обучена на письменных веб- и новостных текстах, около 10% слов в разметке Lwazi отсутствуют в её словаре; отдельная оценка смешения языков не проводилась.
Reza2kn/openai_whisper-large-v3-NVFP4 — это посттренировочно квантованная версия модели автоматического распознавания речи openai/whisper-large-v3, разработанная пользователем Reza2kn на базе модели OpenAI. Модель предназначена для преобразования аудиозаписей в текст, прежде всего для распознавания персидской речи. В карточке указаны библиотека Transformers, архитектура Whisper и поддержка сценариев automatic speech recognition. Модель использует формат nvfp4-pack-quantized из compressed-tensors: 4-битные FP4-веса, блочные FP8-масштабы и динамически квантизируемые активации FP4. Квантизированы все Linear-модули encoder и decoder, тогда как lm_head/proj_out сохранены в полной точности. Целевое оборудование — tensor cores NVIDIA Blackwell (sm_100+); веса разворачиваются в bfloat16 во время работы. Калибровка выполнена на 32 персидских аудиоклипах из Reza2kn/persian-asr-eval-v0. На 200 клипах FLEURS-fa модель показала WER 19,74%, CER 6,19%, задержку 3946 мс на клип и пиковое потребление 4285 MiB VRAM. Основное преимущество модели — снижение точности и потенциальных требований к памяти при сохранении возможности использовать архитектуру Whisper large-v3 на совместимом оборудовании. Ограничения включают специализацию представленной оценки на персидском языке, зависимость производительности от NVIDIA Blackwell и отсутствие в README сведений о размере контекста и полном наборе поддерживаемых языков. Распространение указано под Apache License 2.0; модель также наследует лицензию базовой модели, а сторонние уведомления об авторских правах и атрибуции сохраняются.
Qwen3-ASR-0.6B-gguf — это квантизированные GGUF-сборки модели Qwen3-ASR-0.6B, подготовленные проектом handy-computer для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и автоматической транскрипции аудио в текст с автоматическим определением языка. Она принимает монофонические WAV-файлы с частотой 16 кГц; потоковая обработка, перевод речи и временные метки не поддерживаются, явная подсказка языка также недоступна. Архитектура включает двунаправленный аудиоэнкодер из 18 слоёв и 28-слойную каузальную языковую модель Qwen3 с внедрением аудиотокенов в объединённую аудио-текстовую последовательность без cross-attention. Указана поддержка 30 языков в сборке transcribe.cpp, включая китайский, английский, кантонский, русский, немецкий, французский, испанский, японский, корейский, арабский и другие. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 590 МБ до 1,58 ГБ. На LibriSpeech test-clean показатель WER составляет 2,11–2,26% в зависимости от квантизации; для ряда языков приведены дополнительные оценки на FLEURS. Сильные стороны модели — офлайн-работа, мультиязычность, автоматическое определение языка и несколько вариантов квантизации для выбора между качеством и потреблением памяти. Ограничения включают отсутствие streaming, перевода и временных меток, требование к формату входного аудио и заметно различающееся качество между языками. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели Qwen/Qwen3-ASR-0.6B.
QwenCleo-ASR — модель распознавания речи, разработанная на базе Qwen3-ASR-1.7B и дообученная для египетского арабского диалекта и переключения между арабским и английским языками. Она принимает аудио и формирует текстовую транскрипцию; в смешанной речи старается сохранять английские технические термины латиницей. Модель поддерживает потоковую обработку токен за токеном через vLLM, а для файлов доступна оконная транскрипция. Модель предназначена для расшифровки египетской разговорной речи, подкастов и аудио с арабско-английским переключением языков. В карточке приведены результаты сравнения на тестовом наборе из 3 699 высказываний, однако заявленное преимущество относится к этому набору и нормализации и не гарантирует качество на других данных. На других арабских диалектах и шумном аудио с большого расстояния качество может снижаться; модель не оптимизирована для речи только на английском. Распространяется по лицензии Apache-2.0.
simran14/small_8_17f — модель распознавания речи на базе Whisper Small, дообученная Simran14 на датасете Common Voice 17.0. Она предназначена для преобразования аудио в текст; в README для оценки на тестовой выборке указаны loss 0,0436 и WER 4,1154. Модель содержит 153,1 млн параметров и распространяется в формате Safetensors для Transformers. Модель рассчитана на распознавание речи на языке маратхи, указанном в метаданных. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.
ctaguchi/ssc-kbd-mms-model — модель распознавания речи, дообученная на основе facebook/mms-1b-all. Она построена на архитектуре wav2vec2 и содержит 1,3 млрд параметров; модель принимает аудио и преобразует речь в текст. В README приведены результаты оценки: CER 0,0920 и WER 0,5172, однако набор данных указан как None, поэтому эти оценки не позволяют судить о качестве на конкретном языке или в практических условиях. Модель предназначена для автоматического распознавания речи. Карточка не уточняет языки и сценарии применения дообученной версии. Базовая модель поддерживает более тысячи языков, но это не подтверждает, что данная настройка сохраняет поддержку всех этих языков. Лицензия — CC BY-NC 4.0; коммерческое использование не разрешено условиями этой лицензии.
TEA-ASR-1.1-mini-fmt — компактная модель автоматического распознавания речи для тайваньского мандаринского языка, разработанная как вариант TEA-ASR-1.1-mini с управляемым форматом записи числительных. Модель дообучена на базе Qwen/Qwen3-ASR-0.6B и содержит около 780 млн параметров. Она принимает аудио и транскрибирует его традиционными китайскими иероглифами, включая тайваньскую лексику. Формат числительных задаётся префиксом декодера: можно выбрать арабские цифры или запись китайскими числительными. Управление форматом даёт умеренный эффект: оно заметнее на обычной тайваньской речи и слабее на спонтанных лекциях. Модель рассчитана прежде всего на мандаринскую речь; по устойчивости к плотному переключению между китайским и английским она уступает основной версии TEA-ASR-1.1-mini. В README приведены результаты тестирования на CommonVoice, ASCEND и CSZS. Подходит для расшифровки субтитров, записей и журналов, где требуется единое оформление чисел, при ограниченных вычислительных ресурсах. Использует архитектуру Qwen3-ASR и формат весов Safetensors; для работы с моделью указана библиотека Transformers. Лицензия — MIT.
UmarRamzan/w2v2-bert-urdu — модель автоматического распознавания речи на базе Wav2Vec-BERT 2.0, дообученная на урду-разделе набора Common Voice 17. Она преобразует аудиозаписи речи на урду в текст и подходит для транскрибирования речевых данных. Модель содержит 402,7 млн параметров и использует архитектуру Wav2Vec2BertForCTC. На оценочной выборке указана WER 0,2929 и loss 0,3681. Модель распространяется под лицензией MIT; заявленные результаты относятся к указанному оценочному набору и не гарантируют такую же точность на других аудиозаписях.
keystats/w2v-bert-2.0-shona-main-best — модель автоматического распознавания речи на языке шона, разработанная Keystats на основе facebook/w2v-bert-2.0. Многоязычный речевой энкодер Wav2Vec2-BERT дообучен с символьной CTC-головой; модель содержит 402,8 млн параметров и сохраняет регистр букв и пунктуацию из обучающих транскрипций. Модель предназначена для преобразования аудио на шона в текст с регистром и пунктуацией. Она обучена на объединённом корпусе из пяти источников, включая WAXAL, и может использоваться самостоятельно с жадным декодированием или совместно с рекомендованной KenLM языковой моделью keystats/waxal-kenlm-models-best для повышения точности. Для совместного декодирования нужно использовать соответствующую варианту модели языковую модель. CTC-модель рассчитана на однонаправленную речь одного говорящего и не обрабатывает перекрывающуюся речь нескольких говорящих. Акустические условия, качество записей и диалектное покрытие отражают состав обучающих данных. Лицензия — Apache-2.0.
wav2vec2-bert-CV16-en-libri — модель распознавания речи, дообученная на базе facebook/w2v-bert-2.0 на чистой части набора LIBRISPEECH_ASR. Она использует архитектуру Wav2Vec2BertForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает английское направление по названию модели. В README приведены результаты оценки: WER 0,0708 и CER 0,0194 на оценочном наборе. Модель распространяется по лицензии MIT. Подробности о сценариях применения, контексте записи и известных ограничениях в карточке не раскрыты.
Модель MehdiHosseiniMoghadam/wav2vec2-large-xlsr-53-Czech — версия wav2vec 2.0, дообученная на чешском языке на данных Common Voice. Она преобразует аудиозаписи речи в текст и подходит для автоматической транскрибации чешской речи. Для входного аудио требуется частота дискретизации 16 кГц. Модель содержит около 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. В карточке приведён результат 27,05 % на тестовых данных Common Voice, но метрика и способ её расчёта не уточнены. Модель распространяется по лицензии Apache-2.0.
Wav2Vec2-Large-XLSR-Indonesian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на индонезийской части Common Voice. Это плотная архитектура Wav2Vec2 с CTC-выходом и примерно 402,7 млн параметров; модель принимает аудио и преобразует речь в текст. Для распознавания без языковой модели входную речь следует подавать с частотой дискретизации 16 кГц. В тесте на данных Common Voice указана оценка 25,55%; метрика в карточке не уточнена. Модель распространяется по лицензии Apache-2.0.
cahya разработал модель автоматического распознавания турецкой речи, дообучив facebook/wav2vec2-large-xlsr-53 на наборе Common Voice для турецкого языка. Модель построена на архитектуре Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на турецком языке в текст. Для работы входную речь следует подавать с частотой дискретизации 16 кГц; карточка приводит результат оценки 21,13% на тестовой части турецкого Common Voice. Доступны веса PyTorch и Flax. Лицензия — Apache-2.0.
asini/wav2vec2-timit-demo — дообученная модель распознавания речи на базе facebook/wav2vec2-base, созданная сообществом Hugging Face. Это модель архитектуры Wav2Vec2ForCTC с 113,3 млн параметров, принимающая аудио и выдающая распознанный текст. В карточке приведены результаты оценки: loss 0,4847 и WER 0,3462; подробности о наборе данных и сценариях обучения не описаны. Модель опубликована в формате PyTorch под лицензией Apache-2.0.
Baybars/wav2vec2-xls-r-1b-turkish — модель автоматического распознавания речи на турецком языке, дообученная на датасете COMMON_VOICE - TR. Она использует архитектуру wav2vec2 с классификационной головой CTC и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; в метаданных указана задача automatic-speech-recognition. На оценочной выборке указаны WER 0,4647 и CER 0,1318. Эти результаты описывают только приведённую оценку и не гарантируют качество на других данных. В README подробности о сценариях применения, обучающей выборке и ограничениях не приведены. Лицензия в доступных данных не указана.
NbAiLab/wav2vec2-xlsr-300m-norwegian2 — модель автоматического распознавания речи, опубликованная Nasjonalbiblioteket AI Lab. Она предназначена для преобразования норвежской речи в текст и может использоваться через Transformers как ASR-модель с выходом на основе CTC. По названию и размещению в коллекции NbAiLab модель ориентирована на норвежский язык, однако точная поддержка вариантов языка, состав обучающих данных и область применения в карточке модели подробно не описаны. Модель основана на архитектуре wav2vec2/XLSR и содержит около 0,3 млрд параметров; опубликованные веса имеют тип F32 и доступны в формате Safetensors. Она принимает аудио и возвращает текст, но сведения о максимальной длительности или размере контекста, точности, тестовых наборах, устойчивости к шуму и других ограничениях отсутствуют. Лицензия на странице репозитория обозначена как CC, без уточнения конкретного варианта Creative Commons; README модели пуст, поэтому условия коммерческого и иного использования требуют проверки по исходному репозиторию.
Whisper ACFT — это набор моделей автоматического распознавания речи в формате TFLite (LiteRT), разработанный на основе чекпойнтов FUTO Audio-Context Fine-Tuned Whisper. Репозиторий содержит варианты tiny, base и small для многоязычного распознавания, а также tiny.en, base.en и small.en для английского языка. Конвертацию в графы LiteRT выполнил проект LiteRT-LM-Unity; переобучения при конвертации не проводилось. Модели предназначены для локального распознавания речи, включая короткие голосовые команды и аудиофрагменты длительностью до 5, 10 или 30 секунд. В отличие от стандартного Whisper, использующего окно 30 секунд, ACFT-чекпойнты дообучены для работы с укороченными окнами и снижения проблем с повторениями на коротких входах. Каждый вариант разделён на сигнатуры encode и decode, поддерживает 80 mel-каналов и использует фиксированный размер входа: 500, 1000 или 3000 кадров для окон 5, 10 и 30 секунд соответственно. Все файлы используют динамическое квантование: int8-веса при вычислениях с fp32-активациями. Размер моделей составляет примерно 57–58 МБ для tiny, 97–99 МБ для base и 273–276 МБ для small. Многоязычные варианты имеют словарь размера 51865 и поддерживают языковые и task-токены; варианты .en используют словарь 51864 и предназначены только для английского. Сильными сторонами являются поддержка коротких аудиофрагментов, работа в LiteRT/TFLite и наличие нескольких компромиссов между размером и качеством. Ограничения включают фиксированное окно входа для каждого файла, необходимость корректно подготавливать mel-спектрограмму и отсутствие KV-cache: декодер полностью выполняется заново на каждом шаге. Модели распространяются по лицензии Apache-2.0.
Whisper Large Indonesian — модель распознавания речи на базе OpenAI Whisper Large, дообученная автором cahya на наборах mozilla-foundation/common_voice_11_0, magic_data и TITML для индонезийского языка. Она принимает аудио и преобразует речь в текст; подходит для транскрибирования записей и голосовых сообщений на индонезийском. Модель содержит около 905,2 млн параметров и распространяется в формате PyTorch. В карточке приведён результат оценки на тестовом наборе: WER 6,2483 и loss 0,2034. Модель опубликована по лицензии Apache-2.0. Подробности об условиях записи, тестовом наборе и ограничениях применения в карточке не раскрыты.
drewschaub/whisper-large-v3-japanese-4k-steps — дообученная модель автоматического распознавания речи на базе Whisper large-v3 от OpenAI. Она предназначена для транскрибации японской речи в текст и обучена на Common Voice 16.1; модель содержит 905,2 млн параметров и распространяется в формате Safetensors по лицензии Apache-2.0. Обучение продолжалось 4000 шагов на Google Colab с A100. В README указаны оценка loss 0,4057 и WER 18,2149; автор также сообщает, что validation loss и WER росли в ходе обучения, что указывает на переобучение и может ограничивать качество распознавания. Модель принимает аудио и выдаёт текст.
yuriyvnv/whisper-large-v3-mixed-cv-nl — модель распознавания речи на нидерландском языке, созданная Yuriy Vnv дообучением Whisper large-v3 от OpenAI. Это плотная модель архитектуры Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст; обучение проводилось с помощью Transformers на записях Common Voice 17.0 и синтетической речи, отфильтрованной по качеству на уровне слов. Модель рассчитана на транскрибацию чистой нидерландской речи и заявляет результаты 4,48% WER на тесте Common Voice и 17,25% WER на MLS. Она может подойти для распознавания речи в аудиозаписях и голосовых сообщениях на нидерландском; результаты на других языках и акустических условиях не описаны. Лицензия — Apache-2.0.
TalTechNLP дообучила мультиязычную модель OpenAI Whisper large-v3-turbo для автоматического распознавания речи. Обучение включало 1400 часов аудио с вручную подготовленными дословными транскрипциями на эстонском языке, около 4000 часов эстонских новостных аудиозаписей с автоматически созданными транскрипциями и контекстной подсказкой, а также около 500 часов англоязычных подкастов и видео YouTube. Модель особенно рассчитана на эстонскую речь с английскими терминами и фрагментами, например в технических подкастах. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 905,2 млн параметров. Она принимает аудио и выдаёт текст; использовать её можно через Transformers, а опубликованный вариант в формате GGML — с инструментами на базе whisper.cpp. Лицензия — MIT. Карточка не сообщает отдельные метрики качества или гарантии точности распознавания.
Это LoRA-дообучение модели OpenAI Whisper Large v3 Turbo, опубликованное annotehrushi. Модель предназначена для автоматического распознавания речи и особенно адаптирована к хинди на данных MonsoonASR. Она принимает аудио и преобразует речь в текст; в карточке также приведены результаты на англоязычных и других тестах распознавания. Адаптер обучен с параметрами LoRA r=32 и alpha=64. В README указаны результаты на бенчмарках, включая OIWER 22,82% на Monsoon hi-IN; там же сообщается о снижении показателя ошибки относительно базовой модели. В метаданных указаны форматы safetensors, библиотека Transformers и лицензия Apache-2.0. Результаты зависят от набора данных и условий оценки; на части тестов показатели после дообучения ухудшились, поэтому качество на других языках и типах речи может отличаться.
Whisper Medium Czech 2 CV11 — модель распознавания речи, дообученная автором mikr на openai/whisper-medium с использованием чешской части набора Mozilla Common Voice 11.0. Она преобразует чешскую речь в текст и предназначена для автоматической транскрибации аудио. Модель построена на архитектуре Whisper, содержит 455,8 млн параметров и распространяется в форматах PyTorch и Safetensors. На оценочной выборке указана ошибка слов WER 11,4086 и значение loss 0,2417. Лицензия — Apache-2.0. В README не описаны ограничения применения и условия оценки, кроме приведённых метрик.