I.7Речь, диалоги и встречи

facebook/wav2vec2-xls-r-2b-22-to-16 — модель перевода речи, разработанная Facebook. Это связка кодировщика и декодера: кодировщик инициализирован контрольной точкой facebook/wav2vec2-xls-r-2b, а декодер — facebook/mbart-large-50; модель дообучена на парах перевода из набора CoVoST 2. Она принимает аудио на одном из 22 исходных языков и генерирует письменный перевод на один из 16 целевых языков: английский, немецкий, турецкий, персидский, шведский, монгольский, китайский, валлийский, каталанский, словенский, эстонский, индонезийский, арабский, тамильский, латышский или японский. Подходит для перевода аудиозаписей и устных высказываний без отдельного этапа распознавания и последующего текстового перевода. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Качество может зависеть от языковой пары и характеристик аудио; карточка не приводит количественных оценок качества.

Whisper-large-et — модель автоматического распознавания речи на эстонском языке, разработанная в лаборатории языковых технологий TalTech. Она основана на openai/whisper-large-v2 и дообучена примерно на 1200 часах разнообразных эстонских аудиозаписей; архитектура Whisper содержит около 905,2 млн параметров. Модель предназначена для общего распознавания речи, включая передачи, беседы, интервью и лекции. Для запуска авторы рекомендуют faster-whisper. В тестах с жадным декодированием указана частота ошибок WER 11,3 на Common Voice 8.0 и 12,0 на Common Voice 11.0. Лицензия — CC BY 4.0. Качество может снижаться на технической и узкоспециальной лексике, детской и неродной речи, при сильном шуме или удалённом микрофоне, а также при спонтанной и перекрывающейся речи.

Карточка модели Alireza48/whisper-large-fa-v1 на Hugging Face совпадает с карточкой vhdm/whisper-large-fa-v1, поэтому описание составлено по ней. vhdm/whisper-large-fa-v1 — модель распознавания речи на архитектуре Whisper, созданная разработчиком vhdm дообучением openai/whisper-large-v3-turbo на персидских аудиозаписях из набора vhdm/persian-voice-v1.1. Модель содержит 905,2 млн параметров и предназначена для транскрибации персидской речи: голосовых заметок, подкастов, видео и интервью, а также для создания поисковых расшифровок. Она поддерживает входное аудио и выдаёт текст; для чистой персидской речи в карточке указана частота ошибок слов WER 14,07%. Модель распространяется по лицензии MIT. Обучение проводилось на чистой речи из конкретного набора данных, поэтому качество может снижаться на шумных записях, акцентах и диалектах. Модель не оптимизирована для потокового распознавания и иногда может генерировать правдоподобные, но неверные слова.

Модель gcoli/whisper-large-v3-turbo-swiss-german-mit — дообученная на швейцарско-немецких диалектах версия Whisper Large-v3-Turbo от OpenAI. Она преобразует аудиозаписи на швейцарском немецком в текст на стандартном немецком. Модель содержит около 905,2 млн параметров; адаптер LoRA обучен на материалах FHNW/i4ds с лицензией MIT и объединён с весами. Доступны веса safetensors в формате fp16 и вариант CTranslate2 float16; модель рассчитана на запуск через Transformers или faster-whisper. На тестовом наборе из 17 диалектов авторы сообщают WER 25,9% и CER 13,4%; результат лучше исходной Whisper Large-v3-Turbo на 2,8 процентного пункта WER при сопоставимой скорости. Модель подходит для транскрибации швейцарской немецкой речи, в том числе длинных записей, хотя авторы советуют отключать перенос контекста между фрагментами при обработке длинного аудио: иначе возможны ошибки и выдуманный текст. Лицензия модели — MIT, в карточке также заявлена коммерческая применимость.

Cafet/whisper-meduim-mongolian — дообученная Cafet версия мультиязычной модели OpenAI Whisper Medium для распознавания речи на монгольском языке. Модель принимает аудио и преобразует речь в текст; она основана на архитектуре Whisper и содержит 455,8 млн параметров. На оценочном наборе указаны loss 0,3098 и WER 26,8664. Модель распространяется в формате Safetensors через Transformers по лицензии Apache-2.0.

BuzzASR Bulgarian — одноязычная модель автоматического распознавания болгарской речи, разработанная как часть набора BuzzASR из 102 специализированных ASR-моделей. Она дообучена методом fine-tuning на базе openai/whisper-large-v3, использует архитектуру Whisper и содержит около 905,2 млн параметров. Модель принимает аудио и генерирует текстовую расшифровку; языковой и задачный prompt включён в конфигурацию генерации. Модель предназначена для транскрибации болгарской речи. В тестах на FLEURS и Common Voice 25 авторы сообщают CER 3,79% и WER 13,33% для FLEURS, CER 0,36% и WER 1,44% для Common Voice, а на объединённом тесте — CER 1,21% и WER 4,39%. Эти результаты относятся к указанным тестовым наборам; качество на других тематиках, в условиях шума и для диалектов может отличаться. Обучение включало FLEURS, Common Voice Corpus 25.0 и текстовые данные Goldfish. Лицензия — MIT.

Lemura Labs выпустила Gemma-4-12B-uncensored-bf16 — мультимодальную модель Google Gemma 4 на 11,95 млрд параметров, дообученную на основе google/gemma-4-12B-it. Разработчики удалили часть направлений отказа с помощью ablation toolkit; новые возможности при этом не добавлялись. Модель принимает текст, изображения, аудио и видео и предназначена для диалога, анализа мультимодальных данных, распознавания речи и перевода речи. Контекст базовой модели — 256 тысяч токенов; заявлена поддержка более 140 языков. Модель распространяется в формате bfloat16, занимает около 23,9 ГБ и работает через Transformers на CUDA и Apple Silicon MPS. В README приведена оценка на 100 вредоносных запросах: доля отказов снизилась с 99% у базовой модели до 12% у этой версии. Аудио ограничено 30 секундами, видео — 60 секундами при примерно одном кадре в секунду. Лицензия — Apache-2.0.

Heretic-Scalpel-E2B — мультимодальная чат-модель на архитектуре Gemma 4 E2B, основанная на Google Gemma 4 E2B IT и дообученная автором репозитория. Карточка заявляет, что модель работает локально и офлайн, использует около 8 ГБ оперативной памяти и поддерживает контекст до 128K токенов; эти характеристики приведены в README автора. Модель предназначена для диалога и создания текста, включая суммаризацию и ответы на вопросы, а также для анализа изображений и аудио. Она принимает текстовые, визуальные и аудиовходы и выдаёт текст; в метаданных также отмечен интерфейс вызова инструментов. README описывает ослабление исходных ограничений безопасности, поэтому модель может отвечать на запросы без прежних отказов базовой модели. Возможны фактические ошибки, пробелы в знаниях и трудности с нюансами языка или сложными задачами; ослабленные ограничения безопасности повышают риск вредоносных ответов. Язык модели не указан в метаданных. Лицензия репозитория — Apache-2.0.

KB-Whisper Medium — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab). Это дообученная версия Whisper Medium от OpenAI с 455,8 млн параметров, предназначенная прежде всего для расшифровки шведской речи в текст. Модель обучали в два этапа на более чем 50 000 часах шведской аудиозаписи с транскрипциями; для второго этапа применялись более строгие фильтры качества данных. Модель предлагает варианты транскрипции с разной степенью подробности: стандартный, более компактный для субтитров и более дословный. Авторы сообщают о снижении WER на шведской речи относительно OpenAI Whisper, однако приведённые в карточке таблицы неполны, поэтому оценить результаты именно версии Medium по ним нельзя. Доступны реализации и веса для Hugging Face, ONNX и CTranslate2, а также отдельные варианты для whisper.cpp. Модель принимает аудио и генерирует текстовую транскрипцию. Карточка указывает шведский язык; сведений о контекстном окне нет. Распространяется по лицензии Apache-2.0.

Модель yanggangu/Llama-3.2-1B-Instruct-SMAT-MeetingBank — эксперт SMAT, обученный на базе Meta Llama 3.2 1B Instruct с seed 42. Она создана в рамках метода Simple and Efficient Merge-Aware Training для сохранения качества на целевой задаче и повышения пригодности модели к объединению с другими моделями; карточка относит её к Table 1 статьи SMAT. Это плотная авторегрессионная модель семейства Llama с 1,2 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Контекстное окно — до 131 072 токенов. Лицензия — Llama 3.2; действуют соответствующие условия лицензии и политика допустимого использования Meta.

Typhoon-Audio Preview — мультимодальная аудиоязыковая модель команды Typhoon AI, выпущенная в августе 2024 года как исследовательская предварительная версия. Она принимает аудио и текст, а отвечает текстом; языки модели — тайский и английский. Языковая часть основана на llama-3-typhoon-v1.5-8b-instruct, аудиоэнкодер использует компоненты Whisper и BEATs. Модель предназначена для распознавания речи, вопросов и ответов по аудио и задач перевода между тайским и английским; в примере использования максимальная длина генерации по умолчанию — 1024 новых токена. Модель экспериментальная: она может неверно выполнять инструкции и галлюцинировать, а встроенной модерации нет. Лицензия — Llama 3 Community License.

Ming-UniAudio-16B-A3B — аудиомодель от inclusionAI для совместного понимания, генерации и редактирования речи. Она использует архитектуру BailingMM и единый непрерывный аудиотокенизатор MingTok-Audio на основе VAE и каузального Transformer, объединяющий семантические и акустические признаки. Модель принимает и выдаёт аудио; единая языковая модель поддерживает задачи понимания и генерации речи, а Diffusion Head предназначен для синтеза с высоким качеством звучания. Модель подходит для распознавания и анализа речи, синтеза аудио и редактирования речи по инструкциям на естественном языке, включая семантические и акустические изменения без ручного указания временных отрезков. В карточке заявлены конкурентные результаты на тестах понимания и генерации речи. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0. Описание не приводит размер контекста и перечень поддерживаемых языков.

Qwen3-ForcedAligner-0.6B — модель выравнивания речи и текста из семейства Qwen3-ASR, разработанного командой Qwen. Она принимает аудио и соответствующий текст и предсказывает временные метки для слов или отдельных символов, что подходит для подготовки субтитров, синхронизации транскриптов и анализа речи. По README, модель поддерживает китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки; длина аудио — до пяти минут. В метаданных указаны архитектура Qwen3ASRForConditionalGeneration, 0,6 млрд параметров в названии модели, формат safetensors и задача automatic-speech-recognition. Лицензия — Apache 2.0. README не уточняет ограничения точности, кроме предельной длины аудио.

RUPunct_big — крупная модель семейства RUPunct для расстановки пунктуации в русском тексте. Карточка называет её самой большой моделью семейства и рекомендует для большинства задач. По архитектуре это BertForTokenClassification на базе BERT с 205,5 млн параметров; модель принимает последовательность токенов и классифицирует их, используя контекст длиной до 512 токенов. Репозиторий содержит веса PyTorch. Модель предназначена для автоматического восстановления пунктуации в русском тексте, например в текстах без знаков препинания. Лицензия MIT разрешает свободное использование и модификацию с соблюдением её условий. Карточка не приводит сравнительных оценок качества или подробностей о данных обучения.

Silero VAD MLX — модель обнаружения речевой активности, преобразованная сообществом mlx-community из onnx-community/silero-vad в формат MLX. Она принимает аудиофайл и возвращает временные отметки речевых фрагментов, в том числе в секундах. Модель предназначена для выделения речи в аудиозаписях и может использоваться как этап предварительной обработки аудио.

arfik/wav2vec2-large-mms-1b-kyrgyz-colab — модель распознавания речи, дообученная на базе facebook/mms-1b-all на наборе Common Voice 17.0. Она использует архитектуру wav2vec2 с CTC-выходом и содержит 1,3 млрд параметров. Модель предназначена для преобразования кыргызской речи в текст; на указанной в карточке оценочной выборке результат WER составил 0,2312, а loss — 0,2384. Базовая модель поддерживает более тысячи языков, но эта версия настроена на кыргызский. Модель принимает аудио и выдаёт текст. Для использования весов применяется библиотека Transformers, файлы опубликованы в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

Это дообученная модель распознавания речи tomascufaro/wav2vec2-large-xls-r-300m-spanish-custom, созданная на основе facebook/wav2vec2-xls-r-300m и обученная на Common Voice. Модель использует архитектуру wav2vec2 с CTC-декодером и принимает аудио, преобразуя речь в текст; заявленная задача — автоматическое распознавание речи. На оценочной выборке указаны loss 0,4426 и WER 0,2117. Модель предназначена для распознавания испанской речи, однако подробности о варианте испанского, настройках аудио и качестве в разных условиях не приведены. Веса опубликованы в формате PyTorch, лицензия — Apache-2.0.

jonatasgrosman/wav2vec2-large-xlsr-53-french — модель распознавания французской речи от Jonatas Grosman, дообученная на базе facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель преобразует аудиозаписи французской речи в текст и рассчитана на распознавание речи с частотой дискретизации 16 кГц. В карточке описана прямая расшифровка без языковой модели; также приведены сценарии оценки на тестовой выборке Common Voice 6.0 и наборе speech-recognition-community-v2. Модель распространяется по лицензии Apache-2.0. Точность может зависеть от качества записи и отличий речи от данных Common Voice, на которых модель дообучалась.

Это модель автоматического распознавания речи на португальском языке, разработанная Jonatas Grosman. Она дообучена на базе facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1 и предназначена для преобразования португалоязычной речи в текст. Модель использует архитектуру Wav2Vec2ForCTC семейства wav2vec2 и содержит 402,7 млн параметров. Для распознавания подавайте аудио с частотой дискретизации 16 кГц. Модель можно применять для транскрибации записей и речевых данных; в README также приведены сценарии оценки на тестовой выборке Common Voice 6.0 и данных speech-recognition-community-v2. Указана лицензия Apache-2.0.

facebook/wav2vec2-xls-r-1b-21-to-en — модель перевода речи, разработанная Facebook (Meta) на основе Wav2Vec2-XLS-R. Она принимает аудио на одном из 21 языков и генерирует текстовый перевод на английский. Архитектура — SpeechEncoderDecoderModel: энкодер инициализирован из facebook/wav2vec2-xls-r-1b, декодер — из facebook/mbart-large-50; модель дообучена на парах перевода датасета CoVoST 2. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Модель подходит для перевода записей и устной речи на английский, например для обработки многоязычного аудио и демонстрационных сценариев. В карточке указаны французский, немецкий, испанский, каталанский, итальянский, русский, китайский, португальский, персидский, эстонский, монгольский, нидерландский, турецкий, арабский, шведский, латышский, словенский, тамильский, японский, индонезийский и валлийский как исходные языки. Карточка также предлагает оценивать модель на CoVoST 2, но не приводит численные результаты. Модель ориентирована на перевод только в английский; качество может зависеть от языка, акцента и условий записи.

primeline/whisper-large-v3-german — модель распознавания речи на основе Whisper Large v3, дообученная Флорианом Циммермайстером для немецкой речи. Она преобразует аудио на немецком языке в текст и рассчитана на транскрибирование речи, создание субтитров, голосовой поиск, голосовые команды и диктовку. Модель использует архитектуру WhisperForConditionalGeneration; в метаданных указано 905,2 млн параметров. Репозиторий содержит веса safetensors, для работы используется Transformers. Данные README указывают на обучение на отобранных аудиозаписях немецкой речи в течение двух эпох. Модель распространяется по лицензии Apache-2.0. Описание не приводит результатов оценки качества или подробностей о происхождении и лицензировании обучающих данных, поэтому качество на разных акцентах, в шуме и в специализированных сценариях по этим сведениям оценить нельзя.

Это модель автоматического распознавания речи на основе Whisper large-v3 от OpenAI, дообученная командой gcoli для транскрибирования швейцарского немецкого на стандартный немецкий. LoRA-адаптер обучили на материалах FHNW/i4ds и объединили с базовыми весами; модель содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст. В карточке приведены результаты проверки на тестовом наборе из 5750 записей, охватывающем 17 диалектов: итоговый WER составляет 24,7%, CER — 12,7%. Для запуска доступны форматы safetensors и CTranslate2, совместимые с Transformers и faster-whisper. Модель предназначена для транскрибации швейцарских немецких диалектов в стандартный немецкий, в том числе в коммерческих сценариях. Для длинных записей рекомендуется отключать перенос контекста между фрагментами: иначе модель может добавлять вымышленный текст; на записях около 15 минут качество также может быть ниже, чем при распознавании отдельных коротких фрагментов. Лицензия модели — MIT; в карточке также указано, что базовая модель распространяется по Apache-2.0, а обучение выполнено на материалах с лицензией MIT.

Карточка модели bybb138/whisper-large-v3-turbo-korean на Hugging Face совпадает с карточкой ghost613/whisper-large-v3-turbo-korean, поэтому описание составлено по ней. ghost613/whisper-large-v3-turbo-korean — дообученная модель Whisper Large V3 Turbo для автоматического распознавания корейской речи и преобразования её в текст. Она создана на основе openai/whisper-large-v3-turbo и обучена на корейском наборе данных Zeroth; в обучающей выборке было около 206 часов 43 минут аудио. Модель содержит около 905,2 млн параметров и принимает аудио, выдавая текст. В README указаны итоговые показатели WER 4,90% на валидации и 4,89% на тесте, а CER — 1,78% и 2,06% соответственно. Автор отмечает, что обучение не сошлось и дальнейшее улучшение результатов возможно. Модель опубликована в формате safetensors; условия лицензии в предоставленных данных не описаны.

zuazo/whisper-medium-es — модель распознавания речи, созданная дообучением openai/whisper-medium на испанской части набора Mozilla Common Voice 13.0. Она принимает аудио и генерирует текст; предназначена прежде всего для транскрибации испанской речи. Архитектура — Whisper, плотная модель с 455,8 млн параметров. На оценочном наборе указаны loss 0,1915 и WER 5,4088. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0, которая разрешает использование, изменение и распространение с указанием авторства.

arbml/whisper-small-cv-ar — модель распознавания речи, созданная Zaid Alyafeai дообучением openai/whisper-small на наборе Common Voice 11.0. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров; она принимает аудио и преобразует арабскую речь в текст. На оценочной выборке указаны loss 0,3509 и WER 22,3838. Модель распространяется по лицензии Apache-2.0.

zuazo/whisper-small-es — дообученная модель распознавания речи на основе openai/whisper-small, созданная на датасете испанской речи Common Voice 13.0. Она предназначена для преобразования испанской речи в текст. Архитектура — WhisperForConditionalGeneration; модель содержит 153,1 млн параметров и работает с аудио на входе. В README для оценки на тестовой выборке указаны Loss 0,2212 и WER 8,2668. Модель распространяется по лицензии Apache-2.0, разрешающей использование, изменение и распространение с указанием авторов.

qmeeus/whisper-small-multilingual-spoken-ner-pipeline-step-1 — дообученная модель на основе Whisper Small от OpenAI для извлечения именованных сущностей из речи. Она предназначена для конвейеров spoken NER: модель принимает аудио и формирует текстовый результат с распознанными сущностями. Дообучение выполнено на немецкой, испанской, французской и нидерландской частях датасета facebook/voxpopuli; размер модели — 153,1 млн параметров, веса сохранены в формате safetensors. В README приведены метрики оценки: F1 0,6260, Label F1 0,8282 и WER 0,1170. Модель подходит для извлечения сущностей из речи на языках обучающих данных. Метаданные указывают лицензию Apache-2.0. Оценочные метрики отражают результаты на указанной в карточке выборке и сами по себе не гарантируют качество на других данных или языках.

TalTechNLP/xls-r-300m-et — модель распознавания эстонской речи, разработанная в Лаборатории языковых технологий TalTech. Это модель семейства wav2vec 2.0 с архитектурой Wav2Vec2ForCTC, дообученная на основе facebook/wav2vec2-xls-r-300m примерно на 800 часах эстонских аудиоданных. В репозитории указано 402,9 млн параметров; модель принимает аудио и преобразует речь в текст. Модель предназначена для распознавания эстонской речи в передачах, интервью, выступлениях и других общих сценариях. Она включает CTC-модель без отдельной языковой модели. В README приведены результаты WER: 7,9 на jutusaated.devset, 6,1 на jutusaated.testset и 12,5 на Common Voice 6.1. Качество может быть ниже при распознавании технической и узкоспециальной лексики, детской или неродной речи, сильном шуме, удалённом микрофоне, спонтанной и перекрывающейся речи. Лицензия — CC BY 4.0.

Sunbird/asr-whisper-51-african-languages — модель распознавания речи Sunbird, созданная на основе Whisper large-v3 и объединённая с другими вариантами Whisper, включая huwenjie333/whisper-v3-ft-af51. Она предназначена для транскрибации речи на 51 африканском языке, включая суахили, хауса, йоруба, зулу, амхарский, а также английский и французский с африканскими акцентами. Модель дообучена на многоязычном корпусе из открытых и собранных сообществом наборов речевых данных. Карточка сообщает о сравнении с несколькими другими системами распознавания и о более низких WER и CER на большинстве проверенных языков, особенно на некоторых низкоресурсных языках; эти результаты относятся к описанным в README тестовым выборкам. Это предварительная версия: веса, поведение и качество могут измениться, поэтому авторы не рекомендуют закреплять этот чекпойнт в производственных системах. Для Whisper указано ограничение входного аудио до 30 секунд в описанном протоколе оценки. Лицензия — Apache-2.0.

Audio Flamingo Next Captioner — модель NVIDIA для подробного описания длинных аудиозаписей с речью, окружающими звуками и музыкой. Она формирует развернутые подписи, сводки и описания событий с временными метками, а также может включать точную расшифровку речи нескольких говорящих. Модель принимает аудио длительностью до 30 минут; процессор ожидает монофонический звук с частотой 16 кГц и обрабатывает его окнами по 30 секунд. Архитектура сочетает аудиокодировщик AF-Whisper, адаптер MLP, текстовую основу семейства Qwen2.5 с расширенным контекстом и RoTE для привязки к временным отметкам. В метаданных указаны архитектура MusicFlamingo, библиотека Transformers и формат safetensors; карточка описывает контекст до 128K токенов, тогда как метаданные указывают 1200 токенов. Модель предназначена для плотных, связных описаний и сводок аудио, разбивки сцены по времени и описания речи, звуковых событий и фона. Она может быть многословной и ориентирована на подписи, а не на поведение ассистента; для диалоговых ответов и явных рассуждений автор рекомендует другие варианты семейства. Ограничения включают неравномерное покрытие языков и предметных областей, слабое представление низкоресурсных языков и редких событий, а также трудности рассуждений по разреженным данным на большом временном интервале. Лицензия — other; автор указывает, что модель предназначена только для некоммерческих исследований.