I.7Речь, диалоги и встречи

ctaguchi/ssc-bxk-model — модель автоматического распознавания речи, разработанная дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст; в карточке не уточняются поддерживаемые языки и формат входного аудио. На оценочном наборе указаны значения Loss 1,4388, CER 0,2469 и WER 0,8253. Датасет, сценарии применения и дополнительные ограничения в карточке не описаны. Модель распространяется под лицензией Apache-2.0.

ssc-led-model — модель распознавания речи, дообученная на базе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, чтобы преобразовывать речь в текст. В README приведены результаты оценки: loss 1,4926, CER 0,3156 и WER 0,7297. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. Язык распознавания, обучающий набор данных и предполагаемые сценарии использования в карточке не уточнены.

ctaguchi/ssc-tob-mms-model-mix-adapt-max — дообученная модель автоматического распознавания речи на основе facebook/mms-1b-all. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2 с CTC-выходом, размер — 1,3 млрд параметров. Базовая модель поддерживает более тысячи языков, но язык и состав данных, на которых дообучена эта версия, не указаны. В карточке приведены результаты оценки: CER 0,1791 и WER 0,6105. Эти метрики указывают на ошибки распознавания, однако без описания набора данных и протокола оценки их нельзя напрямую переносить на другие условия. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

ssc-top-mms-model-mix-adapt-max — дообученная модель распознавания речи на основе facebook/mms-1b-all. Она использует архитектуру wav2vec2 с CTC-декодированием и принимает аудио, преобразуя речь в текст. В карточке приведены результаты оценки: loss 0,7289, CER 0,1445 и WER 0,5792; набор данных и условия оценки не описаны. Базовая MMS поддерживает более тысячи языков, однако языки и сценарии, на которых проверялась эта дообученная версия, не уточнены. Модель содержит 1,3 млрд параметров, работает через Transformers и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Step-Audio-R1.1 — аудиодиалоговая модель StepFun для интерактивного общения с низкой задержкой и рассуждениями во время речи. Архитектура StepAudio2ForCausalLM использует два компонента: один отвечает за формирование рассуждений, другой — за речевое взаимодействие; модель опирается на акустические представления, а не только на текст транскрипции. В README приведена конфигурация обслуживания с контекстом до 16 384 токенов. Модель предназначена для разговорных сценариев, где нужны быстрые ответы на речь и выполнение сложных рассуждений в реальном времени. Для развёртывания описаны Linux, Python 3.10 или новее, NVIDIA GPU с CUDA и специальная сборка vLLM; также доступен API StepFun Audio Studio. Репозиторий содержит веса safetensors, лицензия — Apache-2.0. README не приводит языки или оценку требуемых ресурсов для иных конфигураций.

Модель Harveenchadha/vakyansh-wav2vec2-hindi-him-4200 — модель распознавания речи на базе Wav2Vec2ForCTC, разработанная командой Vakyansh при Ekstep. Она дообучена на многоязычной предварительно обученной модели CLSRIL-23 и предназначена для преобразования речи на хинди в текст. Обучение проводилось на 4200 часах размеченных аудиоданных на хинди. Модель содержит около 113,3 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Она выдаёт распознанный текст на хинди; языковая модель для декодирования не используется. В тесте на данных Common Voice для хинди указано значение 33,17%, но README не уточняет метрику, поэтому этот результат следует интерпретировать осторожно. Размеченные обучающие данные не опубликованы. Лицензия модели — MIT.

P2Enjoy/VibeVoice-ASR-BitNet-slim — облегчённая GGUF-перепаковка модели распознавания речи Microsoft VibeVoice-ASR-BitNet. Разработчик удалил из весов дублирующую матрицу выходной проекции: повторно обучение не проводилось, а основная тернарная часть трансформера сохранена. Размер языковой модели сократился примерно с 993 до 526 МБ, общий размер весов — с 1,70 до 1,23 ГБ. Модель предназначена для транскрибации аудио, в том числе длинных записей на фрагментах примерно по 60 секунд. Карточка приводит оценки для английского, французского, итальянского, португальского, испанского и немецкого; исходная модель обучалась также на китайском, корейском и вьетнамском. Перепаковка почти не изменила точность относительно исходных весов, однако на коротких клипах в приведённом сравнении Whisper точнее. Лицензия — MIT. При обработке аудио длиннее примерно 80 секунд за один проход модель может преждевременно завершить распознавание и отбросить остаток записи, поэтому длинные материалы следует делить на части. Модель не выполняет диаризацию и не выдаёт метки говорящих; качество заметно зависит от языка и типа речи.

Yehor/w2v-xls-r-uk — модель автоматического распознавания украинской речи от автора Yehor, дообученная на основе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC семейства wav2vec2, содержит 402,7 млн параметров и принимает аудио, преобразуя его в текст. В метаданных указан датасет Common Voice 10.0 для украинского языка. Модель подходит для транскрибации украинской речи и распознавания записей. В карточке приведены результаты оценки: WER 20,24% и CER 3,64%; для оценки использовались float16 и batch_size=1. README предупреждает, что следует использовать обновлённую модель. Модель опубликована под лицензией Apache-2.0.

facebook/wav2vec2-base-10k-voxpopuli-ft-de — модель распознавания речи на базе Wav2Vec2 от Facebook AI. Сначала её предварительно обучили на 10 тысячах часов неразмеченной речи из VoxPopuli, затем дообучили на расшифрованных немецкоязычных данных из этого корпуса. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров. Модель принимает аудио и преобразует немецкую речь в текст. Она предназначена для автоматической транскрибации немецкой речи, включая обработку записей и аудиоданных в приложениях распознавания речи. Для использования указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое применение.

Lguyogiro/wav2vec2-large-mms-1b-azz-adapter-ilv-all_data — дообученная на наборе audiofolder модель распознавания речи, созданная на основе facebook/mms-1b-all. Она использует архитектуру wav2vec2 с классификационной головой CTC и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; базовая модель поддерживает более тысячи языков, но язык или языки, на которых рассчитан этот конкретный чекпойнт, в доступных данных не определены. На тестовом наборе указаны WER 0,2867 и CER 0,0886. Эти значения описывают результаты только на данном наборе и не гарантируют качество на других аудиозаписях. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Модель facebook/wav2vec2-large-robust-ft-swbd-300h — акустическая модель распознавания речи на архитектуре Wav2Vec2 Large Robust с CTC-выходом. Её разработала Facebook; модель дообучена на 300 часах телефонных разговоров из корпуса Switchboard после предобучения на Libri-Light, Common Voice, Switchboard и Fisher. Размер модели — 402,7 млн параметров. Модель предназначена для преобразования речи в текст, прежде всего телефонных разговоров на английском языке. Для входного аудио требуется частота дискретизации 16 кГц. Доступны веса PyTorch, лицензия Apache-2.0. Карточка не приводит результатов оценки качества и не описывает работу с другими языками или шумовыми условиями за пределами перечисленных корпусов.

aware-ai/wav2vec2-large-xlsr-53-german-with-lm — акустическая модель распознавания речи на базе Wav2Vec2 XLSR-53, дополненная языковой моделью KenLM. Она предназначена для преобразования немецкой речи в текст; в карточке приведена оценка на тестовой части Common Voice: WER около 5,75% и CER около 1,90%. Архитектура модели — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст на немецком языке. В README указано, что акустическая часть скопирована с модели jonatasgrosman и для неё обучена соответствующая языковая модель KenLM. Файлы доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

Модель jonatasgrosman/wav2vec2-large-xlsr-53-italian — версия wav2vec 2.0 XLSR-53, дообученная Jonatas Grosman для распознавания итальянской речи. Она принимает аудио и преобразует его в текст; модель обучалась на обучающей и валидационной выборках Common Voice 6.1 и предназначена для автоматического распознавания речи на итальянском языке. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Для входной речи требуется частота дискретизации 16 кГц; распознавание возможно без отдельной языковой модели. Репозиторий содержит веса PyTorch и Flax. Модель подходит для транскрибирования записей и оценки систем распознавания итальянской речи. Качество зависит от акустических условий и соответствия речи обучающим данным; README приводит наборы для оценки, но не сообщает численных результатов. Лицензия — Apache-2.0.

facebook/wav2vec2-large-xlsr-53-spanish — модель распознавания испанской речи, опубликованная Facebook. Она основана на архитектуре Wav2Vec2 и имеет около 402,7 млн параметров. Модель принимает аудио и выдаёт текстовую транскрипцию; в карточке указана оценка 17,6% на тестовой части Common Voice для испанского языка. Модель предназначена для автоматической транскрипции испанской речи, например записей и голосовых сообщений. Доступны веса в форматах PyTorch и Flax. Лицензия — Apache 2.0. README сообщает результат оценки, но не уточняет, какой именно метрикой он измерен.

Edresson/wav2vec2-large-xlsr-coraa-portuguese — дообученная Edresson модель распознавания речи на базе архитектуры wav2vec 2.0. Она использует вариант Wav2Vec2ForCTC с 402,7 млн параметров и обучена на португальском корпусе CORAA. Модель предназначена для преобразования португальской речи в текст, например при расшифровке записей. Для использования доступны веса PyTorch и библиотека Transformers. README отсылает к статье о CORAA за результатами, но не приводит численных оценок качества. Лицензия — Apache-2.0.

Wav2Vec2-Large-XLSR-Indonesian — модель распознавания речи, созданная Cahya и дообученная на базе facebook/wav2vec2-large-xlsr-53 на индонезийской части Common Voice. Она преобразует аудиозапись речи в текст и рассчитана на распознавание индонезийской речи; входное аудио должно иметь частоту дискретизации 16 кГц. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Доступны веса PyTorch и Flax. В карточке приведён результат оценки 25,86% на тестовых данных Common Voice, но метрика не уточнена. Модель распространяется по лицензии Apache-2.0.

Andrew McDowell дообучил wav2vec2-xls-r-1b для автоматического распознавания немецкой речи на наборе MOZILLA-FOUNDATION/COMMON_VOICE_8_0, конфигурация DE. Модель использует архитектуру wav2vec2 с классификационной головой CTC; в метаданных указано 1,3 млрд параметров и формат PyTorch. Для тестовой выборки Common Voice 8.0 автор сообщает значение WER 0,1532 и loss 0,1355. Модель подходит для преобразования немецкой речи в текст, например для транскрибации записей и оценки систем распознавания на немецком языке. Она принимает аудио и выдаёт текст. Лицензия — Apache-2.0.

NbAiLab/wav2vec2-xls-r-1b-npsc-bokmaal — дообученная модель распознавания речи на базе facebook/wav2vec2-xls-r-1b, созданная NbAiLab на датасете NbAiLab/NPSC, подвыборке 16K_mp3_bokmaal. Модель использует архитектуру wav2vec2 с CTC-декодированием, принимает аудио и преобразует речь в текст. В метаданных указано 1,3 млрд параметров; веса представлены в формате PyTorch. Модель предназначена для автоматической транскрипции речи на норвежском букмоле. Для оценки на тестовой выборке автор приводит WER 0,0966 и loss 0,1598. Лицензия — Apache-2.0. Подробности о других условиях записи, поддерживаемых языках и ограничениях применения в карточке не приведены.

Jonatas Grosman подготовил модель распознавания испанской речи, дообучив facebook/wav2vec2-xls-r-1b на обучающих и проверочных выборках Common Voice 8.0, MediaSpeech, Multilingual TEDx, Multilingual LibriSpeech и VoxPopuli. Это плотная модель Wav2Vec2ForCTC на 1,3 млрд параметров для автоматического преобразования речи в текст; она принимает аудио, записанное с частотой дискретизации 16 кГц, и предназначена для испанского языка. Модель подойдёт для транскрибации испанской речи в аудиозаписях и оценки систем распознавания речи. Для работы нужны веса PyTorch; модель распространяется по лицензии Apache-2.0. Карточка не приводит численных результатов оценки качества.

shahukareem/wav2vec2-xls-r-300m-dv — модель распознавания речи на архитектуре Wav2Vec2ForCTC, разработанная на основе facebook/wav2vec2-xls-r-300m и дообученная на Common Voice. Она принимает аудио и преобразует речь в текст; на указанном в карточке наборе оценки достигла WER 0,2451 и loss 0,2206. Модель содержит около 402,7 млн параметров и опубликована в формате PyTorch. Модель предназначена для автоматического распознавания речи. В карточке не приведены сведения о поддерживаемых языках, контексте применения или специальных сценариях. Распространяется по лицензии Apache-2.0; качество распознавания за пределами указанной оценки не описано.

Xenova/whisper-base.en — версия модели OpenAI Whisper base.en, подготовленная сообществом Xenova в формате ONNX для работы с библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и транскрибации аудио на английском языке, в том числе непосредственно из JavaScript-приложений и веб-среды. Ключевая особенность модели — ONNX-веса, обеспечивающие совместимость с Transformers.js и сценариями веб-инференса. README не содержит точных сведений о размере модели, архитектуре, длине контекста, поддерживаемых модальностях помимо аудио или количественных показателях качества. Сильной стороной является удобная интеграция с JavaScript и возможность обработки аудио по URL; ограничением выступает специализация на английской речи и зависимость от поддержки ONNX и Transformers.js. Модель распространяется по лицензии Apache-2.0.

Youssef1234/whisper-base-en-early-stopping — дообученная модель автоматического распознавания речи на базе Whisper, разработанная автором репозитория Youssef1234. Модель содержит 51,7 млн параметров и предназначена для преобразования аудио в текст; в метаданных указан тип архитектуры WhisperForConditionalGeneration и формат весов Safetensors. На тестовом наборе автор сообщает значение loss 0,3698 и WER 17,4910. Набор данных и подробности оценки не описаны, поэтому эти результаты нельзя уверенно переносить на другие условия. Модель выпущена по лицензии Apache-2.0.

ovsyannikovls/whisper-base-ru — модель распознавания речи семейства Whisper, дообученная автором репозитория на неизвестном наборе данных. Она предназначена для преобразования аудиозаписей в текст; карточка приводит результат оценки WER 33,1041, но не описывает тестовый набор и условия измерения. Модель распространяется в формате Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Подробности о данных обучения, поддерживаемых языках, контекстном окне и сценариях применения в карточке не приведены.

BauyrjanQ/whisper-kk — модель распознавания речи на базе Whisper-small от OpenAI, дообученная для автоматического преобразования речи в текст. Она подходит для транскрибирования аудио; в README приведена оценка WER 24,8145 на тестовом наборе, однако датасет и условия оценки не описаны. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и формат PyTorch. Репозиторий создан 7 июля 2023 года. Лицензия — Apache-2.0.

anuragshas/whisper-large-v2-bg — модель распознавания речи, дообученная на базе Whisper Large-v2 на болгарской части набора Mozilla Common Voice 11.0. Она преобразует болгарскую речь в текст и подходит для транскрибирования аудиозаписей. Архитектура — WhisperForConditionalGeneration, число параметров — около 905,2 млн; для обучения использована библиотека Transformers, веса представлены в формате PyTorch. На тестовой выборке указана WER 13,404 и loss 0,3208. Модель распространяется по лицензии Apache-2.0.

adriszmar/whisper-large-v3-turbo-es — дообученная модель распознавания речи, созданная на основе openai/whisper-large-v3-turbo и адаптированная к испанскому языку на испанской части Common Voice 17.0. Она использует архитектуру WhisperForConditionalGeneration и содержит 905,2 млн параметров; работает с аудио и выдаёт текстовую транскрипцию. Модель предназначена для распознавания испанской речи. На тестовой выборке Common Voice 17.0 её показатель WER составил 5,34% против 6,91% у базовой модели. Результат относится к этой выборке и не гарантирует такую же точность на других аудиозаписях. Модель распространяется по лицензии MIT.

Это версия Whisper Large v3 Turbo, дообученная для распознавания немецкой речи. Модель разработана на основе primeline/whisper-large-v3-german; автор карточки — Florian Zimmermeister. Репозиторий содержит конверсию CTranslate2 для использования в совместимых системах, например faster-whisper. В метаданных указана библиотека Transformers, а README описывает формат CTranslate2. Модель преобразует немецкую речь в текст и подходит для транскрибации, создания субтитров, голосового управления, голосового поиска и диктовки. В README для варианта Turbo указано 809 млн параметров. Приведены оценки WER на немецких наборах данных: модель показывает результаты, близкие к базовой дообученной модели, но уступает ей на некоторых тестах. Лицензия — Apache-2.0.

crossdelenna/whisper_med_alex.en — дообученная модель распознавания речи на базе Whisper, опубликованная пользователем crossdelenna. Она предназначена для преобразования аудио в текст; название указывает на английскую версию, а карточка сообщает о дообучении на наборе данных, который не описан. Архитектура — WhisperForConditionalGeneration, размер — 455,8 млн параметров; для работы используется Transformers, веса опубликованы в формате safetensors. В README приведён результат оценки WER 5,3233 и loss 0,0002, однако набор данных и условия оценки не раскрыты, поэтому эти цифры не позволяют надёжно судить о качестве на других аудиозаписях. Модель распространяется по лицензии Apache-2.0.

NavAI · whisper-medium-uzbek — модель автоматического распознавания узбекской речи, созданная NavAI дообучением openai/whisper-medium на 753 часах аудио с человеческими расшифровками. Архитектура WhisperForConditionalGeneration, формат Safetensors; метаданные каталога указывают 455,8 млн параметров. README также называет размер 769 млн, поэтому точный размер в источниках расходится. Модель предназначена для преобразования узбекской речи в текст. Она обучена на Common Voice, FLEURS и Uzbek Speech Corpus, а тестовые наборы исключены из обучения. Для лучшего распознавания рекомендуется явно задавать язык uz; типичный вывод — узбекский текст латинским письмом. Обработка выполняется окнами по 30 секунд, длинные записи разбиваются на фрагменты. В README приведены результаты оценки на четырёх отложенных узбекских тестовых наборах и описана единая методика декодирования и нормализации. Слабее обрабатываются редкие иностранные имена, шумная дальняя запись и выраженные диалекты. Лицензия модели — Apache-2.0; для данных Uzbek Speech Corpus требуется атрибуция по CC BY 4.0.

Xenova/whisper-small — версия модели Whisper-small, разработанной OpenAI, подготовленная сообществом Xenova для использования в Transformers.js. Репозиторий содержит веса в формате ONNX, совместимые с JavaScript-библиотекой Transformers.js и ориентированные на запуск в веб-среде и других JavaScript-приложениях. Модель предназначена прежде всего для автоматического распознавания речи и транскрибации аудио, в том числе аудиофайлов, доступных по URL. Исходная модель openai/whisper-small является аудиомоделью; однако в README не указаны её архитектурные параметры, количество параметров, поддерживаемые языки и максимальная длина контекста. Использование ONNX обеспечивает совместимость с Transformers.js, но конкретные требования к производительности и окружению не приведены. Лицензия модели указана как Apache-2.0. К ограничениям относятся отсутствие в README подробных сведений о качестве распознавания, языковых особенностях, аппаратных требованиях и известных сценариях ошибок. Репозиторий с ONNX-весами описан как временное решение до более широкого распространения WebML.