I.9Аудио и музыка

mitkaj/w2v2BERT-CZ-CV-17.0 — модель распознавания чешской речи, созданная дообучением facebook/w2v-bert-2.0 разработчиком mitkaj. Она использует архитектуру Wav2Vec2BertForCTC и CTC-обучение на наборе Czech Common Voice; словарь модели содержит 51 токен. Модель принимает аудио и выдаёт текстовую транскрипцию на чешском языке. Модель предназначена для автоматического распознавания чешской речи, в том числе записей, похожих на данные Common Voice. В карточке указана оценка WER 5,83% на чешском тестовом наборе. Число параметров — около 402,7 млн. Длина контекста не указана в доступных материалах. Лицензия — MIT.

Yehor/w2v-bert-uk-v2.1 — модель автоматического распознавания украинской речи, разработанная на основе facebook/w2v-bert-2.0 и дообученная на датасете Yehor/openstt-uk. Она принимает аудио и преобразует речь в текст; опубликована в формате safetensors и рассчитана на использование через библиотеку Transformers. Размер модели — 402,7 млн параметров. В карточке приведены метрики на тестовом наборе: WER 17,34% и CER 3,33%. Модель распространяется по лицензии Apache-2.0.

sanchit-gandhi/wav2vec2-2-bart-large-cnn — модель распознавания речи на архитектуре SpeechEncoderDecoderModel, обученная с нуля на наборе LibriSpeech ASR. Она преобразует аудио в текст и предназначена для автоматической транскрипции речи. В карточке приведён результат на оценочной выборке: WER 0,1042 и loss 0,3524. Модель опубликована в формате PyTorch. Лицензия и подробности об ограничениях в доступных данных не указаны.

jonatasgrosman/wav2vec2-large-xlsr-53-polish — модель распознавания польской речи, разработанная Jonatas Grosman как дообучение facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1. Это плотная модель архитектуры wav2vec2 с 402,7 млн параметров и выходной головой CTC; доступны веса PyTorch и Flax. Модель принимает аудио и преобразует речь на польском языке в текст. Для подачи аудио требуется частота дискретизации 16 кГц. Она предназначена для автоматического распознавания речи, в том числе записей, подобных материалам Common Voice. Модель распространяется по лицензии Apache-2.0. Карточка демонстрирует применение без языковой модели и перечисляет оценки на тестовой выборке Common Voice 6.0 и наборе speech-recognition-community-v2; конкретные показатели в предоставленном фрагменте отсутствуют.

Wav2Vec2-mBART-50-Ru — русскоязычная модель распознавания речи, разработанная на основе Wav2Vec2-Large-Ru-Golos и mBART-large-50. Она преобразует аудио с русской речью в текст с пунктуацией и заглавными буквами. Архитектура — SpeechEncoderDecoderModel: Wav2Vec2 служит аудиокодировщиком, а mBART — декодером текста. Модель дообучена на размеченных корпусах SberDevices Golos, русской части Common Voice 6.0, Sova RuDevices и части Russian Librispeech. Она подходит для транскрибации русской речи, в том числе записанной в дальней зоне. Для входного аудио требуется частота дискретизации 16 кГц. Модель распространяется по лицензии Apache-2.0.

wav2vec2-xls-r-1b-scandinavian-E2-100h-30-epochs-20250123 — дообученная Davidilag модель распознавания речи на базе facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст. В README приведены результаты на оценочном наборе: WER 21,627 и CER 4,5904; набор данных и условия оценки не описаны, поэтому эти значения нельзя уверенно переносить на другие записи. Модель предназначена для автоматической транскрипции речи. В метаданных указаны 1,3 млрд параметров, библиотека Transformers и формат safetensors. Лицензия — Apache-2.0. Язык или языки дообучения из карточки установить нельзя.

WAXAL-mlg_asr-w2v-bert-2.0 — модель автоматического распознавания речи, созданная дообучением facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2BertForCTC и содержит 402,7 млн параметров; модель принимает аудио и преобразует речь в текст. В карточке приведены результаты оценки: CER 0,2007 и loss 0,8135, однако набор данных и условия оценки не описаны. Модель распространяется в формате Safetensors по лицензии MIT.

Карточка модели Jinstudio/whisper-base.en на Hugging Face совпадает с карточкой openai/whisper-base.en, поэтому описание составлено по ней. Whisper base.en — англоязычная модель автоматического распознавания речи, разработанная OpenAI. Это плотная модель Transformer типа encoder-decoder с архитектурой WhisperForConditionalGeneration; в репозитории указано 51,7 млн параметров. Она преобразует английскую речь в текст и предназначена для расшифровки аудио, в том числе длинных записей: базовая обработка рассчитана на фрагменты до 30 секунд, а конвейер Transformers с разбиением на фрагменты позволяет работать с более длинными записями и получать временные метки. Модель обучена на больших массивах аудио с транскрипциями и рассчитана на распознавание английской речи. Она показывает устойчивость к акцентам, шуму и специализированной лексике, но может добавлять слова, которых нет в аудио, повторять фрагменты и ошибаться на отдельных голосах и условиях записи. Лицензия — Apache 2.0.

Whisper base.en — англоязычная модель автоматического распознавания речи, разработанная OpenAI. Это плотная модель Transformer типа encoder-decoder с архитектурой WhisperForConditionalGeneration; в репозитории указано 51,7 млн параметров. Она преобразует английскую речь в текст и предназначена для расшифровки аудио, в том числе длинных записей: базовая обработка рассчитана на фрагменты до 30 секунд, а конвейер Transformers с разбиением на фрагменты позволяет работать с более длинными записями и получать временные метки. Модель обучена на больших массивах аудио с транскрипциями и рассчитана на распознавание английской речи. Она показывает устойчивость к акцентам, шуму и специализированной лексике, но может добавлять слова, которых нет в аудио, повторять фрагменты и ошибаться на отдельных голосах и условиях записи. Лицензия — Apache 2.0.

Whisper Small Italian — модель распознавания речи на архитектуре Whisper, дообученная автором whispy на базе openai/whisper-base на наборе Common Voice 11.0. Она преобразует итальянскую речь в текст и подходит для транскрибирования записей и голосовых сообщений. Модель содержит 153,1 млн параметров; доступные веса представлены в формате PyTorch. На оценочной выборке указаны loss 0,1185 и WER 17,3916. Лицензия — Apache-2.0.

primeline/whisper-large-v3-german — модель распознавания речи на основе Whisper Large v3, дообученная Флорианом Циммермайстером для немецкой речи. Она преобразует аудио на немецком языке в текст и рассчитана на транскрибирование речи, создание субтитров, голосовой поиск, голосовые команды и диктовку. Модель использует архитектуру WhisperForConditionalGeneration; в метаданных указано 905,2 млн параметров. Репозиторий содержит веса safetensors, для работы используется Transformers. Данные README указывают на обучение на отобранных аудиозаписях немецкой речи в течение двух эпох. Модель распространяется по лицензии Apache-2.0. Описание не приводит результатов оценки качества или подробностей о происхождении и лицензировании обучающих данных, поэтому качество на разных акцентах, в шуме и в специализированных сценариях по этим сведениям оценить нельзя.

Rziane/whisper-medium-aeb_TunCS — дообученная модель OpenAI Whisper medium для автоматического распознавания речи и преобразования аудио в текст. Она основана на openai/whisper-medium, имеет архитектуру WhisperForConditionalGeneration и содержит 455,8 млн параметров. Модель опубликована в формате safetensors и использует библиотеку Transformers. В карточке приведены результаты оценки: loss 0,5447 и WER 29,5377. Данные обучения и подробности о целевом языке или наборе данных не раскрыты, поэтому нельзя уточнить, для какой именно речи адаптирована модель. Лицензия — Apache-2.0.

Whisper medium.en — англоязычная модель распознавания речи от OpenAI, представленная в исследовании по устойчивому распознаванию речи на основе масштабного слабого обучения. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и 455,8 млн параметров. Модель обучена на 680 тысячах часов размеченной речи и принимает аудио, выдавая текстовую расшифровку на английском языке. Модель подходит для транскрибирования английской речи, в том числе записей с акцентами, фоновым шумом и технической лексикой. Базовая обработка рассчитана на аудиофрагменты до 30 секунд; с чанкингом в Transformers можно обрабатывать записи произвольной длительности и получать временные метки. Чекпойнт использует только английский язык и не предназначен для многоязычного распознавания или перевода речи. Модель демонстрирует хорошую устойчивость, но может добавлять слова, которых нет в аудио, повторять текст и ошибаться; качество зависит от акцента и условий записи. Распространяется по лицензии Apache-2.0.

Модель dianavdavidson/whisper-medium_iv_hindi_vaani_62509_ratio_alldata_lr_1e-4_lgid_None_mixratio_0.75_FT — дообученная версия Whisper Medium от OpenAI для автоматического распознавания речи. Она принимает аудио и генерирует текст; название указывает на настройку для Hindi, но карточка не описывает состав обучающих данных или условия записи. В оценке указаны loss 0,3762 и Global WER 28,5523. Модель построена на Whisper Medium с архитектурой WhisperForConditionalGeneration, содержит около 455,8 млн параметров и распространяется в формате safetensors. Лицензия — Apache-2.0.

whisper-small-alif — дообученная на датасете audiofolder модель распознавания речи на основе openai/whisper-small. Она предназначена для преобразования аудио в текст; карточка сообщает о результате WER 0,0 на оценочном наборе, но не описывает его состав, поэтому этот показатель нельзя переносить на другие данные. Модель построена на архитектуре WhisperForConditionalGeneration и распространяется в формате safetensors через библиотеку Transformers. Базовая Whisper поддерживает несколько языков и перевод аудио на английский, однако карточка этой версии не уточняет языки и сценарии дообучения. Модель распространяется по лицензии Apache-2.0. Состав обучающих данных и ограничения применения в карточке подробно не раскрыты.

Whisper Small Indonesian — модель распознавания речи, дообученная разработчиком cahya на основе openai/whisper-small. Она преобразует аудио на индонезийском языке в текст и предназначена для сценариев автоматической транскрибации. Архитектура — WhisperForConditionalGeneration; размер модели составляет 153,1 млн параметров. Для обучения использовались наборы Mozilla Common Voice 11.0, Magic Data, TITML и Google FLEURS. В карточке указаны результаты оценки: loss 0,1022 и WER 6,0592. Модель распространяется по лицензии CC; конкретный вариант лицензии в предоставленных данных не уточнён.

samolego/whisper-small-slovenian — дообученная модель семейства Whisper Small для автоматического распознавания речи на словенском языке. Её создал автор samolego на базе openai/whisper-small, обучив на аудиоданных ARTUR 1.0, в том числе наборах Artur-B-brani и Artur-B-Studio. Модель содержит около 153,1 млн параметров и принимает аудио, выдавая текстовую транскрипцию. На оценочном наборе автор сообщает значение WER 11,0097 и loss 0,1226. Репозиторий содержит веса safetensors; в README также упомянут формат ggml для использования с whisper.cpp. Лицензия — Apache-2.0. Карточка не описывает дополнительные сценарии применения или конкретные ограничения качества.

OvozifyLabs разработала Whisper Small, дообученную модель распознавания речи на основе openai/whisper-small. Она преобразует аудио в текст и предназначена для транскрибирования речи на узбекском, английском и русском языках, в том числе голосовых сообщений и аудио в реальном времени или офлайн. Модель содержит 153,1 млн параметров и использует архитектуру WhisperForConditionalGeneration; веса доступны в формате safetensors. Авторы стремились улучшить распознавание узбекской речи и выровнять качество между тремя языками. В README приведено сравнение на тестовом наборе примерно из двух часов голосовых сообщений из публичных групп Telegram: WER модели составляет 34,5%. Этот результат относится к описанному тесту и не гарантирует такое же качество на других данных. Модель распространяется по лицензии Apache-2.0.

Xenova/whisper-tiny — версия модели OpenAI Whisper tiny, подготовленная командой Xenova в формате ONNX для совместимости с библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и транскрибирования аудио, в том числе непосредственно в JavaScript-приложениях и веб-среде. В README указано, что репозиторий содержит ONNX-веса базовой модели openai/whisper-tiny. Точные сведения о размере, архитектуре, поддерживаемых языках, контекстном окне и модальностях в карточке не приведены. Ключевое преимущество — готовность к использованию через Transformers.js и возможность обрабатывать аудио по URL; при этом README не содержит данных о точности, производительности и ограничениях качества распознавания. Лицензия указана как Apache-2.0.

AlexN/xls-r-300m-pt — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на португалоязычной части набора MOZILLA-FOUNDATION/COMMON_VOICE_8_0. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка сообщает результат WER 0,2382 на оценочной выборке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

Модель anton-l/xtreme_s_xlsr_300m_fleurs_asr — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC и содержит около 409,5 млн параметров. Модель принимает аудио и выдаёт распознанный текст; репозиторий содержит веса PyTorch. В README приведены метрики оценки: CER 0,3330 и WER 0,8344. Датасет и языки обучения не определены в доступной карточке, поэтому применимость к конкретным языкам и условиям записи по этим данным оценить нельзя. Лицензия — Apache-2.0.

Audio8-ASR-0.1B — компактная авторегрессионная модель распознавания речи от разработчика Edge0. Она принимает аудио и выдаёт текстовую транскрипцию; поддерживает китайский, английский, французский, немецкий, японский, корейский и кантонский языки. В метаданных указано 103,5 млн параметров языковой модели, а README уточняет, что всего в модели около 324 млн уникальных параметров. Нативный контекст составляет 32 768 токенов. Архитектура объединяет аудиоэнкодер Qwen3-ASR, MLP-адаптер и восьмислойную причинную языковую модель в стиле Qwen. Модель распространяется как checkpoint для Hugging Face Transformers в формате safetensors; доступно усиление заданных ключевых слов при декодировании без дообучения. В README приведены результаты оценки на публичных наборах распознавания речи. Модель подходит для транскрибации коротких записей и распознавания речи с учётом заданных терминов. Примеры по умолчанию обрезают аудио после 30 секунд. Чрезмерное усиление ключевых слов может смещать распознавание; для загрузки требуется trust_remote_code=True. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

bp500-base100k_voxpopuli — модель автоматического распознавания речи на базе Wav2Vec 2.0, дообученная для бразильского варианта португальского языка. В карточке указано, что исходное обучение выполнялось с fairseq, а опубликованная версия представляет собой конвертированную модель. Число параметров — 113,3 млн; формат весов — PyTorch. Модель предназначена для преобразования аудиозаписей на бразильском португальском в текст. Для обучения использовались объединённые данные CETUC, Common Voice, LaPS BM, Multilingual Librispeech, TEDx, SID и VoxForge; README приводит результаты WER на тестовых выборках этих корпусов, которые различаются между наборами и не всегда улучшаются при использовании 4-граммной языковой модели. Лицензия репозитория — Apache-2.0. Карточка показывает демонстрационные примеры и оценки, поэтому результаты на других типах аудио могут отличаться.

Модель 1Developer/cali-whisper-tiny.en-drop-005-production — дообученная версия Whisper tiny.en, созданная на основе 1Developer/cali-whisper-tiny.en-drop-004-production и обученная на датасете audiofolder. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В карточке приведены результаты оценки: loss 0,0002 и WER 0,0; этих значений недостаточно, чтобы судить о качестве на других данных. Используются архитектура Whisper и библиотека Transformers, веса представлены в формате safetensors. Лицензия — Apache-2.0.

Cohere Transcribe 03-2026 CoreML 6bit — конверсия модели CohereLabs/cohere-transcribe-03-2026, разработанная для автоматического распознавания речи на устройствах Apple. Модель предназначена для локальной транскрипции аудио в приложениях для macOS и iOS без обязательной передачи данных во внешние сервисы. Поддерживаются английский, арабский, немецкий, греческий, испанский, французский, итальянский, японский, корейский, нидерландский, польский, португальский, вьетнамский и китайский языки. Модель поставляется в формате CoreML .mlpackage и использует конвейер из извлечения аудиопризнаков, encoder и авторегрессионного decoder с KV-кэшированием. Веса имеют формат Float16 с 6-битной палетизацией; общий размер составляет около 1,4 ГБ, что примерно в 2,7 раза меньше FP16-версии. Вычисления могут выполняться на Apple GPU, CPU или Neural Engine; рекомендуется Apple GPU. Минимальные версии платформ — macOS 13 и iOS 16. Для обработки используются аудиофрагменты по 30 секунд с перекрытием 5 секунд. На тесте LibriSpeech test-clean модель показала WER 2,58% на 2619 из 2620 образцов. На Apple M4 Pro заявлен коэффициент работы в реальном времени 35,9×: обработка 30 секунд аудио занимает около 836 мс. Ключевые преимущества — компактность по сравнению с FP16, высокая скорость локального распознавания и практически сохранённая точность. Ограничения включают значительный размер около 1,4 ГБ, зависимость от экосистемы Apple и отсутствие данных о качестве на других наборах данных, акцентах, шумной речи и длинных аудиозаписях. Конвертированная модель распространяется по лицензии GPL-3.0; исходная модель CohereLabs имеет лицензию Apache-2.0.

Cohere Transcribe — открытая модель автоматического распознавания речи, разработанная Cohere и Cohere Labs. Эта GGUF-версия представляет собой квантованные конвертации базовой модели CohereLabs/cohere-transcribe-03-2026 для запуска с помощью transcribe.cpp. Модель предназначена для офлайн-преобразования речи в текст и принимает монофонические WAV-файлы с частотой дискретизации 16 кГц. Она поддерживает 14 языков: английский, французский, немецкий, испанский, итальянский, португальский, нидерландский, польский, греческий, арабский, японский, китайский, вьетнамский и корейский. Архитектура основана на Conformer-энкодере и Transformer-энкодер-декодере с cross-attention и связанными эмбеддингами токенов; размер модели составляет около 2 млрд параметров, декодирование выполняется авторегрессионно. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,56 до 4,11 ГБ. На тесте LibriSpeech test-clean заявленная ошибка распознавания составляет около 1,24–1,27% в зависимости от квантования, что указывает на высокую точность для английской речи. Ограничения включают отсутствие потокового режима, встроенного перевода, автоматического определения языка и временных меток; модель предназначена именно для распознавания, а не для перевода речи. Для работы требуется transcribe.cpp, а аудио при необходимости нужно предварительно привести к формату 16 кГц, mono WAV. Модель и конвертации распространяются по лицензии Apache-2.0, унаследованной от базовой модели.

ctyau подготовил CoreML-версию Cohere Transcribe 2B с квантованием весов до INT8 (W8A16) для распознавания речи на устройствах Apple. Модель предназначена для преобразования аудио в текст и запуска на Apple Silicon и мобильных устройствах Apple; в README описано разделение на Conformer-энкодер и Transformer-декодер с выполнением энкодера на Apple Neural Engine и использованием GPU и Metal для декодирования. По метаданным, модель содержит 151 млн параметров и рассчитана на английский язык; лицензия CC BY-NC 4.0 ограничивает коммерческое использование. README приводит замеры на Apple M5 для аудиозаписи длительностью около 15 минут: INT8-вариант обработал её за 14,837 секунды. Эти показатели относятся к указанной конфигурации и не гарантируют такой же скорости на других устройствах. Модель основана на CohereForAI/c4ai-transcribe-2b и поставляется в формате CoreML.

ghofrani/common6 — модель распознавания речи на базе архитектуры Wav2Vec2ForCTC, дообученная на датасете COMMON_VOICE для персидского языка. Она принимает аудио и преобразует речь в текст; на указанном в карточке наборе оценки показала WER 0,3421 и loss 0,3706. Размер модели — 402,8 млн параметров. Лицензия в предоставленных данных не указана.

Confucius4-R2T2-GGUF — официальный формат GGUF модели Confucius4-R2T2, разработанной NetEase Youdao. Это модель автоматического распознавания речи (ASR), предназначенная для высокоточной транскрипции в режиме реального времени и потоковой обработки аудио с низкой задержкой. Модель поддерживает настраиваемые фрагменты декодирования длительностью от 80 миллисекунд до 2 секунд, что позволяет выбирать баланс между задержкой и качеством распознавания. В репозитории доступны варианты f16 размером 3,2 GiB, Q8_0 размером 1,7 GiB и Q4_K_M размером 1,0 GiB; меньшие варианты требуют меньше ресурсов, но могут обеспечивать более низкое качество. Дополнительные файлы mmproj предназначены для мультимодального дополнения. В метаданных указана поддержка китайского языка; сведения об архитектуре, размере исходной модели и длине контекста не приведены. Сильные стороны модели — потоковое распознавание с тонкой настройкой размера обрабатываемых фрагментов, низкая задержка и наличие нескольких уровней квантования для разных аппаратных ограничений. Ограничения включают отсутствие в предоставленных данных подробных характеристик архитектуры, перечня дополнительных языков и результатов сравнительных оценок. Модель распространяется по NetEase Model Use License Agreement; код связанного проекта лицензирован по Apache 2.0.

Distil-Large-v3.5 — англоязычная модель распознавания речи из семейства Distil-Whisper, созданная в совместной работе Бофэном Хуаном, Эсташем Ле Бианом, Стивеном Чжэном и Вайбхавом Шриваставом. Это дистиллированная версия OpenAI Whisper-Large-v3 с архитектурой Whisper encoder-decoder; в метаданных указано 905,2 млн параметров. Модель предназначена для преобразования речи в текст, включая короткие аудиозаписи и длинные записи с последовательной или разбитой на фрагменты обработкой. Авторы сообщают об обучении на 98 тысячах часов разнообразных публичных данных, использовании teacher-модели с расширенным графиком обучения и аугментации SpecAugment. По оценкам авторов, модель примерно в 1,5 раза быстрее Whisper-Large-v3-Turbo и показывает хорошие результаты на коротких записях; также её можно использовать как черновую модель для speculative decoding с Whisper-Large-v3. Модель рассчитана на английскую речь. Она поддерживается библиотекой Transformers версии 4.39 и новее, веса опубликованы в формате safetensors. Лицензия — MIT. Результаты зависят от типа аудио: на приведённой авторами оценке ошибка распознавания длинных записей выше, чем коротких; заявленные метрики основаны на нормализованном тексте и конкретных тестовых наборах.