I.9Аудио и музыка

jonatasgrosman/wav2vec2-large-xlsr-53-german — модель распознавания речи на немецком языке, созданная Jonatas Grosman путём дообучения facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1. Это архитектура Wav2Vec2 с CTC-декодированием, содержащая 402,7 млн параметров. Модель преобразует аудиозапись немецкой речи в текст и рассчитана на сценарии автоматической транскрипции. Для входной речи требуется частота дискретизации 16 кГц; README описывает использование без языковой модели. Репозиторий содержит веса PyTorch и Flax. Модель распространяется по лицензии Apache-2.0. Карточка не приводит сведений о точности или подробных ограничениях распознавания, поэтому качество на шумной речи и за пределами немецкого языка не следует считать установленным.

Wav2Vec2-Large-XLSR-53-Persian V2 — модель распознавания речи на фарси, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она принимает аудио и преобразует речь в текст; для входной записи требуется частота дискретизации 16 кГц. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель рассчитана на фарси и поддерживает автоматическое распознавание речи. В оценке на тестовой части Common Voice для фарси указана доля ошибок слов WER 31,92%. Модель опубликована в форматах PyTorch и Flax под лицензией Apache-2.0. Результат оценки относится к указанному тестовому набору и сам по себе не гарантирует такую же точность на других записях.

Модель davidilag/wav2vec2-xls-r-1b-scandinavian-251h-30-epochs-20250111_v9 — дообученная на неизвестном наборе данных версия facebook/wav2vec2-xls-r-1b для автоматического распознавания речи. Она принимает аудио и преобразует его в текст; архитектура — Wav2Vec2ForCTC семейства wav2vec2, размер — 1,3 млрд параметров. В README приведены результаты оценки: WER 22,6884 и CER 5,8380. Модель предназначена для транскрибирования речи. Карточка не сообщает, на каких языках и наборах данных она обучалась, поэтому пригодность для конкретного скандинавского языка и качество в отдельных сценариях по имеющимся сведениям установить нельзя. Модель распространяется в формате safetensors по лицензии Apache-2.0.

shahukareem/wav2vec2-xls-r-300m-dv — модель распознавания речи на архитектуре Wav2Vec2ForCTC, разработанная на основе facebook/wav2vec2-xls-r-300m и дообученная на Common Voice. Она принимает аудио и преобразует речь в текст; на указанном в карточке наборе оценки достигла WER 0,2451 и loss 0,2206. Модель содержит около 402,7 млн параметров и опубликована в формате PyTorch. Модель предназначена для автоматического распознавания речи. В карточке не приведены сведения о поддерживаемых языках, контексте применения или специальных сценариях. Распространяется по лицензии Apache-2.0; качество распознавания за пределами указанной оценки не описано.

NbAiLab разработала эту модель как дообученную версию facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на данных NBAILAB/NPSC — 16K_MP3. Модель построена на архитектуре Wav2Vec2 и использует CTC для преобразования аудио в текст. В метаданных указано 402,7 млн параметров; доступны веса PyTorch. Модель предназначена для транскрибации речи в аудио. На оценочном наборе указаны Loss 0,1692 и WER 0,1663. Репозиторий распространяется по лицензии Apache-2.0. В карточке нет подробных сведений об условиях записи, поддерживаемых языках и ограничениях точности.

Whisper ACFT — это набор моделей автоматического распознавания речи в формате TFLite (LiteRT), разработанный на основе чекпойнтов FUTO Audio-Context Fine-Tuned Whisper. Репозиторий содержит варианты tiny, base и small для многоязычного распознавания, а также tiny.en, base.en и small.en для английского языка. Конвертацию в графы LiteRT выполнил проект LiteRT-LM-Unity; переобучения при конвертации не проводилось. Модели предназначены для локального распознавания речи, включая короткие голосовые команды и аудиофрагменты длительностью до 5, 10 или 30 секунд. В отличие от стандартного Whisper, использующего окно 30 секунд, ACFT-чекпойнты дообучены для работы с укороченными окнами и снижения проблем с повторениями на коротких входах. Каждый вариант разделён на сигнатуры encode и decode, поддерживает 80 mel-каналов и использует фиксированный размер входа: 500, 1000 или 3000 кадров для окон 5, 10 и 30 секунд соответственно. Все файлы используют динамическое квантование: int8-веса при вычислениях с fp32-активациями. Размер моделей составляет примерно 57–58 МБ для tiny, 97–99 МБ для base и 273–276 МБ для small. Многоязычные варианты имеют словарь размера 51865 и поддерживают языковые и task-токены; варианты .en используют словарь 51864 и предназначены только для английского. Сильными сторонами являются поддержка коротких аудиофрагментов, работа в LiteRT/TFLite и наличие нескольких компромиссов между размером и качеством. Ограничения включают фиксированное окно входа для каждого файла, необходимость корректно подготавливать mel-спектрограмму и отсутствие KV-cache: декодер полностью выполняется заново на каждом шаге. Модели распространяются по лицензии Apache-2.0.

Whisper Base DE v2 — модель распознавания речи на базе Whisper, дообученная Алаа Альбашей на датасете ASR German Mixed. Она принимает аудио и преобразует немецкую речь в текст; архитектура реализована классом WhisperForConditionalGeneration, веса опубликованы в формате safetensors. В README указаны результаты оценки на тестовой выборке: loss 0,2225 и WER 14,1615. Модель подходит для транскрибации немецкой речи в аудиозаписях. Репозиторий использует Transformers, лицензия — Apache-2.0. Сведения о длине аудиозаписей и ограничениях применения в карточке не приведены.

onnx-community/whisper-base.en — версия модели openai/whisper-base.en, подготовленная сообществом onnx-community в формате ONNX для совместимости с библиотекой Transformers.js. Репозиторий содержит веса ONNX и предназначен для использования модели в веб-средах и приложениях, поддерживающих Transformers.js. README не указывает архитектуру, размер, длину контекста, набор модальностей, точные языковые возможности, результаты тестирования или дополнительные сценарии применения. Ключевое преимущество модели — готовность к интеграции через Transformers.js; ограничение заключается в том, что для полноценной оценки характеристик необходимо обратиться к документации базовой модели openai/whisper-base.en. Лицензия в предоставленных данных не указана.

Ivydata/whisper-base-japanese — дообученная модель распознавания речи на базе OpenAI Whisper Base. Разработчик дообучил её на японском языке с использованием Common Voice, JVS и JSUT; модель содержит 51,7 млн параметров и использует архитектуру WhisperForConditionalGeneration в формате PyTorch. Модель преобразует японскую речь в текст и предназначена для транскрибации аудиозаписей. В README приведён результат оценки на TEDxJP-10K: CER 27,25% для модели Whisper Small, поэтому этот показатель не относится напрямую к данной модели Base. Для входного аудио требуется частота дискретизации 16 кГц. Лицензия — Apache-2.0. Карточка не сообщает длину контекста или дополнительных ограничений применения.

Sandiago21/whisper-large-v2-greek — дообученная модель распознавания речи на основе openai/whisper-large-v2. Она принимает аудио и преобразует речь в текст; дообучение выполнено на датасете FLEURS. Модель содержит 905,2 млн параметров и распространяется в форматах PyTorch и safetensors. Модель предназначена для транскрибации греческой речи. В README приведены результаты на оценочной выборке: WER 0,1774, WER Ortho 0,2102 и loss 0,2734. Лицензия — Apache-2.0. Подробные сведения об условиях записи, поддерживаемых вариантах греческого языка и ограничениях в карточке отсутствуют.

yuriyvnv/whisper-large-v3-high-mixed-nl — модель распознавания нидерландской речи, созданная разработчиком yuriyvnv дообучением openai/whisper-large-v3. Она построена на архитектуре Whisper и содержит 905,2 млн параметров; принимает аудио и преобразует речь в текст. Модель обучена на нидерландских записях Common Voice 17.0 и синтетической речи, отфильтрованной по качеству с помощью WAVe. Карточка приводит WER 4,43% на тесте Common Voice и 20,29% на бенчмарке MLS. Модель предназначена для транскрибации чистой нидерландской речи общего назначения. Она может быть полезна для подготовки текстовых расшифровок аудиозаписей и сравнения качества ASR-систем. По карточке, обучающие данные преимущественно включали чистую речь; качество на технической лексике, шумных записях и региональных вариантах нидерландского может быть ниже. Модель распространяется по лицензии Apache-2.0.

Модель himalaya-ai/whisper-large-v3-turbo — дообученная для распознавания непальской речи версия Whisper large-v3-turbo от OpenAI. Она принимает аудио и преобразует речь в текст; модель построена на архитектуре WhisperForConditionalGeneration, содержит 905,2 млн параметров и распространяется в формате safetensors. Для обучения использован набор lilgoose7777/slr-combined-nepali-tts2. В тестировании указаны WER 15,44% и CER 10,01%. Обучающие данные состоят из чистых студийных записей одного диктора, поэтому точность может снижаться на шумных записях, речи нескольких людей и при сильных акцентах. Лицензия — Apache-2.0.

Модель andrewbawitlung/whisper-large-v3-turbo-mizonal3-E5-lus-v2026.06 — экспериментальная дообученная версия Whisper large-v3-turbo на наборе данных MiZonal v3.0. Конфигурация E5 объединяет аугментации фонового шума, изменения скорости речи и SpecAugment с маскированием по времени и частоте. Модель предназначена для автоматического распознавания речи; заявлены WER 13,8215, CER 2,6263 и коэффициент реального времени 0,0540 на оценочном наборе. Модель содержит 905,2 млн параметров, принимает аудио и выдаёт текст. Базовая Whisper large-v3-turbo — мультиязычная модель для распознавания речи и перевода аудио в текст; карточка этой производной описывает оценку распознавания на MiZonal, но не уточняет язык аудио. Опубликованные сведения о результатах помечены как предварительные: подробности рецензирования и публикации ожидаются. Лицензия — Apache-2.0.

Это дообученная модель OpenAI Whisper-small, подготовленная автором yuriyvnv для автоматического распознавания нидерландской речи. Она принимает аудио и генерирует текстовую транскрипцию; модель реализована на базе WhisperForConditionalGeneration и содержит 153,1 млн параметров. Модель дообучена на 34 952 реальных аудиозаписях Common Voice 17.0 на нидерландском языке и 34 898 синтетических примерах без фильтрации качества. На тестовой части Common Voice указана доля ошибок WER 10,91%, а на валидации — 8,64%. Использование всех синтетических данных увеличивает объём обучения, но низкокачественные примеры могут вносить шум; модель также может хуже работать с региональными вариантами языка и технической речью. Лицензия — Apache-2.0.

HamoonFm/whisper-small-fa — дообученная версия мультиязычной модели Whisper Small от OpenAI для автоматического распознавания речи. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 153,1 млн параметров и принимает аудио, выдавая текстовую транскрипцию. Суффикс «fa» в названии указывает на ориентацию на персидскую речь, однако README не уточняет языки и данные дообучения. В карточке приведены результаты оценки: loss 0,2648 и WER 0,3085. Модель распространяется в формате safetensors по лицензии Apache-2.0. README не описывает ограничения и рекомендуемые сценарии применения; качество распознавания следует проверять на аудио целевого домена.

SubZtep/whisper-small-hu — дообученная модель распознавания речи на основе openai/whisper-small, разработанной OpenAI. Она предназначена для транскрибирования аудио на венгерском языке; при оценке на тестовой выборке Common Voice 26.0 показала WER 15,62 и CER 3,33 после нормализации регистра и пробелов. Модель содержит 153,1 млн параметров и работает с аудиовходом через библиотеку Transformers. Модель обучена на 62 284 аудиофрагментах с чтением предложений из венгерской части Common Voice 26.0. Она подходит для транскрибирования аналогичной речи, например записей с дикторским чтением. Лицензия — MIT. На спонтанной речи, шумных записях и аудио с узкоспециальной лексикой ожидается больше ошибок. Указанные WER и CER не отражают точность регистра и пунктуации; для венгерского языка CER может лучше показывать близость транскрипта из-за агглютинативной морфологии.

ElderlyDed/whisper-small-ru — дообученная модель распознавания речи на основе Whisper Small от OpenAI, созданная сообществом и обученная на Common Voice 11.0. Она предназначена для преобразования аудиозаписей в текст; название модели указывает на ориентацию на русский язык, однако метаданные карточки отмечают язык хинди, поэтому языковую специализацию следует считать неоднозначной. В оценке на наборе разработчика указаны Loss 0,1877 и WER 14,9519. Модель содержит 153,1 млн параметров и использует архитектуру WhisperForConditionalGeneration. Доступны веса в форматах PyTorch, safetensors и Flax. Лицензия — Apache-2.0. Карточка не описывает условия записи аудио, ограничения качества или подробности оценки.

NaufalAqil18/whisper-tiny-id — дообученная модель распознавания речи на базе openai/whisper-tiny, созданная на датасете generator. Она преобразует аудио в текст и предназначена для автоматической транскрибации. Модель построена на архитектуре Whisper, содержит 29,4 млн параметров и доступна в форматах PyTorch и Safetensors для библиотеки Transformers. В README приведены результаты оценки: WER 28,84 и CER 12,57; описание не уточняет условия тестирования и языковой состав данных. Модель распространяется по лицензии Apache-2.0.

whisper-tiny-minds14-en-US — дообученная tomragus модель семейства Whisper на базе openai/whisper-tiny, обученная на наборе PolyAI/minds14. Она предназначена для автоматического распознавания речи и преобразования аудио в текст, в частности для транскрибации англоязычных аудиозаписей с акцентом на вариант английского языка en-US. В README приведены результаты оценки: WER 0,3359 и нормализованный WER 0,3418. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0. Это компактный вариант Whisper; в метаданных для базовой модели указана многоязычная поддержка, однако эта версия дообучена на англоязычном наборе данных и ориентирована на en-US.

Kuray107/wsj0-full-supervised — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-lv60. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в карточке указаны результаты оценки: loss 0,0623 и WER 0,0343. Модель опубликована в формате PyTorch под лицензией Apache-2.0. Карточка не уточняет языки, условия записи и ограничения применения, поэтому область надёжной работы за пределами указанной оценки определить нельзя.

AudioSangraha-Audio_to_Text — дообученная разработчиком AqeelShafy7 модель распознавания речи на архитектуре Whisper Small. Она предназначена для преобразования аудио в текст. Веса представлены в формате safetensors; модель содержит 153,1 млн параметров и распространяется по лицензии Apache-2.0. В карточке приведены результаты оценки: loss 0,3071 и WER 52,3227. Описание не раскрывает языки, обучающие данные и сценарии применения, поэтому качество распознавания в конкретных условиях по этим сведениям оценить нельзя.

cali-whisper-tiny.en-drop-006-production — дообученная модель распознавания речи на базе 1Developer/cali-whisper-tiny.en-drop-005-production. Она использует архитектуру WhisperForConditionalGeneration семейства Whisper и предназначена для преобразования входящего аудио в текст; обучение проводилось на датасете audiofolder. В карточке приведены результаты оценки: Loss 0.0000, Wer Ortho 0.0 и Wer 0.0. Эти значения не сопровождаются описанием оценочного набора и методики, поэтому по ним нельзя судить о качестве на других данных. Модель ориентирована на английскую речь, как и базовая версия tiny.en. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не описывает дополнительные ограничения или сценарии использования.

Cohere Transcribe — открытая специализированная модель распознавания речи от Cohere и Cohere Labs. Это модель с аудио на входе и текстом на выходе, с 2 млрд параметров, обученная с нуля. Она предназначена для офлайн- и серверной транскрибации и поддерживается Transformers и vLLM. Модель работает с 14 языками: арабским, немецким, греческим, английским, испанским, французским, итальянским, японским, корейским, нидерландским, польским, португальским, вьетнамским и китайским. Разработчики заявляют о высокой точности транскрибации на этих языках и скорости до трёх раз выше, чем у специализированных ASR-моделей сопоставимого размера. Модель лучше работает, когда язык заранее задан и остаётся неизменным; автоматического определения языка нет, а переключение языков обрабатывается нестабильно. Модель не выдаёт временные метки и не выполняет диаризацию говорящих. Тишина и фоновый шум могут приводить к ложной транскрибации, поэтому для таких записей полезны VAD или шумовой фильтр. Лицензия — Apache-2.0.

syv.ai, датская компания, дообучила Cohere Transcribe для распознавания речи с разметкой говорящих и временными метками слов. Модель на архитектуре Cohere ASR содержит 151,3 млн параметров и принимает аудио, выдавая транскрипцию с метками говорящих и временными отметками. Она предназначена для коротких аудиозаписей длительностью до 30 секунд; для более длинных записей в README предлагаются вспомогательные скрипты с разбиением на окна и сопоставлением голосов между ними. Указана поддержка английского языка. Модель подходит для расшифровки подкастов, интервью, встреч и других записей с несколькими участниками. README рекомендует развёртывание через vLLM и приводит результаты производительности на RTX 3090. Лицензия — Apache-2.0. Ограничения: предел одного прохода — 30 секунд; до четырёх говорящих поддерживаются лучше, а при пяти-восьми точность снижается, особенно при плотной речи с перекрытиями. Идентификаторы говорящих действуют только в пределах одного вызова модели; для длинных записей требуется дополнительное связывание сегментов.

BUT-FIT публикует предварительно обученную модель DiariZen для обнаружения речевой активности и диаризации говорящих в аудио. Компонент EEND построен на WavLM Large и слоях Conformer; модель обучалась на одноканальных записях с дальних микрофонов из набора публичных датасетов, включая AMI, AISHELL-4, AliMeeting, NOTSOFAR-1, MSDWild, DIHARD3, RAMC и VoxConverse. К модели применено структурное прореживание с разреженностью 80%: число параметров WavLM Large уменьшено с 316,6 млн до 63,3 млн, а вычислительная стоимость — с 17,8 до 3,8 млрд MAC на секунду. Модель рассчитана на записи, где одновременно перекрываются не более трёх говорящих; для случаев с четырьмя перекрывающимися голосами авторы рекомендуют новую версию репозитория. В README приведены результаты на AMI, AISHELL-4 и AliMeeting, где DiariZen показывает меньшие значения метрики, чем Pyannote v3.1. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

Это конвертированная в формат MLX модель GigaAM v3 RNNT для распознавания русской речи на устройствах Apple Silicon. Она основана на чекпойнте ai-sage/GigaAM-v3, ревизии RNNT; архитектура включает 16-слойный Conformer-энкодер с размерностью 768 и 16 головами внимания. Веса представлены в fp16 и занимают около 423 МБ. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт посимвольную транскрипцию русского текста. RNNT-выход состоит из строчных букв русского алфавита без пунктуации; автор сообщает о меньшем WER по сравнению с CTC и приводит результаты оценки на 200 аудиофрагментах. Для пунктуации или нормализации текста потребуется дополнительная обработка. Репозиторий предназначен для запуска на Apple Silicon с MLX; README также описывает совпадение транскрипций с исходной реализацией PyTorch на проверенной выборке. Лицензия — MIT.

iky1e подготовил квантизованную версию Granite Speech 5.0 470M TurboCTC для инференса на устройствах Apple Silicon с использованием Granite-MLX и Swift. Это модель распознавания речи на базе архитектуры GraniteSpeech5ForCTC, преобразованная из чекпойнта IBM в формат MLX: веса квантизованы до 8 бит, часть тензоров сохранена в FP16. Размер файла весов составляет около 466 МиБ — примерно 52% от исходного; в описанном сравнении согласие транскриптов с исходной моделью составило 99,8825% по метрике пословного совпадения, которая не измеряет точность относительно человеческой расшифровки. Модель предназначена для преобразования английской речи в текст, в том числе из длинных аудиозаписей; инструмент Granite-MLX также принимает видеофайлы и может сохранять результат в TXT, SRT, WebVTT или JSON. Для обработки длинных записей используются блоки с контекстом, жадное CTC-декодирование и ограничение памяти. Репозиторий распространяется по лицензии Apache-2.0. Для запуска описан нативный Swift runtime Granite-MLX на Apple Silicon.

Модель представляет собой дообученную версию Whisper, разработанную на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; название модели указывает на работу с хинглишем и смешанными письменностями. Модель содержит 455,8 млн параметров и распространяется в формате safetensors для библиотеки Transformers. На оценочном наборе указаны loss 0,4475 и глобальный WER 28,015. Лицензия — MIT. Данные обучения, подробности об оценочном наборе и более точное описание поддерживаемых языков в карточке не раскрыты.

parthiv11/indic_whisper_nodcil — модель распознавания речи на основе Whisper, дообученная для индийских языков. Репозиторий содержит чекпойнт для использования и код обучения и оценки; заявлена поддержка ускоренного запуска через JAX на GPU и TPU наряду с форматом PyTorch. Модель имеет 455,8 млн параметров. Модель предназначена для преобразования аудио в текст, в том числе для транскрибирования речи на хинди и других индийских языках. В README приводятся результаты сравнения на бенчмарках для хинди, но подробные результаты этой модели в доступной карточке не представлены. Лицензия — MIT.

laion/larger_clap_music — модель CLAP (Contrastive Language-Audio Pretraining), опубликованная LAION и специально обученная на музыкальных данных. Она сопоставляет аудио и текст в общем векторном пространстве: аудиокодировщик на основе Swin Transformer получает признаки из лог-мел-спектрограммы, а текстовый кодировщик на основе RoBERTa — из текстового описания. Число параметров — 132,1 млн; модель представлена в формате PyTorch и распространяется по лицензии Apache-2.0. Модель подходит для извлечения аудио- и текстовых эмбеддингов, классификации аудио с нулевым обучением и поиска текстовых описаний, наиболее соответствующих музыкальному фрагменту. Можно, например, ранжировать заданные пользователем подписи по сходству с аудио. Оценки сходства помогают сравнивать варианты, но сами по себе не являются вероятностями или гарантией точной классификации. Карточка не приводит сведения о поддерживаемых языках текста, длине аудио или контексте. Качество зависит от соответствия музыкальных данных и текстовых меток, а заявленная специализация на музыке не подтверждает одинаковую точность на других типах звука.