I.9Аудио и музыка

Wav2Vec2-Large-960h-Lv60 + Self-Training — англоязычная модель распознавания речи от Facebook. Это плотная модель архитектуры wav2vec2 с головой CTC и примерно 402,7 млн параметров. Она предварительно обучена и дообучена на речевых данных Libri-Light и LibriSpeech; при обработке аудио требуется частота дискретизации 16 кГц. Модель преобразует речь в текст и подходит для транскрибации аудиозаписей на английском языке. В README описан метод self-training и приведены результаты на наборах LibriSpeech, включая WER 1,8/3,3 на тестовых выборках clean/other при использовании всех размеченных данных. Репозиторий содержит версии весов для PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Указанные результаты относятся к конкретным тестовым наборам; качество на других условиях записи и для других языков не гарантируется.

wav2vec2-large-xls-r-300m-spanish-small — модель автоматического распознавания речи на основе архитектуры Wav2Vec2ForCTC, дообученная glob-asr на датасете Common Voice от базовой модели jhonparra18/wav2vec2-large-xls-r-300m-spanish-custom. Модель принимает аудио и преобразует речь в текст; она предназначена для распознавания испанской речи. В репозитории указано 402,7 млн параметров. На оценочной выборке модель достигла loss 0,3596 и WER 0,2105. Доступны веса в формате PyTorch. Лицензия и подробные ограничения в предоставленных данных не указаны.

m3hrdadfi/wav2vec2-large-xlsr-persian-v3 — модель распознавания персидской речи, разработанная на основе facebook/wav2vec2-large-xlsr-53 и дообученная на датасете Common Voice. Она принимает аудио и преобразует речь на фарси в текст; входные записи должны иметь частоту дискретизации 16 кГц. Модель построена на архитектуре Wav2Vec2 с CTC-выходом и содержит 402,7 млн параметров. В карточке указана оценка WER 10,36% на тесте. Модель подходит для транскрибации персидских аудиозаписей. Доступны веса PyTorch и TensorFlow. Условия лицензии в предоставленных данных не указаны.

lgris/wav2vec2-podcasts-tagarela-v2 — модель распознавания речи на базе Wav2Vec2, разработанная автором репозитория и дообученная на полном наборе TAGARELA v2. Она преобразует речь в текст и рассчитана прежде всего на транскрибирование аудио на бразильском португальском. Модель содержит 113,3 млн параметров; в README указаны входное аудио 16 кГц, моно и словарь из 51 токена. В тестах README приведены WER 14,96% на TAGARELA v2, 23,75% на TAGARELA v1 и 23,98% на CORAA v1.1. Результаты показывают, что качество зависит от набора данных; метрики не гарантируют такую же точность на других источниках, акцентах или условиях записи. Модель распространяется по лицензии Apache-2.0.

Модель mpoyraz/wav2vec2-xls-r-300m-cv6-turkish разработана как дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на турецком языке. Это плотная модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC и примерно 402,7 млн параметров; она принимает аудио и выдаёт распознанный текст. Для обучения использовались проверенная часть Common Voice 6.1 TR, кроме тестовой выборки, и MediaSpeech. В README также описана отдельная n-граммная языковая модель KenLM, обученная на статьях турецкой Википедии. Модель подходит для транскрибирования турецкой речи и оценки систем распознавания на наборах Common Voice и Speech Recognition Community. В README приведены результаты: WER 8,83 и CER 2,37 на тестовой выборке Common Voice 6.1 TR, а также WER 32,81 и CER 11,22 на dev-наборе Speech Recognition Community. Модель распространяется по лицензии Apache-2.0.

mpoyraz/wav2vec2-xls-r-300m-cv7-turkish — модель автоматического распознавания речи на турецком языке, созданная дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; при дообучении использовались проверенная часть Common Voice 7.0 TR, кроме тестовой выборки, и MediaSpeech. Для улучшения распознавания автор также подготовил турецкую n-граммную языковую модель на материалах Википедии с KenLM. Модель подходит для транскрибации турецкой речи и оценки систем распознавания на наборах Common Voice и Speech Recognition Community. В README приведены результаты: WER 8,62 и CER 2,26 на тестовой выборке Common Voice 7 TR, а также WER 30,87 и CER 10,69 на dev-наборе Speech Recognition Community. Эти значения относятся к указанным наборам и не гарантируют такую же точность на других записях. Модель распространяется по лицензии CC BY 4.0.

LokaalHub разработал whisper-klein-nl — компактную модель распознавания речи на базе Whisper tiny, дообученную на нидерландском наборе LokaalHub/nl-asr-cv. Она преобразует нидерландскую речь в текст и рассчитана на локальный запуск, в том числе на CPU. По README, дообучение примерно на 94,4 часа записей Common Voice снизило WER на тестовой выборке Common Voice с 44,03% до 22,34% относительно базовой модели; в отдельной таблице приведены результаты 29,16% на cv17-test и 38,99% на fleurs-test. Метаданные указывают 29,4 млн параметров, а README приводит другие значения размера модели, поэтому их нельзя считать согласованными. Модель использует архитектуру WhisperForConditionalGeneration и формат safetensors; библиотека запуска — Transformers. Репозиторий распространяется по лицензии Apache-2.0.

Модель khleeloo (Rita Frieske) — дообученная версия Whisper large-v3 от OpenAI для автоматического распознавания кантонской речи (Yue) и преобразования аудио в текст. Она предназначена для транскрибации, голосовых помощников и функций доступности для говорящих на кантонском языке. Модель обучалась 10 эпох на Common Voice 17; 12 слоёв декодера были заморожены. Для оценки использовалась метрика CER: в карточке приведены результаты на тестовых выборках Common Voice 15 и 17. Модель принимает аудио и выдаёт текст. Лучше ориентирована на разговорный кантонский вариант Yue; на письменном варианте zh-HK и других языках или диалектах качество может быть ниже. Результат также зависит от качества записи и акцента, а качество распознавания ограничено разнообразием обучающих данных. Лицензия — Apache-2.0.

Это версия весов ivrit-ai/whisper-large-v3 в формате CTranslate2 для использования с Faster Whisper. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст; карточка указывает иврит как язык модели, а базовая мультиязычная модель Whisper large-v3 также поддерживает транскрибацию и перевод аудио в текст. Модель основана на openai/whisper-large-v3 и подготовлена в формате CTranslate2. Формат позволяет запускать её через Faster Whisper. Репозиторий распространяется по лицензии Apache-2.0.

RedHatAI/whisper-large-v3-quantized.w4a16 — квантизированная версия модели openai/whisper-large-v3, разработанная Neural Magic. Это аудио-текстовая модель архитектуры Whisper, которая принимает аудиосигнал и генерирует текст; в метаданных указана поддержка английского языка. Модель предназначена для автоматического распознавания речи и преобразования аудиозаписей в текст. Основная оптимизация — квантизация весов до формата INT4 с конфигурацией w4a16. Она уменьшает требования к памяти и может повысить эффективность инференса по сравнению с исходной моделью, сохраняя архитектуру базовой Whisper large v3. Модель подготовлена для запуска через vLLM версии 0.5.2 и выше; README также указывает возможность использования OpenAI-compatible serving. В примере развертывания задан параметр max_model_len 448, но это значение относится к конфигурации запуска. К ограничениям относятся возможное снижение качества распознавания из-за квантизации и отсутствие в README количественных результатов оценки точности или производительности. Лицензия модели — Apache 2.0.

Модель TalTechNLP/whisper-large-v3-turbo-et-verbatim — дообученная командой TalTechNLP мультиязычная модель Whisper large-v3-turbo для автоматического распознавания речи. Её обучили на 1400 часах аудио с вручную подготовленными дословными транскрипциями из набора TalTech Estonian Speech Dataset 1.0. Модель принимает аудио и выдаёт текст. Она подходит для дословной транскрибации эстонской речи; архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. Модель доступна в формате safetensors и рассчитана на работу через Transformers. Лицензия — MIT.

Это версия Whisper large-v3-turbo, преобразованная в формат CTranslate2 для использования с faster-whisper и квантованная до int8. Репозиторий подготовлен для быстрого вывода на CPU и распознавания речи на аудиозаписях. Указанный в метаданных язык модели — венгерский. Модель принимает аудио и выдаёт распознанный текст. Это преобразование и квантование модели OpenAI, а не самостоятельное дообучение. В карточке не приведены сведения о лицензии и конкретные ограничения точности; качество распознавания может зависеть от записи и языка аудио.

Это дообученная модель распознавания речи на базе OpenAI Whisper Medium, опубликованная пользователем dianavdavidson. Она предназначена для преобразования аудио в текст; название репозитория указывает на настройку для хинди и набора данных Vaani, однако README называет обучающий набор «None», поэтому эту специализацию нельзя подтвердить однозначно. Модель использует архитектуру WhisperForConditionalGeneration и формат safetensors. В README приведены результаты оценки: loss 0,4726 и Global WER 26,8624. Базовая модель содержит 455,8 млн параметров и поддерживает распознавание речи и перевод речи; лицензия этой модели — Apache-2.0.

jlondonobo/whisper-medium-pt — дообученная модель распознавания речи на базе Whisper Medium, созданная для транскрибирования аудио на португальском языке. Разработчик дообучил openai/whisper-medium на наборе mozilla-foundation/common_voice_11; архитектура — WhisperForConditionalGeneration, формат весов — PyTorch, размер по метаданным — 455,8 млн параметров. Модель преобразует португальскую речь в текст. В README приведён результат WER 6,579 на Common Voice 11 и заявлено улучшение относительно исходной Whisper Medium; это оценка на указанном наборе данных, а не гарантия качества на других записях. Для коротких аудиофрагментов предлагается Transformers pipeline, а для длинных транскрипций README описывает отдельный способ запуска с оригинальным алгоритмом Whisper. Лицензия — Apache-2.0.

Whisper Medium Vaani Kannada — модель распознавания речи, дообученная ARTPARK-IISc на базе openai/whisper-medium с использованием датасета ARTPARK-IISc/Vaani. Модель предназначена для преобразования аудиозаписей на каннада в текст. Модель построена на архитектуре Whisper и содержит 455,8 млн параметров. Она принимает аудио и выдаёт текст; в карточке указана поддержка задачи automatic-speech-recognition и тег языка kn. Модель опубликована в формате safetensors под лицензией MIT.

alvanlii/whisper-small-cantonese — дообученная модель Alvin на базе openai/whisper-small для распознавания речи на кантонском языке. Это плотная encoder-decoder модель семейства Whisper с 153,1 млн параметров; доступны веса PyTorch и Safetensors. Для обучения использовались корпуса CantoMap, Cantonese-ASR и Common Voice 16.0 и 17.0, а оценка проводилась на тестовой выборке Common Voice 16.0 yue. В README указана CER 9,72% с пунктуацией и 7,93% без неё. Модель принимает аудио и выдаёт текстовую транскрипцию. Она подходит для расшифровки кантонской речи и может использоваться как более компактная модель-помощник при спекулятивном декодировании с крупной Whisper-моделью. Для ускорения GPU-инференса README рекомендует SDPA; приведённые там показатели скорости и использования памяти относятся к RTX 3090. Модель распространяется по лицензии Apache-2.0. Оценка качества основана на указанных в карточке датасетах; результаты на других акцентах, условиях записи и доменах в README не приведены.

CKSINGH разработал эту модель как дообученную версию CKSINGH/whisper-small-hi-firefox для автоматического распознавания речи. Это модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров; репозиторий содержит веса PyTorch и Safetensors. Карточка приводит результаты оценки: WER 16,1932 и CER 12,5576, но не уточняет набор данных и условия тестирования. Модель предназначена для преобразования аудио на хинди в текст. Она распространяется по лицензии Apache-2.0.

Whisper Small Fine-Tuned for Indian Speech — дообученная RakshithFury модель на базе openai/whisper-small для автоматического распознавания речи. Она предназначена для транскрибации индийской речи, в том числе на хинди и каннада, а также английской речи; в обучении использованы наборы Shrutilipi, IndicVoices-R и FLEURS English. Модель обучалась на последовательностной задаче транскрибации Whisper и рассчитана на работу с разборчивой речью, включая записи с некоторым фоновым шумом и быстрой речью. Обучающая выборка включала около 9 000 аудиофрагментов длительностью от 5 до 15 секунд. Качество может зависеть от языка, акцента, шума, скорости речи, предметной лексики и смешения языков; возможны ошибки, пропуски и галлюцинации, особенно в неразборчивом аудио. Карточка не приводит результаты оценки WER или CER. Лицензия в метаданных не указана.

anggiatm/whisper-small-id — модель автоматического распознавания речи, дообученная автором anggiatm на базе openai/whisper-small с использованием набора Common Voice 17.0. Она преобразует индонезийскую речь в текст; размер модели — 153,1 млн параметров, архитектура — WhisperForConditionalGeneration. В оценке на тестовом наборе указаны loss 0,0931 и WER 6,5965. Модель предназначена для транскрибирования индонезийской речи. Распространяется по лицензии Apache-2.0.

Whisper Small Persian — модель распознавания речи, созданная Amir Mohseni дообучением openai/whisper-small на наборе данных Fleurs Farsi. Она построена на архитектуре Whisper и содержит 153,1 млн параметров. Модель предназначена для преобразования речи на персидском языке в текст. На приведённой в карточке оценке модель показала значение WER 25,8171 и loss 0,3818. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает ограничения применения и условия оценки подробнее.

erenfazlioglu/whisper-small-turkish-tr-best — дообученная модель распознавания речи на основе OpenAI Whisper Small. Она предназначена для преобразования аудио в текст; в README приведён результат оценки WER 26,3414 и loss 0,3166. Название репозитория указывает на турецкий язык, однако README не уточняет состав данных или языковой охват. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и доступна в формате PyTorch. Распространяется по лицензии Apache-2.0.

primeline/whisper-tiny-german — компактная модель распознавания немецкой речи, разработанная Florian Zimmermeister на основе Whisper-tiny. Она предназначена для преобразования аудио на немецком языке в текст, в том числе для сценариев с ограниченными ресурсами и развёртывания на периферийных устройствах. Архитектура — WhisperForConditionalGeneration; в метаданных указано 29,4 млн параметров, а README указывает 37,8 млн и размер 73 МБ в формате bfloat16. Репозиторий содержит веса в форматах ONNX и safetensors. Для обучения использовались отфильтрованные данные Common Voice, multilingual LibriSpeech и внутренние данные; текст нормализовали по регистру и пунктуации. Модель выпущена под лицензией Apache-2.0. Разработчик не рекомендует применять её в критически важных сценариях: компактный размер может сопровождаться снижением качества распознавания в отдельных условиях.

Модель primeline/whisper-tiny-german-1224 — модель распознавания речи на архитектуре Whisper tiny, разработанная Флорианом Циммермайстером. Она предназначена для преобразования немецкой речи в текст: например, для расшифровки записей, автоматического создания субтитров, голосового управления, голосового поиска и диктовки. Модель содержит 29,4 млн параметров по метаданным каталога; в README для семейства Whisper tiny приведена оценка 39 млн параметров. Для обучения использовали около 6000 часов немецкой речи из публичных, проприетарных и синтетических источников. Модель поддерживает входное аудио и выдаёт текст; в метаданных указаны форматы ONNX и safetensors. Лицензия — Apache-2.0.

MediaCatch/xls-r-300m-danish-mc-v2 — модель распознавания речи, разработанная MediaCatch и дообученная на базе MediaCatch/xls-r-300m-danish-mc на предварительно обработанном датасете. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 402,7 млн параметров. Модель предназначена для автоматического преобразования датской речи в текст. На указанном в карточке наборе оценки показала WER 0,0875 и loss 0,1570. Принимает аудио и выдаёт текст; библиотека для работы — Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не описывает состав и условия записи обучающих данных, ограничения по акустическим условиям или рекомендуемую область применения.

dsfsi-anv выпустил дообученную версию Whisper Large V3 Turbo для мультиязычного автоматического распознавания речи. Модель построена на архитектуре Transformer encoder-decoder и содержит около 905,2 млн параметров; она дообучена на наборе ANV (Swivuriso), чтобы улучшить распознавание языков и акцентов, представленных в этом корпусе. Модель предназначена для преобразования аудио в текст, в том числе для работы с языками с ограниченными ресурсами и исследований адаптации распознавания речи. В оценке на тестовом наборе указаны WER 0,1501 и CER 0,0510. Для использования доступна библиотека Transformers, веса сохранены в формате safetensors. Как и базовый Whisper, модель может повторять текст или галлюцинировать, особенно на тишине и при фоновом шуме. Качество может снижаться на записи с акцентами, шумом и характеристиками, заметно отличающимися от данных ANV. Лицензия — MIT.

WhisperLv3-FT-EP-CPP — модель распознавания речи на европейском португальском языке, созданная дообучением Whisper large-v3 на данных CAMOES (Capitalized, Punctuated and Pós-Acordo). Она предназначена для преобразования речи в текст, в том числе для исследований и оценки качества распознавания, а также для демонстраций и прототипов транскрибации. Модель основана на архитектуре WhisperForConditionalGeneration, содержит около 905,2 млн параметров и принимает аудио, выдавая текст. В карточке не приведены длина контекста и подробные показатели качества. Лицензия в предоставленных данных не указана.

NVIDIA NeMo Canary 1B Flash — многозадачная речевая модель с 883 млн параметров для распознавания речи и перевода речи в текст. Она использует архитектуру encoder-decoder: FastConformer-энкодер и Transformer-декодер; модель реализована для NeMo и опубликована в формате safetensors. Модель распознаёт английскую, немецкую, французскую и испанскую речь. Она также переводит речь с английского на немецкий, французский и испанский, а с этих трёх языков — на английский. Для этих языков доступна экспериментальная генерация временных меток слов и сегментов. Заявлена скорость более 1000 RTFx на наборах Open ASR Leaderboard; для аудио длиннее 40 секунд рекомендуется обработка частями, а для временных меток — чанками по 10 секунд. На вход подаются монофонические WAV или FLAC-файлы с частотой 16 кГц, на выходе — текст, при необходимости с временными метками. Для работы требуется NVIDIA NeMo. Модель не обрабатывает специальные символы и может требовать обратной нормализации текста; качество распознавания зависит от языка и характеристик записи. Лицензия CC-BY-4.0 допускает коммерческое использование.

alvanlii/distil-whisper-small-cantonese — модель распознавания речи на кантонском языке, созданная как дистиллированная версия alvanlii/whisper-small-cantonese на основе Whisper Small от OpenAI. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров; в декодере 3 слоя вместо 12 у стандартной Whisper Small. Модель принимает аудио и выдаёт текстовую транскрипцию; в README описан сценарий обработки аудио с частотой дискретизации 16 кГц и чанками до 30 секунд. Модель рассчитана на транскрибирование кантонской речи, включая данные zh-HK. На тестовом наборе Common Voice 16.0 yue указана CER 9,7% без пунктуации и 11,59% с пунктуацией; авторы также сообщают о меньшем времени инференса по сравнению с Whisper Small. Для работы требуется около 2 ГБ видеопамяти. Модель опубликована в формате safetensors под лицензией Apache-2.0. Метаданные указывают Common Voice 11.0 среди тегов датасетов, тогда как README описывает обучение на CantoMap, Cantonese-ASR и Common Voice и оценку на Common Voice 16.0.

BuzzASR/japanese — монолингвальная модель автоматического распознавания японской речи, разработанная в рамках набора BuzzASR. Она создана полным дообучением openai/whisper-large-v3 с заменой токенизатора на японский и текстовым мультитасковым дообучением. Модель содержит около 907,3 млн параметров, использует архитектуру Whisper и библиотеку Transformers. Модель предназначена для транскрибации японской речи в текст. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25.0: нормализованный CER составляет 14,49% и 26,58% соответственно; на объединённом наборе CER — 21,08%. По заявлению авторов, на объединённом тесте это примерно на 1,1 раза ниже CER, чем у Whisper-large-v3 в режиме zero-shot. Языковая и задачная подсказка задана в конфигурации генерации. Модель рассчитана только на японский язык; качество на других предметных областях, диалектах и условиях записи может отличаться. Она лицензирована по MIT.

Модель toiar/khasi-asr-transcribe-diarize — дообученная на Khasi версия аудиомодели MOSS-Transcribe-Diarize от OpenMOSS-Team. Она предназначена для транскрибирования речи на Khasi, английском и хинди, включая режимы с временными метками и диаризацией говорящих, а также вывод только с метками говорящих. Базовая модель имеет размер 0,9 млрд параметров и поддерживает длинные аудиозаписи с временными метками, диаризацией и аннотациями акустических событий. Модель принимает аудио и преобразует его в текстовые транскрипты с разметкой говорящих. Она распространяется в формате safetensors по лицензии Apache-2.0. В проверках отмечались ошибки записи чисел в Khasi; при транскрибировании коротких высказываний на хинди возможен переход с деванагари на латиницу.