I.9Аудио и музыка

Sagicc/whisper-small-sr-yodas-v2 — модель распознавания речи на основе Whisper Small от OpenAI, дообученная на объединённых наборах Common Voice 16, Fleurs, JuzneVesti-SR, LBM и YODAS. Она предназначена для преобразования аудиозаписей в текст; карточка приводит результаты оценки: WER 0,1220 и WER Ortho 0,2328. Модель содержит 153,1 млн параметров и распространяется в формате Safetensors. В названии и обучающих данных указаны сербский язык и южносербские новости; также в обучении использованы многоязычные наборы Common Voice, Fleurs и YODAS. Базовый Whisper Small поддерживает распознавание речи на нескольких языках. Модель опубликована под лицензией Apache 2.0. Карточка не уточняет ограничения применения и условия оценки метрик.

Whisper Tajik — модель распознавания речи, созданная дообучением openai/whisper-small на пользовательском наборе данных. Она предназначена для преобразования аудиозаписей на таджикском языке в текст. В оценке на тестовом наборе указаны значение loss 0,4538 и WER 18,9518. Модель использует архитектуру WhisperForConditionalGeneration и содержит 905,2 млн параметров. Репозиторий содержит веса в формате safetensors; для работы используется библиотека Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не описывает состав обучающего набора, условия оценки и ограничения применения, поэтому качество на других типах записей и в иных акустических условиях по приведённым результатам определить нельзя.

ArTST ASR v2 — модель распознавания речи от Speech Lab при MBZUAI. Это вариант SpeechT5, дообученный для преобразования арабской речи в текст на наборе данных MGB2; модель доступна для использования через Transformers и хранится в формате safetensors. Модель предназначена для автоматической транскрипции арабской речи. Её можно применять для создания текстовых расшифровок аудиозаписей и построения систем распознавания речи на арабском языке. Карточка указывает, что модель дообучена от предварительно обученной ArTST; базовая модель доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Granite-Speech-4.0-1B-GGUF — это GGUF-конверсия и набор квантованных представлений речевой модели IBM Granite-Speech-4.0-1B, разработанной IBM Research. Репозиторий cstr распространяет модель для запуска через CrispASR с чистым C++-рантаймом, без Python, PyTorch и NeMo. Модель предназначена для автоматического распознавания речи, транскрибации аудио и речевого перевода; также поддерживаются пословные временные метки при использовании дополнительного CTC-выравнивателя Canary. Архитектура включает 16-слойный Conformer-аудиоэнкодер с d_model 1024, BLIP-2 Q-Former-проектор с двумя слоями и тремя обучаемыми query-токенами, а также Granite 4.0 LLM с 1 млрд параметров, 40 слоями, d_model 2048, 16 attention heads и 4 KV heads. Используются 80 мел-фильтров, объединённых в 160 признаков, GPT-2-style BPE vocabulary и таблица merges. Поддерживаются английский, французский, немецкий, испанский, португальский и японский языки. Доступны варианты F16, Q8_0, Q5_0 и Q4_K размером примерно от 2,94 до 5,58 ГБ; Q4_K является самым компактным разумным вариантом, а Q8_0 близок к исходной точности. Модель удобна для локального запуска и встраивания в C++-приложения, поддерживает транскрибацию и prompt-based перевод речи. Ограничения включают работу только с указанными языками, зависимость от CrispASR для заявленного сценария использования и возможное снижение точности у более сильных квантований. Модель распространяется по лицензии Apache-2.0; конверсия и квантование не изменяют обучение, архитектуру или возможности исходной модели.

MERaLiON-3-3B-ASR — модель распознавания речи с открытыми весами из семейства Speech-Text Large Language Models MERaLiON-3, разработанного институтом I2R агентства A*STAR в Сингапуре. Модель содержит около 2,1 млрд параметров по метаданным и предназначена для аудио на английском, китайском, малайском, тамильском, индонезийском, тайском и вьетнамском языках, а также на кантонском и хоккиенском диалектах. Она обучена распознавать естественное переключение между английским и языками региона Юго-Восточной Азии, включая синглиш. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт текстовую транскрипцию. По README, она дообучена для ASR на многоязычной смеси данных с акцентом на сингапурский английский, региональные диалекты и переключение языков. Авторы сообщают, что меньшая по размеру модель сопоставима с MERaLiON-2-10B-ASR или превосходит её на приведённых оценках; для самостоятельного размещения указана одна GPU с 80 ГБ памяти. Для запуска предлагаются пакет meralion-3-asr с бэкендом vLLM и бэкенд Transformers. Лицензия обозначена как other, конкретные условия следует проверять в карточке репозитория.

Parakeet-unified-en-0.6b — англоязычная модель распознавания речи от NVIDIA для офлайн- и потоковой транскрибации. Она принимает монофоническое аудио в формате WAV и выдаёт английский текст с пунктуацией и заглавными буквами. Модель построена на архитектуре Unified FastConformer-RNNT: энкодер FastConformer содержит 24 слоя, а декодер использует RNNT. В ней около 600 млн параметров. Офлайн- и потоковый режимы обучены совместно и используют общие параметры; для потоковой работы применяется обработка аудио чанками с настраиваемым левым, средним и правым контекстом. Заявленная задержка зависит от размера чанка и правого контекста: в приведённых настройках она составляет от 0,08 до 2,08 секунды. По приведённым оценкам WER модель показывает сильные результаты в офлайн-режиме и при потоковой задержке до 240 мс; при 160 мс качество начинает снижаться, а для 80 мс авторы рекомендуют другую модель. Для потокового распознавания нужны инструменты NVIDIA NeMo. В карточке указано, что пока доступен инференс, а обучающий конвейер планируется выпустить позднее. Лицензия обозначена как other; конкретные условия следует сверить с файлами лицензии репозитория.

NVIDIA FastConformer-Hybrid Large для арабского языка — модель автоматического распознавания речи, разработанная NVIDIA и доступная для работы через NeMo. Она преобразует аудио в текст и поддерживает знаки пунктуации: точки, арабские запятые и вопросительные знаки. Модель построена на архитектуре FastConformer с гибридным декодером Transducer (RNNT) и CTC и содержит около 115 млн параметров. Она обучена на примерно 760 часах арабской речи из MASC, Common Voice 17.0 и Fleurs. На вход подаются монофонические WAV-файлы с частотой 16 кГц; модель работает в нестриминговом режиме. На выходе — арабский текст без диакритических знаков, которому может потребоваться обратная нормализация. Модель предназначена для транскрибирования арабской речи и разрешена для коммерческого и некоммерческого использования по лицензии CC BY 4.0. Точность зависит от шума, акцента, типа речи и контекста; качество может снижаться на диалектной речи и незнакомой терминологии. Она не предназначена для критически важных сценариев.

dinesh480/telugu-whisper-finetuned — модель распознавания речи на телугу, разработанная на основе Swecha Gonthuka ASR и дообученная на пользовательском наборе телугуязычных аудиозаписей. Она использует архитектуру Wav2Vec2ForCTC и преобразует речь в текст на телугу в Unicode. Модель подходит для транскрибации, голосовых помощников, создания субтитров, образовательных приложений и анализа речи. Модель принимает монофонический звук WAV с частотой дискретизации 16 кГц; размер составляет 113,3 млн параметров. Репозиторий использует Transformers и хранит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Качество может снижаться при сильном фоновом шуме, нескольких говорящих, низком качестве записи и региональных акцентах, отсутствовавших в обучающих данных. README не приводит количественных результатов оценки.

NhutP/ViWhisper-small — модель распознавания вьетнамской речи, созданная дообучением Whisper-small от OpenAI. Она предназначена для преобразования вьетнамской речи в текст, в том числе для транскрибирования аудиозаписей и обработки длинных файлов с разбиением на фрагменты. Модель построена на архитектуре Whisper, содержит 153,1 млн параметров и доступна в формате Safetensors для Transformers. При обучении использованы 1308 часов данных, включая набор VietSpeech и другие вьетнамские речевые данные; для части примеров синтезировали речь, чтобы добавить слова, отсутствовавшие в корпусе. В README приведены результаты WER на нескольких вьетнамских тестовых наборах. Модель распространяется по лицензии MIT. Карточка описывает распознавание речи; качество на других языках и вне указанных тестов не установлено.

Модель разработана CLEAR-Global и представляет собой дообученную версию facebook/w2v-bert-2.0 для автоматического распознавания речи на языке хауса. Это плотная модель архитектуры Wav2Vec2-BERT с классом Wav2Vec2BertForCTC, содержащая 402,8 млн параметров; она принимает аудио и выдаёт распознанный текст. Модель обучена на наборе CLEAR-GLOBAL/HAUSA_579_993H_YOURTTS - NA. На оценочном наборе указаны Loss 0,2249, WER 0,3234 и CER 0,1866. Подходит для транскрибирования записей на хауса и построения систем распознавания речи для этого языка. Опубликована в формате safetensors для библиотеки Transformers. Лицензия — MIT. В карточке отмечено, что модель дообучена от facebook/w2v-bert-2.0; подробные сведения о других ограничениях и условиях оценки не приведены.

Badr al-Absi разработал модель для автоматического распознавания малагасийской речи. Это дообученная на 150 часах размеченной малагасийской речи модель facebook/w2v-bert-2.0 с архитектурой Wav2Vec2-BERT: трансформерным речевым энкодером, свёрточным извлекателем признаков и CTC-выходом. По метаданным модель содержит 402,7 млн параметров и распространяется в формате Safetensors. Модель подходит для транскрибации аудио на малагасийском языке, голосовых помощников и инструментов доступности для малагасийских сообществ. Внутридоменная оценка WER в карточке указана ниже 11,7%; качество на других типах записей может отличаться. Лицензия — CC-BY-4.0.

Модель CLEAR-Global — дообученная на наборе Yoruba NaijaVoices объёмом 500 часов версия facebook/w2v-bert-2.0 для автоматического распознавания речи. Она использует архитектуру Wav2Vec2-BERT с классом Wav2Vec2BertForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст на йоруба; библиотека для работы с ней — Transformers. В карточке приведены результаты оценки: WER 0,2869, CER 0,1773 и loss 0,3063. Лицензия модели — MIT. Подробности о составе обучающих данных, условиях записи и ограничениях применения в карточке не раскрыты.

Wav2Vec2 XLS-R 300M Korean — модель автоматического распознавания речи, дообученная Wilson Wongso на архитектуре XLS-R. Она преобразует корейскую речь в текст и предназначена для распознавания аудиозаписей на корейском языке. Модель основана на Wav2Vec2-XLS-R-300M; метаданные указывают 403,9 млн параметров, а README округляет размер до 300 млн. Использованы PyTorch и формат safetensors; лицензия — Apache-2.0. На наборе Zeroth Korean указаны WER 29,54% и CER 9,53%; на тестовых данных Robust Speech Event — WER 76,26% и CER 38,67%, что указывает на заметно худшие результаты вне основного набора оценки. README предупреждает о возможном наследовании смещений из данных предобучения.

Whisper Large V2 Malayalam — модель распознавания речи, созданная дообучением openai/whisper-large-v2 на корпусе Malayalam Speech Corpus от ICFOSS. Она преобразует аудиозаписи на малаялам в текст и предназначена для автоматической транскрипции речи. Архитектура — WhisperForConditionalGeneration; в модели 905,2 млн параметров. В карточке приведены результаты оценки: WER 44,1379 и CER 9,6895. Эти показатели относятся к указанному набору оценки и не гарантируют такое же качество на других аудио. Модель распространяется под лицензией Apache-2.0.

quinnb/whisper-Large-v3-hindi — дообученная модель семейства Whisper Large v3 для автоматического распознавания речи на хинди. Она принимает аудио и выдаёт распознанный текст. Модель содержит около 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; в репозитории представлены веса safetensors. Для дообучения использован набор Common Voice 17.0. Модель предназначена для транскрибирования речи на хинди, в том числе записей, похожих на материал Common Voice. Она распространяется по лицензии Apache-2.0. README не содержит сведений о точности или оценке качества, поэтому нельзя судить о её надёжности на других типах аудио.

Карточка модели aung7090/whisper-large-v3-myanmar на Hugging Face совпадает с карточкой chuuhtetnaing/whisper-large-v3-myanmar, поэтому описание составлено по ней. chuuhtetnaing/whisper-large-v3-myanmar — дообученная модель распознавания речи на базе Whisper large-v3 от OpenAI. Она обучена на наборе chuuhtetnaing/myanmar-speech-dataset-openslr-80 и предназначена для транскрибации аудио на бирманском языке. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и доступна в формате safetensors для Transformers. В карточке указаны результаты оценки на тестовом наборе: loss 0,1752 и WER 54,8976. Модель принимает аудио и выдаёт текст; практическое качество распознавания зависит от записи и речи. Лицензия — Apache-2.0.

Это дообученная на датасете Common Voice v15 версия мультиязычной модели Whisper Small от OpenAI, опубликованная пользователем razhan. Модель предназначена для автоматического распознавания речи и транскрибирования аудио на курдском языке сорани. Архитектура — WhisperForConditionalGeneration; размер — 153,1 млн параметров. В репозитории указаны результаты оценки: Loss 0,0334 и WER 0,0613. Модель принимает аудио и выдаёт текст. Данных о длине контекста и конкретных условиях оценки WER в карточке нет. Базовая модель — openai/whisper-small; лицензия — Apache-2.0.

Audio8 ASR Infinite — модель потокового распознавания речи, разработанная Edge0. Она предназначена для транскрибирования китайской и английской речи в реальном времени, в том числе непрерывных аудиопотоков. Архитектура основана на аудиомодели Voxtral Realtime 4B: обучены аудиобашня, проектор и эмбеддинги длины кадра; текстовый декодер использует 36 слоёв. Модель принимает аудио и выдаёт текст. Потоковый режим поддерживает настраиваемый аудиотакт 80, 120 или 160 мс и задержку транскрипции 240–560 мс. В README заявлены семантическое определение пауз и завершения реплики, а также обработка неограниченно длинного потока с постоянными затратами памяти и задержкой благодаря Rolling KV Cache и адаптированной сборке vLLM. Нативный контекст чекпойнта составляет 30 секунд; бесконечная длительность относится к режиму с Rolling KV Cache. Оптимальные сочетания параметров постобучены не для всех конфигураций. Модель выпущена как preview, а семантическое восприятие на уровне кадров обозначено как работа в процессе. В приведённых сравнениях качество зависит от языка и набора данных: результаты сильны на китайских тестах, тогда как на LibriSpeech test.clean уступают Voxtral-Mini-4B-Realtime-2602. Лицензия — Apache-2.0.

Moonshine Tiny KO — компактная модель распознавания речи, разработанная Moonshine AI и входящая в набор Flavors of Moonshine для малоресурсных устройств. Она преобразует аудио с корейской речью в текст на корейском языке. Модель построена на архитектуре encoder-decoder Moonshine и содержит 27 млн параметров; заявленная длина контекста — 194 токена. Репозиторий использует формат safetensors и библиотеку Transformers. Модель предназначена для разработчиков систем транскрибации корейской речи, которым важны скорость и работа на устройствах с ограниченной памятью и вычислительными ресурсами. В README сообщается о результатах на наборах Fleurs и Common Voice 17 и о превосходстве над сопоставимой по размеру Whisper Tiny; показатели нельзя напрямую переносить на любые аудиозаписи и условия применения. Модель может галлюцинировать слова, которых нет в аудио, и повторять фрагменты текста, особенно на коротких или обрезанных записях. Перед внедрением её следует оценить на целевых данных; не рекомендуется применять для субъективной классификации людей и решений высокого риска. В метаданных указана лицензия other, но её конкретные условия в предоставленных данных не раскрыты.

primeline/parakeet-primeline — модель автоматического распознавания речи, представленная Primeline и предназначенная прежде всего для точной транскрипции немецкой речи. Она основана на архитектуре NVIDIA Parakeet TDT 0.6B v3 и использует FastConformer-энкодер с Token-and-Duration Transducer-декодером; в карточке указано около 600 млн параметров. Модель принимает монофонический звук с частотой 16 кГц и выдаёт текст с пунктуацией и заглавными буквами, а также поддерживает временные метки слов. Модель рассчитана на транскрибирование немецкой речи, включая дикторскую речь и разговоры, создание субтитров, расшифровку встреч и анализ звонков. В README также заявлена поддержка длинных аудиозаписей и адаптации словаря через внешние KenLM n-граммные языковые модели. Метаданные указывают немецкий язык и задачу automatic-speech-recognition; README называет модель мультиязычной на базе Parakeet, но основной акцент делает на немецком. Карточка сообщает о более низком WER на приведённых тестах по сравнению с базовой моделью и Whisper large v3, однако результаты представлены самим автором и зависят от набора данных и условий записи. Распознавание может ухудшаться при шуме, сильных акцентах и редкой специализированной лексике. Модель доступна по лицензии CC BY 4.0.

Saraiki Whisper Medium — модель распознавания речи на основе Whisper Medium от OpenAI, дообученная автором репозитория themohal. Она предназначена для преобразования аудиозаписей на сараики в текст; в метаданных указана задача automatic-speech-recognition и входная аудиомодальность. Модель содержит 455,8 млн параметров и распространяется в формате safetensors для библиотеки Transformers. В README приведены результаты оценки: WER 19,4149 и CER 5,6416; набор данных для дообучения не уточнён. Лицензия — Apache-2.0. Показатели относятся к указанному оценочному набору и не гарантируют такую же точность на других записях.

Модель w2v-bert-2.0-hausanaijavoices250h разработана CLEAR-Global и дообучена на датасете NAIJAVOICES_250H для автоматического распознавания речи. Это модель архитектуры Wav2Vec2-BERT с CTC-выходом, содержащая 402,8 млн параметров; она принимает аудио и выдаёт текст. В опубликованной оценке указаны Loss 0,2333, WER 0,3302 и CER 0,1886. Модель предназначена для транскрибирования речи на хауса, в частности данных из набора NaijaVoices. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — MIT.

prajin/wav2vec2-large-xlsr-300m-nepali — модель автоматического распознавания речи на основе архитектуры Wav2Vec2ForCTC, дообученная разработчиком на базе facebook/wav2vec2-xls-r-300m. Для обучения использовались корпус OpenSLR-54 и дополнительные данные. Модель предназначена для преобразования непальской речи в текст. В оценке на выделенных 10 000 примерах обучающих данных указана WER 34,26% без языковой модели и 25,02% с 5-граммовой языковой моделью. На OpenSLR-43, который не использовался при обучении, автор сообщает WER 27% и CER 8,3% с 5-граммовой языковой моделью. Модель содержит 402,7 млн параметров и опубликована в формате PyTorch. Лицензия — Apache-2.0. Карточка не описывает дополнительные ограничения или условия применения.

Wav2Vec2-Large-XLSR-53-Odia — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 для языка одия в рамках работы над распознаванием речи для индийских языков с малым объёмом данных и переключением языков. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель преобразует аудиоречь на одия в текст. Для распознавания входную речь следует подавать с частотой дискретизации 16 кГц; README приводит результат оценки 68,75% на тестовых данных Odia из Common Voice. Модель предназначена для ASR, в том числе для сценариев с ограниченными обучающими данными. Веса опубликованы в формате PyTorch по лицензии Apache-2.0. Указанный результат оценки относится к конкретному тестовому набору и сам по себе не гарантирует качество на других записях или условиях записи.

mesolitica/wav2vec2-xls-r-300m-mixed — модель распознавания речи, созданная Mesolitica на основе архитектуры wav2vec2 и дообученная для малайского языка, синглиша и китайского мандаринского. Она предназначена для преобразования речи в текст; карточка приводит отдельные наборы оценки для каждого из трёх языков и смешанную оценку. Модель содержит около 402,7 млн параметров и доступна в форматах PyTorch и TensorFlow. Она принимает аудио и выдаёт текстовую транскрипцию. В README описано обучение на одной видеокарте RTX 3090 Ti с 24 ГБ видеопамяти. Лицензия в предоставленных данных не указана.

masoudmzb/wav2vec2-xlsr-multilingual-53-fa — модель распознавания персидской (фарси) речи, созданная дообучением masoudmzb базовой модели facebook/wav2vec2-large-xlsr-53. Это аудиомодель архитектуры wav2vec 2.0 XLSR с CTC-декодированием и примерно 402,7 млн параметров; на вход принимает речь, дискретизированную с частотой 16 кГц, и выдаёт текстовую расшифровку. Модель предназначена для автоматического распознавания речи на фарси. По описанию, при дообучении использовались Common Voice и собственный набор данных разработчика. В README приведён результат WER 0,40815 на частном тестовом наборе, который недоступен публично, поэтому это значение нельзя независимо проверить или напрямую сравнить с другими наборами. В README не указана лицензия, поэтому условия использования по имеющимся данным определить нельзя. Практическое ограничение — требование аудио 16 кГц; качество может зависеть от условий записи и соответствия речи обучающим данным.

serge-wilson/whisper-base-wolof — дообученная на датасете Wolof версия Whisper Base от OpenAI для автоматического распознавания речи. Модель содержит 51,7 млн параметров и использует архитектуру WhisperForConditionalGeneration; опубликована в формате PyTorch. Модель предназначена для преобразования аудио на волоф в текст. На оценочной выборке указаны значение потерь 0,2902 и WER 32,8385. Распознавание речи на волоф — основное подтверждённое назначение модели. Модель распространяется по лицензии Apache-2.0. README не описывает состав обучающей выборки и практические ограничения; приведённая метрика WER указывает на возможные ошибки распознавания, поэтому результатам может требоваться проверка.

Это модель распознавания речи на основе Whisper Large V3, дообученная разработчиком vignesh-trustt для каннада и телугу. Она использует архитектуру encoder-decoder и предназначена для преобразования аудиозаписей в текст; в метаданных указано 905,2 млн параметров, а веса опубликованы в формате safetensors. Модель ориентирована на распознавание разговорной речи на каннада и телугу. В карточке приведены значения WER 43,12% для каннада, 55,47% для телугу и 48,18% в целом. Лицензия — Apache 2.0. По описанию авторов, модель лучше работает с чистым аудио, одним говорящим и ясным произношением. Возможны ошибки при сильных акцентах и диалектах, шуме, профессиональной терминологии и смешанной речи. Для запуска требуются значительные вычислительные ресурсы; README рекомендует GPU с 16 ГБ памяти или больше.

whisper-small-Kurdish-Sorani-10 — дообученная модель OpenAI Whisper Small с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров. Она предназначена для автоматического распознавания речи, прежде всего на курдском языке сорани. На оценочном наборе указаны WER 13,1989 и орфографический WER 14,4007. Модель принимает аудио и выдаёт текст; в карточке не описаны условия записи, состав обучающих данных или дополнительные ограничения. Распространяется по лицензии Apache-2.0.

C1Tech/whisper_small_persian — модель распознавания речи на персидском языке на архитектуре Whisper, разработанная C1Tech и дообученная на крупном пользовательском персидском наборе данных. Она предназначена для преобразования персидской речи в текст и оценки качества распознавания на соответствующих тестовых наборах, включая Common Voice и FLEURS. По README, модель содержит 74 млн параметров. Автор заявляет о результатах, превосходящих Whisper Large-v3, Wav2Vec2-XLSR и ряд других систем на персидских бенчмарках; подробные численные результаты в карточке не приведены. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0.