I.9Аудио и музыка

facebook/mms-tts-nab — модель синтеза речи на южном намбиквара (Nambikuára, Southern; код nab), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на этом языке в речевую аудиоволну; для каждого языка MMS обучается отдельный контрольный набор параметров. Модель построена на архитектуре VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, текстовым энкодером на основе Transformer, предсказателем длительности и декодером HiFi-GAN-типа. Предсказатель длительности стохастический, поэтому одинаковый текст может звучать по-разному; для воспроизводимого результата требуется фиксировать seed. Размер модели — 3,5 млн параметров. Она доступна через Transformers версии 4.33 и новее. Модель подходит для озвучивания текста на южном намбиквара, например для речевых интерфейсов и создания аудиоматериалов на этом языке. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-ncl — модель синтеза речи на языке науатль Мичоакана (код ncl), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на языке с ограниченными речевыми ресурсами. Модель использует архитектуру VITS: текстовый энкодер, вариационный автоэнкодер, flow-модуль, декодер и стохастический предсказатель длительности, позволяющий варьировать ритм речи. Чекпойнт содержит около 3,5 млн параметров и доступен для использования через Transformers. Из-за стохастического предсказателя повторная генерация может дать другой результат; для воспроизводимости требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-tob — модель синтеза речи на языке тоба (код ISO 639-3: tob) из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на тоба в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; VITS объединяет текстовый энкодер, генератор акустических признаков, стохастический предиктор длительности и декодер аудио. Предиктор длительности может давать разные ритм и произношение для одного текста, поэтому для повторяемого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но некоммерческое. Модель предназначена для речи на тоба; качество для других языков не заявлено.

facebook/mms-tts-wlx — модель синтеза речи для языка Wali (wlx), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Wali. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, поточным модулем, декодером и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Для каждого языка MMS-TTS обучается отдельный чекпойнт; для воспроизводимого результата генерации требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

NeuCodec — разработанный Neuphonic нейронный аудиокодек для токенизации и сжатия речи. Он предназначен для подготовки аудиоданных и обучения высококачественных моделей синтеза речи и SpeechLM, в том числе на устройствах с ограниченными ресурсами. Кодек использует конечное скалярное квантование (FSQ) с одной кодовой книгой и формирует 50 токенов в секунду при 16 битах на токен, обеспечивая битрейт 0,8 кбит/с. Он принимает аудио с частотой 16 кГц и декодирует его с повышением частоты до 24 кГц; FSQ также рассчитан на устойчивость к ошибкам передачи. В README заявлено, что потери при реконструкции речи почти неслышны. Модель в значительной степени основана на X-Codec2.0. Для обучения и проверки в метаданных перечислены многоязычные речевые датасеты, однако конкретный перечень поддерживаемых языков не подтверждён. Лицензия Apache-2.0 разрешает коммерческое использование. Кодек специализируется на речи; качество реконструкции и пригодность для других типов аудио в предоставленных материалах подробно не оценены.

Sori-1B — модель понимания аудио, разработанная Сонуком Кимом и Human Interface Lab Сеульского национального университета. Она принимает аудиоклип и вопрос на естественном языке, распознаёт содержание и формирует ответ; модель предназначена для работы с речью, музыкой и окружающими звуками в одном сценарии. Архитектура объединяет аудиоэнкодер на основе LiquidAI/LFM2.5-Encoder-350M и языковую модель LFM2.5-350M-Base; в README указано 933 млн параметров. Этапы обработки аудио основаны на дистилляции выходов энкодера NVIDIA Audio Flamingo Next, а языковая модель обучена разработчиками проекта. Репозиторий доступен по условиям gated-доступа и лицензии other; карточка указывает академическое применение и активную исследовательскую разработку. Модель отвечает фразой, числом или списком, а при заданных вариантах может выбрать один из них. README заявляет поддержку аудио любой длительности без обрезки и обработку на CPU, однако модель работает в fp32, а проект обозначен как предварительная версия. Язык ответа и качество на разных языках отдельно не описаны; метаданные карточки указывают английский.

TEA-ASR-1-mini — компактная модель распознавания речи, разработанная JacobLinCool для повседневной тайваньской речи на мандаринском китайском. Она дообучена на базе Qwen/Qwen3-ASR-0.6B: аудиоэнкодер заморожен, а небольшая LoRA-адаптация декодера объединена с весами в единый чекпойнт. Модель принимает аудио и транскрибирует речь традиционными китайскими иероглифами, используя лексику Тайваня; она также рассчитана на естественное переключение между китайским и английским. Модель содержит 780 млн параметров и совместима с API Qwen3-ASR; для распознавания тайваньской речи рекомендуется задавать язык Chinese. README приводит результаты на CommonVoice zh-TW и наборах с китайско-английским переключением, а также замеры скорости и памяти на RTX 5090. Лицензия — MIT. Это специализированная модель для тайваньского мандаринского, поэтому результаты на других языках и типах речи не подтверждены; на плотном синтетическом переключении языков младшая версия уступает более крупной TEA-ASR-1.

Модель VicentCano/toki-pona-wav2vec2-xls-r-300m-common-voice-17 — дообученная на Common Voice 17.0 версия wav2vec2-xls-r-300m для автоматического распознавания речи на токипона. Она принимает аудио и выдаёт распознанный текст. Архитектура — Wav2Vec2ForCTC; содержит около 402,7 млн параметров и рассчитана на использование с библиотекой Transformers. В README указаны результаты на тестовой выборке: loss 0,0718 и WER 0,0457. Модель выпущена под лицензией Apache-2.0. Карточка не сообщает дополнительных сведений о поддерживаемых условиях записи или ограничениях качества; результаты оценки относятся к указанной выборке Common Voice 17.0.

TrorYongASR-tiny — компактная модель распознавания речи, разработанная KHUN Kimang и опубликованная KrorngAI. Это encoder-decoder архитектура, вдохновлённая PARSeq и Whisper: аудиоэнкодер имеет 4 слоя и 6 голов внимания, а текстовый декодер — один Transformer-блок с 12 головами. Модель содержит 29 млн параметров и обрабатывает аудио через log-mel спектрограммы с 80 мел-фильтрами. Модель предназначена для транскрибации речи на кхмерском и английском языках. В README приведены результаты на тестовых наборах FLEURS и LibriSpeech: для английского WER составляет 54,33%, для кхмерского — 75,88%; заявленная стопроцентная точность определения языка связана с особенностями предобучения и не отражает качество транскрипции. Перевод аудио в текст на другом языке также упоминается как обучавшаяся задача, но её оценка отложена из-за малого объёма данных. Модель не предназначена для обнаружения речи и не выдаёт временные метки. Точность может снижаться при шуме, реверберации, непривычных акцентах и вариациях темпа речи. В метаданных указана лицензия other; конкретные условия лицензии в карточке не раскрыты.

onnx-community/wav2vec2-lv-60-espeak-cv-ft — это ONNX-версия модели facebook/wav2vec2-lv-60-espeak-cv-ft, разработанной на базе Wav2Vec2-Large-LV60. Модель создана авторами Qiantong Xu, Alexei Baevski и Michael Auli и автоматически преобразована в формат ONNX для использования, в частности, с Transformers.js. Модель предназначена для автоматического распознавания речи и фонем в многоязычных сценариях. Она принимает аудио с частотой дискретизации 16 кГц и преобразует речь в последовательность фонетических меток. Для получения слов из результата требуется отдельный словарь, сопоставляющий фонетические метки словам. Модель дообучена на многоязычном наборе Common Voice и ориентирована на перенос распознавания между языками, включая распознавание ранее не встречавшихся языков. Ключевые сведения о размере и точном составе поддерживаемых языков в README не указаны. Модель работает с аудио и не генерирует напрямую текстовую транскрипцию слов, что ограничивает её применение без дополнительного словаря или постобработки. Лицензия — Apache-2.0.

Maniac/wav2vec2-xls-r-60-urdu — модель автоматического распознавания речи, разработанная на основе facebook/wav2vec2-large-xlsr-53 и дообученная на урдуском подмножестве Mozilla Common Voice 7.0. Это плотная модель архитектуры wav2vec2 с выходной CTC-головой, содержащая 402,7 млн параметров; репозиторий содержит веса PyTorch. Модель принимает аудио и предназначена для преобразования урдуской речи в текст. В карточке приведён результат оценки на тестовой выборке: WER 0,9852 и loss 3,8433, что указывает на слабое качество распознавания в этой оценке. Модель распространяется по лицензии Apache-2.0. Подробности о рекомендованных сценариях применения и ограничениях в README не приведены.

DrishtiSharma/wav2vec2-xls-r-myv-a1 — модель распознавания речи, дообученная на основе facebook/wav2vec2-xls-r-300m на наборе Mozilla Common Voice 8.0 для языка эрзя (myv). Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; её можно применять для транскрибации записей на эрзянском языке. В карточке приведены результаты оценки на тестовом наборе Common Voice 8.0: WER 0,6524 и loss 1,0356. Модель распространяется по лицензии Apache-2.0. Высокое значение WER указывает на существенные ошибки распознавания, поэтому качество транскрипций может требовать проверки и исправления.

Это дообученная версия OpenAI Whisper large-v2, созданная clu-ling для распознавания японской речи. Модель обучалась 5000 шагов на обучающей части Common Voice 11.0 и предназначена для преобразования аудиозаписей на японском языке в текст; оценивание проводилось на тестовой части того же набора данных. Модель использует архитектуру WhisperForConditionalGeneration и содержит около 905,2 млн параметров. В README указаны значение loss 0,4200 и WER 0,7449 на оценочном наборе. Авторы предупреждают, что качество расшифровок может быть неудовлетворительным для пользователей. Лицензия — Apache-2.0.

Nagarariharshini/whisper-small-te — модель распознавания речи на телугу, созданная Nagarariharshini дообучением openai/whisper-small с помощью Mozilla.ai Blueprint speech-to-text-finetune. Она принимает аудио и преобразует речь в текст; обучение проводилось на 99 аудиозаписях на телугу из корпуса Common Voice. По приведённым в карточке метрикам дообучение снизило ошибку распознавания относительно базовой модели, однако значения WER и CER остаются высокими, поэтому качество может быть ограничено. Модель распространяется по лицензии Apache-2.0.

HuBERT-Base-JTube — японская модель энкодера HuBERT от SaruLab, обученная на корпусе JTubeSpeech. Она преобразует входную речь в латентные представления и предназначена для извлечения признаков и построения систем распознавания речи, например для последующей расшифровки аудио. Модель имеет архитектуру HuBERTModel, содержит 113,3 млн параметров и доступна в формате PyTorch через библиотеку Transformers. Модель обучалась на примерно 2720 часах японской речи из корпуса JTubeSpeech. Это энкодер для задач распознавания: он не генерирует речь и сам по себе не является разговорной моделью или готовой системой транскрибации. Лицензия — MIT.

Это модель распознавания речи на языке лингала, созданная HuggingAnalist на основе facebook/mms-300m. Модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC дообучена с символьной CTC-головой на наборе WaxalNLP lin_asr для соревнования Waxal ASR. В метаданных указано 1,3 млрд параметров; веса доступны в формате safetensors. Модель преобразует аудиозаписи на лингала в текст. Для декодирования с поиском по лучу в репозитории также приведена 4-граммная языковая модель KenLM, построенная по обучающим транскрипциям; параметры alpha и beta рекомендуется настраивать на валидационной выборке. Модель предназначена прежде всего для распознавания речи на лингала, а не для общего многоязычного ASR. Лицензия в предоставленных данных не указана.

facebook/mms-tts-kzf — модель синтеза речи на языке Kaili, Da’a (kzf), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевой аудиосигнал; отдельный чекпойнт VITS обучен для этого языка. Модель содержит около 3,5 млн параметров и использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль и HiFi-GAN-подобный декодер. Она доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на Kaili, Da’a. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной фразы, поэтому генерация недетерминирована и для повторения результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-tao — модель синтеза речи на языке ями (Yami, tao) из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на ями в речевую волну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт семейства MMS-TTS; для синтеза применяются предсказание длительности и декодер, формирующий аудиоволну. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 запрещает коммерческое использование. Предсказатель длительности стохастический, поэтому результат может меняться между запусками; для воспроизводимого синтеза нужно фиксировать seed. Модель предназначена для речи на ями, а не для многоязычного синтеза.

facebook/mms-tts-vif — модель синтеза речи для языка Vili (код vif), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Vili в речевую аудиоволну и предназначена для озвучивания текста и создания речи в приложениях для этого языка. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; синтез выполняется сквозным способом с помощью вариационного автоэнкодера, потокового модуля и декодера, а стохастический предиктор длительности позволяет варьировать ритм речи. Для повторяемого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель предназначена для Vili и не является многоязычной моделью одного чекпойнта.

Moonshine-base-ar-gguf — это квантованные GGUF-версии модели UsefulSensors/moonshine-base-ar, подготовленные командой handy-computer для работы с transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования арабской речи в текст, в том числе локально на CPU или GPU через совместимое приложение. Она принимает монофонический звук в формате 16 кГц PCM и генерирует только транскрипцию на арабском языке. Модель использует encoder-decoder Transformer-архитектуру Moonshine с 62 млн параметров. Входной аудиосигнал обрабатывается трёхслойным Conv1d-стемом без STFT и mel-фильтров. Доступны варианты F32 размером 248 МБ, F16 размером 132 МБ и Q8_0 размером 77 МБ. Для тестовой выборки FLEURS Arabic WER составляет около 24,45–24,50%; квантование Q8_0 приводит к небольшому дополнительному ухудшению относительно F16. Вариант не поддерживает потоковую обработку, перевод, автоматическое определение языка и временные метки. Модель подходит для офлайн-транскрибации арабской речи на устройствах с ограниченными ресурсами и интеграции в приложения на базе transcribe.cpp. Ограничения включают работу только с арабским языком, отсутствие перевода и дополнительных метаданных времени, а также заметный уровень ошибок распознавания, отражённый показателем WER. Лицензия — MIT, унаследованная от базовой модели.

UniSpeech-Large-plus Spanish — модель Microsoft семейства UniSpeech для автоматического распознавания испанской речи. Модель основана на архитектуре UniSpeechForCTC, содержит 402,7 млн параметров и дообучена на одном часе испанских фонем; предобучение проводилось на речевых аудиозаписях с частотой дискретизации 16 кГц и фонетическими метками. Модель принимает аудио с частотой 16 кГц и последовательность фонем в качестве текста для распознавания. Она предназначена для экспериментов и приложений распознавания испанской речи, включая оценку фонетического распознавания на данных Common Voice. Для использования требуется преобразовать текст в последовательность фонем. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

eugenehp/w2v-bert-2.0 — это staging-репозиторий с перераспространёнными весами энкодера Seamless W2V-BERT 2.0 Conformer для запуска через RLX. Модель содержит 402,7 млн параметров; доступны веса Safetensors и GGUF в формате F16. Репозиторий подготовлен для загрузчиков RLX и ссылается на пакет rlx-wav2vec2-bert. Энкодер предназначен для извлечения признаков из аудио и может служить компонентом речевых ML-конвейеров. README предупреждает, что эти файлы не являются основным поддерживаемым runtime-пакетом RLX, а репозиторий опубликован как стабильная точка загрузки для рецептов RLX. Лицензия — MIT.

xm_transformer_unity_hk-en — модель перевода речи в речь на основе UnitY из fairseq, разработанная Facebook. Она переводит речь на хоккиенском языке в английскую речь; декодер работает в два прохода. Для синтеза английской речи используется facebook/unit_hifigan_mhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj_dur. Модель обучена на размеченных данных TED, драматических постановок и домена TAT, а также на слабой разметке из драматических постановок. Модель предназначена для речевого перевода с хоккиенского на английский. Репозиторий содержит веса PyTorch и использует библиотеку fairseq. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

Модель audioclssjs — дообученная версия Kkonjeong/wav2vec2-base-korean на неизвестном наборе данных. Она использует архитектуру Wav2Vec2ForSequenceClassification и предназначена для классификации аудио. Число параметров — 113,3 млн; модель опубликована в формате safetensors и рассчитана на работу через Transformers. На оценочном наборе указаны accuracy 0,8319 и loss 1,1162. Назначение классов, состав и условия сбора обучающих данных, а также ограничения применения не описаны. Базовая модель связана с корейской речью, но это не подтверждает, что данная модель классифицирует именно корейское аудио. Условия лицензирования в доступных данных не приведены.

DistilHuBERT — компактная модель для извлечения представлений из речи, разработанная лабораторией NTU Speech Processing & Machine Learning Lab. Она основана на HuBERT и обучена методом послойной дистилляции скрытых представлений; модель содержит 18,9 млн параметров и предназначена для обработки аудио с частотой дискретизации 16 кГц. Модель предварительно обучена на аудио без текстовых меток и не содержит токенизатора. Её можно использовать как основу для задач обработки речи; для распознавания речи необходимо создать токенизатор и дообучить модель на размеченных текстовых данных. В статье авторы сообщают о сокращении размера HuBERT на 75% и ускорении в 73 раза при сохранении большей части качества на десяти задачах. Модель работает с речевым аудио и выдаёт скрытые представления для последующих этапов обработки. Опубликована под лицензией Apache-2.0.

DuplexJev-B-Para-MOSS-Transcribe-Falcon-H1-1.5B — аудиотекстовая модель семейства Ultravox, разработанная adventists-ai как коннектор между аудиоэнкодером MOSS-Transcribe-Diarize и Falcon-H1-1.5B-Instruct. Замороженный Whisper-энкодер передаёт признаки замороженной языковой модели через обучаемый проектор SwiGLU с укладкой кадров; у коннектора 37,8 млн обучаемых параметров. Модель обрабатывает аудиоклип и типизированные вопросы, выдавая распределение вероятностей по вариантам ответа без генерации токенов; поддерживается пакетная оценка нескольких вопросов. Модель предназначена для коротких решений по речи и определения характеристик говорящего, включая речевые вопросы-ответы и паралингвистические признаки. В README приведены результаты на небольших тестовых наборах и задержки, сильно зависящие от аппаратуры; на CPU без Mamba-ядер работа медленная. Модель не оценивалась на потоковом аудио, а вопросы на общие знания ограничены возможностями небольшой языковой модели. Эмоциональные метки обучены на корпусах актёрской речи и не подходят для принятия решений о конкретных людях. Для работы нужны указанные энкодер и LLM. Лицензия — CC-BY-NC-4.0, допускающая использование на условиях некоммерческого лицензирования.

Whisper Small Romanian - Horoscop Neti — дообученная модель распознавания речи, созданная на основе openai/whisper-small и датасета Horoscop Neti. Она предназначена для транскрибирования румынской речи; архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров. Модель принимает аудио и выдаёт текст. В карточке указаны результаты оценки на тестовой выборке: loss 0,2392 и WER 9,7834. Модель распространяется по лицензии Apache-2.0. Карточка не уточняет условия записи аудио и ограничения распознавания.

facebook/mms-tts-cak-dialect_central — модель синтеза речи на языке какчикель, вариант центрального диалекта, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на какчикельском языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода для приложений на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS, обученный для одного языка; он доступен для работы через библиотеку Transformers. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0. Она специализирована на центральном диалекте какчикеля; качество для других языков или диалектов не заявлено.

facebook/mms-tts-guc — модель синтеза речи на языке Wayuu (guc), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на Wayuu в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. VITS синтезирует речь сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер создаёт аудиоволну. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной фразы; результат может меняться между запусками, поэтому для повторяемого синтеза нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерческое.

facebook/mms-tts-ify — модель синтеза речи для языка Kallahan, Keley-i (ify), созданная в рамках проекта Meta/Facebook Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер, вариационный автоэнкодер, нормализующие потоки и декодер HiFi-GAN. Это отдельный языковой чекпойнт MMS-TTS с 3,5 млн параметров; для работы доступен через библиотеку Transformers версии 4.33 и новее. Генерация зависит от случайного предсказателя длительности, поэтому для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.