I.9Аудио и музыка

facebook/mms-tts-hif — модель синтеза речи на языке хинди Фиджи, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на хинди Фиджи. Модель построена на архитектуре VITS: текстовый кодировщик, flow-модуль и HiFi-GAN-подобный декодер работают в сквозном конвейере синтеза. Вариативный предиктор длительности позволяет получать разные ритмические варианты произношения одного текста; генерация недетерминирована, поэтому для повторяемого результата требуется фиксированный seed. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы предусмотрена библиотека Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

facebook/mms-tts-hns — модель синтеза речи, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на хиндустани-сарнами в речевую аудиоволну и предназначена для создания озвучки на этом языке. Модель построена на архитектуре VITS: она объединяет текстовый энкодер на основе Transformer, условный вариационный автоэнкодер, модуль предсказания длительности и декодер, похожий на HiFi-GAN. Веса содержат около 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Предсказатель длительности стохастический, поэтому при одинаковом тексте возможны разные варианты ритма и звучания; для воспроизводимого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-kan — модель синтеза речи на каннада из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на каннада в речевую аудиоволну и предназначена для приложений озвучивания и голосового вывода. Модель использует архитектуру VITS и содержит 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS для каннада; доступен в библиотеке Transformers начиная с версии 4.33. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста, поэтому для повторяемого результата требуется фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценки качества или дополнительных ограничений синтеза.

Это модель синтеза речи для севернокурдского языка, предназначенная для текста на латинской письменности. Она разработана Meta в рамках проекта Massively Multilingual Speech (MMS); для каждого языка проекта обучается отдельная модель. Модель использует архитектуру VITS и преобразует последовательность текста в речевую волну. Размер модели — 3,5 млн параметров, веса доступны в форматах PyTorch и Safetensors. Модель подходит для озвучивания текстов и создания речевого вывода на севернокурдском языке с латинским письмом. Предсказатель длительности позволяет варьировать ритм речи; из-за стохастической генерации для повторяемого результата нужен фиксированный seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-mai — модель синтеза речи на майтхили, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для создания озвучки на майтхили. Модель использует архитектуру VITS и представлена как чекпойнт для библиотеки Transformers; число параметров — 3,6 млн. Отдельный чекпойнт MMS-TTS обучен для каждого языка. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной и той же фразы, поэтому результат синтеза недетерминирован и для повторения того же аудио требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-mbt — модель синтеза речи на языке манобо матигсалуг (mbt), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на этом языке. Модель построена на архитектуре VITS и включает текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль, HiFi-GAN-подобный декодер и стохастический предиктор длительности. Число параметров — 3,5 млн. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и выше. Предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста; генерация недетерминирована, поэтому для повторяемого результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

facebook/mms-tts-mya — модель синтеза речи на бирманском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания бирманских текстов. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт; для синтеза речи модель поддерживается библиотекой Transformers версии 4.33 и новее. Стохастический предсказатель длительности позволяет получать варианты с разным ритмом, поэтому для повторения результата требуется фиксировать seed. Модель распространяется в форматах PyTorch и Safetensors по лицензии CC BY-NC 4.0, которая требует указания авторства и ограничивает коммерческое использование.

facebook/mms-tts-mzw — модель синтеза речи для языка Deg (код mzw), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал; для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS: это сквозная система на основе условного вариационного автоэнкодера с Transformer-кодировщиком текста, flow-модулем, стохастическим предсказателем длительности и декодером, построенным по принципу HiFi-GAN. Веса представлены в форматах PyTorch и Safetensors; размер модели — 3,5 млн параметров. Для воспроизводимого результата генерации требуется фиксированное случайное зерно. Модель предназначена для озвучивания текста на языке Deg. Карточка указывает лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-nnb — модель синтеза речи на языке нандэ (Nande, код nnb) из проекта Massively Multilingual Speech компании Facebook. Это отдельный языковой чекпойнт семейства MMS-TTS на архитектуре VITS; метаданные указывают 3,5 млн параметров, форматы PyTorch и Safetensors. Модель принимает текст на нандэ и генерирует речевую аудиоволну. VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, декодер, подобный HiFi-GAN, и стохастический предиктор длительности. Благодаря последнему одинаковый текст может звучать с разным ритмом; генерация недетерминирована, поэтому для повторяемого результата требуется фиксировать seed. Модель предназначена для озвучивания текста на нандэ. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-nyo — модель синтеза речи на языке ньоро (nyo), созданная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, основанный на архитектуре VITS: модель преобразует текст в речевую аудиоволну и использует стохастический предиктор длительности, поэтому одинаковый текст может звучать по-разному. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на ньоро. При генерации результат недетерминирован, поэтому для повторения той же аудиозаписи требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческих целях.

facebook/mms-tts-tso — модель синтеза речи на языке тсонга (tso) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на тсонга. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль и декодер на основе HiFi-GAN, а стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста. В репозитории указано 3,5 млн параметров; модель доступна через Transformers версии 4.33 и выше и хранится в форматах PyTorch и Safetensors. Генерация недетерминирована: для повторения результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-ury — модель синтеза речи на языке ория, выпущенная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует последовательность текста в речевую волну и предназначена для озвучивания текстов на ория. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, поточным модулем и декодером на основе свёрточных слоёв; предсказатель длительности позволяет варьировать ритм речи. В репозитории представлены веса PyTorch и safetensors, размер модели — 3,5 млн параметров. Модель работает с библиотекой Transformers версии 4.33 и новее. Генерация недетерминирована из-за стохастического предсказателя длительности, поэтому для воспроизводимого результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческих целях.

MyanmarTTS — модель синтеза речи на бирманском языке, разработанная с нуля. Она преобразует текст на бирманском письме в речь и подходит для озвучивания сообщений, новостных текстов и коротких фраз. Модель содержит 31 млн параметров и использует архитектуру StableTTS на основе DiT и flow matching вместе с вокодером Vocos. Для вывода доступны настройки решателя и числа шагов: в карточке приведены примеры с решателем euler и 12 шагами, а также варианты с 8 шагами для более быстрого вывода и с 24 для более высокого качества. Автор сообщает о запуске на современных GPU и CPU, причём на CPU синтез медленнее. Модель и её веса распространяются по лицензии CC0 1.0; отдельный вокодер Vocos указан под лицензией MIT.

OuteTTS-0.3-500M — модель синтеза речи от OuteAI на архитектуре Qwen2, созданная на базе Qwen2.5-0.5B. Она преобразует текст в речь и рассчитана на интеграцию речевых возможностей в существующие LLM. Модель обучалась на данных с примерно 10 000 часами аудио; размер по метаданным — 499,1 млн параметров, длина контекста — 32 768 токенов. Поддерживаются английский, японский, корейский, китайский, французский и немецкий языки. Версия 0.3 улучшает связность и естественность речи, в том числе за счёт обработки знаков пунктуации. В README также заявлена экспериментальная настройка голоса, но она может работать непоследовательно. Генерация лучше подходит для фрагментов длительностью около 30 секунд, причём образец голоса сокращает доступную длительность генерации. Модель опубликована под лицензией CC-BY-SA-4.0. Базовая модель Qwen2.5-0.5B указана в README с лицензией Apache-2.0.

fractalego/personal-speech-to-text-model — модель распознавания речи на базе Wav2Vec2, дообученная автором на примерно 1000 записях собственного голоса, чтобы лучше распознавать его акцент. Модель содержит 402,7 млн параметров и предназначена для преобразования речи в текст с учётом этого акцента. Модель принимает аудио и выдаёт текст; карточка указывает задачу automatic-speech-recognition. Она основана на facebook/wav2vec2-large-robust-ft-swbd-300h и распространяется в формате PyTorch. Автор предупреждает, что скачивать её имеет смысл только пользователям с таким же акцентом. Лицензия в предоставленных данных не указана.

Модель Trelis/piper-pt-br-faber-medium — средняя по размеру модель синтеза речи с мужским голосом на бразильском варианте португальского языка. Она создана на архитектуре VITS и распространяется в формате ONNX; модель пере размещена из rhasspy/piper-voices и дообучена на основе lessac medium на данных OHF Voice Datasets. Модель преобразует текст в речь и подходит для озвучивания фраз и коротких текстов на португальском языке Бразилии. Средний размер обозначает размер модели, а не качество звучания; для этого варианта указано около 15 млн параметров и частота аудио 22,05 кГц. Для запуска можно использовать Piper TTS, распространяемый по GPL, либо ONNX отдельно от зависимости piper-tts; для отдельного запуска требуется espeak-ng. Репозиторий модели лицензирован по CC0-1.0. Голос специализирован на pt-BR, поэтому карточка не подтверждает пригодность для других языков или акцентов.

mahwizzzz/piper-voice-ur-aegis-female — женский голос для синтеза речи на урду в формате Piper ONNX. Модель предназначена для локального вывода на CPU; в карточке указаны качество medium, частота дискретизации 22 050 Гц и фонемизация через eSpeak-ng для урду. В README указано, что голос дообучен на базе Fasih (ur_PK-male-medium), который, в свою очередь, обучался на среднем чекпойнте для хинди Rohan. В карточке также упоминается статья о дистилляции OmniVoice в студенческую модель VITS, но связь этой истории с данным репозиторием не прояснена. Модель рассчитана на синтез женской речи на урду, включая локальное озвучивание текста и задачи доступности. Репозиторий распространяется по лицензии MIT. В карточке нет количественных оценок естественности, качества произношения или сходства голоса; охват диалектов и поведение при смешении языков не измерены. Использование eSpeak-ng может приводить к расхождениям с произношением носителей урду.

poto-tts-kokoro-gh — это пакет синтеза речи от сообщества GhanaNLP, основанный на Kokoro и предназначенный для чтения английского текста с корректным произношением ганских имён, географических названий и заимствований. В словарь espeak-ng добавлены 44 321 произношение; текст подаётся модели без изменений, а слова вне словаря произносятся по британским правилам английского языка. Доступны восемь британских голосов, аудио выдаётся в формате 24 кГц, моно. Репозиторий содержит модель ONNX для запуска через sherpa-onnx, в том числе офлайн и в приложениях для Android, iOS, WebAssembly и C++. Это не модель с ганским акцентом: меняется произношение ганских слов, но не акцент голосов. В проверке на выборке из 400 слов модель правильно произнесла 98,5% ганских слов по словарю; стандартный Kokoro — 2,8%. Метаданные указывают лицензию Apache-2.0, а README отдельно сообщает, что веса Kokoro доступны по Apache-2.0. Для развёртывания с espeak-ng-data действует GPL-3.0; произношения основаны на ghana-english-g2p с лицензией MIT.

Vikhrmodels/salt-asr_wav-uni_1_tts_wav-uni_1-12k — экспериментальная унифицированная модель распознавания и синтеза речи, разработанная Vikhrmodels. По README, авторы расширили предварительно обученную LLM аудиотокенами и дообучили её для ASR и TTS; для представления речи использовался SpeechTokenizer. Модель имеет плотную архитектуру LlamaForCausalLM с 3,2 млрд параметров и контекстом 131 072 токена. Модель предназначена для преобразования аудио в текст и генерации коротких речевых фраз. README указывает поддержку генерации на английском, немецком и французском языках. В карточке приведены метрики качества речи и описано обучение на 150 часах вычислений A100, однако данных недостаточно, чтобы надёжно установить качество распознавания или синтеза в практических сценариях. Лицензия не указана в предоставленных источниках.

Sofelia-TTS — модель синтеза речи, разработанная как дообучение YatharthS/MiraTTS для палестинского диалекта арабского языка. Она использует плотную архитектуру Qwen2 на 506,6 млн параметров и предназначена для преобразования текста в речь с характерным произношением и интонацией этого диалекта. Метаданные указывают контекст до 32 768 токенов; модель работает через Transformers и хранится в формате safetensors. Модель подходит для озвучивания аудиокниг, создания голосовых помощников и медиаконтента, а также клонирования голоса по короткому образцу речи. README рекомендует вводить текст арабским письмом и отмечает, что палестинский диалект подходит лучше всего. Заявления карточки о естественной просодии, сходстве с образцом и быстром выводе не сопровождаются результатами независимой оценки. Модель выпущена под лицензией Apache-2.0. Описание не подтверждает поддержку других арабских диалектов или языков на уровне качества, сопоставимого с палестинским арабским.

sapinsapin/speecht5_tts-pld-ilo — модель синтеза речи из текста, созданная дообучением SpeechT5 от Microsoft на наборе данных sapinsapin/pld. Она предназначена для озвучивания текста на илокано; при синтезе используются векторное представление голоса говорящего для кондиционирования и вокодер microsoft/speecht5_hifigan. Обучение проведено на 1761 аудиофрагменте в течение 1000 шагов; в карточке приведено значение eval_loss 0,3924. Модель построена на архитектуре SpeechT5 и распространяется в формате safetensors через библиотеку Transformers. Лицензия — MIT. Карточка не приводит длину контекста или подробную оценку качества, поэтому результаты для других голосов и текстов могут различаться.

Модель sapinsapin/speecht5_tts-pld-pag — дообученная версия SpeechT5 от Microsoft для синтеза речи из текста на языке Pangasinan (код pag). Она обучена на наборе sapinsapin/pld: 1000 шагов на 1673 аудиофрагментах; карточка приводит eval_loss 0,4095. Для синтеза использовались векторное обусловливание говорящего через SpeechBrain x-vector и вокодер microsoft/speecht5_hifigan. Модель предназначена для преобразования текста в речь; репозиторий содержит веса safetensors и использует библиотеку Transformers. Базовая модель SpeechT5 была дообучена Microsoft на LibriTTS. Лицензия — MIT.

VoiceCLAP-Large-v2 — модель эмбеддингов аудио и текста от LAION, созданная дообучением LCO-Embedding-Omni-7B с помощью rank-16 LoRA. Она основана на архитектуре Qwen2.5-Omni thinker и предназначена для сопоставления речи с текстовыми описаниями, в том числе для анализа эмоций в голосе. Модель обучалась с контрастивными функциями потерь InfoNCE и Prototypical Contrastive Loss на смеси аудиокорпусов и подписей MOSS-Audio. Модель кодирует аудиоклип и текст в эмбеддинги, близость которых можно оценивать сравнением векторов. В README приведены результаты тестирования на эмоциональных и связанных с голосом признаках; авторы сообщают об улучшении относительно предыдущей версии VoiceCLAP и варианта без PCL. Указана поддержка английского, немецкого, французского, испанского и китайского языков. Для работы README предлагает библиотеку Sentence Transformers и загрузку с trust_remote_code=True. Лицензия — CC-BY-4.0.

Модель alakxender/w2v-bert-2.0-dhivehi-cv — акустическая модель распознавания речи, дообученная на Common Voice 17.0. Она построена на архитектуре Wav2Vec2-BERT и содержит около 402,7 млн параметров; для обработки речи использует входные аудиоданные и выдаёт текстовую транскрипцию. Модель предназначена для автоматического распознавания речи на дивехи. В карточке приведены результаты оценки на тестовом наборе: loss 0,3580 и WER 0,4591. Описание не сообщает дополнительных сценариев применения, ограничений или условий лицензии, поэтому их нельзя уточнить по доступным данным.

cpierse/wav2vec2-large-xlsr-53-esperanto — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на эсперанто с использованием Common Voice. Она преобразует аудиозапись речи в текст и предназначена для транскрибирования речи на эсперанто; для входного аудио требуется частота дискретизации 16 кГц. Модель использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Веса доступны в форматах PyTorch и Flax, включая safetensors. На тестовых данных Common Voice для эсперанто указана метрика 12,31%; README не уточняет название этой метрики, поэтому результат нельзя однозначно интерпретировать. Модель распространяется по лицензии Apache-2.0.

arun100/whisper-base-bn-3 — модель автоматического распознавания речи на архитектуре Whisper, дообученная на бенгальской части набора Mozilla Common Voice 16.0. Она принимает аудио и генерирует текстовую расшифровку; размер модели составляет 51,7 млн параметров. В оценке на тестовом наборе указаны loss 0,2151 и WER 29,9236. Модель подходит для транскрибации бенгальской речи, в том числе записей, близких по характеру к данным Common Voice. Это дообученная версия arun100/whisper-base-bn, распространяемая в формате Safetensors по лицензии Apache-2.0. Показатель WER указывает, что расшифровки могут содержать ошибки; сведений о поведении на других языках и типах аудио в карточке нет.

whisper-large-v2-taiwanese-hakka-v1 — дообученная модель распознавания речи на основе openai/whisper-large-v2, размещённая автором в gated-репозитории Hugging Face. Она предназначена для преобразования аудио на тайваньском хакка в текст. Модель использует архитектуру Whisper Large v2 и библиотеку Transformers; обучение проводилось с размером батча 2 на 4 GPU L40S, накоплением градиентов 64 шага и общим числом 3828 шагов. Для использования требуется запросить доступ к репозиторию и войти в Hugging Face с учётной записью, которой доступ предоставлен. Лицензия CC BY-NC 4.0 разрешает использование на условиях указания авторства и ограничивает коммерческое применение. Модель ориентирована на распознавание тайваньского хакка; сведений о длине контекста и показателях качества в доступной карточке нет.

masapasa/xls-r-300m-sv-cv8 — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на шведской части датасета Mozilla Common Voice 8.0 (sv-SE). Она использует архитектуру wav2vec2 с CTC-декодированием и предназначена для преобразования шведской речи в текст. На карточке указаны результаты оценки на тестовой выборке: loss 2.3347 и WER 1.0286. Такие значения WER указывают на очень высокую долю ошибок распознавания; пригодность модели для практического применения следует проверять на целевых аудиозаписях. Модель принимает аудио и выдаёт текст. Веса опубликованы в формате PyTorch под лицензией Apache-2.0. Размер по метаданным — 402,7 млн параметров.

azzurra-voice — выразительная модель синтеза речи на итальянском языке, разработанная компанией Cartesia в рамках Azzurra Project. Она предназначена для исследователей, разработчиков и создателей приложений, которым нужны локальные, инклюзивные и ориентированные на человека голосовые интерфейсы. Модель основана на архитектуре sesame/csm-1b и обучена на закрытом наборе данных, включающем тысячи часов высококачественной итальянской речи. Данные охватывают широкий демографический и географический диапазон Италии, включая региональные акценты, различные просодические особенности и разговорные стили. Модель работает с текстом и генерирует аудио с частотой дискретизации 24 000 Гц; интеграция возможна через библиотеку transformers, а для быстрого инференса в реальном времени предлагается реализация csm.rs. К сильным сторонам относятся естественная интонация, выразительность, передача эмоций и более аутентичное звучание итальянской речи по сравнению с роботизированным синтезом. README не содержит подробностей о поддержке других языков, максимальной длине контекста, точных требованиях к ресурсам или количественных оценках качества, поэтому эти характеристики нельзя определить. Модель распространяется как open-weight под лицензией Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0): разрешены распространение и адаптация при указании авторства, запрете коммерческого использования и распространении производных материалов на тех же условиях.

В репозитории представлены три односпикерные модели синтеза речи на центральнокурдском языке (сорани), созданные на архитектуре F5-TTS в рамках инициативы TTS4All на семинаре JSALT 2025. Доступны женский голос, обученный на аудиокнигах, мужской голос с аудиокнижной манерой речи и мужской голос, обученный на студийных записях Giganet. Модели предназначены для синтеза центральнокурдской речи по тексту; их также применяли для клонирования голоса и генерации синтетических аудиоданных для систем перевода речи. В субъективной оценке с участием носителей языка вариант audiobook-F получил наивысшие оценки естественности и качества TTS, а studio-M показал лучшие объективные показатели качества сигнала. Репозиторий содержит веса PyTorch и примеры использования с аудио и текстом подсказки. Лицензия CC BY-NC-ND 4.0 запрещает коммерческое применение и распространение изменённых версий.