I.9Аудио и музыка

facebook/mms-tts-lnd — модель синтеза речи на языке лундее из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт VITS, обученный для одного языка; архитектура объединяет условный вариационный автоэнкодер, потоковый модуль и декодер, формирующий речевую волну. Модель содержит 3,5 млн параметров и принимает текст, выдавая аудио. Она доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на лундее. Стохастический предсказатель длительности позволяет получать варианты с разным ритмом; поэтому результат может меняться между запусками, и для воспроизводимости нужен фиксированный seed. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

facebook/mms-tts-pwg — модель синтеза речи на языке гапапайва (Gapapaiwa), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельная языковая версия MMS-TTS, обученная преобразовывать входной текст в речевую волну. Модель использует архитектуру VITS: текстовый энкодер и потоковый модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудио. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста; для воспроизводимого результата требуется фиксировать seed. В метаданных указано 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и новее. Она предназначена для озвучивания текста на гапапайва. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерчески.

facebook/mms-tts-sxn — модель синтеза речи на языке сангир (Sangir, sxn), созданная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на сангире в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, flow-модуля и декодера в стиле HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы используется библиотека Transformers версии 4.33 или новее. Отдельный чекпойнт MMS-TTS обучен для каждого языка. Генерация недетерминирована из-за стохастического предсказателя длительности; для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Качество и естественность синтеза для конкретных текстов в карточке не оценены.

Модель facebook/mms-tts-tkr — система синтеза речи на языке цахур (Tsakhur, код tkr), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт для преобразования входного текста в речевую аудиоволну; модель доступна через библиотеку Transformers версии 4.33 и новее. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предиктор длительности и декодер на основе HiFi-GAN. Размер модели — 3,5 млн параметров. Стохастический предиктор позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксировать seed. Модель предназначена для синтеза речи на цахурском языке. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства в рамках некоммерческих условий; коммерческое применение этой лицензией не разрешено.

facebook/mms-tts-ybb — модель синтеза речи на языке йемба (Yemba, ybb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на йемба. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; архитектура объединяет текстовый энкодер, потоковые слои, стохастический предиктор длительности и декодер, формирующий аудиосигнал. Из-за стохастической генерации для воспроизводимого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и выше. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель ориентирована на йемба и не предназначена для синтеза речи на других языках.

Piper Plus Mera Multilingual — японский разработчик Kizuna Intelligence подготовил эту мультиязычную модель синтеза речи для использования с piper-plus-swift. Репозиторий содержит контрольную точку ONNX и конфигурацию Piper / Piper Plus; карточка приводит примеры коротких реплик персонажа Меры и образцы на шести языках. Модель предназначена для преобразования текста в речь на японском, английском, китайском, испанском, французском и португальском языках. Японский текст можно подавать через японский frontend piper-plus-swift; для остальных языков в README показаны образцы, созданные из подготовленного мультиязычного ввода в симуляторе. Разработчик указывает, что голос создан с нуля и не основан на голосе существующего актёра озвучивания. Файлы модели представлены в формате ONNX. Репозиторий распространяется по лицензии Apache-2.0. README не приводит размер модели, скорость синтеза или оценку качества; описанный способ подготовки примеров для пяти неяпонских языков может отличаться от обычного ввода через Swift frontend.

SAC-16k-62_5Hz — версия нейронного речевого кодека SAC от Soul-AILab. Кодек использует двухпоточное семантико-акустическое квантование и предназначен для восстановления речи и получения семантических представлений при разных битрейтах. Этот вариант работает с аудио с частотой дискретизации 16 кГц и токенизирует его с частотой 62,5 Гц; заявленный битрейт составляет 875 бит/с. Для подготовки и обучения SAC в README указаны зависимости GLM-4-Voice-Tokenizer и энкодер говорящего ERes2Net. Репозиторий содержит веса PyTorch и опубликован под лицензией Apache-2.0. Карточка не приводит количественных результатов, поэтому заявление о качестве уровня state-of-the-art нельзя независимо оценить по предоставленным данным.

Splintir/speecht5_tts-pld-ceb-v2 — дообученная модель SpeechT5 для синтеза речи на Cebuano, опубликованная Splintir. Она продолжает обучение весов sapinsapin/speecht5_tts-pld-ceb на 14 007 пригодных аудиоклипах из датасета sapinsapin/pld: 13 807 обучающих и 200 проверочных клипов, около 19 часов аудио. В README указаны 4 000 шагов обучения и примерно 9 эпох. Модель преобразует текст в речь и требует 512-мерный вектор голоса x-vector для каждого вызова. В репозитории приложен x-vector реального носителя Cebuano из обучающих данных. По тестам на десяти строках модель снизила ошибки распознавания относительно базового чекпойнта, однако результаты зависят от распознавателя и случайности генерации; оценки не измеряют естественность речи. Надёжность обусловливания голосом остаётся ограничением: при использовании 16 родных Cebuano-векторов стабильно сработали только 3. Неудачный или неподходящий x-vector может дать длинную почти беззвучную речь. Лицензия модели — MIT.

aoi-ot/VibeVoice-7B — копия весов Microsoft VibeVoice-7B, размещённая на Hugging Face. Это плотная модель семейства VibeVoice для синтеза речи из текста: она создаёт выразительные длинные диалоги с несколькими говорящими, например подкасты. В архитектуре сочетаются LLM для понимания текста и хода диалога, диффузионная голова для генерации акустических деталей и акустический и семантический токенизаторы с частотой 7,5 Гц. Карточка описывает генерацию до 90 минут речи с участием до четырёх голосов; заявленная поддержка языков — английский и китайский. Модель ориентирована на исследования и разработку синтеза длинной разговорной речи. Она предназначена для речи, не для музыки, шумов или звуковых эффектов; перекрывающаяся речь не моделируется, а языки помимо английского и китайского не поддерживаются. Карточка не рекомендует коммерческое и реальное применение без дальнейшей проверки. Указана лицензия MIT.

LumynaX Speech Kokoro 82M TTS — ранний эксперимент AbteeX AI Labs из Аотеароа, Новая Зеландия, на базе hexgrad/Kokoro-82M. Модель предназначена для преобразования текста в речь; в выпуске используется маршрутизация к исходной модели и интеграция идентичности без изменения или слияния её весов. Это архивный артефакт, который больше не поддерживается и не рекомендуется для производственного применения. В карточке указана лицензия Apache-2.0. Подробности о поддерживаемых голосах, языках синтеза и характеристиках аудио для этого выпуска не приведены.

facebook/mms-tts-alt — модель синтеза речи на южноалтайском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт VITS, обученный для одного языка; архитектура VITS преобразует текст в речевую аудиоволну и использует стохастический предсказатель длительности, поэтому один и тот же текст может звучать с разным ритмом. Модель содержит около 3,5 млн параметров и доступна для работы через Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на южноалтайском языке. Генерация недетерминирована: чтобы получать одинаковый результат при повторном запуске, требуется фиксировать seed. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-bqi — модель синтеза речи на бактияри, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текста на бактияри. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, потоковый модуль, декодер волновой формы и стохастический предиктор длительности. Последний позволяет получать разные ритмические варианты одной фразы; генерация недетерминирована, поэтому для воспроизводимого результата требуется фиксированный seed. В метаданных указано 3,5 млн параметров. Модель доступна в Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и safetensors. Лицензия CC-BY-NC-4.0 допускает использование с указанием авторства, но некоммерческое. Модель рассчитана на бактияри и не является универсальным многоязычным синтезатором: отдельный чекпойнт обучен для каждого языка. Качество синтеза и поддержка текстов вне бактияри в карточке не описаны.

facebook/mms-tts-fal — модель синтеза речи для языка Fali, South (fal), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер на основе Transformer, flow-модуль, декодер, похожий на HiFi-GAN, и стохастический предиктор длительности. В метаданных указан размер 3,5 млн параметров. Модель доступна через библиотеку Transformers версии 4.33 и выше. Стохастический предиктор позволяет получать разные ритмические варианты произнесения одного текста; поэтому для воспроизводимого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-kqp — модель синтеза речи для языка Kimré (код kqp), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Kimré. Модель использует архитектуру VITS: текстовый энкодер, вероятностные потоки, стохастический предиктор длительности и декодер формы сигнала, обученные сквозным образом. Чекпойнт содержит около 3,5 млн параметров и доступен в форматах PyTorch и safetensors; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторяемого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-met — модель синтеза речи на языке Mato из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевой сигнал и предназначена для озвучивания текста на Mato. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста, предсказатель длительности и декодер на основе HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного текста, поэтому генерация недетерминирована; для повторения того же результата требуется фиксировать seed. Модель предназначена для одного языка и может уступать более крупным или специализированным системам по естественности и выразительности речи. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-raw — модель синтеза речи на языке Rawang из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на Rawang в речевую аудиоволну; для каждого языка проекта обучается отдельная модель. Модель построена на архитектуре VITS и доступна через библиотеку Transformers версии 4.33 и новее. Размер модели — 3,5 млн параметров. VITS объединяет текстовый энкодер на основе Transformer, flow-модуль и декодер для генерации аудио. Стохастический предиктор длительности позволяет варьировать ритм речи для одного и того же текста, поэтому результат может меняться между запусками; фиксированный seed позволяет воспроизводить один и тот же вариант. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-tbl — модель синтеза речи на языке тбол (Tboli), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; для каждого языка в MMS-TTS обучается отдельный чекпойнт. Модель построена на архитектуре VITS: текстовый энкодер, вариационный автоэнкодер, flow-модуль и декодер на основе HiFi-GAN формируют речь сквозным способом. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы поддерживается библиотека Transformers версии 4.33 и новее. Предсказатель длительности стохастический, поэтому одинаковый текст может звучать с разным ритмом; для воспроизводимого результата требуется фиксировать seed. Модель предназначена для озвучивания текста на тбол, например для создания речевых материалов и прототипов синтеза речи для этого языка. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

T5Gemma-b-b-ul2 Encoder + Tokenizer — GGUF — это конвертация текстового энкодера и токенизатора модели google/t5gemma-b-b-ul2, подготовленная thepatch для инференса в sa3.cpp. Энкодер используется Stable Audio 3 для преобразования текстовых промптов в представления, необходимые генераторам аудио. Компонент общий для вариантов Stable Audio 3 medium, small-music и small-sfx и поставляется отдельно от их DiT, SAME и conditioner. Модель работает в режиме encoder-only при инференсе и поддерживает английский язык. Токенизатор использует Gemma byte-fallback BPE. Доступны варианты точности F16, F32 и Q8_0 с размерами примерно 537, 1074 и 285 МиБ соответственно. F16 выбран вариантом по умолчанию и практически эквивалентен F32: заявленная cosine similarity для conditioning составляет 0,999995, а для сгенерированного аудио — 0,999848. Q8_0 подходит для устройств с ограниченной памятью, но даёт небольшое снижение точности. Энкодер не содержит conditioner, который поставляется в репозиториях отдельных вариантов Stable Audio 3. Это не новая обученная модель, а конвертация весов в формат GGUF без дообучения. Решение предназначено для локального текстового кодирования при генерации музыки и звуковых эффектов через sa3.cpp, а также может использоваться при обучении в этом окружении. Распространение регулируется Gemma Terms of Use, включая ограничения раздела 3.2.

Модель gabrieljg/wav2vec2-common_voice-es-demo — дообученная Gabrieljg версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания испанской речи. Она основана на архитектуре Wav2Vec2ForCTC, содержит около 402,9 млн параметров и принимает аудио, выдавая текстовую транскрипцию. Модель обучена на испанской части набора COMMON_VOICE; в карточке указаны результаты оценки: loss 0,1788 и WER 1,0239. Модель подходит для транскрибирования записей на испанском языке и создания демонстрационных приложений распознавания речи. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Описание не приводит подробностей о рекомендуемых условиях использования или ограничениях качества; указанный WER 1,0239 сигнализирует о слабом результате на оценочном наборе.

nandovallec/whisper-tiny-bg-l — модель распознавания речи на основе Whisper Tiny, дообученная на Common Voice 11.0. Она предназначена для преобразования аудиозаписей на болгарском языке в текст. В метаданных указаны архитектура Whisper, 29,4 млн параметров и формат PyTorch; README приводит результаты оценки: loss 0,7377 и WER 61,8352. Модель распространяется по лицензии Apache-2.0. Высокое значение WER указывает на существенные ошибки распознавания; README не описывает дополнительные сценарии применения или ограничения.

Модель yuriyvnv/whisper-tiny-cv-only-pt разработана на основе openai/whisper-tiny и дообучена для распознавания португальской речи. Это компактная модель архитектуры Whisper с 29,4 млн параметров, предназначенная для транскрибации аудио; обучение проводилось на 21 866 записях Common Voice 17.0 на португальском языке без синтетических данных. Модель подходит для быстрого распознавания речи при ограниченных вычислительных ресурсах и для сравнения результатов базовой конфигурации Whisper-Tiny с вариантами, обученными на расширенных данных. По README, WER на тестовой части Common Voice составляет 30,72%, а на MLS — 45,83%. Это указывает на ограниченную точность и слабую переносимость на аудио из других доменов. Модель распространяется по лицензии Apache-2.0.

Модель gary109/ai-light-dance_drums_ft_pretrain_wav2vec2-base-new-13k_onset-drums_fold_2 — дообученная версия wav2vec2 от gary109 для распознавания аудио. Она содержит 113,3 млн параметров и обучена на датасете AI_LIGHT_DANCE — ONSET-DRUMS_FOLD_2; в README указаны результаты оценки: loss 0,4180 и WER 0,1433. Модель предназначена для автоматического распознавания речи, однако README не раскрывает, какие именно аудиосигналы или сценарии распознавания покрывает датасет. Репозиторий содержит веса PyTorch. Условия лицензии в предоставленных данных не указаны.

CoquiTTS-Max — модель синтеза речи на основе VITS, обученная с использованием Coqui TTS на примерах предложений из Lëtzebuerger Online Dictionnaire. Она озвучивает люксембургский текст мужским голосом одного реального диктора и предназначена для генерации речи из подготовленного текста. Модель выдаёт аудио с частотой дискретизации 22,05 кГц; перед синтезом текст следует привести к нижнему регистру, а для некоторых входов может понадобиться дополнительная нормализация. Чекпойнт указан на 50 000 шагов обучения. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

facebook/mms-tts-ahk — модель синтеза речи на языке акха (Akha, код ahk), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиозапись и предназначена для озвучивания текстов на акха. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для одного языка; MMS-TTS доступна через библиотеку Transformers начиная с версии 4.33. Стохастический предиктор длительности позволяет получать варианты с разным ритмом, поэтому для повторения результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 ограничивает использование условиями некоммерческого распространения.

facebook/mms-tts-ifa — модель синтеза речи на языке Ifugao, диалект Amganad, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речи на малоресурсном языке. Модель построена на архитектуре VITS: текстовый энкодер, flow-модуль и декодер HiFi-GAN объединены в сквозную систему синтеза; для моделирования ритма используется стохастический предиктор длительности. Размер модели — 3,5 млн параметров. Для разных языков MMS обучаются отдельные контрольные точки, поэтому эта модель рассчитана на Ifugao (Amganad), а не на многоязычный синтез. Из-за стохастического предиктора длительности одинаковый текст может звучать по-разному; для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-naw — модель синтеза речи на языке навури (Nawuri), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, обученный для преобразования текста на навури в речевую форму. Модель использует архитектуру VITS — сквозную систему text-to-speech на основе вариационного автоэнкодера, поточных слоёв и декодера, подобного HiFi-GAN. Она генерирует аудиоволну по входному тексту; стохастический предсказатель длительности позволяет получать разные ритмические варианты произношения. Размер модели — 3,5 млн параметров. Для повторяемого результата требуется фиксировать seed. Чекпойнт предназначен для озвучивания текста на навури и исследовательских либо прикладных сценариев синтеза речи для этого языка. Доступен через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

facebook/mms-tts-nga — модель синтеза речи на языке Ngbaka (nga), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на Ngbaka. Модель использует архитектуру VITS — сквозную систему text-to-speech на основе вариационного автоэнкодера, Transformer-кодировщика текста, нормализующих потоков и декодера, построенного по принципу HiFi-GAN. В контрольной точке 3,5 млн параметров; для каждого языка MMS обучается отдельная модель. Поддерживается библиотекой Transformers версии 4.33 и новее. Предсказатель длительности работает стохастически: один и тот же текст может получать разный ритм и звучание, поэтому для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-sur — модель синтеза речи на языке Mwaghavul (код sur), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Mwaghavul. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и нейросетевой декодер, обученные сквозным образом. Размер составляет 3,5 млн параметров; доступны веса PyTorch и Safetensors. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому генерация недетерминирована; фиксированный seed позволяет воспроизвести результат. Для каждой языковой версии MMS-TTS обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

shibing624/parrots-chinese-hubert-base — модель на архитектуре HuBERT, содержащая 113,3 млн параметров. По карточке она обозначена как text-to-speech и предназначена для задач синтеза речи на китайском языке. Репозиторий содержит веса PyTorch в формате safetensors и опубликован под лицензией Apache-2.0. README сообщает только, что это chinese-hubert-base на основе предварительно обученных моделей; подробностей об обучении, способе синтеза, аудиовходах и качестве нет. Поэтому пригодность модели для конкретного речевого сценария по доступным сведениям оценить нельзя.

Wav2Vec2-XLS-R-300M-Japanese-Hiragana — модель распознавания японской речи, созданная дообучением facebook/wav2vec2-xls-r-300m на датасетах JSUT и Common Voice Japanese. Она принимает аудио с частотой дискретизации 16 кГц и преобразует его в последовательность символов хираганы без границ между словами. Архитектура — Wav2Vec2ForCTC; в репозитории указано около 402,8 млн параметров, веса доступны в формате PyTorch. Модель подходит для транскрибации японской речи и экспериментов с распознаванием японского аудио. На тестовой выборке Common Voice Japanese указаны WER 90,66% и CER 19,35%, поэтому качество распознавания слов ограничено. Лицензия в предоставленных данных не указана.