I.9Аудио и музыка

facebook/mms-tts-rif-script_latin — модель синтеза речи на тарифитском языке, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на латинской письменности тарифитского языка в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS и обучена сквозным образом; для каждого языка MMS-TTS выпускается отдельный чекпойнт. Размер модели — около 3,5 млн параметров. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0.

facebook/mms-tts-ril — модель синтеза речи на языке Riang Lang (ril), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка MMS использует отдельный чекпойнт. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это сквозная система синтеза речи со стохастическим предсказателем длительности, который позволяет получать разные ритмические варианты произнесения одного текста. Модель доступна через Transformers версии 4.33 и новее; для воспроизводимого результата требуется фиксировать seed. Модель предназначена для синтеза речи на Riang Lang. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

facebook/mms-tts-rol — модель синтеза речи на языке ромбломанон, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на ромбломанон в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер, формирующий аудиосигнал; предсказатель длительности позволяет варьировать ритм речи. Для каждого языка проекта MMS обучается отдельный чекпойнт. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Генерация речи недетерминирована: для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел. Модель предназначена для ромбломанон и лицензирована по CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-sas — модель синтеза речи на языке сасак, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текста на сасакском языке. Модель построена на архитектуре VITS и обучена отдельно для этого языка. В её составе — текстовый энкодер на основе Transformer, flow-модуль, декодер HiFi-GAN и стохастический предиктор длительности, благодаря которому один текст может произноситься с разным ритмом. Размер модели — 3,5 млн параметров; для воспроизводимого результата генерации требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-sck — модель синтеза речи на языке садри (sck), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на садри. Модель использует архитектуру VITS — сквозную вариационную модель с состязательным обучением и стохастическим предиктором длительности, который позволяет варьировать ритм речи. Для каждого языка проекта MMS обучается отдельный чекпойнт; размер этой модели — 3,6 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Из-за стохастического предиктора длительности синтез недетерминирован: для повторения того же результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-sda — модель синтеза речи на языке Toraja-Sa’dan, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS: модель преобразует входной текст в речевую аудиоволну и может варьировать ритм произношения. В метаданных указано 3,5 млн параметров; модель доступна для использования через Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на Toraja-Sa’dan, например для создания голосовых сообщений и аудиоверсий текстов. Генерация недетерминирована: для повторения того же результата нужен фиксированный seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Модель facebook/mms-tts-ses — компактный синтезатор речи для языка сонгай, вариант койраборо-сенни (ses), разработанный Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для приложений озвучивания на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, подобный HiFi-GAN. Чекпойнт содержит 3,5 млн параметров; для каждого языка MMS обучается отдельная модель. Доступна через библиотеку Transformers версии 4.33 и новее. Предиктор длительности стохастический, поэтому одинаковый текст может получать разный ритм и звучание; для повторяемого результата требуется фиксированное случайное зерно. Лицензия — CC BY-NC 4.0, которая ограничивает использование некоммерческими условиями.

facebook/mms-tts-sgw — модель синтеза речи на себат-бет-гураге, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на языке с кодом sgw в речевую аудиоволну и подходит для озвучивания текста и создания речевого вывода на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт семейства MMS-TTS; для синтеза применяется стохастический предиктор длительности, поэтому одинаковый текст может звучать по-разному, а для повторения результата нужен фиксированный seed. Модель работает с текстом и выдаёт аудио; в README указана поддержка через библиотеку Transformers версии 4.33 и выше. Лицензия — CC BY-NC 4.0, допускающая использование с условиями атрибуции и ограничением на коммерческое применение.

facebook/mms-tts-tbg — модель синтеза речи на языке Tairora, North, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS: он преобразует входной текст в речевую волну и может варьировать ритм речи благодаря стохастическому предсказателю длительности. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и Safetensors; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на Tairora, North, например для голосовых интерфейсов и создания аудиоверсий текстов. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-tca — модель синтеза речи на языке тикуна (Ticuna, код tca), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, который преобразует входной текст в речевую аудиоволну. Модель построена на архитектуре VITS и синтезирует речь сквозным образом. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной фразы; поэтому при одинаковом тексте результат может различаться, а для воспроизводимого вывода нужен фиксированный seed. Веса доступны в форматах PyTorch и safetensors, модель поддерживается библиотекой Transformers версии 4.33 и новее. Модель предназначена для генерации речи на тикуна, например для озвучивания текста и создания речевых интерфейсов. Она содержит 3,6 млн параметров. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческих целях.

facebook/mms-tts-tem — модель синтеза речи на языке Themne (tem), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, потоковых слоёв и декодера, подобного HiFi-GAN. Размер модели — 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors. Чекпойнт обучен отдельно для Themne и поддерживает синтез речи на этом языке. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-ter — модель синтеза речи на языке терена (Terêna, ter), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на терена в речевую аудиоволну и подходит для озвучивания фраз и создания речевого вывода для приложений на этом языке. Модель построена на архитектуре VITS и обучена сквозным образом; для каждого языка проекта MMS выпускается отдельный чекпойнт. Вариативный предиктор длительности позволяет синтезировать разные ритмические варианты одной фразы, поэтому результат может меняться между запусками. Размер модели — 3,5 млн параметров; доступны веса PyTorch и SafeTensors, а для использования подходит библиотека Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-tfr — модель синтеза речи на языке терибе, выпущенная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на терибе в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль, декодер, построенный по принципу HiFi-GAN, и стохастический предсказатель длительности. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески. Генерация недетерминирована: для повторяемого результата нужно фиксировать seed. Модель обучена для терибе, поэтому её не следует считать универсальной многоязычной системой синтеза речи.

facebook/mms-tts-tnn — модель синтеза речи на языке Tanna, North (tnn), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства VITS: модель принимает текстовую последовательность и генерирует речевую форму сигнала. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, декодер волновой формы и стохастический предсказатель длительности. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, использовать модель можно через Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на Tanna, North. Стохастический предсказатель длительности позволяет получать разные ритмические варианты речи для одного текста; генерация недетерминирована, поэтому для повторяемого результата нужно фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но не коммерческое применение.

facebook/mms-tts-ttq-script_tifinagh — модель синтеза речи проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на языке Tamajaq, Tawallammat, записанный письмом тифинаг, в речевую аудиоволну. Модель построена на архитектуре VITS и объединяет текстовый энкодер, потоковые преобразования, стохастический предиктор длительности и декодер аудиоволны. Это отдельный чекпойнт MMS-TTS для указанного языка; размер модели — 3,5 млн параметров. Для одинакового результата при повторной генерации требуется фиксировать seed. Модель подходит для озвучивания текстов и создания речевого вывода на поддерживаемом языке. Карточка не приводит сведений о длине контекста или дополнительных языках. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-usp — модель синтеза речи на языке успантеко, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на успантеко. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, потоковым модулем, трансформерным текстовым энкодером, стохастическим предсказателем длительности и декодером HiFi-GAN-подобного типа. Число параметров — около 3,5 млн; формат весов — PyTorch и Safetensors. Для одной и той же фразы модель может синтезировать речь с разным ритмом; результат зависит от случайного семени. В карточке описана поддержка только успантеко (usp, ISO 639-3); контекстная длина не приведена. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

facebook/mms-tts-xdy — модель синтеза речи на языке Malayic Dayak (код xdy), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевой аудиосигнал и предназначена для озвучивания текста и создания речевых интерфейсов для языка с ограниченными ресурсами. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковыми слоями, стохастическим предсказателем длительности и декодером, построенным по принципу HiFi-GAN. Размер чекпойнта — 3,5 млн параметров. Для каждого языка MMS обучает отдельную модель. Результат может меняться между генерациями, поэтому для воспроизводимого аудио нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее; веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-yva — модель синтеза речи на языке ява (Yawa, код yva) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза применяются стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Из-за стохастической генерации для воспроизводимого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование.

facebook/mms-tts-zne — модель синтеза речи на языке занде (zne), созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на занде в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый энкодер на базе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Это энд-ту-энд вариационный автоэнкодер с состязательным обучением; размер — 3,5 млн параметров. Для воспроизводимого результата при генерации требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства в рамках условий лицензии, но запрещает коммерческое применение.

Qwen3-TTS-Tokenizer-12Hz — аудиотокенизатор из семейства Qwen3-TTS, разработанный командой Qwen. Он кодирует входную речь в дискретные акустические токены и декодирует токены обратно в речь, чтобы компактно представлять аудио для хранения и передачи, а также использовать его в речевых системах. Архитектура использует 16 слоёв многокодовой книги, частоту токенизации 12,5 Гц и лёгкую каузальную ConvNet. В README заявлены эффективное акустическое сжатие и сохранение просодических и акустических характеристик среды. Семейство Qwen3-TTS охватывает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки; это описание относится к семейству, а не обязательно к отдельным возможностям токенизатора. Модель предназначена для кодирования и восстановления речи, включая сценарии хранения, передачи и потоковой генерации с низкой задержкой в системах Qwen3-TTS. Репозиторий распространяется по лицензии Apache-2.0. Количественные результаты оценки качества вынесены в технический отчёт; сам README их не приводит.

VieNeu-TTS v3 Nano — экспериментальная компактная модель синтеза речи, созданная Фам Нгуен Нгок Бао для вьетнамского языка и устройств с ограниченными ресурсами: слабых CPU, ARM-плат и Android-телефонов. Это модель на 48 млн параметров с архитектурой условного flow matching (OT-CFM), распространяемая в виде ONNX-графов и работающая через ONNX Runtime без PyTorch; заявлены загрузка примерно за 3 секунды и синтез примерно втрое быстрее v3 Turbo на том же CPU. Модель преобразует текст в речь с частотой 24 кГц, предлагает шесть встроенных голосов и поддерживает эмоциональные пометки в тексте. Предусмотрено клонирование голоса через дополнительные компоненты SDK, но сходство с исходным голосом уступает v3 Turbo. Nano подходит для локального синтеза речи на слабом оборудовании, когда скорость и компактность важнее естественности звучания. Это предварительная версия, находящаяся в активном тестировании. Качество и выразительность речи ниже, чем у v3 Turbo; английский и смешанный вьетнамско-английский текст обрабатываются нестабильно, а в длинных, необычных и очень коротких фразах возможны пропуски или искажения слогов. Лицензия Apache-2.0 распространяется на артефакты репозитория и встроенные голоса.

W2v-BERT 2.0 — речевой энкодер на архитектуре Conformer, разработанный Meta и лежащий в основе моделей Seamless. Он предварительно обучен на 4,5 млн часов неразмеченного аудио более чем на 143 языках и предназначен для извлечения речевых представлений, которые можно использовать в качестве основы для последующей настройки систем распознавания речи и классификации аудио. Это базовый чекпойнт без выходной головы для конкретной задачи: для ASR и классификации его необходимо дообучить. В каталоге указано 402,7 млн параметров; в README для версии модели указано 600 млн. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.

Модель addy88/wav2vec2-base-finetuned-ks — версия facebook/wav2vec2-base, дообученная для классификации аудио на датасете SUPERB. В метаданных указана архитектура Wav2Vec2ForSequenceClassification и размер 113,3 млн параметров. На оценочной выборке датасета модель показала accuracy 0,9768 и loss 0,1339. Модель подходит для задач классификации аудиосигналов. README не уточняет классы, сценарии применения и языковой охват. Распространяется по лицензии Apache-2.0.

weirdguitarist/wav2vec2-base-stac-local — модель распознавания речи на базе архитектуры Wav2Vec2, дообученная автором на основе facebook/wav2vec2-xls-r-300m. Она предназначена для преобразования аудио в текст. В репозитории указаны результаты оценки: WER 0,7828 и CER 0,3202; эти значения отражают высокую ошибку распознавания на использованном наборе оценки. Модель содержит около 402,7 млн параметров и распространяется в формате PyTorch. Карточка не описывает языки, данные обучения или целевую область применения, поэтому их нельзя надёжно определить. Лицензия — Apache-2.0.

WavTokenizer large-unify-40token — акустический дискретный кодек-токенизатор для аудио, основанный на работе Ji и соавторов, опубликованной на ICLR 2025. Репозиторий содержит крупный чекпойнт для разных аудиодоменов, преобразованный из novateur/WavTokenizer-large-unify-40token в формат Transformers; преобразование проверено сравнением кодирования и декодирования с исходной реализацией. Модель кодирует монофоническое аудио с частотой 24 кГц в один кодбук из 4096 кодов с частотой 40 токенов в секунду и шагом 600 отсчётов. Архитектура включает энкодер SEANet с векторным квантованием и декодер в стиле Vocos с блоками ConvNeXt, позиционной свёрткой и вниманием, а также обратным STFT. Предназначена для сжатого представления аудио и использования аудиотокенов в языковых моделях. Для воспроизводимого назначения кодов требуется float32: float16 и bfloat16 могут менять выбор кодов около границ решений. Лицензия — MIT.

clu-ling/whisper-large-v2-arabic-5k-steps — модель распознавания речи, созданная дообучением openai/whisper-large-v2 на арабской части Common Voice 11.0. Это плотная модель Whisper с 905,2 млн параметров, опубликованная в формате PyTorch и распространяемая по лицензии Apache-2.0. Модель предназначена для преобразования арабской речи в текст. Её обучали 5000 шагов; на тестовой выборке Common Voice 11.0 указана WER 0,4239 и loss 0,3434. Автор предупреждает, что качество транскрипций может быть недостаточным для пользователей, поэтому чекпойнт больше подходит для экспериментов и оценки дообучения.

abook-analyzer:v4 là mô hình của dự án ABook, được tinh chỉnh bằng LoRA trên Qwen/Qwen3-4B-Instruct-2507, затем объединённый с базовой моделью и выпущенный в формате GGUF Q8_0. Он анализирует фрагменты вьетнамских романов и возвращает для каждого фрагмента разметку в JSON по схеме ABook: говорящий, повествование, диалог или внутренняя речь, эмоция, её интенсивность, темп, громкость и пол. Модель предназначена для подготовки разметки аудиокниг; студия ABook загружает её автоматически, также описан запуск через Ollama. В обучении использовались собственные эталонные разметки проекта, а текст романов не переиздаётся моделью. Для v4 сообщается улучшение метрик относительно v3 на тестовых главах, не включённых в обучение; измерения проводились с контекстом из девяти предшествующих фрагментов. Модель обучена под запросы и схему ABook, поэтому для других форматов и задач качество не гарантируется. Репозиторий распространяется по лицензии Apache-2.0.

Kurmancî TTS — Piper ONNX — это многоголосая модель синтеза речи на курманджи (севернокурдском), созданная atenax и дообученная с помощью конвейера Piper. Она принимает текст и выдаёт речь; веса акустической модели экспортированы в ONNX для локального и серверного запуска, в том числе на CPU. Для работы Piper нужны вместе файлы model.onnx и model.onnx.json с настройками фонем, голосов и аудио. Модель предназначена для языковых исследований и обучения, прототипов доступности и чтения вслух, а также экспериментов с локальным или серверным синтезом. Обучающие данные подготовлены из корпуса atenax/kmr_tts: 56 499 высказываний с 90 анонимизированными идентификаторами голосов. Лицензия — MIT. Произношение, интонация и стабильность голоса могут меняться от фразы к фразе. Качество может снижаться на длинных текстах, при переключении языков, необычных именах и письме вне курманджийского латинского алфавита; идентификаторы голосов не обозначают проверенных реальных людей. Модель не предназначена для имитации людей, мошенничества, травли или вводящих в заблуждение синтетических медиа.

facebook/mms-tts-alz — модель синтеза речи на языке алур (alz), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель преобразует входной текст в речевую аудиоволну; для использования доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, потоковый модуль и декодер, построенный по принципу HiFi-GAN. Стохастический предсказатель длительности позволяет варьировать ритм речи для одного и того же текста, поэтому результаты генерации могут различаться; фиксированный seed позволяет воспроизводить результат. Модель предназначена для синтеза речи на алур и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерческое.

facebook/mms-tts-awa — модель синтеза речи на языке авадхи, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на авадхи. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автокодировщика, нормализующих потоков и состязательного обучения. В состав входят текстовый энкодер на базе Transformer, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,6 млн параметров; она доступна для PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Предсказатель длительности позволяет варьировать ритм речи, поэтому при одинаковом тексте результат может различаться; для воспроизводимой генерации нужен фиксированный seed. Модель предназначена для авадхи, и качество работы на других языках не заявлено. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.