I.9Аудио и музыка

facebook/mms-tts-blz — модель синтеза речи на языке балантак (Balantak, blz), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на балантаке в речевой аудиосигнал и предназначена для создания озвучки и интеграции синтеза речи в приложения для этого языка. Модель использует архитектуру VITS — сквозной генератор речи с вариационным автоэнкодером, потоковым модулем, декодером типа HiFi-GAN и стохастическим предсказателем длительности. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Стохастический предсказатель может создавать разные варианты ритма для одного текста, поэтому для повторяемого результата требуется фиксированный seed. Модель специализирована на балантаке; сведения о поддержке других языков для этого чекпойнта не приводятся. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-bmu — модель синтеза речи для языка Сомба-Сиавари (bmu), созданная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер аудиосигнала. Размер модели — 3,5 млн параметров. Стохастический предиктор позволяет варьировать ритм произнесения, поэтому для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел. Модель предназначена для синтеза речи на Сомба-Сиавари, например для озвучивания текста. Она доступна в библиотеке Transformers начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.

facebook/mms-tts-bno — модель синтеза речи на языке Bantoanon (bno), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Bantoanon в речевую волну и предназначена для озвучивания текста и других сценариев синтеза речи на этом языке. Модель использует архитектуру VITS и реализована в Transformers как VitsModel. Это отдельный языковой чекпойнт MMS-TTS с 3,5 млн параметров; в репозитории представлены веса PyTorch и Safetensors. Модель поддерживается Transformers версии 4.33 и новее. Из-за стохастического предсказателя длительности генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-bqc — модель синтеза речи на языке Boko (bqc) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предиктор длительности и декодер на основе HiFi-GAN. Это отдельный чекпойнт для одного языка; в метаданных указано 3,5 млн параметров. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация стохастическая: для повторения того же результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-bzi — модель синтеза речи на языке бису (Bisu, bzi) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на бису. Для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,6 млн параметров. В ней сочетаются вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, декодер, похожий на HiFi-GAN, и стохастический предиктор длительности, позволяющий варьировать ритм речи. Чекпойнт доступен для использования через библиотеку Transformers. Генерация недетерминирована: для повторения того же результата требуется фиксированное начальное значение. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Модель facebook/mms-tts-dar разработана Facebook в рамках проекта Massively Multilingual Speech (MMS) для синтеза речи на языке даргва. Это отдельный чекпойнт VITS, обученный для одного языка. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-текстовый энкодер, flow-модуль, стохастический предсказатель длительности и декодер на основе HiFi-GAN; размер модели — 3,5 млн параметров. Модель принимает текст на даргва и генерирует речевую аудиоволну. Стохастический предсказатель позволяет варьировать ритм произношения, поэтому для повторения результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее; веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-des — модель синтеза речи на языке десано, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на десано в речевую аудиоволну и подходит для создания озвучивания на этом языке. Модель построена на архитектуре VITS: она обучается сквозным образом и использует стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, а для запуска подходит библиотека Transformers версии 4.33 и новее. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Генерация недетерминирована: для повторения того же результата нужно зафиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая не допускает коммерческое использование.

facebook/mms-tts-dzo — модель синтеза речи на дзонг-кэ (dzo), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на дзонг-кэ в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, декодер и стохастический предсказатель длительности, который позволяет получать разные ритмические варианты речи для одного текста. Это отдельный языковой чекпойнт проекта MMS; размер модели — 3,6 млн параметров. Доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и выше. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Модель предназначена для синтеза речи на дзонг-кэ; лицензия CC BY-NC 4.0 допускает использование с указанием авторства и ограничивает коммерческое применение.

facebook/mms-tts-grt — модель синтеза речи на языке гаро, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный контрольный снимок для одного языка из семейства MMS-TTS. Модель построена на архитектуре VITS и преобразует текстовую последовательность в речевую звуковую волну. Она обучается сквозным образом; стохастический предсказатель длительности позволяет получать варианты с разным ритмом, поэтому при одинаковом тексте результат может меняться. Для повторяемой генерации требуется фиксированное случайное зерно. Модель доступна через библиотеку Transformers версии 4.33 и новее. Размер модели — 3,6 млн параметров. Она предназначена для синтеза речи на гаро и не описана как многоязычная сама по себе. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-hil — модель синтеза речи на языке хилигайнон, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на хилигайнон в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода в приложениях. Модель использует архитектуру VITS: текстовый энкодер, поточный модуль, стохастический предиктор длительности и декодер, формирующий аудиоволну. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Для повторяемого результата генерации требуется фиксировать seed, поскольку предиктор длительности стохастический. Модель обучена для хилигайнон и не предназначена для синтеза на других языках. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.

facebook/mms-tts-iba — модель синтеза речи на языке iban, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. VITS объединяет текстовый энкодер, потоковый модуль и декодер аудиосигнала; стохастический предиктор длительности позволяет получать варианты произношения и ритма для одного текста. Для повторяемого результата при генерации требуется фиксировать seed. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Модель рассчитана на язык iban и не является многоязычным чекпойнтом: для языков проекта MMS обучены отдельные модели. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-icr — модель синтеза речи для языка Islander English Creole, выпущенная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов. Для каждого языка в MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS: это сквозная система синтеза речи с вариационным автоэнкодером, поточным модулем и декодером на основе HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы используется библиотека Transformers версии 4.33 или новее. Генерация речи стохастическая, поэтому для повторения того же аудио требуется фиксированное начальное значение. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-inb — модель синтеза речи на языке инга (Inga, код inb), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: сочетает вариационный автоэнкодер, Transformer-энкодер текста, потоковый модуль, декодер в стиле HiFi-GAN и стохастический предиктор длительности. Чекпойнт содержит 3,5 млн параметров; доступен в форматах PyTorch и Safetensors и используется через Transformers версии 4.33 или новее. Модель обучена отдельно для языка инга. Генерация недетерминирована: для повторения того же аудио нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

facebook/mms-tts-iqw — модель синтеза речи на языке икво (Ikwo, код iqw), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Чекпойнт содержит около 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы поддерживается библиотека Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения. Генерация недетерминирована: для воспроизводимого аудио нужен фиксированный seed. Модель обучена отдельно для одного языка, поэтому её применение к другим языкам не заявлено.

facebook/mms-tts-kak — модель синтеза речи на языке Kalanguya (kak), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевой сигнал и предназначена для озвучивания текстов на Kalanguya. Модель построена на архитектуре VITS: она объединяет текстовый энкодер, вероятностные компоненты и декодер, формирующий аудиоволну; для вариативности ритма используется стохастический предсказатель длительности. Размер модели — 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors и используются через Transformers версии 4.33 или новее. Модель рассчитана на синтез речи на одном языке, Kalanguya. Стохастический предсказатель делает генерацию недетерминированной: для воспроизведения того же результата требуется фиксированное начальное значение генератора случайных чисел. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-kle — модель синтеза речи на языке кулунг (код kle), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на кулунг в речевую аудиоволну; для применения доступна через библиотеку Transformers версии 4.33 и новее. Модель построена на архитектуре VITS и содержит около 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; генерация использует стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом, а для повторения результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-knk — модель синтеза речи на языке куранко (knk), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую волну и предназначена для озвучивания текстов на куранко. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль, стохастический предсказатель длительности и декодер HiFi-GAN-подобного типа. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая требует указания авторства и запрещает коммерческое использование. Она обучена отдельно для куранко, поэтому не предназначена для синтеза речи на других языках.

facebook/mms-tts-krr — модель синтеза речи на языке крун, разработанная в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на крунском языке. Модель использует архитектуру VITS и содержит около 3,6 млн параметров; для MMS обучается отдельная модель для каждого языка. Генерация речи стохастическая: для повторяемого результата требуется фиксировать seed. Модель доступна в форматах PyTorch и Safetensors и рассчитана на использование через Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-ktb — модель синтеза речи на языке камбаата, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на камбаата в речевой сигнал и предназначена для создания озвучивания и других речевых приложений для этого языка. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер на основе свёрточных слоёв формируют аудиоволну сквозным образом. Вариативный предиктор длительности позволяет получать разные ритмические варианты речи для одного текста, поэтому генерация недетерминирована; для повторяемого результата требуется фиксированный seed. Чекпойнт содержит 3,6 млн параметров и доступен в форматах PyTorch и Safetensors. Модель рассчитана на текст и аудио на языке камбаата (ktb). Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-kub — модель синтеза речи на языке кутеп (kub), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; VITS объединяет вариационный автоэнкодер, flow-модуль, предсказывающий акустические признаки, и декодер на основе свёрточных слоёв. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому для повторения одного и того же результата нужен фиксированный seed. Модель предназначена для преобразования текста на кутепе в речь. Для использования требуется Transformers версии 4.33 или новее. Веса доступны в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

Это модель синтеза речи Kuna, Border (kvn) из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на языке Kuna, Border в речевую аудиоволну и предназначена для озвучивания текста и создания речи на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, поточным модулем, текстовым энкодером на основе Transformer и декодером, построенным по принципу HiFi-GAN. В контрольной точке 3,5 млн параметров. Для MMS обучается отдельная модель для каждого языка; этот вариант рассчитан на Kuna, Border. Длительность и ритм речи могут варьироваться при одинаковом входном тексте из-за стохастического предсказателя длительности, поэтому для повторяемого результата требуется фиксированное начальное значение генератора. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-mcd — модель синтеза речи на языке шаранауа (Sharanahua), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельная модель. Чекпойнт построен на архитектуре VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, декодер аудиосигнала и стохастический предиктор длительности. Последний позволяет получать варианты произношения с разным ритмом; генерация недетерминирована, поэтому для повторения результата требуется фиксированное случайное зерно. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-mcu — модель синтеза речи на языке мамбила, на котором говорят в Камеруне. Она создана Meta в рамках проекта Massively Multilingual Speech (MMS), предоставляющего отдельные модели для разных языков. Модель преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на мамбила. Модель построена на архитектуре VITS и содержит текстовый энкодер на основе Transformer, flow-модуль и декодер, похожий на HiFi-GAN. Стохастический предиктор длительности позволяет получать варианты речи с разным ритмом; для повторяемого результата требуется фиксировать seed. В репозитории указаны веса PyTorch и Safetensors, размер модели — 3,6 млн параметров. Для запуска доступна библиотека Transformers версии 4.33 и новее. Модель рассчитана на мамбила; сведения о других языках для этого чекпойнта не приводятся. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-med — модель синтеза речи Melpa, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке Melpa в речевой аудиосигнал и предназначена для озвучивания текста и создания речи в приложениях, работающих с этим языком. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; библиотека Transformers поддерживает его с версии 4.33. Из-за стохастического предсказателя длительности синтез недетерминирован: для повторения результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-nlg — модель синтеза речи на языке Gela, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Gela в речевую аудиоволну и предназначена для создания озвучивания на этом языке. Модель построена на архитектуре VITS и обучена отдельно для Gela. Она работает сквозным образом: текстовый энкодер и генератор длительности задают акустическую последовательность, а декодер формирует аудиоволну. Генерация стохастическая, поэтому для повторения результата требуется фиксированное случайное зерно. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors для Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-ntm — модель синтеза речи на языке Nateni (код ntm), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую волну; VITS объединяет вариационный автоэнкодер, потоковый модуль, предсказатель длительности и декодер на основе HiFi-GAN. Случайный предсказатель длительности делает генерацию недетерминированной, поэтому для повторяемого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 ограничивает использование некоммерческими целями.

facebook/mms-tts-nxq — модель синтеза речи на языке накси (Naxi, nxq), созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на накси. Для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, текстовым энкодером на основе Transformer, декодером типа HiFi-GAN и стохастическим предиктором длительности, благодаря которому один и тот же текст может звучать с разным ритмом. Для повторяемой генерации требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-ptu — модель синтеза речи на бамбамском языке, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст в речевую аудиоволну; для каждого языка проекта обучена отдельная модель. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки и декодер, основанный на HiFi-GAN. Стохастический предиктор длительности позволяет варьировать ритм произношения одного и того же текста, поэтому результаты синтеза могут отличаться между запусками; фиксированный seed позволяет воспроизводить результат. Модель доступна через библиотеку Transformers версии 4.33 и выше. Модель предназначена для синтеза речи на бамбамском языке, а не для многоязычной генерации одной общей моделью. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-rif-script_arabic — модель синтеза речи из текста, созданная Meta в рамках проекта Massively Multilingual Speech. Она предназначена для озвучивания текстов на тарифитском языке, записанном арабским письмом. Для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Она сквозным образом преобразует последовательность текста в речевую волну; стохастический предиктор длительности позволяет получать разные ритмические варианты речи. Модель доступна через библиотеку Transformers. Генерация недетерминирована: чтобы получить тот же аудиосигнал повторно, требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-rro — модель синтеза речи на языке Waima (код rro), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Waima в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и обучена отдельно для Waima. Вариационный автоэнкодер, flow-модуль, декодер HiFi-GAN и стохастический предиктор длительности позволяют синтезировать речь с разным ритмом. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, для запуска предусмотрена поддержка Transformers версии 4.33 и новее. Для повторения одного и того же результата требуется фиксировать seed, поскольку предиктор длительности стохастический. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое использование.