I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейfacebook/mms-tts-tnk — модель синтеза речи на языке квамера (Kwamera, код tnk), созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка, предназначенный для преобразования текстовой последовательности в речевую аудиоволну. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Модель генерирует речь сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв создаёт аудиоволну. Стохастический предсказатель длительности позволяет варьировать ритм произнесения; поэтому одинаковый текст может давать разные варианты звучания, а для воспроизводимого результата нужен фиксированный seed. Репозиторий распространяется в форматах PyTorch и Safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-tpi — модель синтеза речи на языке ток-писин из проекта Massively Multilingual Speech, разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания синтетической речи на ток-писине. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, потоковым модулем, Transformer-кодировщиком текста, декодером в стиле HiFi-GAN и стохастическим предсказателем длительности. В чекпойнте около 3,5 млн параметров; для каждого языка MMS обучается отдельная модель. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное случайное зерно. Модель распространяется в форматах PyTorch и Safetensors и доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
facebook/mms-tts-tpp — модель синтеза речи на языке тепехуа, диалект Писafлорес (Tepehua, Pisaflores; код tpp), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: энд-ту-энд генератор речи с вариационным автоэнкодером, поточным модулем, трансформерным текстовым энкодером и HiFi-GAN-подобным декодером. В репозитории указано 3,5 млн параметров; для запуска доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Предсказатель длительности стохастический, поэтому для повторяемого результата требуется фиксировать seed. Модель рассчитана на один язык и не предназначена для синтеза на других языках. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-tpt — модель синтеза речи на языке тепехуа, диалект Тлачичилко (код tpt), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода на языке, для которого обучен чекпойнт. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, текстовым энкодером на основе Transformer, стохастическим предсказателем длительности и декодером, подобным HiFi-GAN. В метаданных указано 3,5 млн параметров; чекпойнт распространяется в форматах PyTorch и safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Отдельный чекпойнт MMS-TTS обучен для каждого языка. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.
facebook/mms-tts-xrb — модель синтеза речи для языка караборо, восточный (xrb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; отдельная модель VITS обучена для этого языка. Размер модели — 3,5 млн параметров. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Модель предназначена для озвучивания текста на восточном караборо. Стохастический предиктор позволяет получать варианты с разным ритмом, поэтому для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-xsb — модель синтеза речи на языке Sambal (код xsb) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: текстовый энкодер и потоковый модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудио. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Модель использует стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом; для повторяемого результата требуется фиксировать seed. Для работы с чекпойнтом подходит библиотека Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-yua — модель синтеза речи на юкатекском языке майя (yua), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на юкатекском языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль и декодер, формирующий аудиосигнал; предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Для каждой языковой версии MMS-TTS обучена отдельная модель. Повторяемая генерация требует фиксированного случайного seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-zai — модель синтеза речи на языке сапотек, перешеек (Zapotec, Isthmus; zai), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и обучена отдельно для своего языка. В описании архитектуры указаны текстовый энкодер на основе Transformer, flow-модуль и декодер, напоминающий HiFi-GAN; стохастический предсказатель длительности позволяет получать варианты с разным ритмом. Размер модели — 3,5 млн параметров. Для работы доступна библиотека Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения результата нужен фиксированный seed. Модель предназначена для одного языка, поэтому её не следует считать универсальной многоязычной системой синтеза. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
Cnam-LMSSC/wav2vec2-french-phonemizer-v2 — модель Cnam-LMSSC для преобразования французской речи в фонемную транскрипцию. Это дообученная на обучающей и валидационной выборках Common Voice 13 версия facebook/wav2vec2-base-fr-voxpopuli-v2 на базе Wav2Vec2 с CTC-декодированием; в ней 113,3 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт последовательность слов в международном фонетическом алфавите без пунктуации. Версия v2 исправляет транскрипцию звонкого губно-нёбного аппроксиманта /ɥ/: вместо ошибочной последовательности /yi/ модель передаёт /ɥ/, что важно для фонетического анализа и подготовки произношения для синтеза речи. В README указаны Phoneme Error Rate 4,75% на французской части Common Voice v13 и 5,97% на французской конфигурации Multilingual LibriSpeech. Модель распространяется по лицензии MIT.
Модель wav2vec2-large-english-TIMIT-phoneme_v3 разработана на основе facebook/wav2vec2-large и дообучена для распознавания речи на корпусе TIMIT. Она принимает аудио и с помощью архитектуры Wav2Vec2ForCTC преобразует речь в последовательность фонем; размер модели составляет 402,7 млн параметров. На тестовой части TIMIT указаны значения CER 0,0987 и loss 0,3697. Модель подходит для фонемной транскрипции английской речи, особенно в сценариях, близких к записям корпуса TIMIT. Лицензия — Apache-2.0.
Anime-Llasa-3B — модель синтеза речи по тексту, разработанная как дообучение HKUSTAudio/Llasa-3B для японского языка. Это плотная Llama-совместимая модель с 3,4 млрд параметров; репозиторий содержит веса в формате safetensors, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации японской речи, в том числе выразительной речи в аниме-стиле. В README указано, что объём обучающих данных увеличили примерно с 14 000 до 33 000 часов, чтобы улучшить выразительность и стабильность синтеза. В числе датасетов метаданных — японские речевые и ASMR-наборы. Для использования предусмотрена демонстрация на Hugging Face Spaces. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение. Данных о качестве на независимых тестах в карточке нет.
IndicF5-Kannada-Bedtime-v2 — модель синтеза речи, созданная автором репозитория sush0401 путём дообучения IndicF5 от AI4Bharat. Она предназначена для озвучивания сказок на каннада в спокойной, сказочной или юмористической манере, в том числе голосом, заданным аудиообразцом и его расшифровкой. Дообучен компонент CFM на данных SPRINGLab/IndicTTS_Kannada и синтетических аудиофрагментах со сказками перед сном; в карточке приведены примеры озвучивания и сценарий перевода английской сказки на каннада с последующей генерацией речи. Модель принимает текст на каннада, аудиообразец голоса и текст его расшифровки, а выдаёт речь. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT. Размер модели и длина контекста в предоставленных данных не приведены.
facebook/mms-tts-adh — модель синтеза речи на языке джопадхола (Jopadhola, adh), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для языка с ограниченными цифровыми ресурсами. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль и декодер, построенный по принципу HiFi-GAN. Отдельная контрольная точка обучена для каждого языка MMS-TTS; размер этой модели — 3,5 млн параметров. Случайный предиктор длительности позволяет получать варианты ритма, поэтому для повторения того же результата требуется фиксировать seed. Для работы доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
facebook/mms-tts-agr — модель синтеза речи на языке авар (Awajún), созданная командой Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на авар в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS и обучена отдельно для авар в составе семейства MMS-TTS. Вариационный автоэнкодер, потоковый модуль, декодер в стиле HiFi-GAN и стохастический предиктор длительности позволяют синтезировать речь с разным ритмом; результат может меняться между запусками, поэтому для повторяемой генерации нужен фиксированный seed. В репозитории указано 3,5 млн параметров; доступны веса PyTorch и safetensors. Для запуска поддерживается библиотека Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-atg — модель синтеза речи из текста для языка Ivbie North-Okpela-Arhe (код atg), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; стохастический предиктор длительности позволяет варьировать ритм речи, поэтому результат может отличаться при повторном запуске без фиксированного seed. Модель подходит для озвучивания текста на Ivbie North-Okpela-Arhe и интеграции синтеза речи в приложения через Transformers версии 4.33 и выше. Веса доступны в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-bom — модель синтеза речи для языка бером (Berom, bom), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; архитектура VITS преобразует последовательность текста в речевую аудиоволну и включает вероятностный предиктор длительности, благодаря которому один и тот же текст может звучать с разным ритмом. Модель содержит 3,6 млн параметров и доступна в форматах PyTorch и Safetensors; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Чекпойнт предназначен для озвучивания текста на бером. Генерация недетерминирована: чтобы повторно получить ту же аудиоволну, нужно зафиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-bqp — модель синтеза речи на языке бисã (Bisã, код bqp), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для воспроизводимого результата генерации требуется фиксированное случайное зерно. Модель доступна через библиотеку Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески. Модель предназначена для бисã, поэтому её не следует считать многоязычным синтезатором или применять для озвучивания текстов на других языках без подтверждения качества.
facebook/mms-tts-dyu — модель синтеза речи на языке джула (dyu), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на джула в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и обучена сквозным образом; для каждого языка в проекте MMS выпускается отдельный чекпойнт. Вариативный предсказатель длительности позволяет получать разные ритмы речи для одного текста, поэтому при одинаковом входе результат может различаться; фиксированный seed обеспечивает воспроизводимость. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Модель поддерживает джула и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-gjn — модель синтеза речи для языка гонжа (Gonja, gjn), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на гонжа в речевую аудиоволну и предназначена для озвучивания фраз и создания речевого аудио на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; при генерации стохастический предиктор длительности может выдавать разные варианты произношения и ритма для одного текста. Для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель специализирована на гонжа; качество синтеза для других языков не заявлено.
facebook/mms-tts-hlt — модель синтеза речи на языке Chin, Matu, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевой аудиосигнал и предназначена для озвучивания текста и создания голосовых интерфейсов для носителей Chin, Matu. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль и декодер формируют речь сквозным образом; стохастический предсказатель длительности позволяет варьировать ритм произношения. Веса содержат 3,5 млн параметров, доступны в форматах PyTorch и Safetensors; для запуска подходит библиотека Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения результата нужно фиксировать seed. Модель предназначена для одного языка и не подходит для синтеза речи на других языках без отдельной модели. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-idd — модель синтеза речи для языка Ede Idaca, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на Ede Idaca в речевую аудиоволну и предназначена для озвучивания текста и создания речи в приложениях для этого языка. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, поточными слоями и декодером на основе HiFi-GAN. Для генерации с различным ритмом применяется стохастический предиктор длительности. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Генерация недетерминирована: для воспроизводимого результата требуется фиксировать seed. Модель обучена отдельно для Ede Idaca и не предназначена для других языков. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-ifk — модель синтеза речи на языке Ifugao, диалект Tuwali, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке ifk в речевую аудиоволну и подходит для озвучивания текста и создания речи для приложений на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза использует стохастический предиктор длительности, поэтому одинаковый текст может звучать с разным ритмом, а для воспроизводимого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-ifu — модель синтеза речи на языке Ifugao, диалект Mayoyao, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, поточным модулем, текстовым энкодером на основе Transformer и декодером на базе свёрточных слоёв в стиле HiFi-GAN. Размер модели — 3,5 млн параметров. Для каждого языка проекта MMS обучается отдельный чекпойнт; генерация стохастическая, поэтому для повторения результата нужен фиксированный seed. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель ориентирована на Ifugao (Mayoyao) и не предназначена для синтеза на других языках.
facebook/mms-tts-jmc — модель синтеза речи на языке Machame (код jmc), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Machame. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с условным вариационным автоэнкодером, потоковым модулем и стохастическим предсказателем длительности, благодаря которому один и тот же текст может звучать с разным ритмом. Для работы доступна через библиотеку Transformers версии 4.33 и новее. Модель обучена отдельно для одного языка, поэтому её назначение ограничено синтезом речи на Machame. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-kff-script_telugu — модель синтеза речи из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на языке Koya, записанный телугу-письмом, в речевой аудиосигнал; для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вероятностным предсказанием длительности, благодаря которому один текст может произноситься с разным ритмом. Модель доступна через библиотеку Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Для повторяемого аудиовыхода требуется фиксировать seed, поскольку синтез недетерминированный. Модель предназначена для речи на конкретном языке и письме, а не для многоязычной генерации.
facebook/mms-tts-kri — модель синтеза речи на языке крио (Krio, код kri), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на крио. Модель использует архитектуру VITS: вариационный автоэнкодер с состязательным обучением, поточным модулем, текстовым энкодером на основе Transformer, декодером в стиле HiFi-GAN и стохастическим предсказателем длительности. Для каждого языка MMS обучает отдельный чекпойнт. Размер модели — 3,5 млн параметров; она доступна для PyTorch и safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может различаться между запусками; фиксированный seed нужен для воспроизводимого аудио. Модель предназначена для крио и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-kru — модель синтеза речи на языке курух (Kurux, код kru), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на курухе. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем, декодером в стиле HiFi-GAN и стохастическим предсказателем длительности. В репозитории указано 3,6 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. Модель доступна через Transformers версии 4.33 и выше. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но исключает коммерческое применение.
facebook/mms-tts-kus — модель синтеза речи на языке кусасал (Kusaal, kus), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Kusaal. Модель использует архитектуру VITS и обучена как отдельный чекпойнт для этого языка. Это сквозная система синтеза с текстовым энкодером на основе Transformer, поточным модулем, декодером HiFi-GAN-подобного типа и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. В репозитории указано 3,5 млн параметров; модель доступна для Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же аудио требуется фиксированный seed. Модель предназначена для Kusaal, поэтому её применение к другим языкам не подтверждено. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.
facebook/mms-tts-lcp — модель синтеза речи на языке Lawa, Western, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка из семейства MMS-TTS, предназначенный для преобразования текста в речевую аудиоволну. Модель построена на архитектуре VITS и обучается сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудио. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения; для воспроизводимого результата требуется фиксировать seed. В репозитории указаны веса PyTorch и safetensors, около 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и новее. Подходит для озвучивания текста на Lawa, Western, например для речевых интерфейсов и создания аудиоверсий материалов. Чекпойнт рассчитан на конкретный язык, поэтому его не следует считать универсальной многоязычной TTS-моделью. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
facebook/mms-tts-lew — модель синтеза речи на языке леда (Lew), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS: модель преобразует последовательность текста в речевую аудиоволну, используя вариационный автоэнкодер, потоковый модуль, декодер и стохастический предиктор длительности. Модель предназначена для озвучивания текста на языке леда; вариативность предиктора длительности позволяет получать разные ритмические варианты произношения, а для повторяемого результата требуется фиксированный seed. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.