I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейfacebook/mms-tts-mda — модель синтеза речи для языка Mada (mda), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Mada в речевую аудиоволну; для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер на основе Transformer, flow-модуль и декодер, подобный HiFi-GAN. Размер модели — 3,5 млн параметров; для работы доступны веса PyTorch и Safetensors, а поддержка включена в Transformers начиная с версии 4.33. Модель подходит для озвучивания текста на Mada в приложениях и экспериментах с речевыми интерфейсами. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
facebook/mms-tts-mev — модель синтеза речи на языке Maan (mev), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Maan. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль, декодер, похожий на HiFi-GAN, и стохастический предсказатель длительности. Размер модели — 3,5 млн параметров. Для каждого языка MMS-TTS обучается отдельный чекпойнт; стохастический предсказатель может создавать разные варианты ритма, поэтому для повторяемого результата нужен фиксированный seed. Модель распространяется в форматах PyTorch и Safetensors по лицензии CC-BY-NC-4.0, которая ограничивает коммерческое использование. Описание не приводит оценок качества или условий записи обучающих данных.
facebook/mms-tts-mfk — модель синтеза речи на языке Mofu, North (mfk), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт проекта MMS-TTS; он доступен через библиотеку Transformers. Генерация стохастическая: для повторения того же результата необходимо фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.
facebook/mms-tts-mza — модель синтеза речи на языке Mixtec, Santa María Zacatepec (mza), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую волну и предназначена для озвучивания текста и создания речевого вывода в приложениях. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем и декодером, построенным по принципу HiFi-GAN. Для предсказания ритма используется стохастический предиктор длительности, поэтому результат синтеза может меняться между запусками; фиксированный seed позволяет воспроизводить тот же результат. В репозитории доступны веса PyTorch и Safetensors, размер модели — 3,5 млн параметров. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка описывает отдельный чекпойнт для одного языка; качество синтеза для конкретных текстов может зависеть от используемого письма и входных данных.
facebook/mms-tts-mzi — модель синтеза речи на мазатекском языке варианта Икатлан, разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный контрольный набор VITS, обученный для одного языка; модель преобразует входной текст в речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, подобный HiFi-GAN. В репозитории доступны веса PyTorch и Safetensors; размер модели — 3,5 млн параметров. Для работы с моделью подходит библиотека Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на мазатекском языке Икатлан. Стохастический предсказатель длительности позволяет получать варианты с разным ритмом, поэтому для воспроизводимого результата требуется фиксировать случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-nhw — модель синтеза речи на западно-уастекском варианте науатля (nhw), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка в MMS-TTS обучен отдельный чекпойнт. Модель построена на архитектуре VITS и объединяет вариационный автоэнкодер, Transformer-кодировщик текста, нормализующие потоки, стохастический предсказатель длительности и декодер на основе HiFi-GAN. В репозитории указано 3,5 млн параметров; модель доступна через Transformers версии 4.33 и новее. Стохастический предсказатель делает генерацию недетерминированной: для повторения результата требуется фиксированное начальное значение генератора. Чекпойнт предназначен для озвучивания текста на западно-уастекском науатле. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-nim — модель синтеза речи на языке ниламба (nim) из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Для каждого языка MMS обучается отдельная модель; этот чекпойнт преобразует текст на ниламба в речевую аудиоволну. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система text-to-speech: текстовый энкодер и flow-модуль формируют акустические представления, а декодер на основе свёрточных слоёв генерирует аудио. Стохастический предиктор длительности позволяет получать варианты с разным ритмом; из-за этого результат может меняться при одинаковом входе, а фиксированный seed обеспечивает воспроизводимость. Модель предназначена для синтеза речи на ниламба и использования через Transformers версии 4.33 или новее. Карточка указывает лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-noa — модель синтеза речи на языке Woun Meu (noa), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода в приложениях. Модель построена на архитектуре VITS: генерация речи выполняется сквозным образом, а стохастический предиктор длительности позволяет получать варианты ритма для одного текста. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы поддерживается библиотека Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения.
facebook/mms-tts-omw — модель синтеза речи на языке Tairora, South (omw), разработанная в рамках проекта Massively Multilingual Speech (MMS) компании Meta. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для создания озвучивания и речевых интерфейсов для языка, для которого доступно мало речевых технологий. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем, декодером, похожим на HiFi-GAN, и стохастическим предсказателем длительности. В репозитории указано 3,5 млн параметров; модель доступна для PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Стохастический предсказатель может выдавать разные ритмы для одного текста, поэтому для повторяемого результата требуется фиксированный seed. Модель предназначена для синтеза речи именно на Tairora, South. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. README не приводит оценок качества или подробностей о голосе и произношении, поэтому пригодность для конкретного приложения следует проверять на целевых текстах.
facebook/mms-tts-ote — модель синтеза речи на языке отоми, мезкиталь, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода в приложениях. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это сквозной синтезатор речи с текстовым энкодером, потоковыми слоями и декодером, формирующим аудиоволну; стохастический предиктор длительности позволяет варьировать ритм речи. Результат может меняться между запусками, поэтому для воспроизводимой генерации нужно фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия — CC BY-NC 4.0, которая ограничивает использование некоммерческими целями.
facebook/mms-tts-tbk — модель синтеза речи на языке Tagbanwa, Calamian (код tbk), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему text-to-speech на основе условного вариационного автоэнкодера, flow-модуля и декодера, сочетающего подходы HiFi-GAN. Стохастический предиктор длительности позволяет варьировать ритм речи для одного текста, поэтому для повторяемого результата нужен фиксированный seed. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Модель предназначена для синтеза речи на Tagbanwa, Calamian. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Карточка не приводит оценок качества или дополнительных ограничений применения.
facebook/mms-tts-toc — модель синтеза речи на языке тотонак, вариант Койутла, из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на тотонаке в речевую аудиоволну и подходит для озвучивания текста и создания речи для приложений на этом языке. Модель построена на архитектуре VITS и обучена отдельно для одного языка. В архитектуре сочетаются вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста, декодер формы сигнала и стохастический предсказатель длительности, благодаря которому одна и та же фраза может звучать с разным ритмом. Размер модели — 3,5 млн параметров; она доступна для Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация речи недетерминирована: для повторения того же результата требуется фиксированный seed. Качество и естественность озвучивания в предоставленных материалах не оценены.
facebook/mms-tts-vun — модель синтеза речи на языке Vunjo (vun) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Vunjo. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза использует текстовый энкодер, модуль предсказания длительности и декодер аудио. Генерация недетерминирована: для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-war — модель синтеза речи на Waray-Waray, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания голосовых интерфейсов на Waray-Waray. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. В её состав входят текстовый энкодер на базе Transformer, потоковый модуль, декодер HiFi-GAN и стохастический предиктор длительности, позволяющий варьировать ритм речи. Модель содержит 3,5 млн параметров и доступна для использования через Transformers версии 4.33 и выше. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное значение seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
Это подготовительный репозиторий для независимого дообучения модели синтеза речи на волофском языке, созданный на основе конфигурации VITS проекта MMS и данных WAXAL от AIMS Senegal. В карточке указано, что репозиторий не содержит весов: при обучении скрипт загружает их из facebook/mms-tts-ful — модели для фула, выбранной как прокси из-за отсутствия модели MMS для волофа. Дообучение на конфигурации google/WaxalNLP wol_tts адаптирует акустические и просодические характеристики к целевому языку. Архитектура VITS выполняет сквозной синтез речи без отдельного вокодера. В метаданных указан размер 3,5 млн параметров; формат весов в репозитории обозначен как safetensors, хотя README уточняет, что сами веса здесь не хранятся. Модель предназначена для генерации речи по тексту на волофском языке. Репозиторий распространяется по лицензии CC-BY-NC-4.0; данные WAXAL имеют отдельную лицензию CC-BY-SA-4.0.
facebook/mms-tts-yal — модель синтеза речи на языке ялунка (yal) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, декодер и стохастический предиктор длительности, который позволяет варьировать ритм речи. Модель подходит для озвучивания текста на ялунка и создания речевого вывода в приложениях. Она доступна через библиотеку Transformers версии 4.33 и новее, а веса представлены в форматах PyTorch и Safetensors. Чекпойнт содержит около 3,5 млн параметров и распространяется по лицензии CC BY-NC 4.0. Генерация недетерминирована: чтобы получать одинаковую аудиоволну при повторных запусках, необходимо фиксировать seed. Модель предназначена для одного языка и не заявлена как многоязычная.
facebook/mms-tts-yao — модель синтеза речи на языке яо, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на языке яо. Модель использует архитектуру VITS: вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем, декодером и стохастическим предиктором длительности, обученный сквозным способом с вариационными и состязательными функциями потерь. Размер модели — 3,5 млн параметров; доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Отдельные контрольные точки MMS-TTS обучены для каждого языка, поэтому эта модель рассчитана на яо, а не на многоязычную генерацию в одном чекпойнте. Стохастический предиктор длительности может давать разные варианты произношения одного текста; для воспроизводимого результата следует фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
Music Flamingo — модель большого аудиоязыкового типа от NVIDIA для понимания музыки и песен. Архитектура Audio Flamingo 3 объединяет аудиоэнкодер AF-Whisper, MLP-адаптер и декодерную языковую модель Qwen2.5-7B; размер модели — 8 млрд параметров. Модель принимает аудио и текстовые инструкции и генерирует текстовые ответы. Она предназначена для вопросов и рассуждений о музыке, создания подробных описаний с учётом музыкальной теории и анализа гармонии, структуры, тембра, текста песен и культурного контекста. Поддерживает длинные аудиозаписи: до 20 минут, а максимальная длина текстового контекста указана как 24 000 токенов. В карточке заявлен английский язык; модель обучалась на музыкальных данных из разных источников. Модель доступна для исследовательского использования и разработки, включая музыкальных помощников и изучение понимания длинных аудиозаписей. Для инференса указаны Hugging Face Transformers и PyTorch; заявлена поддержка NVIDIA A100 и H100 под Linux. Лицензия обозначена как other, а README ограничивает использование некоммерческими исследовательскими целями.
Nabra-82M-v0.1 — компактная модель синтеза речи на 82 млн параметров, разработанная Oddadmix как дообучение hexgrad/Kokoro-82M. Она преобразует текст на современном стандартном арабском языке (MSA) в естественную речь с частотой 24 кГц. Архитектура основана на StyleTTS2: включает текстовый энкодер PL-BERT, предсказатель просодии и декодер ISTFTNet. Для арабского произношения модель использует специализированную фонемную лексику и фронтенд графема-фонема, сохраняющий различия между ع и ء, а также ح и ه. Модель предназначена для арабских голосовых помощников, экранных дикторов, озвучивания аудиокниг и учебных материалов, а также локальных приложений и конвейеров с арабскими языковыми моделями. Для правильного произношения входной текст должен быть снабжён диакритическими знаками; обычный арабский текст без огласовок рекомендуется предварительно диакритизировать. Доступен один женский голос af_msa, а типичные предложения модель может синтезировать быстрее реального времени на CPU. Лицензия — Apache-2.0. Модель обучена для MSA и не предназначена для египетского и других арабских диалектов, неарабского текста, пения или клонирования голоса. Для локальной работы на устройствах Apple Silicon и iOS автор указывает отдельную MLX-конверсию; в этом репозитории представлены веса PyTorch.
abreza/persian-ezafe-albert — модель классификации токенов на основе ALBERT, дообученная на HooshvareLab/albert-fa-zwnj-base-v2 для обнаружения эзофе в персидском тексте. Она определяет, где при фонемизации следует добавить непишущийся звук эзофе (/e/ или /ye/), чтобы разрешать неоднозначности произношения. Модель предназначена для использования в конвейерах персидского преобразования текста в речь, в частности с Piper и LCA Phonemizer. В репозитории представлены веса PyTorch и квантованная версия ONNX для инференса. По README, F1 на отложенной тестовой выборке составляет 98,73%; метаданные указывают 136,3 млн параметров и контекст до 512 токенов. Модель обучена на обработанной части набора HomoRich для персидских графемно-фонемных задач. Лицензия в предоставленных сведениях не указана.
Карточка модели zanite/Qwen3-TTS-Tokenizer-12Hz на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-Tokenizer-12Hz, поэтому описание составлено по ней. Qwen3-TTS-Tokenizer-12Hz — аудиотокенизатор из семейства Qwen3-TTS, разработанный командой Qwen. Он кодирует входную речь в дискретные акустические токены и декодирует токены обратно в речь, чтобы компактно представлять аудио для хранения и передачи, а также использовать его в речевых системах. Архитектура использует 16 слоёв многокодовой книги, частоту токенизации 12,5 Гц и лёгкую каузальную ConvNet. В README заявлены эффективное акустическое сжатие и сохранение просодических и акустических характеристик среды. Семейство Qwen3-TTS охватывает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки; это описание относится к семейству, а не обязательно к отдельным возможностям токенизатора. Модель предназначена для кодирования и восстановления речи, включая сценарии хранения, передачи и потоковой генерации с низкой задержкой в системах Qwen3-TTS. Репозиторий распространяется по лицензии Apache-2.0. Количественные результаты оценки качества вынесены в технический отчёт; сам README их не приводит.
Sariel00 выпустил адаптацию CosyVoice2-0.5B для синтеза китайской речи с клонированием голоса по нулевому примеру на устройствах Rockchip RK3588 и RK3572. Модель использует 24-слойный Qwen2 и потоковую генерацию речи; для RK3588 предоставлены ONNX- и RKNN-компоненты и C++-движок. Вариант Flow-компонента дистиллирован до одного шага, тогда как LLM, Speech Head, CampPlus и HiFT не изменялись. Вход — предварительно нормализованный текст в UTF-8, выход — поток PCM с частотой 24 кГц. README сообщает о тестировании на коротких и средних фразах и приводит показатели потокового синтеза на целевых платформах. Одношаговая дистилляция сокращает вычисления, но качество звучания уступает официальной десятишаговой модели и содержит слышимые искажения. Для очень длинного текста требуется смысловое разбиение; задержка до первого аудиоблока составляет около двух секунд в приведённых тестах RK3588, а HiFT может переключаться на CPU. Проверен фиксированный голосовой профиль, но строгая проверка регистрации произвольного WAV на устройстве ещё не завершена. Для работы приложения текст должен быть нормализован заранее. Лицензия файлов проекта — Apache-2.0; исходные компоненты CosyVoice и сторонние материалы сохраняют собственные условия лицензирования.
facebook/mms-tts-bzh — модель синтеза речи для языка Buang, Mapos (bzh), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну; отдельный чекпойнт MMS-TTS обучен для каждого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль и декодер, близкий по устройству к HiFi-GAN. Стохастический предиктор длительности позволяет получать варианты произношения и ритма; для повторяемого результата требуется фиксировать seed. В метаданных указан размер 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Модель предназначена для синтеза речи на Buang, Mapos; качество для других языков карточкой не заявлено.
facebook/mms-tts-flr — модель синтеза речи на языке фулииру, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на фулииру в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт; он доступен для использования через библиотеку Transformers версии 4.33 и выше. Генерация речи стохастическая: при фиксированном seed можно воспроизводить один и тот же результат. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она предназначена для синтеза речи на фулииру; качество для других языков не заявлено.
facebook/mms-tts-gmv — модель синтеза речи на языке гам (Gamo), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую волну; VITS объединяет вариационный автоэнкодер, потоковый модуль и декодер на основе HiFi-GAN, а стохастический предсказатель длительности позволяет варьировать ритм произношения. Модель предназначена для преобразования текста на гам в речь. Её можно использовать для озвучивания текста и создания речевого вывода в приложениях, рассчитанных на этот язык. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-huu — модель синтеза речи для языка Witoto, Murui (huu), созданная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для приложений озвучивания и синтеза речи. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. Модель поддерживается библиотекой Transformers версии 4.33 и новее, веса доступны в форматах PyTorch и Safetensors. Случайный предиктор длительности делает генерацию недетерминированной: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения.
facebook/mms-tts-hvn — модель синтеза речи на языке хаву (Hawu, hvn), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на хаву в речевую аудиоволну и предназначена для озвучивания текста и создания речевых выходов для приложений на этом языке. Модель использует архитектуру VITS: вариационный автоэнкодер с текстовым энкодером на основе Transformer, потоковыми слоями, стохастическим предсказателем длительности и декодером, формирующим аудиоволну. Это отдельный чекпойнт для хаву; в метаданных указано 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Предсказатель длительности стохастический, поэтому генерация недетерминирована; фиксированный seed позволяет воспроизводить тот же результат. Модель рассчитана на хаву, поэтому её не следует считать универсальной многоязычной системой синтеза речи. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
facebook/mms-tts-kby — модель синтеза речи на языке канури, диалекте манга (код kby), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; для синтеза применяются текстовый энкодер, предсказатель длительности и нейросетевой декодер аудио. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Генерация недетерминирована: для повторения того же результата требуется фиксированное начальное значение генератора. Модель предназначена для канури манга и не заявлена как многоязычная.
facebook/mms-tts-khg — модель синтеза речи на тибетском языке кхамс (Khams, код khg), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую звуковую волну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит 3,6 млн параметров. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; для синтеза используется вариативный генератор длительности, поэтому один и тот же текст может звучать по-разному. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Модель специализирована на кхамсском тибетском и не предназначена для синтеза на других языках.
facebook/mms-tts-klv — модель синтеза речи на языке Maskelynes (klv), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; веса доступны в форматах PyTorch и Safetensors. Для работы с моделью подходит библиотека Transformers версии 4.33 и новее. Случайный предиктор длительности делает синтез недетерминированным: для повторения результата с той же формой волны требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.