I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейМодель abeeranajam31 предназначена для синтеза речи на урду: она преобразует текст на урду, записанный арабским письмом, в аудио. Это дообученная версия facebook/mms-tts-urd-script_arabic на датасете codewithdark/urdu-tts. Модель использует архитектуру VITS и доступна для работы через Transformers; размер составляет 3,6 млн параметров. Модель подходит для генерации речи из Unicode-текста на урду, в том числе при локальном или серверном инференсе. Качество и произношение зависят от обучающих данных; модель не оценивалась количественно и не проверялась на справедливость для региональных акцентов и диалектов. Она не предназначена для Roman Urdu, других языков, клонирования голоса или идентификации говорящего. Лицензия в предоставленных данных не указана.
facebook/mms-tts-xog — модель синтеза речи на языке сога (xog), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; она доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, потоковый модуль, текстовый энкодер на основе Transformer и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор длительности позволяет варьировать ритм произношения одного и того же текста, поэтому результат может различаться между запусками; фиксированный seed позволяет воспроизвести тот же вариант. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-xsr — модель синтеза речи из текста проекта Massively Multilingual Speech, разработанного Meta (Facebook). Это отдельный языковой чекпойнт для языка Sherpa (xsr), предназначенный для преобразования входного текста в речевую волну. Модель использует архитектуру VITS — вариационный автоэнкодер с состязательным обучением и предсказателем длительности, который позволяет варьировать ритм речи. Чекпойнт содержит около 3,5 млн параметров и доступен для работы через Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-xuo — модель синтеза речи для языка Kuo (xuo), разработанная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS: сочетает вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer и декодер, похожий на HiFi-GAN. Размер модели — 3,5 млн параметров; использовать её можно через Transformers версии 4.33 и новее. Модель подходит для озвучивания текста на языке Kuo, например для голосовых интерфейсов и аудиоверсий материалов. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
OpenVoiceOS/pipertts_pt-BR_dii — модель синтеза речи на бразильском варианте португальского языка с женским голосом Dii. Она разработана OpenVoiceOS и принадлежит TigreGotico Lda; модель дообучена на базе OpenVoiceOS/pipertts_pt-PT_dii с использованием синтетического набора данных TigreGotico/tts-train-synthetic-dii_pt-BR. Модель предназначена для преобразования текста в речь в приложениях и сервисах, поддерживающих Piper, включая голосовые интерфейсы и платформу OVOS. Она использует архитектуру Piper VITS и экспортирована в формат ONNX, что позволяет выполнять инференс на CPU. Для работы требуется совместимый с Piper runtime или плагин ovos-tts-plugin-piper. В README не указаны размер модели, максимальная длина контекста и дополнительные поддерживаемые языки; по имеющимся данным, модель предназначена именно для португальского языка Бразилии. Модель удобна для локального синтеза речи на CPU и интеграции в экосистему Piper, однако качество и область применения зависят от характеристик обучающих записей и синтетического датасета. Она распространяется по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 (CC BY-NC-ND 4.0): разрешены некоммерческое использование и распространение с указанием авторства TigreGotico Lda, но запрещены модификация, создание производных моделей и использование идентичности голоса для создания производных голосов. Для коммерческого применения или иных вариантов лицензирования необходимо обратиться к TigreGotico Lda.
S2T-SMALL-LIBRISPEECH-ASR — модель автоматического распознавания речи семейства Speech to Text Transformer (S2T), опубликованная в репозитории Facebook. Это последовательностная модель encoder-decoder на базе трансформера с 15,1 млн параметров: энкодер обрабатывает акустические признаки, а декодер авторегрессионно генерирует транскрипцию. Для обучения использовались признаки log-mel фильтрового банка и SentencePiece с регистронезависимым текстом. Модель предназначена для преобразования английской речи в текст, в частности для расшифровки записей, похожих на аудиокниги LibriSpeech. Обучение проводилось на корпусе LibriSpeech ASR, содержащем около 1000 часов английской речи с чтением вслух. В карточке приведены результаты WER 4,3 на тестовой части clean и 9,0 на other. Модель принимает аудио, представленное акустическими признаками, и выдаёт текстовую транскрипцию. Модель выпущена по лицензии MIT. Её специализация на английской речи с чтением вслух ограничивает применимость к другим языкам, спонтанной речи, шумным записям и сценариям, отличающимся от данных LibriSpeech.
SPEAR XLarge v2 — открытый энкодер SPEAR для обучения представлениям речи и общего аудио, разработанный авторами работы SPEAR и опубликованный как версия модели для статьи, принятой на ICML 2026. Это самонагружаемая модель с backbone Zipformer из 13 стеков и примерно 600 млн параметров. На вход подаются монофонические или пакетированные аудиосигналы с частотой 16 кГц; энкодер выдаёт покадровые представления размерностью 1280 примерно с частотой 50 Гц. Модель обучалась на неразмеченных данных: около 184 тысяч часов английской речи и 13 тысяч часов общего аудио. Версия v2 добавляет token mixing для повышения устойчивости к шуму, перекрывающейся речи и смешанным акустическим сценам. SPEAR предназначена как универсальный акустический энкодер для последующей настройки под распознавание речи, аудиотегирование и другие задачи понимания речи и звуков; сама предобученная модель не выдаёт транскрипции или метки без соответствующей downstream-модели или дообучения. Карточка сообщает о высоких результатах на SUPERB и HEAR, а также приводит результаты настройки на LibriSpeech и AudioSet. Модель распространяется по лицензии Apache-2.0.
iamwille/speecht5_finetuned_iamwille_ig — дообученная на неизвестном наборе данных модель Microsoft SpeechT5 для синтеза речи из текста. Она использует архитектуру SpeechT5ForTextToSpeech и предназначена для преобразования текстового ввода в аудио. В README указана оценка Loss 0,4255 на тестовой выборке, но описание набора данных и условий оценки отсутствует. Модель распространяется в формате safetensors по лицензии MIT. Данных о поддерживаемых языках, голосе, качестве синтеза и ограничениях применения нет; результаты оценки не позволяют судить о качестве речи без сведений о тестовом наборе и метрике.
Splintir/speecht5_tts-pld-hil-v2 — дообученная версия SpeechT5 для синтеза речи на языке Hiligaynon. Автор продолжил дообучение базовой модели sapinsapin/speecht5_tts-pld-hil на данных sapinsapin/pld: использованы 10 464 обучающих и 200 проверочных аудиофрагментов, обучение проведено в течение 4 000 шагов. Модель принимает текст и для каждого вызова требует 512-мерный x-вектор говорящего; в репозитории приложен x-вектор реального носителя Hiligaynon из обучающих данных. Модель предназначена для преобразования текста на Hiligaynon в речь, например для озвучивания текстов и создания голосовых интерфейсов на этом языке. Она использует архитектуру SpeechT5 и библиотеку Transformers; веса опубликованы в формате safetensors. Лицензия — MIT. Данные карточки не сообщают размер модели или длину контекста.
Карточка модели maitrix-org/Voila-base на Hugging Face совпадает с карточкой maitrix-org/Voila-Tokenizer, поэтому описание составлено по ней. Voila-Tokenizer — аудиотокенизатор семейства Voila от Maitrix, построенный на архитектуре EnCodec и представленный в формате safetensors. Он предназначен для преобразования аудио в представление, пригодное для работы голосовых языковых моделей и обратного преобразования в аудио; в карточке Hugging Face основная задача отмечена как audio-to-audio. Проект Voila описывает применение токенизатора в единой системе голосовых задач, включая распознавание речи, синтез речи, перевод речи и голосовой диалог в реальном времени. В метаданных перечислены английский, китайский, французский, немецкий, японский и корейский языки. Для семейства Voila заявлены потоковая обработка с низкой задержкой и поддержка множества голосов; конкретные параметры и результаты для этого токенизатора отдельно не приведены. Модель распространяется по лицензии MIT.
VyvoTTS-v0-Qwen3-0.6B — англоязычная модель синтеза речи, разработанная на основе Qwen3-0.6B и дообученная для генерации естественно звучащей английской речи. В карточке заявлено около 810 млн параметров, а метаданные указывают 537 млн параметров; модель использует архитектуру Qwen3ForCausalLM, библиотеку Transformers и формат safetensors. Длина контекста по метаданным — 40 960 токенов. Модель предназначена для преобразования текста в речь. В README отмечен высокий уровень ошибок распознавания (WER) в сгенерированной речи и рекомендуется использовать её как предварительно обученную основу, затем дообучить на подходящем речевом наборе данных и отдельно настроить для одного диктора. Доступна по лицензии MIT.
DrishtiSharma выпустила модель автоматического распознавания речи, дообученную на основе facebook/wav2vec2-xls-r-300m на конфигурации ab набора Mozilla Common Voice 7.0. Это архитектура Wav2Vec2ForCTC с 402,7 млн параметров, принимающая аудио и выдающая распознанный текст; модель предназначена для транскрибирования речи на языке абазинском. На тестовом наборе карточка сообщает значение WER 0,5651 и loss 0,5620. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Показатель WER указывает на заметные ошибки распознавания, поэтому перед применением для конкретных записей качество стоит оценить на собственных данных.
Модель nikhil6041/wav2vec2-large-xlsr-tamil-commonvoice — дообученная nikhil6041 версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания речи на датасете Common Voice. Это модель архитектуры Wav2Vec2 с CTC-выходом, содержащая 402,7 млн параметров и сохранённая в формате PyTorch. Она предназначена для преобразования аудиозаписей на тамильском языке в текст; указанный результат на оценочной выборке — WER 0,8512. Модель выпущена под лицензией Apache-2.0. В карточке не приведены подробности о рекомендуемых сценариях применения и известных ограничениях; высокий WER указывает на значительное число ошибок распознавания на указанной оценочной выборке.
nahomazmach/whisper-small-ha — модель распознавания речи на хауса, созданная дообучением openai/whisper-small на конфигурации ha_ng набора Google FLEURS. Обучение проходило три эпохи на 3259 аудиозаписях; для тестирования использовались 621 запись. Модель принимает аудио и выдаёт текстовую расшифровку на хауса. Она предназначена для транскрибирования речи на этом языке; в README приведён тестовый WER 44,68%. Модель основана на архитектуре Whisper и распространяется в формате safetensors по лицензии Apache-2.0.
YarnGPT-local — модель синтеза речи, опубликованная Saheed Azeez для генерации речи на йоруба, игбо и хауса. Она использует языковую модель без внешних адаптеров и сложных дополнительных архитектур; для управления голосом можно задавать текстовый голосовой промпт. В карточке перечислены десять вариантов голосов: женские и мужские голоса для этих языков. Модель основана на архитектуре Llama и содержит 365,7 млн параметров. Она загружается через Transformers, использует формат safetensors и имеет контекст длиной 8192 токена. Метаданные указывают на объединение с HuggingFaceTB/SmolLM2-360M и saheedniyi/YarnGPT. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и на условиях распространения производных материалов, но не для коммерческого применения. Модель предназначена для озвучивания текстов и создания голосовых интерфейсов на поддерживаемых нигерийских языках. Автор заявляет о естественном и культурно релевантном звучании, однако независимые оценки качества в карточке не приведены. Результат может зависеть от выбора голосового промпта; модель ориентирована на три указанных языка.
KaniTTS Kyrgyz — текст-в-речь-модель для синтеза речи на кыргызском языке, разработанная авторами проекта KaniTTS. Она предназначена для разговорных ИИ-приложений, виртуальных помощников, экранных читалок и приложений для изучения языка, где важны низкая задержка и быстрое создание речи. В README описана двухэтапная схема: LLM формирует сжатые аудиотокены, а нейросетевой аудиокодек синтезирует из них звуковую волну. Метаданные указывают архитектуру LFM2 с причинной языковой моделью, библиотеку Transformers и 460 млн параметров; README сообщает частоту дискретизации 22 кГц. Контекст модели составляет 128 000 токенов по метаданным, однако карточка рекомендует обрабатывать речь длиннее 15 секунд скользящими окнами. README приводит замеры скорости на нескольких видеокартах, включая работу быстрее реального времени на RTX 5090 и RTX 4080, и отмечает поддержку эмоциональных тегов, использовавшихся при дообучении. Модель является дообучением nineninesix/kani-tts-400m-0.3-pt и принимает текст, выдавая аудио. README указывает лицензию Apache 2.0, тогда как метаданные содержат обозначение other; условия распространения следует сверять с файлами лицензии репозитория. Карточка содержит противоречивое замечание об оптимизации преимущественно для английского, хотя модель названа кыргызской и для неё указано обучение на кыргызских примерах. Также отмечены ограниченная выразительность без дополнительной настройки эмоций и возможное наследование смещений обучающих данных в произношении и просодии.
slprl/mhubert-base-25hz — это преобразованная SLP-RL версия многоязычной модели HuBERT от Meta, представленной в работе TWIST. Модель содержит 113,3 млн параметров и реализована как HubertModel в Transformers; веса Safetensors конвертированы из исходного выпуска Textlesslib, а результаты сверены с оригиналом. Модель предназначена для извлечения речевых признаков с частотой 25 Гц и токенизации речи, в частности для обучения языковых моделей речи и преобразования стиля говорения. Она обучалась на смеси многоязычных наборов данных, включая Multilingual LS, Vox Populi, Common Voice, Spotify и Fisher. Лицензия — MIT; подробности условий также приведены в лицензии Textlesslib.
facebook/mms-tts-acf — модель синтеза речи на антильском французском креольском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль и декодер с принципами HiFi-GAN. Стохастический предиктор длительности позволяет синтезировать разные ритмы для одного и того же текста, поэтому результат может меняться между запусками; фиксированный seed помогает воспроизводить одну и ту же речь. Чекпойнт содержит около 3,5 млн параметров и использует PyTorch и safetensors. Он доступен через Transformers версии 4.33 и новее. Модель предназначена для антильского французского креольского языка (acf). Лицензия CC BY-NC 4.0 требует соблюдения условий атрибуции и некоммерческого использования.
facebook/mms-tts-ach — модель синтеза речи на языке ачоли (Acholi) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; отдельная модель VITS обучена для каждого языка проекта MMS. Модель использует архитектуру VITS: текстовый энкодер на базе Transformer, потоковый модуль и декодер, формирующий аудиоволну. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы предусмотрена библиотека Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет синтезировать разные ритмические варианты одной и той же фразы, поэтому результат может меняться между запусками; для воспроизводимого аудио требуется фиксировать seed. Модель предназначена для синтеза речи на ачоли, а не для многоязычного синтеза. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-amh — модель синтеза речи на амхарском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания амхарских текстов и создания синтетической речи. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер генерирует аудиоволну. Стохастический предсказатель длительности позволяет получать варианты с разным ритмом; для повторяемого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Чекпойнт предназначен для амхарского языка; другие языки этим репозиторием не заявлены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-bba — модель синтеза речи на баатонумском языке, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на баатонумском языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Отдельный чекпойнт MMS-TTS обучен для каждого языка проекта. Стохастический предиктор длительности позволяет получать варианты речи с разным ритмом; из-за недетерминированной генерации для повторения результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-bbc — модель синтеза речи на языке батак-тоба (код bbc) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую волну и предназначена для озвучивания текстов на батак-тоба. Для разных языков проекта обучаются отдельные контрольные точки VITS. Модель использует архитектуру VITS: в её состав входят текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, формирующий речевую волну. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее; веса представлены в форматах PyTorch и Safetensors. Предиктор длительности стохастический, поэтому синтез недетерминирован: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.
facebook/mms-tts-bkv — модель синтеза речи на языке бекварра (bkv), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на бекварра в речевую аудиоволну и подходит для озвучивания текста и создания голосовых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS для одного языка; модель доступна через библиотеку Transformers. Из-за стохастического предсказания длительности одинаковый текст может звучать по-разному, поэтому для воспроизводимого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения.
facebook/mms-tts-bmr — модель синтеза речи на языке муинане (bmr), выпущенная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на муинане. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предсказатель длительности и декодер, формирующий аудиоволну. В репозитории указано 3,5 млн параметров; модель доступна через Transformers версии 4.33 и новее. Предсказатель длительности стохастический, поэтому для повторения результата требуется фиксированный seed. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не коммерческое использование.
facebook/mms-tts-bqj — модель синтеза речи на языке бандьял (Bandial, bqj), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для одного языка: по входному тексту он генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, flow-based модуль, Transformer-энкодер текста, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на бандьял, например для создания речевых сообщений и аудиоверсий материалов. Стохастический предиктор позволяет получать варианты ритма и произношения; результат генерации может меняться между запусками, поэтому для воспроизводимого аудио нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-bzj — модель синтеза речи на Belize English Creole (код языка bzj), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Архитектура VITS объединяет текстовый энкодер на основе Transformer, вариационный автоэнкодер, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и Safetensors. Чекпойнт предназначен для озвучивания текста на Belize English Creole и может применяться в голосовых интерфейсах, озвучке и создании речевого контента. Стохастический предиктор позволяет получать варианты ритма; для повторяемого результата README рекомендует фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-car — модель синтеза речи на языке кариб, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на языке кариб. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль и декодер HiFi-GAN объединены в сквозную систему синтеза речи. Число параметров — 3,5 млн; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Отдельный чекпойнт MMS-TTS обучен для каждого языка. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного и того же текста, поэтому результат недетерминирован; для повторяемого аудио требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-djk — модель синтеза речи на языке аукан (Aukan, код djk), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и доступный через библиотеку Transformers. Модель принимает текст и генерирует речевую аудиоволну; её объём составляет 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки и декодер на основе свёрточных слоёв в стиле HiFi-GAN. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому при одинаковом тексте результаты могут отличаться; для повторяемой генерации нужен фиксированный seed. Модель предназначена для озвучивания текста на ауканском языке. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое использование.
facebook/mms-tts-dts — модель синтеза речи для языка Dogon, Toro So (dts), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка MMS-TTS обучается отдельная модель. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковые слои и декодер на основе транспонированных свёрток, похожий на HiFi-GAN; предсказатель длительности позволяет варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для повторения той же генерации требуется фиксировать seed, поскольку предсказатель длительности стохастический. Модель рассчитана на синтез речи на Dogon, Toro So. Для работы с ней подходит библиотека Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-enx — модель синтеза речи на языке энxет (Enxet, код enx), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозную условную вариационную автоэнкодерную систему с текстовым энкодером, нормализующими потоками, стохастическим предсказателем длительности и декодером в стиле HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна для PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Стохастический предсказатель длительности позволяет получать варианты ритма для одного и того же текста, поэтому результаты генерации могут различаться; фиксированный seed нужен для повторения того же аудио. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.