I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейVibeVoice-Large — модель преобразования текста в речь семейства VibeVoice, разработанная Microsoft; этот репозиторий содержит копию весов, полученных с ModelScope. Модель предназначена для генерации выразительной длинной разговорной речи, например подкастов и диалогов с несколькими участниками. Она использует плотную архитектуру VibeVoice с LLM для понимания текста и хода диалога, непрерывными акустическими и семантическими токенизаторами с частотой 7,5 Гц и diffusion-head для синтеза акустических деталей. Контекст составляет 32 тыс. токенов; заявлена генерация аудио длительностью примерно до 45 минут с несколькими голосами. Модель рассчитана на английский и китайский языки, поддерживает до четырёх голосов и ориентирована на исследование генерации длинной разговорной речи. Она синтезирует речь, а не музыку, фоновые звуки или эффекты; перекрывающиеся реплики явно не моделируются. Речь на других языках может быть невнятной, а выходы могут содержать ошибки или смещения. README предупреждает о рисках имитации голоса и дезинформации, не рекомендует коммерческое или реальное применение без дополнительной проверки и указывает, что в аудио автоматически добавляются слышимое уведомление об ИИ и водяной знак. Указанная лицензия — MIT.
Voicera — модель синтеза речи из текста, разработанная Lwasinam Dilli. Она использует трансформерную архитектуру GPT-2 и представляет аудио в виде дискретных токенов, полученных с помощью кодека Multi-Scale Neural Audio Codec (SNAC). Модель обучалась примерно на 1000 часах речевых данных; в обучающую выборку входили чистые подмножества HiFi-TTS, LibriSpeech, Libri-TTS и GLOBE с ограничением длительности аудиофрагментов до 10 секунд. Модель предназначена для преобразования написанного текста в речь. Автор также описывает варианты, дообученные на наборах Jenny и Expresso, и отмечает, что на момент карточки лучший результат давал вариант Jenny. Контекст модели составляет 1024 токена. Автор предупреждает, что Voicera не является моделью уровня state of the art и пока недостаточно точна для производственного применения; оценка качества в карточке ограничена наблюдениями за снижением loss и улучшением выходной речи. Указана лицензия «Free and Open to use I guess», поэтому точные условия повторного использования из карточки неясны.
ChatMusician — открытая языковая модель для понимания и генерации музыки, разработанная авторами проекта ChatMusician. Это плотная модель семейства LLaMA с 6,6 млрд параметров, основанная на LLaMA 2 и обученная продолжением предобучения и дообучением на музыкальном представлении ABC, которое токенизируется как текст. Модель принимает текстовые запросы и музыкальные записи в ABC, а музыку выдаёт в текстовом формате ABC; внешние мультимодальные структуры и токенизаторы не используются. Контекст составляет 2048 токенов. Модель предназначена для сочинения полноформатных музыкальных произведений по текстовому описанию, последовательности аккордов, мелодии, мотиву или музыкальной форме, а также для ответов на вопросы о музыке и музыкальной теории. README сообщает о результатах на MusicTheoryBench и сохранении общих языковых способностей, однако качество прямой генерации может быть ниже результатов в режиме perplexity. Для музыкальных задач модель лучше работает со строгими форматами и закрытыми инструкциями. Она склонна к галлюцинациям и не рекомендуется авторами для музыкального образования; значительная часть обучающих данных представляет ирландскую музыку, а способности к обучению по контексту и пошаговому рассуждению ограничены. Репозиторий распространяется по лицензии MIT.
onecxi/mms-english-female-indic — модель синтеза речи, созданная на основе facebook/mms-tts и обученная на наборе данных IndicTTS. Она преобразует английский текст в аудио женским голосом, связанным с хинди. Модель построена на архитектуре VITS, содержит 3,5 млн параметров и распространяется в формате safetensors для использования через Transformers. Модель подходит для озвучивания английских фраз женским голосом с индийским акцентом, например для учебных демонстраций и экспериментов с синтезом речи. В карточке указана лицензия CC BY-NC 4.0, которая запрещает коммерческое использование. Авторы также предостерегают от имитации реальных людей без их согласия и от создания вводящего в заблуждение или вредоносного контента.
facebook/mms-tts-apb — модель синтеза речи на языке Sa’a (код apb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Sa’a. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт семейства MMS-TTS; для синтеза одной и той же фразы могут получаться варианты с разным ритмом, поэтому для повторяемого результата нужен фиксированный seed. Модель доступна через библиотеку Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-dbq — модель синтеза речи на языке даба (Daba, код dbq), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и обучена отдельно для языка даба. В описании VITS указаны текстовый энкодер на основе Transformer, вариационный автоэнкодер, модуль нормализующих потоков, стохастический предиктор длительности и декодер на основе HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для работы с моделью предусмотрена библиотека Transformers версии 4.33 и новее. Предиктор длительности стохастический, поэтому одинаковый текст может звучать по-разному; фиксированный seed позволяет воспроизводить результат. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.
Модель Dan (dnj-dialect_gweetaawueast) — система синтеза речи Facebook в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для языка Dan, диалект gweetaawueast. Модель принимает текст и генерирует речевую аудиоволну; она построена на архитектуре VITS и содержит около 3,5 млн параметров. VITS синтезирует речь сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв создаёт аудиосигнал. Стохастический предиктор длительности позволяет варьировать ритм произношения; из-за этого результат недетерминирован, и для повторяемого синтеза нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-dop — модель синтеза речи на языке лукпа (Lukpa, код dop) из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на лукпа. Модель построена на архитектуре VITS и обучена как отдельный языковой чекпойнт MMS-TTS. VITS объединяет текстовый энкодер на основе Transformer, вероятностные компоненты и декодер формы сигнала; стохастический предиктор длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Для использования подходит библиотека Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же результата нужен фиксированный seed. Модель предназначена для одного языка и не заявляет поддержку других языков. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-enb — модель синтеза речи на языке Markweeta, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Markweeta в речевую аудиоволну. Модель построена на архитектуре VITS и обучена как отдельный языковой чекпойнт; в метаданных указано 3,5 млн параметров. Она поддерживается библиотекой Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, связанный с HiFi-GAN. Стохастический предсказатель позволяет варьировать ритм речи для одного и того же текста, поэтому результат генерации недетерминирован: для повторения той же аудиоволны нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-gbo — модель синтеза речи на северном гребо (Grebo, Northern; gbo), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для создания озвучки и речевых интерфейсов на гребо. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, построенный по принципу HiFi-GAN. Для одного текста возможны варианты ритма и произношения; генерация стохастическая, поэтому для повторяемого результата требуется фиксированный seed. В метаданных указаны 3,5 млн параметров и форматы PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-glk — модель синтеза речи на гилаки, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на гилаки в речевой аудиосигнал и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS: генерация речи выполняется сквозным образом, а стохастический предиктор длительности позволяет варьировать ритм произнесения. Веса представлены в форматах PyTorch и Safetensors; размер модели — 3,5 млн параметров. Для воспроизводимого результата требуется фиксировать seed, поскольку генерация недетерминирована. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-gri — модель синтеза речи на языке гхари (Ghari, gri), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на гхари. Для каждого языка проекта обучается отдельный чекпойнт; модель построена на архитектуре VITS, которая объединяет вариационный автоэнкодер, потоковый модуль и декодер, подобный HiFi-GAN. Предсказатель длительности позволяет получать варианты ритма речи, поэтому при одинаковом тексте результат может различаться; для повторяемой генерации нужен фиксированный seed. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; использовать его можно через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-iou — модель синтеза речи на языке тума-ируму, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания голосового вывода на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, формирующий аудиоволну. Размер модели — 3,5 млн параметров. Для каждого языка MMS-TTS обучается отдельный чекпойнт; синтез может быть недетерминированным, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-jav — модель синтеза речи на яванском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на яванском языке в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вероятностным предсказателем длительности, поэтому один и тот же текст может звучать с разным ритмом; для воспроизводимого результата нужно зафиксировать seed. Чекпойнт предназначен для яванского языка и доступен в библиотеке Transformers версии 4.33 и выше. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценок качества или подробностей о голосе и обучающих данных.
facebook/mms-tts-kvw — модель синтеза речи на языке Wersing (код kvw), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для генерации речи на Wersing. Модель использует архитектуру VITS: условный вариационный автоэнкодер с Transformer-энкодером текста, flow-модулем, стохастическим предсказателем длительности и декодером, построенным по принципу HiFi-GAN. Веса содержат около 3,5 млн параметров; для языков проекта MMS обучаются отдельные контрольные точки. Модель доступна через библиотеку Transformers. Предсказатель длительности стохастический, поэтому при одинаковом тексте результат может различаться; для воспроизводимого аудио требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-lac — модель синтеза речи на языке лакандон, разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для преобразования текста на лакандон в речевую аудиоволну; модель доступна через библиотеку Transformers версии 4.33 и новее. Архитектура VITS объединяет текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров. Модель подходит для озвучивания текста на лакандон, например для синтеза коротких фраз и речевого сопровождения материалов на этом языке. Предсказатель длительности стохастический, поэтому при одинаковом тексте возможны разные варианты ритма и звучания; для повторяемого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-nfa — модель синтеза речи на языке дао (Dhao, nfa), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на дао. Модель использует архитектуру VITS и обучена как отдельный чекпойнт для этого языка; размер составляет 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может меняться между запусками; для повторяемой генерации нужен фиксированный seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-vid — модель синтеза речи на видунда, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке видунда в речевую аудиоволну и предназначена для озвучивания текста и создания речевых данных для этого языка. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на базе Transformer, стохастический предсказатель длительности и декодер HiFi-GAN-подобного типа. В репозитории указано 3,5 млн параметров; чекпойнт доступен в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Модель обучена отдельно для видунда и не заявлена как многоязычная. Предсказатель длительности стохастический, поэтому генерация недетерминирована; для повторения той же аудиоволны требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
NAMAA-Saudi-TTS-V2 — модель синтеза речи с клонированием голоса для саудовского арабского, в частности найди. Она создана NAMAA-Space полным дообучением SWivid/Habibi-TTS на специализированных данных саудовской речи. Модель принимает арабский текст и аудиозапись длительностью 5–8 секунд с голосом-образцом, затем генерирует речь с тем же голосом, найдийской интонацией и произношением. В основе лежит F5-TTS с архитектурой Diffusion Transformer (DiT) и методом flow matching; по README, модель содержит около 335 млн обучаемых параметров. Для генерации используется денойзинг мел-спектрограммы за 32 шага ODE. Обучение проводилось на примерно 18,4 часах саудовской и найдийской речи; аудио приведено к 24 кГц, моно. Лицензия CC-BY-NC-SA-4.0 запрещает коммерческое использование без отдельного разрешения правообладателя. Модель рассчитана на создание найдийской арабской речи по тексту с аудиообразцом голоса. Она не предназначена для других арабских диалектов: на их входе может сохранять найдийские особенности. Без эталонной аудиозаписи синтез невозможен. Формальная оценка качества не приводится; в результате могут проявляться особенности исходных подкастных записей, например шум помещения или фоновая музыка.
OmniVoice-Emilia — вариант модели OmniVoice от k2-fsa, обученный исключительно на китайской и английской частях набора данных Emilia. Это плотная модель архитектуры OmniVoice для синтеза речи по тексту; в метаданных указаны мультиязычная поддержка, zero-shot и клонирование голоса. Чекпойнт предназначен прежде всего для воспроизведения экспериментальных результатов, описанных в статье. При использовании следует отключить очистку шума в промпте (`denoise = False`) и не задавать идентификатор языка (`lang_id = None`), поскольку модель обучалась без этих условий. Авторы рекомендуют обычным пользователям полнообученный на всём наборе данных вариант OmniVoice для более высокого качества. Лицензия и размер модели в предоставленных данных не указаны.
enAU-librivox-medium — модель синтеза речи для Piper, разработанная автором репозитория DataCraftsmanAustralia. Она объединяет десять голосов австралийского английского в одной модели VITS и предназначена для озвучивания текста с выбором диктора. Модель содержит около 70 млн параметров, выдаёт монофонический звук с частотой 22,05 кГц и работает на CPU; опубликована в формате ONNX. Обучение проведено на записях LibriVox из общественного достояния. Речь звучит как формальное литературное чтение с австралийским акцентом, а не как современная разговорная речь. Исходные тексты относятся к литературе XIX — начала XX века, поэтому модель слабее справляется с числами, сокращениями, техническими терминами, URL, электронными письмами и временными метками. Качество записей голосов неоднородно, а автоматические транскрипции не исправлялись. Лицензия модели — CC BY 4.0.
Это экспорт декодера аудиокодека EnCodec Meta AI с частотой дискретизации 32 кГц, используемого в MusicGen. Репозиторий содержит неизменённые веса модели facebook/encodec_32khz, упакованные в формат GGUF для запуска через loom.cpp и библиотеку loom-py-rt. Модель принимает кодовые последовательности аудио и восстанавливает из них звуковую волну; это декодирующая половина кодека, а не языковая модель. Декодер рассчитан на 4 потока кодов на кадр при 50 кадрах в секунду, что соответствует полосе 2,2 кбит/с; один кадр даёт 640 аудиосэмплов. В архитектуре есть LSTM с обработкой по кадрам, поэтому скорость в описанном окружении составляет около 0,44× реального времени. Лицензия репозитория — CC BY-NC 4.0. Для работы нужны выровненные коды нужной ширины: декодер не выполняет обратное выравнивание задержек и не принимает коды с другой конфигурацией полосы.
Модель dare43321/hindi-tts-model-5 — дообученная dare43321 версия kenpath/svara-tts-v1. Это плотная LlamaForCausalLM на 3,3 млрд параметров, представленная в формате safetensors; в метаданных также указана поддержка чата. Базовая модель предназначена для преобразования текста в выразительную речь на 18 индийских языках и индийском английском, однако README не уточняет, какие возможности этой базовой модели сохранены после дообучения и как именно следует задавать текст для синтеза. В метаданных указаны тег text-generation, контекстное окно 131 072 токена и английский язык. Данных о речевых выходах, поддерживаемых языках самой производной модели или качестве синтеза нет, поэтому назначение TTS можно считать вероятным по базовой модели, но не подтверждённым для этого чекпойнта. Лицензия — Apache-2.0.
Khmer TTS — экспериментальная модель синтеза речи, созданная дообучением VITS-модели Facebook facebook/mms-tts-khm. Она преобразует текст на кхмерском языке в аудио и распространяется в формате Hugging Face Transformers с весами safetensors; размер модели — 3,6 млн параметров. Модель рассчитана на одноголосую генерацию речи на кхмерском языке. Её можно применять для озвучивания коротких текстов и создания речевых примеров на кхмерском языке. В тестовом наборе из 50 примеров генерация завершилась без сбоев, однако эта проверка не оценивает всесторонне качество речи. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-agn — модель синтеза речи на языке агутайнен, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на агутайнен в речевой сигнал и подходит для озвучивания фраз и создания голосовых сообщений на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, потоковым модулем и декодером, похожим на HiFi-GAN. Размер чекпойнта составляет 3,5 млн параметров. Для каждого языка MMS обучается отдельный чекпойнт; модель предназначена для агутайнен и не заявлена как многоязычная. Генерация речи стохастическая, поэтому для воспроизводимого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-asg — модель синтеза речи для языка Cishingini (asg), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS-TTS обучается отдельная модель. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, потоковые слои, стохастический предиктор длительности и декодер на основе свёрточных слоёв. Модель содержит около 3,5 млн параметров и доступна для использования через Transformers версии 4.33 и выше. Стохастический предиктор длительности позволяет получать разные варианты ритма для одного текста, поэтому для воспроизводимого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-cab — модель синтеза речи на языке гарифуна (код cab), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на гарифуна. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт семейства MMS-TTS; библиотека Transformers поддерживает его начиная с версии 4.33. Стохастический предсказатель длительности позволяет получать варианты ритма произношения, поэтому результаты могут меняться между запусками; фиксированный seed нужен для воспроизводимого аудио. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель ориентирована на синтез речи именно на гарифуна.
facebook/mms-tts-gng — модель синтеза речи на языке нгангам (Ngangam, gng), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS для одного языка: модель принимает текст и генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, потоковый модуль, декодер в стиле HiFi-GAN и стохастический предсказатель длительности, благодаря которому текст может звучать с разным ритмом. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Модель предназначена для озвучивания текста на нгангам. Генерация недетерминирована: для воспроизводимого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-jvn — модель синтеза речи на яванском языке (код jvn), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на яванском в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. VITS синтезирует речь сквозным образом, сочетая вариационный автоэнкодер, потоковый модуль, декодер, похожий на HiFi-GAN, и стохастический предиктор длительности. Для одинакового текста возможны разные ритм и звучание; чтобы получать воспроизводимый результат, нужно зафиксировать seed. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель предназначена для синтеза яванской речи; сведений о поддержке других языков или дополнительных задач в карточке нет.
facebook/mms-tts-kma — модель синтеза речи на языке конни (kma), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на конни в речевую аудиоволну и предназначена для озвучивания текста и создания речевых данных на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для конни из семейства MMS-TTS; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценок качества или подробностей о голосе и наборе данных.