I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейfacebook/mms-tts-npl — модель синтеза речи на нахуа юго-восточной Пуэблы, выпущенная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых приложений для языка, охватываемого проектом MMS. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи со стохастическим предсказателем длительности, благодаря которому один и тот же текст может звучать с разным ритмом; результат генерации недетерминирован, поэтому для повторения той же аудиозаписи требуется фиксированное начальное значение. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-obo — модель синтеза речи на языке Manobo, Obo (obo), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на этом языке. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS: сквозную систему text-to-speech на основе вариационного автоэнкодера, потоковых слоёв и декодера, похожего на HiFi-GAN; предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Для работы доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и safetensors. Генерация недетерминирована из-за стохастического предсказателя длительности; для повторения результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-sag — модель синтеза речи на языке санго (Sango, код sag) из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на санго в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, формирующий аудиоволну. Чекпойнт содержит 3,5 млн параметров, распространяется в форматах PyTorch и Safetensors и доступен через библиотеку Transformers начиная с версии 4.33. Модель предназначена для синтеза речи на санго. Стохастический предиктор длительности позволяет варьировать ритм произношения, поэтому генерация недетерминирована; для воспроизводимого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое использование.
facebook/mms-tts-urb — модель синтеза речи на каапорском языке (Kaapor, код urb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текста на каапорском языке. Модель использует архитектуру VITS и обучена отдельно для этого языка. Она объединяет вариационный автоэнкодер, потоковый модуль и декодер, построенный по принципу HiFi-GAN; стохастический предсказатель длительности позволяет варьировать ритм речи. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. В метаданных указаны 3,5 млн параметров и форматы PyTorch и Safetensors. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она предназначена для синтеза речи на каапорском языке; качество и поддержка других языков не заявлены.
facebook/mms-tts-vut — модель синтеза речи для языка Vute (код vut), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Vute в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковые слои и декодер, формирующий аудиоволну; предсказатель длительности позволяет варьировать ритм речи. Для каждого языка MMS обучается отдельный чекпойнт. В репозитории указаны веса PyTorch и Safetensors, объём модели — 3,5 млн параметров. Использование доступно через библиотеку Transformers версии 4.33 и новее. Модель предназначена для синтеза речи на Vute; её нельзя считать многоязычной только на основании принадлежности к MMS. Генерация недетерминирована и может различаться для одного текста, если не зафиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
facebook/mms-tts-yat — модель синтеза речи на языке ямбета (код yat), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки и декодер, похожий на HiFi-GAN. В репозитории хранится чекпойнт на 3,5 млн параметров в форматах PyTorch и Safetensors; модель доступна через Transformers версии 4.33 и выше. Для одного текста модель может синтезировать варианты с разным ритмом, поэтому генерация недетерминирована; для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC-BY-NC-4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-ycl — модель синтеза речи на языке лолопо (Lolopo, ycl) из проекта Massively Multilingual Speech компании Meta. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS: текстовый энкодер и потоковый модуль формируют акустическое представление, а декодер генерирует волну. Это отдельный чекпойнт для одного языка, содержащий 3,5 млн параметров; он доступен в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Генерация речи стохастическая: для повторения того же результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
SongComposer_pretrain — языковая модель для композиции текстов песен и мелодий, разработанная авторами SongComposer на основе InternLM2. Это предварительно обученная версия семейства SongComposer, инициализированная весами InternLM2 и получившая базовые знания о текстах песен и мелодиях; версия предназначена для генерации по заданному текстовому промпту. Модель имеет плотную архитектуру InternLM2ForCausalLM, содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов. Модель рассчитана на создание строк песни и мелодических последовательностей. Для генерации по инструкциям, включая преобразование текста в мелодию, мелодии в текст, продолжение песни и создание песни по текстовому описанию, авторы также выпускают отдельную версию SongComposer_sft; эти сценарии не следует считать гарантированными возможностями данной предварительно обученной версии. В примере README используется китайский текст, поэтому китайский язык подтверждён; другие языки карточка не описывает. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
Модель Prince Nasamu Alhassan — дообученная версия VITS для синтеза речи на языке эве из текста. Она создана на основе facebook/mms-tts-ewe и обучена в течение 20 тысяч шагов на корпусах bibletts_ewe_hifi и waxal_ewe_tts. Модель предназначена для озвучивания фраз и коротких сообщений на эве; размер по метаданным — 3,6 млн параметров. Для запуска в README описано использование Transformers и VitsModel. Обучающие данные преимущественно состоят из библейских текстов, поэтому голос и формулировки могут лучше соответствовать этому регистру, чем повседневной речи. Токенизатор посимвольный: символы вне его словаря молча удаляются. Перед синтезом следует переводить текст в нижний регистр и записывать числа словами; для эве в README указано отсутствие потери символов на проверенной выборке после такой нормализации. Модель заявлена как исследовательская работа с хакатона, а не поддерживаемый продукт. Лицензия — CC BY-NC 4.0, использование ограничено её условиями, включая некоммерческое применение.
Hengyuhan/whisper-medium-m4singer-zh-lyrics — модель распознавания пения, созданная полнопараметрическим дообучением OpenAI Whisper medium на корпусе M4Singer. Она преобразует короткие фразы на мандаринском пении в китайские тексты песен и предназначена для исследовательской оценки и расшифровки вокала. Валидационная CER составила 22,354% против 24,247% у исходной Whisper medium; независимая итоговая оценка на тестовой выборке на момент публикации карточки ещё не была завершена. Модель принимает аудио, рассчитана на фрагменты до примерно 30 секунд; для работы с Whisper рекомендуется монофонический звук с частотой 16 кГц. Качество на чистом профессионально записанном пении не гарантирует устойчивость к аккомпанементу, концертным записям, реверберации или бытовым микрофонам. Возможны вставки и повторы текста во время пауз, вдохов и инструментальных частей; результат следует проверять. Модель не предназначена для перевода речи, идентификации дикторов или общего распознавания разговорного мандаринского языка. Лицензия CC-BY-NC-SA-4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов.
Модель speech31/XLS-R-tamil-phoneme — акустическая модель распознавания речи на архитектуре Wav2Vec2, дообученная разработчиком на тамильской части Common Voice 16.1. Аудиосигнал преобразуется в последовательность тамильских фонем, записанных символами IPA и специальными знаками; это позволяет учитывать особенности тамильского произношения. Модель предназначена для автоматического распознавания тамильской речи и фонетической транскрипции аудиозаписей. Она содержит около 402,7 млн параметров и опубликована в формате PyTorch. В карточке не приведены сведения о длине контекста и лицензии.
Это модель автоматического распознавания речи, созданная дообучением jssaluja/fb-mms-1b на базе facebook/mms-1b-all. Она предназначена для преобразования аудиозаписей в текст; обучение проводилось на наборах с чтением и исполнением сикхских религиозных текстов, включая Sehaj Paath и киртан. Модель построена на архитектуре wav2vec2, имеет около 1,3 млрд параметров и использует библиотеку Transformers. В карточке приведены метрики оценки: WER 0,3164, CER 0,0801 и NCER 0,0324. Эти результаты относятся к указанному оценочному набору и не гарантируют аналогичного качества на других типах речи или записях. Базовая MMS-1B-All поддерживает более тысячи языков, однако язык и область применимости этого дообученного чекпойнта отдельно не указаны. Лицензия — CC BY-NC 4.0, допускающая использование с атрибуцией, но запрещающая коммерческое применение.
uer/gpt2-chinese-lyric — языковая модель GPT-2, предварительно обученная проектом UER-py. Она предназначена для генерации китайских текстов песен: может продолжать заданный текст или создавать строки лирики с помощью конвейера генерации текста. Обучающие данные включают 150 000 китайских текстов песен из Chinese-Lyric-Corpus и MusicLyricChatbot. Модель использует плотную архитектуру GPT2LMHeadModel и принимает текст, выдавая текст. Контекст составляет 1024 токена. В карточке указаны реализации весов для PyTorch, TensorFlow и Flax. Лицензия в доступных данных не приведена.
facebook/mms-tts-bov — модель синтеза речи на языке ту́вули (код bov), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на ту́вули в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель основана на VITS — сквозной архитектуре с вариационным автоэнкодером, поточным модулем и декодером, напоминающим HiFi-GAN. В ней также используется стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом, а для повторяемого результата требуется фиксировать seed. Веса содержат около 3,5 млн параметров и доступны в форматах PyTorch и safetensors. Модель можно использовать через Transformers версии 4.33 и выше. Она предназначена для озвучивания текста на ту́вули, а не для распознавания речи или генерации речи на других языках. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
facebook/mms-tts-bpr — модель синтеза речи для языка Blaan диалекта Koronadal (код bpr), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевой сигнал и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS: это сквозная генеративная система с вариационным автоэнкодером, поточным модулем, декодером на основе свёрточных слоёв и стохастическим предсказателем длительности. В репозитории указано 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для воспроизводимого результата генерации требуется фиксировать seed, поскольку предсказание длительности стохастическое. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для одного языка, поэтому её нельзя считать универсальным многоязычным синтезатором; качество зависит от соответствия входного текста языку Blaan диалекта Koronadal.
facebook/mms-tts-cwe — модель синтеза речи на языке квэре (Kwere, cwe), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на квэре в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт проекта MMS-TTS, доступный через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм произношения; для повторяемого результата при генерации требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она рассчитана на синтез речи на квэре; качество для других языков не заявлено.
facebook/mms-tts-dnt — модель синтеза речи на языке Dani, Mid Grand Valley (код dnt), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевой сигнал и предназначена для озвучивания текстов и создания синтетической речи. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера с Transformer-энкодером текста, потоковым модулем и декодером, похожим на HiFi-GAN. Размер модели — 3,5 млн параметров. Из-за стохастического предсказателя длительности результаты синтеза могут различаться; для воспроизводимости требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но ограничивает коммерческое применение.
Это модель синтеза речи Ixil на варианте языка ixl-dialect_sangasparchajul, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом варианте Ixil в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на языке, для которого мало доступно речевых технологий. Модель использует архитектуру VITS — сквозную систему синтеза на основе вариационного автоэнкодера, нормализующих потоков и декодера в стиле HiFi-GAN. Для одного и того же текста она может генерировать речь с разным ритмом; результат может меняться между запусками, поэтому для повторяемого вывода требуется фиксированное случайное зерно. Чекпойнт содержит 3,5 млн параметров, доступен в форматах PyTorch и Safetensors и поддерживается Transformers версии 4.33 и выше. Модель предназначена для синтеза речи на Ixil, а не для распознавания речи или перевода. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-jic — модель синтеза речи на языке Tol (jic), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на Tol в речевой сигнал; для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, потоковых преобразований и декодера, построенного по принципу HiFi-GAN. В чекпойнте около 3,5 млн параметров; он работает с библиотекой Transformers версии 4.33 и новее. Генерация стохастическая: для повторяемого результата нужно задавать фиксированное начальное значение генератора. Модель предназначена для озвучивания текста на Tol. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-lif — модель синтеза речи на языке лимбу (код ISO 639-3: lif), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на лимбу в речевую аудиоволну и предназначена для озвучивания текстов и создания голосовых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для лимбу из семейства MMS-TTS; для синтеза используется стохастический предиктор длительности, поэтому при одинаковом тексте речь может звучать по-разному. Для воспроизводимого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель рассчитана на синтез речи именно на лимбу; качество для иных языков не заявлено.
facebook/mms-tts-maj — модель синтеза речи на языке мазатек, разновидность Халапa-де-Диас, из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка в проекте обучается отдельная модель. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым кодировщиком на базе Transformer, потоковым модулем и декодером аудиосигнала; стохастический предсказатель длительности позволяет варьировать ритм произношения. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для повторяемого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Данных о качестве синтеза и ограничениях входного текста в карточке нет.
Модель facebook/mms-tts-mam-dialect_western — модель синтеза речи для западного диалекта языка мам, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом варианте мам. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль и декодер на основе свёрточных слоёв, а стохастический предиктор длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров; для использования доступна через Transformers версии 4.33 и выше. Каждый языковой вариант MMS-TTS обучается отдельным чекпойнтом. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное значение seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-maq — модель синтеза речи на языке мазатек, диалект Чикиуитлан, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозной генератор речи на основе вариационного автоэнкодера, потоковых слоёв и декодера, похожего на HiFi-GAN. Размер модели — 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. Из-за стохастического предсказателя длительности результат может различаться при одинаковом тексте, а для повторяемого синтеза требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства в рамках некоммерческих условий.
facebook/mms-tts-onb — модель синтеза речи на языке Lingao (код onb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания речевых выходов в приложениях на поддерживаемом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для разных языков MMS обучает отдельные контрольные точки. Используются веса PyTorch и Safetensors, модель доступна через Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста, поэтому результат зависит от случайного seed; фиксированный seed нужен для воспроизводимой генерации. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-rap — модель синтеза речи на рапануйском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на рапануйском. Для языка создан отдельный чекпойнт MMS-TTS. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудиосигнал. Стохастический предиктор длительности позволяет получать варианты произношения с разным ритмом; поэтому результат может меняться между запусками, а фиксированный seed нужен для воспроизводимости. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-sgb — модель синтеза речи для языка айта маг-анцы (sgb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речи для приложений на языках с ограниченными ресурсами. Модель построена на архитектуре VITS: текстовый энкодер, поточные слои и декодер формируют речь сквозным образом; стохастический предиктор длительности позволяет варьировать ритм произношения. Для каждого языка MMS обучается отдельный чекпойнт. В репозитории указаны веса PyTorch и Safetensors; размер модели — 3,5 млн параметров. Для повторения одинакового результата генерации требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценок качества синтеза или дополнительных языков помимо sgb.
facebook/mms-tts-yad — модель синтеза речи на языке ягуа (Yagua, код yad), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на ягуа. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, декодер HiFi-GAN и стохастический предиктор длительности, позволяющий варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для одинакового результата генерации требуется фиксировать seed. Модель можно использовать через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 требует атрибуции и ограничивает коммерческое использование.
knaif — семейство дообученных моделей Qwen3, разработанных для runtime knaif. Модели преобразуют запросы на естественном языке в строгий JSON-план действий формата {"plan": [...]}, который затем валидируется, расширяется, подтверждается и исполняется детерминированным кодом через пакеты навыков. Модель только предлагает план и сама ничего не выполняет. В репозитории представлены две версии в формате GGUF: вариант на базе Qwen3-4B с 4 млрд параметров, квантизацией Q4_K_M и размером около 2,5 ГБ, предназначенный для настольных систем и CLI, а также вариант на базе Qwen3-1.7B с 1,7 млрд параметров, квантизацией Q6_K и размером около 1,4 ГБ, рассчитанный на мобильные устройства и системы с ограниченными ресурсами. Модели обучены методом SFT на навыках ffmpeg и documents; заявленная задача — генерация структурированных планов, а не открытый диалог. Сильная сторона моделей — специализированное преобразование пользовательского намерения в проверяемый план с именами инструментов и аргументами, что позволяет отклонять неизвестные инструменты и неподдерживаемые параметры на последующих этапах. Ограничения включают узкую специализацию на формате knaif и обученных навыках, а также отсутствие самостоятельного выполнения действий. Модели распространяются по лицензии Apache-2.0.
facebook/mms-tts-aoz — модель синтеза речи на языке Uab Meto (aoz), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Для каждого языка проекта используется отдельная контрольная точка. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, потоковый модуль и декодер, формирующий аудиоволну; стохастический предиктор длительности позволяет варьировать ритм произношения. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для получения одинакового результата требуется фиксировать seed. Модель предназначена для языка Uab Meto, поэтому её не следует считать универсальной многоязычной моделью. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
facebook/mms-tts-bps — модель синтеза речи на языке блаа, диалект Сарангани, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую волну и предназначена для озвучивания текста и создания речевых технологий для языка, имеющего ограниченные цифровые ресурсы. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, Transformer-энкодером текста, потоковым модулем и декодером, подобным HiFi-GAN. Для каждого языка проекта обучается отдельный чекпойнт; эта модель содержит 3,5 млн параметров. Генерация речи стохастическая, поэтому для повторения результата требуется фиксированное начальное значение. Модель доступна в Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель рассчитана на текст на языке блаа, Сарангани; поддержка других языков не заявлена.