I.9Аудио и музыка

facebook/mms-tts-ncj — модель синтеза речи на языке науатль северной Пуэблы (ncj), выпущенная в рамках проекта Massively Multilingual Speech (MMS) компании Facebook. Она преобразует текст на этом языке в речевой сигнал и предназначена для создания озвучки и речевых интерфейсов. Модель основана на архитектуре VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковыми слоями и декодером на основе HiFi-GAN. Для каждой языковой разновидности MMS-TTS обучается отдельная модель; размер этого чекпойнта — 3,5 млн параметров. Он доступен через Transformers версии 4.33 и выше. Генерация зависит от случайного предсказателя длительности, поэтому одинаковый текст может звучать с разным ритмом, а для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-npy — модель синтеза речи на языке напу (Napu), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вероятностный модуль длительности и декодер, формирующий аудиоволну. Чекпойнт содержит 3,5 млн параметров; для каждого языка MMS обучается отдельная модель. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-orm — модель синтеза речи на оромо, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на оромо в речевую аудиоволну; для каждого языка проекта обучена отдельная модель VITS. Архитектура VITS объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста и декодер, построенный по принципу HiFi-GAN; стохастический предиктор длительности позволяет варьировать ритм речи, поэтому генерация недетерминирована и для повторяемого результата нужен фиксированный seed. Модель содержит 3,5 млн параметров, доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Она предназначена для синтеза речи на оромо. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-qxn — модель синтеза речи для кечуа, северный вариант Кончукос-Анкаш (qxn), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речи в приложениях для носителей языка. Модель использует архитектуру VITS: текстовый энкодер, вероятностный модуль длительности и декодер, который формирует аудиоволну. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы подходит Transformers версии 4.33 и новее. Модель может генерировать разные ритмы для одного и того же текста, поэтому результат не детерминирован; фиксированный seed позволяет воспроизводить генерацию. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-snn — модель синтеза речи на языке сиона (Siona, код snn), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на сиона в речевой сигнал и подходит для озвучивания текста и создания голосовых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый энкодер, нормализующие потоки, стохастический предсказатель длительности и декодер на основе HiFi-GAN формируют сквозной тракт от текста к речевой волне. Веса представлены в форматах PyTorch и Safetensors; в метаданных указано 3,5 млн параметров. Для повторяемого результата требуется фиксировать seed, поскольку генерация зависит от случайного предсказания длительности. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-som — модель синтеза речи на сомалийском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт VITS, обученный для одного языка; архитектура объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Модель преобразует входной текст в речевую аудиоволну и может варьировать ритм произношения; из-за стохастического предиктора одинаковый результат требует фиксированного seed. Чекпойнт содержит 3,5 млн параметров и доступен для использования через Transformers версии 4.33 и новее. Он предназначен для генерации речи на сомалийском языке, а не для синтеза на других языках. Лицензия CC BY-NC 4.0 требует атрибуции и ограничивает коммерческое использование.

facebook/mms-tts-srn — модель синтеза речи на языке сранан-тонго (srn), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую волну и предназначена для приложений озвучивания и синтеза речи. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка в MMS-TTS обучен отдельный чекпойнт. Использовать модель можно через библиотеку Transformers версии 4.33 и выше. VITS объединяет вариационный автоэнкодер, flow-модуль, Transformer-энкодер текста, стохастический предсказатель длительности и декодер, подобный HiFi-GAN. Стохастический компонент позволяет получать разные ритмические варианты произношения одного текста; поэтому результаты могут различаться между запусками, и для воспроизводимой генерации нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая не допускает коммерческого использования.

facebook/mms-tts-sun — модель синтеза речи на сунданском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на сунданском языке. Модель использует архитектуру VITS: это сквозная система синтеза речи с текстовым энкодером, потоковым модулем, декодером и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров; формат весов — PyTorch и Safetensors. Для использования доступна через Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Модель предназначена для сунданского языка, поэтому её не следует считать многоязычным синтезатором. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-tap — модель синтеза речи для языка таабва (Taabwa, tap), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на таабва. Модель использует архитектуру VITS: условный вариационный автоэнкодер с текстовым энкодером на основе Transformer, нормализующими потоками, стохастическим предсказателем длительности и декодером, построенным по принципу HiFi-GAN. Модель содержит 3,5 млн параметров и реализована для PyTorch в формате Safetensors; доступна через Transformers версии 4.33 и выше. Для получения одинаковой речи при повторном запуске требуется фиксировать seed. Для проекта MMS отдельный VITS-чекпойнт обучен для каждого языка. Модель рассчитана на синтез речи на таабва; сведения о поддержке других языков не приводятся. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

facebook/mms-tts-tbz — модель синтеза речи на языке дитаммари (tbz), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на дитаммари в речевую аудиоволну и предназначена для озвучивания текста и создания речи для приложений на этом языке. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем и декодером на основе HiFi-GAN. Размер модели — 3,5 млн параметров. Для каждого языка MMS обучается отдельная модель; эта контрольная точка предназначена для дитаммари. Из-за стохастического предсказания длительности результат может различаться между запусками; фиксированный seed позволяет воспроизводить тот же аудиосигнал. Модель распространяется в форматах PyTorch и Safetensors и доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-tes — модель синтеза речи на языке тенггер (tes), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства VITS, архитектура которого преобразует входной текст в речевую волну; модель содержит 3,5 млн параметров и доступна для работы через Transformers. Модель предназначена для озвучивания текста на тенггере. VITS объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Предсказание длительности стохастическое, поэтому при одинаковом тексте возможны варианты ритма и звучания; для воспроизводимого результата требуется фиксированный seed. Распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-tgo — модель синтеза речи для языка Sudest (код tgo), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Sudest в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и обучена сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудиосигнал. Размер модели — 3,5 млн параметров. Отдельный чекпойнт MMS-TTS обучен для каждого языка; модель работает с текстом на Sudest и выдаёт речь. Генерация стохастическая: для повторяемого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-tlb — модель синтеза речи на языке тобело (tlb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на тобело. Модель использует архитектуру VITS: условный вариационный автоэнкодер с потоковым модулем, текстовым энкодером на основе Transformer, HiFi-GAN-подобным декодером и стохастическим предсказателем длительности. Размер — 3,5 млн параметров. Для каждого языка MMS-TTS обучается отдельный чекпойнт; эта модель рассчитана на тобело. Из-за стохастического предсказателя результат может меняться между запусками, поэтому для воспроизводимой генерации нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

facebook/mms-tts-uig-script_cyrillic — модель синтеза речи на уйгурском языке с текстом на кириллической графике, созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входную последовательность текста в речевую аудиоволну и подходит для озвучивания уйгурских текстов и создания речевого вывода в приложениях. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для данного языкового варианта; MMS-TTS доступна через библиотеку Transformers версии 4.33 и новее. При генерации речь может звучать по-разному для одного и того же текста, поэтому для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-way — модель синтеза речи на языке ваяна из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на языке ваяна в речевую аудиоволну; для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель построена на архитектуре VITS: текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер, основанный на HiFi-GAN. Веса содержат 3,5 млн параметров и доступны в форматах PyTorch и Safetensors. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста; для повторяемого результата требуется фиксировать seed. Модель предназначена для синтеза речи на языке ваяна и подключается через Transformers версии 4.33 или новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но исключает коммерческое применение.

facebook/mms-tts-wlo — модель синтеза речи Wolio из проекта Massively Multilingual Speech компании Meta (Facebook). Она преобразует текст на языке Wolio в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и Safetensors, для работы поддерживается библиотека Transformers версии 4.33 и выше. VITS — сквозная архитектура синтеза речи, сочетающая вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки и декодер на основе HiFi-GAN. Стохастический предиктор длительности позволяет варьировать ритм произношения; поэтому генерация недетерминирована, и для повторяемого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-xed — модель синтеза речи для языка Hdi (xed) из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на Hdi в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Она обучается сквозным образом: текстовый энкодер, потоковый модуль и декодер формируют речь, а стохастический предиктор длительности позволяет получать разные ритмы произнесения одного текста. Модель доступна через библиотеку Transformers версии 4.33 и новее; для повторяемого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-xnj — модель синтеза речи на языке чингони (xnj), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер, построенный по принципу HiFi-GAN; для вариативности ритма речи предусмотрен стохастический предиктор длительности. В чекпойнте около 3,5 млн параметров; модель доступна через Transformers. Модель обучена отдельно для чингони, поэтому её назначение ограничено синтезом речи на этом языке. Генерация недетерминирована: для повторения результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-yre — модель синтеза речи на языке яурé (Yaouré, yre), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предсказатель длительности и декодер для синтеза аудио. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; использовать его можно через Transformers версии 4.33 и выше. Для одинакового входа результат может меняться из-за стохастического предсказателя длительности; фиксированный seed позволяет воспроизводить генерацию. Модель рассчитана на яурé и не является многоязычным чекпойнтом: в проекте для каждого языка обучается отдельная модель. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

simran14/mr-val-j — дообученная модель распознавания речи на архитектуре Whisper с 153,1 млн параметров. Она создана на основе simran14/mr-val-i и обучена на Common Voice 17.0; основная задача — преобразование аудио в текст, в частности для языка маратхи. Модель подходит для автоматической расшифровки речи и оценки систем распознавания на данных Common Voice. В README приведены результаты на оценочной выборке: loss 0,2062 и WER 0,9319. Высокое значение WER указывает на значительное количество ошибок распознавания, поэтому качество транскрипций следует проверять. Модель использует библиотеку Transformers и опубликована в формате safetensors. Лицензия в предоставленных данных не указана.

MusiLingo-long-v1 — модель семейства MusiLingo от m-a-p для извлечения признаков и ответов на длинные инструкции о музыке по аудиозаписи. Она объединяет музыкальный энкодер MERT-v1-300M, языковой декодер Vicuna-7b-delta-v0 и линейный проекционный слой; в метаданных указаны 6,6 млрд параметров, контекст 2048 токенов и формат safetensors. Чекпойнт доработан на наборе MusicInstruct (MI)-long и предназначен для запросов о музыкальном аудио, в том числе о субъективных ощущениях. Модель принимает аудио и текстовые инструкции, формирует текстовые ответы, а pipeline Hugging Face обозначен как feature-extraction. Карточка указывает лицензию CC BY 4.0; заявлена поддержка английского языка.

Orpheus Urdu — дообученная модель синтеза речи на основе Orpheus 3B от CanopyLabs, адаптированная для урду. Она принимает текст и генерирует речь на урду; автор предлагает её для экспериментов с синтезом речи, включая озвучивание аудиокниг и использование в разговорных системах. Модель основана на плотной архитектуре Llama с классом LlamaForCausalLM и содержит 3,3 млрд параметров. Контекстная длина — до 131 072 токенов. Для обучения использован набор mahwizzzz/UAT из 20,4 тыс. аудиозаписей аудиокниг; дообучение проводилось в течение 10 эпох на RTX 4090. Репозиторий содержит веса в формате Safetensors. Автор помечает модель как экспериментальную и не рекомендует её для производственного использования. Лицензия — MIT.

FluidInference/pocket-tts-coreml — конверсия PocketTTS от Kyutai в формат CoreML для локального синтеза речи на устройствах Apple. Репозиторий содержит три компонента модели: cond_step для предварительного вычисления KV-кэша с учётом голоса и текста, flowlm_step для авторегрессионной генерации и flow_decoder для шумоподавления методом flow matching с восемью шагами Эйлера на кадр. Указаны размеры компонентов около 190–200 МБ каждый. Модель предназначена для синтеза речи из текста на устройстве. Доступны четыре предварительно закодированных голоса; также поддерживается клонирование голоса с использованием включённых Mimi-энкодеров. Для использования в приложениях Apple README приводит пример через FluidAudioTTS. Метаданные указывают поддержку английского языка и лицензию CC BY 4.0. Компоненты модели занимают заметное место в хранилище устройства.

Torongo-TTS-AS — односпикерная модель синтеза речи на ассамском языке, разработанная Anand Dey. Она использует архитектуру VITS и преобразует текст в речевую волну с частотой 16 кГц; встроенный нормализатор обрабатывает числа, даты, английские слова и символы. Модель обучена на наборе данных ananddey/assamese-single-fem-dataset и предназначена для озвучивания коротких фраз и предложений женским голосом. README указывает около 36 млн параметров, тогда как метаданные каталога — 3,6 млн, поэтому размер модели по доступным источникам расходится. Модель доступна через Transformers и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель поддерживает только ассамский язык и один нейтральный женский голос; она лучше работает с короткими высказываниями, не предоставляет управления эмоциями и просодией и рассчитана на частоту дискретизации 16 кГц. Другие языки могут давать неразборчивую речь.

TTS-Khmer-Checkpoint — контрольная точка синтеза речи на кхмерском языке, подготовленная phonsobon на основе модели facebook/mms-tts-khm из проекта Meta AI Massively Multilingual Speech. Модель использует архитектуру VITS и принимает текст, выдавая речь на кхмерском языке. В метаданных указано 3,6 млн параметров; веса представлены в форматах PyTorch и Safetensors. Модель предназначена для преобразования кхмерского текста в речь. Это односпикерная модель: она синтезирует голос, на котором обучалась, и не принимает вектор говорящего, поэтому сама по себе не подходит для смены голоса или клонирования. Для этого в README предложена отдельная постобработка моделью преобразования голоса; её качество зависит от записи-образца, а поддержка кхмерского не гарантирована. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но некоммерческое. README описывает контрольную точку как основу для дальнейшей работы над синтезом кхмерской речи.

Typhoon Isan ASR Whisper — модель распознавания речи, разработанная Typhoon AI как дообученная версия biodatlab/whisper-th-medium-combined на архитектуре Whisper. Она предназначена для преобразования речи на исанском диалекте тайского языка в текст, в том числе для автономной транскрипции и развёртывания собственного сервиса распознавания без отправки аудиоданных сторонним облачным платформам. Модель содержит 455,8 млн параметров, принимает аудио и выдаёт текст; для работы используется библиотека Transformers, веса опубликованы в формате safetensors. В README сообщается о качестве 0,0885 CER на тестовом наборе и преимуществе над указанными в сравнении системами; результат относится к приведённому в карточке бенчмарку и не гарантирует такое же качество на любых записях. Модель ориентирована на исанскую речь, поэтому пригодность для других диалектов и языков не заявлена. Лицензия репозитория — Apache-2.0; README также указывает на условия OpenTyphoon и уведомление о конфиденциальности.

VoXtream — авторегрессионная система синтеза речи с потоковой генерацией, рассчитанная на работу в реальном времени. Модель принимает текст по мере его поступления и начинает воспроизводить речь с первых слов, не дожидаясь полного предложения; аудио выдаётся фрагментами по 80 мс. В README заявлены скорость до 5 раз выше реального времени и задержка первого аудиопакета 102 мс на GPU. Модель обучена на подмножестве объёмом 9 тысяч часов из наборов Emilia и HiFiTTS2. Карточка позиционирует её как zero-shot TTS; метаданные указывают английский язык и формат весов safetensors. Лицензия — CC BY 4.0. VoXtream подходит для потокового озвучивания текста в приложениях и сценариях, где важны низкая задержка и возможность подавать текст постепенно. README запрещает использовать модель для генерации речи конкретного человека без его согласия. Заявления о скорости и качестве приведены в карточке модели; подробные результаты оценки в доступных материалах не описаны.

Это модель распознавания речи с архитектурой SpeechEncoderDecoderModel: аудиокодировщик связан с текстовым декодером. По карточке, модель обучена с нуля на наборе LibriSpeech ASR. Она предназначена для преобразования речи в текст. В метаданных указаны входные аудиоданные и задача automatic-speech-recognition; размер модели, поддерживаемые языки и длина контекста не приведены. На оценочном наборе LibriSpeech указаны loss 18,7898 и WER 1,0, что указывает на крайне низкое качество распознавания в приведённой оценке. Модель опубликована в формате PyTorch. Сведения о лицензии и условиях использования в доступных данных отсутствуют.

LeBenchmark/wav2vec2-FR-7K-large — предварительно обученная модель wav2vec 2.0, выпущенная проектом LeBenchmark. Это крупная плотная модель с 402,7 млн параметров, обученная на 7,6 тыс. часов французской речи, включая спонтанную, прочитанную и транслируемую речь. Модель создаёт акустические представления речи и предназначена для извлечения признаков, которые можно использовать в системах распознавания речи, распознавания говорящего и разделения источников звука. Модель можно дообучать для распознавания речи с CTC через Fairseq или применять как замороженный кодировщик признаков в SpeechBrain; также описано экспериментальное дообучение вместе с последующей задачей. Карточка предупреждает, что результаты преобразования речи в текст с CTC не обязательно будут передовыми. Модель распространяется по лицензии Apache-2.0; при этом наборы данных и бенчмарки могут зависеть от корпусов с ограниченной доступностью.

janiduchamika/wav2vec2-xls-r-300m-sinhala-general-185k — модель автоматического распознавания речи на архитектуре Wav2Vec2ForCTC. Она содержит 402,7 млн параметров и принимает аудио, выдавая распознанный текст. В README указаны обучение с нуля на датасете, название которого не приведено, и результаты оценки: WER 25,13 и loss 0,1645. Модель предназначена для преобразования речи в текст; название репозитория указывает на сингальский язык. Карточка не описывает условия записи, охват диалектов и конкретные сценарии применения, поэтому качество вне указанного оценочного набора не подтверждено. Лицензия не указана в предоставленных данных.