I.9Аудио и музыка

keanteng/sesame-csm-elise — дообученная модель синтеза речи, созданная на основе sesame/csm-1b с использованием набора данных MrDragonFox/Elise. Она предназначена для генерации речи по тексту с голосом, обученным на этом наборе данных; в репозитории приведены примеры аудиовыходов. Модель использует архитектуру CSM с плотными весами и классом CsmForConditionalGeneration, содержит около 977,3 млн параметров и рассчитана на английский язык. Базовая модель поддерживает учёт аудиоконтекста; карточка описывает дообучение как клонирование голоса посредством условной генерации речи. Репозиторий использует формат safetensors и библиотеку Transformers. Модель распространяется по лицензии AGPL-3.0. В README не приведены конкретные характеристики голоса Elise, поэтому тембр и сходство генерации оценить по описанию нельзя; также в карточке нет численных оценок качества.

sapinsapin/speecht5_tts-fsc — дообученная модель Microsoft SpeechT5 для синтеза речи из текста на филиппинском языке, включая тагальский и смешанную речь Taglish. Модель обучена на датасете FilipinoSpeechCorpus: 1867 записей прочитанной речи; обучение продолжалось 1000 шагов. Для генерации использовались обусловливание голосом через SpeechBrain x-vector и вокодер microsoft/speecht5_hifigan. Модель предназначена для озвучивания филиппинских текстов и экспериментов с синтезом речи для тагальской и Taglish-речи. В карточке приведено значение eval_loss 0.4432 и упомянуты аудиопримеры для прослушивания. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — MIT. Это дообучение microsoft/speecht5_tts, которая сама основана на SpeechT5 и была дообучена на LibriTTS. Оценка качества ограничена описанным экспериментом на небольшом корпусе прочитанной речи; сведения о переносе на другие голоса, типы речи и широкие сценарии использования не приведены.

Модель sapinsapin/speecht5_tts-pld-bcl — дообученная на наборе данных sapinsapin/pld версия SpeechT5 от Microsoft для синтеза речи из текста на бикольском языке (Bicolano, BCL). Она принимает текст и использует обусловливание по голосовому эмбеддингу говорящего; для получения аудио в примерах применялись x-vector из SpeechBrain и вокодер microsoft/speecht5_hifigan. Обучение проведено на 1878 аудиофрагментах в течение 1000 шагов; указанная eval_loss — 0,4176. Модель подходит для озвучивания текстов на бикольском языке. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — MIT.

VibeVoice-Hindi-1.5B — модель синтеза речи, дообученная Tarun7r на базе vibevoice/VibeVoice-1.5B для генерации речи на хинди из текста. Архитектура VibeVoice включает языковую основу Qwen2.5-1.5B, акустический и семантический токенизаторы и диффузионный блок; при адаптации использовались LoRA для языковой части и полное дообучение диффузионного блока. Репозиторий содержит веса safetensors и распространяется по лицензии MIT. Модель предназначена для озвучивания текстов на хинди, в том числе длинных диалогов и аудио с несколькими говорящими. Поддерживаются выразительная просодия, клонирование голоса по референсному аудио и потоковая генерация; качество клонирования зависит от чистоты и продолжительности образца голоса. Карточка заявляет генерацию длительных последовательностей вплоть до 90 минут. Есть противоречие в карточке: название, описание и инструкции по инференсу указывают на хинди, тогда как раздел ограничений утверждает, что модель обучена только на английском и китайском и не поддерживает другие языки. Поэтому качество синтеза на хинди нельзя считать гарантированным. Модель предназначена для исследовательского использования; возможны ошибки и смещения, она не генерирует музыку или фоновые эффекты и не моделирует перекрывающуюся речь. Клонирование голоса требует согласия человека, чей голос используется.

Модель lilitket/20220412-203254 — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Она основана на архитектуре Wav2Vec2ForCTC и обучена на Common Voice; размер составляет 402,7 млн параметров. Модель принимает аудио и выдаёт текстовую транскрипцию. В карточке приведён результат оценки на тестовой выборке: WER 1,0019 и loss 5,0428. Такой WER указывает на очень низкое качество распознавания в указанной оценке. Модель распространяется под лицензией Apache-2.0.

Bengali CosyVoice3 TTS — модель синтеза речи на бенгальском языке, подготовленная Kawshik Kumar Paul и дообученная на базе FunAudioLLM/Fun-CosyVoice3-0.5B-2512. Она преобразует текст в синтетическую речь; рекомендованный сценарий — кроссъязычный перенос голоса по короткому аудиообразцу. Модель предназначена для экспериментов с бенгальским TTS, разработки для малоресурсных языков, демонстраций и прототипирования. Модель поддерживает бенгальский язык и принимает текст, а при клонировании голоса также использует аудиообразец; результатом является аудио. В репозитории указаны форматы ONNX и safetensors. Лицензия — Apache-2.0. Данные для дообучения — внутренний бенгальский речевой набор, который не опубликован. Возможны ошибки в произношении редких слов, имён, чисел, сокращений и смешанного бенгальско-английского текста; длинные фрагменты могут давать нестабильный результат, а качество может различаться между диалектами и стилями речи. Перед выпуском результат следует проверять; для клонирования голоса необходимо разрешение говорящего.

Dia2-1B — потоковая диалоговая модель синтеза речи, разработанная Nari Labs. Она начинает генерировать аудио после получения первых слов и может использовать входное аудио для управления звучанием диалога. Репозиторий содержит веса в формате safetensors и код для запуска; модель рассчитана на генерацию речи на английском языке продолжительностью до двух минут. Модель предназначена для диалоговой речи в сценариях с низкой задержкой, включая интерактивные голосовые приложения. Для запуска README указывает CUDA 12.8 или новее; пример использует bfloat16. Доступны отметки времени слов относительно аудиокадров Mimi. Лицензия — Apache-2.0. Разработчики запрещают имитацию реальных людей без разрешения, вводящую в заблуждение генерацию и незаконное или вредоносное применение.

Lahgtna-OmniVoice Egyptian v2 — разработанная проектом Lahgtna на базе OmniVoice модель синтеза речи на египетском арабском языке. Она обучена на корпусе объёмом около 34 часов с двумя дикторами и поддерживает два обученных голоса, а также клонирование голоса по аудиореференсу в режиме zero-shot. Модель принимает текст с диакритическими знаками и может использоваться для генерации речи, в том числе с передачей эталонного аудио и его расшифровки. Репозиторий указывает поддержку потоковой генерации; пример запуска использует библиотеку OmniVoice и выводит аудио с частотой 24 кГц. В опубликованном сравнительном тесте v2 показала CER 0,102 на 13 предложениях на арабском языке. README отмечает, что на длинных текстах диакритизированные версии, включая v2, теряют связность и могут генерировать бессвязную речь; для длинных текстов рекомендована версия v3. Диакритизация разговорной речи может быть неточной, а переключение на английский не представлено в обучающих данных. Модель дообучена от oddadmix/lahgtna-omnivoice-v2 и распространяется по лицензии Apache-2.0. README также рекомендует получить разрешение на коммерческое использование голосов, основанных на публичных YouTube-записях, и не использовать их для имитации или введения в заблуждение.

facebook/mms-tts-bgq — модель синтеза речи на языке багри (код bgq), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на багри в речевой аудиосигнал; для каждого языка проекта обучается отдельная модель. Модель основана на архитектуре VITS: включает текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер формы волны, построенный по принципу HiFi-GAN. Размер модели — 3,6 млн параметров. Модель подходит для озвучивания текста на багри и создания речевых интерфейсов для этого языка. Из-за стохастического предиктора одинаковый текст может звучать по-разному; для воспроизводимого результата нужно фиксировать seed. Для работы доступна библиотека Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не для коммерческих целей.

Модель alakxender/mms-tts-div-finetuned-md-f01 разработана для синтеза речи на дивехи. Это дообученная на подборке синтетической речи версия архитектуры MMS-TTS на основе VITS; она преобразует текст на дивехи, записанный письмом тхана, в аудио женским голосом. Модель содержит 3,5 млн параметров и доступна в формате Safetensors для библиотеки Transformers. Модель подходит для озвучивания коротких текстов на дивехи и создания женской синтетической речи. В карточке приведена оценка UTMOS 2,349 по трём образцам, что указывает на заметно синтетическое звучание в этой небольшой оценке. Модель распространяется по лицензии MIT.

facebook/mms-tts-kyq — модель синтеза речи на языке кенга (Kenga, kyq), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: она сочетает вариационный автоэнкодер, потоковые преобразования и декодер, построенный по принципу HiFi-GAN. Для одного языка обучается отдельный чекпойнт; размер этой модели — 3,5 млн параметров. Стохастический предиктор длительности позволяет варьировать ритм синтезированной речи, поэтому для повторяемого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-nnw — модель синтеза речи на языке нуну, южный вариант (Nuni, Southern, nnw), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: энд-ту-энд вариационный автокодировщик с потоком преобразований, текстовым энкодером на основе Transformer, декодером и стохастическим предсказателем длительности. В метаданных указан размер 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для повторения одного и того же результата требуется фиксировать seed, поскольку генерация недетерминирована. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-rmo — модель синтеза речи на языке романи, диалекте синте, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель основана на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста и декодер, построенный по принципу HiFi-GAN. Для моделирования ритма используется стохастический предиктор длительности, поэтому при одинаковом тексте могут получаться разные варианты речи. Веса модели содержат 3,5 млн параметров; для работы доступна библиотека Transformers версии 4.33 и новее. Модель принимает текст на языке романи (синте) и генерирует аудио. Из-за стохастической генерации для повторения того же результата требуется фиксированное начальное значение генератора случайных чисел. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-run — модель синтеза речи для языка рунди (Rundi), разработанная в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт семейства VITS, который преобразует входной текст в речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors. Модель предназначена для озвучивания текста на рунди. Стохастический предсказатель длительности позволяет получать варианты произношения и ритма для одного и того же текста; для повторяемого результата требуется фиксировать seed. Использование возможно через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

MOSS-TTS-Nano Persian — компактная модель синтеза персидской речи, созданная NimaaaAI дообучением OpenMOSS-Team/MOSS-TTS-Nano. Модель содержит 117,3 млн параметров и использует авторегрессионную архитектуру MOSS-TTS-Nano вместе с аудиокодеком MOSS-Audio-Tokenizer-Nano; контекст модели — 32 768 токенов. Для дообучения использованы 34 000 персидских записей Mozilla Common Voice 13.0. Модель принимает текст и короткую референсную аудиозапись, позволяя клонировать голос говорящего при чтении текста на фарси. Чекпойнт предназначен для генерации коротких персидских реплик, например уведомлений, голосовых подсказок интерфейса и экспериментального наполнения аудиодатасетов. Он улучшает естественность персидского произношения по сравнению с базовой моделью и рассчитан на запуск на CPU или GPU. Лицензия — Apache-2.0. Типичная длина высказывания ограничена примерно пятью секундами; длинный текст рекомендуется делить на фрагменты. Качество и чистота референсной записи заметно влияют на результат, а эмоциональная выразительность ограничена данными обучения. Модель не предназначена для имитации реальных людей без их согласия или для введения слушателей в заблуждение.

NeuTTS Nano German — немецкая модель синтеза речи от Neuphonic, предназначенная для локального запуска на CPU и устройствах с ограниченными ресурсами. Она принимает текст и аудиозапись голоса-образца, а затем озвучивает текст в стиле этого образца, обеспечивая клонирование голоса по нескольким секундам речи. Модель использует компактную языковую модель для генерации речевых токенов и аудиокодек NeuCodec. Для Nano указано около 116,8 млн активных параметров в backbone и около 228,7 млн параметров с учётом связанных эмбеддингов и выходной головы. Доступны квантованные варианты GGUF; карточка также указывает safetensors. Модель предназначена только для немецкого языка, оптимизирована для генерации в реальном времени или быстрее и маркирует выходное аудио водяными знаками. Модель подходит для локальных голосовых помощников, встраиваемых устройств и приложений, где текст и аудио нужно обрабатывать на устройстве. Для работы нужны текст, аудиообразец и espeak-ng; качество клонирования зависит от чистоты и непрерывности образца. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории модели.

Pashto Ghag TTS — многоязычная? Нет, модель синтеза речи на пушту, разработанная Nasimbahar. Она использует архитектуру YourTTS в стиле VITS и предназначена для преобразования текста на пушту в речь с выбором одного из 11 голосов. Модель обучена на подготовленном наборе данных объёмом 44,15 часа, включающем записи личного диктора и десяти дикторов Common Voice; частота дискретизации выходного аудио составляет 22 050 Гц. Модель подходит для демонстраций синтеза речи на пушту, исследований и как основа для дальнейшей адаптации под конкретный голос. Это многоголосая опорная модель, а не готовый персональный голос; качество и сходство с выбранным диктором зависят от способа задания голоса. Качество синтеза следует оценивать на слух, а смешанный источник записей не обеспечивает студийного уровня единого голоса. Модель распространяется по лицензии Apache-2.0.

typhoon-whisper-medium-ctc — тайская модель распознавания и выравнивания речи, разработанная Typhoon AI. Она использует замороженный энкодер Whisper-medium и дообученную Transformer-голову на 29 млн параметров, которая выдаёт посимвольные вероятности CTC. Один проход энкодера позволяет получить транскрипт и временные метки: модель распознаёт речь жадным CTC-декодированием либо выравнивает предоставленный текст с аудио на уровне символов и слов. Обучение проводилось на 1 000 часах GigaSpeech2-th; для сегментации слов используется pythainlp или заданное пользователем разбиение. Модель рассчитана на тайскую речь и не предназначена для других языков. В README указаны CER 6,86% на тесте GigaSpeech2-typhoon и точность временных меток на отдельном тесте выравнивания. Модель распространяется по лицензии Apache-2.0.

VibeVoice-1.5B — модель Microsoft для синтеза выразительной длинной разговорной речи из текста, например выпусков подкастов с несколькими участниками. Это плотная модель семейства VibeVoice для Transformers; она сочетает LLM, которая учитывает контекст и ход диалога, с диффузионным модулем для генерации акустических деталей. В README указано контекстное окно 64K и генерация аудио длительностью до 90 минут с участием до четырёх разных голосов. Модель рассчитана на генерацию английской и китайской речи. Низкочастотные акустические и семантические токенизаторы с частотой 7,5 Гц предназначены для эффективной обработки длинных последовательностей. Модель может ошибаться или выдавать неожиданный и предвзятый результат; она не предназначена для музыки, фоновых звуков, речи на неподдерживаемых языках или перекрывающихся реплик. В README также отмечены риски имитации голосов и дезинформации, а коммерческое и реальное применение без дополнительной проверки не рекомендуется. Лицензия — MIT; заявленное назначение этой версии — исследования и разработка.

VibeVoice-7B — модель синтеза речи семейства VibeVoice, разработанная Microsoft; эта копия размещена пользователем на Hugging Face. Она предназначена для создания выразительной длинной разговорной речи, например подкастов, по тексту. Модель сочетает LLM для понимания контекста и структуры диалога с диффузионной головой для генерации акустических деталей; в README описаны непрерывные акустические и семантические токенизаторы с частотой 7,5 Гц. Заявлена генерация аудио длительностью до 90 минут с участием до четырёх говорящих. Модель рассчитана на английский и китайский языки. Она генерирует речь, но не музыку, фоновые звуки или эффекты и не моделирует перекрывающуюся речь. README предостерегает от коммерческого и реального применения без дополнительной проверки, а также указывает на риск предвзятых или неточных результатов и злоупотребления синтетическими голосами. Лицензия репозитория — MIT; README ограничивает заявленное назначение исследовательскими задачами и перечисляет сценарии, для которых модель не предназначена.

VieNeu-TTS-0.3B-q4-gguf — квантованная версия модели VieNeu-TTS-0.3B для синтеза речи на вьетнамском языке. Модель разработал Phạm Nguyễn Ngọc Bảo; обучение связано с наборами данных VieNeu-TTS-1000h и VieNeu-TTS-140h. Она предназначена для преобразования текста в речь, включая чтение текста, голосовые интерфейсы, чат-ботов реального времени и исследовательские приложения. Модель распространяется в формате GGUF с квантованием Q4_0, занимает около 200 МБ и оптимизирована для работы непосредственно на CPU без выделенного GPU. Заявлена поддержка синтеза в реальном времени на обычных потребительских процессорах, включая офисные ноутбуки и мини-ПК. Доступны стандартные предустановленные голоса и режим zero-shot voice cloning по образцу аудио с текстовой расшифровкой. Для фонемизации обязательно требуется eSpeak NG. Архитектура, точное число параметров базовой модели, длина контекста и дополнительные модальности в README не указаны. К сильным сторонам относятся небольшой размер, низкие требования к оборудованию, высокая скорость CPU-инференса и поддержка клонирования голоса. Ограничения включают специализацию на вьетнамском языке, зависимость от eSpeak NG и отсутствие заявленной поддержки GPU-оптимизированного режима; качество синтеза и клонирования в README количественно не оценено. Модель доступна по лицензии CC BY-NC 4.0: её разрешено использовать в исследовательских, учебных и некоммерческих целях, тогда как коммерческое и корпоративное применение требует предварительного разрешения автора.

Модель разработана как дообученная версия yojul/wav2vec2-base-one-shot-hip-hop-drums-clf и предназначена для классификации аудио. Она основана на архитектуре Wav2Vec2ForSequenceClassification и содержит 113,3 млн параметров. Обучение проводилось на датасете GTZAN. На оценочной выборке указана точность 0,74 и значение loss 0,9288. Эти результаты не описывают качество на других наборах данных или в иных условиях. Модель опубликована в формате Safetensors под лицензией Apache-2.0.

IAmNotAnanth/wav2vec2-large-xls-r-300m-sinhala — модель автоматического распознавания речи на основе архитектуры Wav2Vec2ForCTC, дообученная автором на базе facebook/wav2vec2-xls-r-300m. Она принимает аудио и предназначена для преобразования речи в текст. Название указывает на настройку для сингальского языка, однако README не содержит сведений о наборе данных и подробно не описывает языковое покрытие. В репозитории указано 402,7 млн параметров, веса представлены в формате PyTorch. Модель опубликована по лицензии Apache-2.0. В приведённых результатах оценки указаны WER 1,0 и eval_loss 5,4599; этих данных недостаточно, чтобы подтвердить качество распознавания для практических сценариев.

Drishti Sharma дообучила OpenAI Whisper Large-v2 для автоматического распознавания речи. Модель содержит 905,2 млн параметров и предназначена для преобразования аудио в текст; в метаданных указан язык хауса и набор данных Common Voice 11.0. В README название противоречит идентификатору репозитория: оно говорит о непали, тогда как метаданные указывают хауса, поэтому язык назначения нельзя подтвердить однозначно. На оценочной выборке Common Voice 11.0 приведены Loss 0,5364 и WER 36,5689; это указывает на заметные ошибки распознавания. Модель опубликована в формате PyTorch по лицензии Apache-2.0.

ChatMusician-Base — открытая языковая модель для понимания и генерации музыки, разработанная командой ChatMusician. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров, основанная на LLaMA 2 и дообученная на текстовом представлении музыки ABC. Она принимает и выдаёт текст, включая музыкальную нотацию ABC, без отдельного аудиомодуля; контекст составляет 2048 токенов. Модель предназначена для создания музыкальных партитур по текстовым описаниям, аккордам, мелодиям, мотивам и музыкальным формам, а также для ответов на вопросы о музыке и музыкальной теории. Для обучения использованы корпус MusicPile и 1,1 млн примеров supervised fine-tuning. Карточка сообщает о поддержке английского языка и демонстрирует музыкальные сценарии, но не перечисляет другие поддерживаемые естественные языки. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Модель лучше работает со строгими форматами и закрытыми музыкальными инструкциями; возможны галлюцинации, а обучение преимущественно на ирландской музыке влияет на стилевое разнообразие. Авторы также отмечают слабые способности к обучению в контексте и пошаговому рассуждению, а результаты тестирования музыкального понимания получены в режиме perplexity и могут быть хуже при прямой генерации. Модель не следует использовать как источник музыкального образования.

Dia2-2B — потоковая модель синтеза диалоговой речи, разработанная Nari Labs. Она начинает генерировать аудио после получения первых слов, поэтому подходит для сценариев с низкой задержкой. Выход можно обусловить аудио, чтобы создавать естественные диалоги; модель поддерживает генерацию на английском языке длительностью до двух минут. Модель поставляется в варианте с 2 млрд параметров согласно названию репозитория; карточка указывает формат safetensors и библиотеку dia2. Для запуска README приводит пример с CUDA 12.8 или новее и точностью bfloat16. Результат включает аудиотокены, waveform и временные метки слов. Модель рассчитана на исследовательское и образовательное применение. README запрещает имитировать реальных людей без разрешения, создавать вводящий в заблуждение контент и использовать модель для незаконных или вредоносных целей. Лицензия — Apache-2.0; она не отменяет ограничений использования, установленных авторами.

Карточка модели dare43321/hindi-tts-model-6 на Hugging Face совпадает с карточкой dare43321/hindi-tts-model-5, поэтому описание составлено по ней. Модель dare43321/hindi-tts-model-5 — дообученная dare43321 версия kenpath/svara-tts-v1. Это плотная LlamaForCausalLM на 3,3 млрд параметров, представленная в формате safetensors; в метаданных также указана поддержка чата. Базовая модель предназначена для преобразования текста в выразительную речь на 18 индийских языках и индийском английском, однако README не уточняет, какие возможности этой базовой модели сохранены после дообучения и как именно следует задавать текст для синтеза. В метаданных указаны тег text-generation, контекстное окно 131 072 токена и английский язык. Данных о речевых выходах, поддерживаемых языках самой производной модели или качестве синтеза нет, поэтому назначение TTS можно считать вероятным по базовой модели, но не подтверждённым для этого чекпойнта. Лицензия — Apache-2.0.

Tharshan разработал Indic Code-Switched TTS — дообученную модель синтеза речи на базе ai4bharat/IndicF5, архитектуры F5-TTS DiT размером 0,3 млрд параметров. Модель предназначена для озвучивания текста на хинди со встроенными английскими словами и стремится произносить такие слова разборчиво. Для обучения использовался корпус OpenSLR-104 с речью на хинди и английском; применялся адаптерный подход с замороженной базовой моделью и QLoRA. Модель принимает текст и аудиообразец с точной расшифровкой, задающий голос и просодию, и генерирует речь. В примерах она лучше базовой модели передаёт английские слова внутри фраз на хинди; чистый английский остаётся ненадёжным, особенно в длинных фразах. Проверки на других индийских языках показывают возможное улучшение произношения английских вставок, но эти языки не были целью обучения, а оценка ограничена небольшим числом примеров. Лицензия репозитория — Apache-2.0. README отдельно запрещает клонировать голос без согласия его носителя. Указанные в карточке языковые теги включают хинди и английский, а также тамильский, бенгальский, гуджарати, каннада, малаялам, маратхи, одия, панджаби и телугу; качество для языков, кроме хинди с английскими вставками, не гарантируется.

facebook/mms-tts-any — модель синтеза речи на языке Anyin (код any), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS, построенный на архитектуре VITS и имеющий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; для запуска подходит библиотека Transformers версии 4.33 и выше. VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, декодер в стиле HiFi-GAN и стохастический предиктор длительности. Последний позволяет получать разные ритмические варианты произнесения одного текста, поэтому генерация недетерминирована: для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-gor — модель синтеза речи на языке горонтало (gor), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на горонтало. Это отдельный языковой чекпойнт семейства MMS-TTS, построенный на архитектуре VITS: модель сочетает вариационный автоэнкодер, flow-модуль и декодер HiFi-GAN; число параметров — 3,5 млн. Модель поддерживается библиотекой Transformers версии 4.33 и выше. Стохастический предиктор длительности позволяет получать варианты произношения и ритма для одного текста, поэтому для воспроизводимого результата нужно фиксировать seed. Репозиторий содержит веса PyTorch и SafeTensors. Лицензия CC BY-NC 4.0 допускает использование с атрибуцией, но запрещает коммерческое применение.