I.9Аудио и музыка

facebook/mms-tts-mdy — модель синтеза речи для языка Male (mdy), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Это отдельный языковой чекпойнт проекта MMS-TTS на архитектуре VITS; модель принимает текст и генерирует речевую волну. Вариационный автокодировщик с потоковым модулем, трансформерным текстовым энкодером, стохастическим предсказателем длительности и декодером HiFi-GAN обучен сквозным образом. Размер модели — 3,6 млн параметров. Модель предназначена для преобразования текста на mdy в речь. Стохастический предсказатель длительности позволяет варьировать ритм синтеза; результат недетерминирован, поэтому для повторения того же аудио требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое использование.

facebook/mms-tts-mon — модель синтеза речи на монгольском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания монгольских текстов. Модель использует архитектуру VITS и содержит 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS, обученный для монгольского языка; для синтеза применяются текстовый энкодер на основе Transformer, вероятностный предиктор длительности и декодер HiFi-GAN. Из-за стохастической генерации результат может меняться между запусками; фиксированный seed позволяет воспроизводить ту же аудиоволну. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-neb — модель синтеза речи для языка тура (Toura, код neb), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на тура в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и обучена сквозным образом; для каждого языка проекта MMS используется отдельный чекпойнт. Размер модели — 3,5 млн параметров. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение. Карточка не описывает качество синтеза или другие поддерживаемые языки.

facebook/mms-tts-prt — модель синтеза речи на праи, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на праи в речевую аудиоволну и предназначена для озвучивания текста и создания речевых приложений для этого языка. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Для каждого языка MMS обучается отдельный чекпойнт; модель доступна через библиотеку Transformers. Генерация стохастическая: чтобы получить одинаковую аудиоволну при повторном запуске, нужно зафиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-suk — модель синтеза речи на сукума (suk), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для одного языка. Модель принимает текст и генерирует речевую аудиоволну; архитектура VITS сочетает вариационный автоэнкодер, flow-модуль, предсказатель длительности и декодер на основе HiFi-GAN. Размер модели — 3,5 млн параметров. Модель предназначена для преобразования текста на сукума в речь. Стохастический предсказатель длительности позволяет получать разные ритмические варианты произнесения одного текста, поэтому результат может меняться между генерациями; фиксированный seed позволяет воспроизводить один и тот же результат. Чекпойнт доступен через Transformers версии 4.33 и новее, веса опубликованы в форматах PyTorch и Safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-tam — модель синтеза речи на тамильском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для тамильского языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,6 млн параметров; для работы доступна через библиотеку Transformers начиная с версии 4.33. Модель подходит для озвучивания тамильского текста в приложениях и сервисах синтеза речи. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста; для воспроизводимого результата требуется фиксированный seed. Репозиторий содержит веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Xenova/mms-tts-vie — модель синтеза речи из текста на вьетнамском языке. Это версия с весами в формате ONNX, созданная на основе facebook/mms-tts-vie и адаптированная для работы с библиотекой Transformers.js. Модель предназначена для запуска text-to-speech-сценариев в JavaScript-приложениях, включая веб-среду и Node.js. В README указано, что модель генерирует аудио с частотой дискретизации 16 кГц; пример возвращает монофонический аудиомассив Float32Array. Доступны обычная и квантизованная версии, причём квантизованная используется по умолчанию, что может быть удобно для снижения требований к ресурсам. Архитектура, размер модели, максимальная длина контекста и дополнительные модальности не указаны. Модель ориентирована на вьетнамский язык, поэтому её применимость к другим языкам не подтверждена. Лицензия в README не указана.

Это конвертированная в формат Vokra GGUF модель синтеза речи из проекта Vokra; исходные веса принадлежат проекту ayutaz/piper-plus. Модель использует архитектуру piper-plus-mb-istft-vits2 и предназначена для преобразования текста в речь в среде выполнения Vokra. Файл весит 73,8 МБ. Для синтеза входному тексту требуется предварительная обработка G2P; README указывает, что голос рассчитан на определённый G2P-фронтенд, но его название в доступном фрагменте не приведено. Репозиторий содержит GGUF-перепаковку исходных весов, а не новое обучение модели. Лицензия — MIT.

Qwen3-TTS-12Hz-0.6B-Base — речевая языковая модель для синтеза речи, конвертированная сообществом LiteRT в формат TensorFlow Lite (.tflite) для полностью локального выполнения на устройствах. Модель предназначена для преобразования текста в речь с поддержкой клонирования голоса по аудиозаписи длительностью около 3 секунд. Поддерживаются английский, китайский, японский, корейский, немецкий, французский, испанский, итальянский, португальский и русский языки; выходной звук имеет частоту дискретизации 24 кГц. Архитектура включает talker на базе Qwen3 с 28 слоями, генерирующий аудиокодеки с частотой 12,5 Гц, отдельный MTP-трансформер для 15 остаточных кодовых книг и нейрокодек-декодер. В поставку входят варианты talker с int4 и fp32, MTP с fp32 или динамическим int8, а также оптимизированные графы декодера. Полная модель с настройкой int4 занимает около 1,4 ГБ, отдельные файлы имеют размер от сотен мегабайт до 1,8 ГБ. Для работы используется хост-цикл, управляющий тремя LiteRT-графами, поскольку стандартный цикл генерации LiteRT-LM пока не поддерживает такую структуру. Сильные стороны модели — локальное выполнение без облачных сервисов, подтверждённое соответствие графов исходной реализации PyTorch и ускоренные варианты для Android и CPU/XNNPACK. Ограничения включают значительный объём файлов, необходимость интеграции нескольких графов и относительно невысокую скорость на некоторых устройствах: в приведённых тестах ускоренный вариант достигал RTF около 2,06 на Pixel 8a, то есть медленнее реального времени. Модель распространяется по лицензии Apache-2.0.

Kala Nepali TTS v0.2 — модель синтеза речи на непальском языке от ampixa. Это многоголосая модель VITS в формате FP32 ONNX, использующая фонетический фронтенд real_nepali на основе правил и словаря, настроенный на фонологию Катманду. Синтез выполняется с частотой 22 050 Гц; модель рассчитана на запуск на CPU и, по данным карточки, работает быстрее реального времени. Модель предназначена для преобразования непальского текста в речь. Фронтенд учитывает палатальные звуки, долгие согласные и правила выпадения шва, а среди доступных голосов есть записи людей и корпусный голос. Лицензия репозитория — CC BY-SA 4.0. Качество естественности ограничено небольшим объёмом данных для голоса kala: просодия может быть ровной в длинных фразах. Пунктуация обрабатывается вставкой пауз, незнакомые слова могут читаться побуквенно, а смешанные непальские и английские цифры — давать неожиданный результат.

SE-DiCoW — модель распознавания речи для извлечения реплик выбранного говорящего из разговоров с несколькими собеседниками, разработанная группой BUT Speech@FIT совместно с JHU CLSP/HLTCOE и CMU LTI. Это версия на базе Whisper large-v3-turbo с архитектурой DiCoW; метод self-enrollment автоматически выбирает информативный фрагмент речи целевого говорящего и использует его через cross-attention на слоях энкодера. Модель предназначена для транскрибирования речи выбранного участника при перекрывающихся репликах, например в совещаниях и смесях нескольких голосов. В карточке заявлено снижение tcpWER на 49,7% относительно исходной DiCoW на бенчмарке EMMA MT-ASR и особенно заметный выигрыш на сильно перекрывающейся речи Libri3Mix. Модель содержит 905,2 млн параметров, принимает аудио и выдаёт текст; поддерживает многоязычное распознавание. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README предупреждает, что это более старая версия; рекомендуется использовать обновлённую версию, совместимую с кодом обучения и инференса.

Sheet Music Transformer — модель AntonioRV6, дообученная на наборе Camera GrandStaff для транскрипции изображений нотных систем с фортепианной партитурой. Она принимает изображение нотной системы и авторегрессионно генерирует текстовое представление транскрипции. Архитектура состоит из визуального энкодера ConvNeXt и текстового декодера на классическом Transformer. Модель предназначена для распознавания фортепианной нотации на фотографиях или изображениях нотных листов. Лицензия — MIT. Модель специализирована на данных Camera GrandStaff; заявленное применение ограничено транскрипцией изображений фортепианной нотации. README не сообщает о поддержке других инструментов или музыкальных форматов.

ssc-aln-model — модель распознавания речи на архитектуре wav2vec2 с выходной CTC-головой, разработанная ctaguchi и обученная с нуля. Она предназначена для преобразования аудио в текст; размер модели — около 402,7 млн параметров. В репозитории опубликованы веса в формате safetensors для использования с библиотекой Transformers. На указанном оценочном наборе модель получила CER 0,5679 и WER 0,9768. Датасет, поддерживаемые языки, условия применения и лицензия в доступных сведениях не описаны, поэтому область применения и качество распознавания для конкретных языков оценить нельзя.

stable-twi-tts — модель синтеза речи на основе Piper VITS, разработанная michsethowusu для озвучивания твийского языка и английских слов в ганском контексте. Модель дообучена с исходной англоязычной модели en_US/libritts_r/medium на 327 часах вещательной речи: примерно поровну на твийском и ганском английском. Она использует фонемы IPA из общего набора, поддерживает смешанный текст и выдаёт аудио с частотой 22,05 кГц. Модель подходит для озвучивания текстов на твийском, ганском английском и их сочетания; для смешанного текста голос twi-1 показал лучшие результаты, а для текста только на твийском — twi-6. По оценке фонемных ошибок качество для твийского заметно лучше, чем для английского; английские записи звучат менее чётко и ограничены полосой частот до 8 кГц. Голоса основаны на кластеризации вещательной речи, а не на реальных согласованных личностях; модель лучше подходит для новостного регистра, чем для разговорной речи. Лицензия CC BY-NC 4.0 разрешает только некоммерческое использование.

TalhaAhmed/Urdu_kaani_TTS — модель синтеза речи на урду, разработанная TalhaAhmed на основе KaniTTS 450M. Модель дообучена с помощью LoRA ранга 8 на наборе данных с парами урду-текста и речи; в метаданных указан набор mahwizzzz/UAT, а в README — TalhaAhmed/urdu-tts-nano-codec. Архитектура — плотная LFM2, около 460 млн параметров; формат весов — Safetensors. Метаданные указывают контекст до 128 000 токенов. Модель предназначена для выразительного озвучивания историй на урду в стиле каани, а также для аудиокниг, учебных материалов, закадрового голоса и разговорных голосовых интерфейсов. Она принимает текст и генерирует аудио; основным языком является урду. Лицензия — MIT. По README, лучше всего модель работает с текстом на урду в арабской графике, а выразительность может снижаться на длинных абзацах. Она не оптимизирована для пения и крайних эмоциональных интонаций.

JayLL13/VoxCPM-1.5-VN — дообученный на вьетнамском корпусе vivoice-relabeled чекпойнт модели VoxCPM1.5 от OpenBMB для синтеза речи из текста. В README указан обучающий набор объёмом 1000 часов, контрольная точка на 100 000-й итерации и частота дискретизации синтезируемого аудио 44,1 кГц. Модель предназначена для генерации речи на вьетнамском языке; базовая VoxCPM1.5 также поддерживает клонирование голоса по короткому аудиофрагменту. Репозиторий содержит веса в формате safetensors и распространяется по лицензии CC BY-SA 4.0. Автор позиционирует модель для исследований, экспериментов и разработки технологий и запрещает неправомерное копирование голоса, выдачу синтетической речи за речь реального человека и другие обманные сценарии.

atgarcia/wav2vec2-base-timit-demo-google-colab — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-base. Она принимает аудио и преобразует речь в текст. Модель построена на архитектуре Wav2Vec2ForCTC, содержит 113,3 млн параметров и представлена в формате PyTorch. В карточке приведены результаты оценки: loss 0,5255 и WER 0,3330. Название модели указывает на связь с TIMIT и демонстрацией в Google Colab, но README не уточняет обучающие данные, языки распознавания и предназначенные сценарии применения. Лицензия модели — Apache-2.0.

jaeyeon/wav2vec2-child-en-tokenizer-4 — дообученная модель распознавания речи на архитектуре wav2vec2, разработанная на основе facebook/wav2vec2-xls-r-300m. Она предназначена для преобразования аудиоречи в текст; карточка сообщает о результате WER 0,3769 на оценочном наборе, но не раскрывает состав данных и условия оценки. Модель содержит 402,7 млн параметров и опубликована в формате PyTorch. Репозиторий указывает лицензию Apache-2.0. В названии модели и базовой модели есть указание на английский язык, однако описание не уточняет языки и сценарии, на которых проводилось дообучение. Поэтому качество распознавания для конкретных групп говорящих и условий записи по доступной карточке оценить нельзя.

thunninoi/wav2vec2-japanese-hiragana-vtuber — модель распознавания речи на основе Wav2Vec2ForCTC с 402,7 млн параметров, дообученная от vumichien/wav2vec2-large-xlsr-japanese-hiragana. Она предназначена для преобразования японской речи в текст и подходит для транскрибирования голосовых записей, в том числе речи VTuber. В README приведены результаты оценки: loss 0,4134 и WER 0,1884; сведения о наборе данных и подробных условиях тестирования отсутствуют. Модель использует PyTorch и распространяется по лицензии Apache-2.0.

dennohpeter/wav2vec2-xls-r-300m-100e-lg-asr — дообученная модель семейства wav2vec2 на базе facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Она принимает аудио и выдаёт текстовую транскрипцию; архитектура — Wav2Vec2ForCTC, число параметров — 402,7 млн. Модель доступна в формате safetensors и использует библиотеку Transformers. Язык распознавания, обучающий набор данных и предполагаемые сценарии применения в карточке не раскрыты. В опубликованной оценке указаны loss 3,3678 и WER 1,0, что указывает на крайне низкое качество распознавания в приведённой оценке. Лицензия — Apache-2.0.

Whisper Small Odia — модель распознавания речи, дообученная автором chandan3007 на базе openai/whisper-small на данных Common Voice 11.0 для языка ория (одиа). Она преобразует аудио в текст; архитектура WhisperForConditionalGeneration, размер — 153,1 млн параметров. В оценке на тестовой выборке указаны WER 43,3568 и loss 0,4781. Модель подходит для транскрибации речи на ория, в том числе записей, подобных образцам Common Voice. Опубликована в формате PyTorch под лицензией Apache-2.0. Результат оценки указывает на заметные ошибки распознавания; качество на других типах аудио в карточке не описано.

zortzi-tts — модель синтеза речи на баскском языке, созданная itzune путём полного дообучения Audio8-TTS-Preview-0.6b. Это модель архитектуры DualAR с декодером в стиле Qwen2 и аудиокодеком; в карточке указано 601 млн параметров для AR-части, а в метаданных — 497,4 млн параметров. Для синтеза доступны два голоса, Майдер и Анттон, заданные референсными аудиозаписями и соответствующими текстами. Модель принимает текст и референсное аудио и выдаёт речь; она рассчитана только на баскский язык. Контекстная длина по метаданным — 2048 токенов. Модель подходит для озвучивания баскских фраз с выбором одного из двух голосов и выразительной интонацией. Лицензия — Apache-2.0. Для устойчивой генерации требуется сэмплирование: жадное декодирование может приводить к циклам повторов. Модель не нормализует текст и не преобразует числа, аббревиатуры или написание в произносимую форму; числа следует вручную записывать словами, а аббревиатуры раскрывать до передачи модели. Числа могут произноситься с примесью других языков.

Модель agnivamaiti/jem-whisper-yi-2026-09-03-v3 — дообученная версия Whisper Large v3, созданная на основе ivrit-ai/yi-whisper-large-v3. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. Модель содержит 905,2 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors для библиотеки Transformers. В оценке на тестовом наборе указаны WER 0,2399, орфографический WER 0,3108 и loss 0,3852. Базовая модель предназначена для транскрибации на идише; карточка этой версии не описывает обучающий набор и отдельно не уточняет её языковой охват. Лицензия — Apache 2.0.

sengtha/khmer-tts-female-v2 — односпикерная модель синтеза речи женским голосом на кхмерском языке, созданная для iAny. Это модель архитектуры VITS, обученная с нуля на корпусе DDD-Cambodia с записанной речью одного диктора, а затем дополнительно обученная на большем числе шагов и данных. Модель принимает кхмерский текст в виде графем и выдаёт аудио; фонемизатор не требуется. Экспорт ONNX предназначен для автономного запуска на устройстве, в том числе в браузере через onnxruntime-web и на мобильных устройствах через onnxruntime-react-native. В карточке также приведён экспорт v3 с настроенными параметрами темпа и вариативности синтеза; он относится к той же модели. Модель использовалась для озвучивания кхмерских новостей в радиоразделе iAny. Репозиторий распространяется по лицензии CC BY-SA 4.0.

Модель onecxi/mms-telugu-female-indic — система синтеза речи, дообученная на датасете IndicTTS для женского голоса, говорящего на телугу. Она построена на архитектуре VITS и основана на facebook/mms-tts; число параметров — 3,6 млн. Модель принимает текст на телугу и генерирует речь на этом языке. Модель подходит для озвучивания фраз и коротких текстов на телугу женским голосом. Для запуска автор указывает библиотеки Transformers и Accelerate. Репозиторий содержит веса в формате Safetensors и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка запрещает выдавать сгенерированную речь за голос реального человека без его согласия и использовать модель для мошеннического или иного вредоносного контента.

onecxi выпустил модель синтеза речи на телугу с мужским голосом, обученную на датасете IndicTTS. Она предназначена для преобразования текста на телугу в речь и может использоваться, например, для озвучивания фраз и создания голосовых интерфейсов. Модель построена на архитектуре VITS, содержит 3,6 млн параметров и распространяется в формате Safetensors; для запуска README рекомендует библиотеки Transformers и Accelerate. Модель дообучена на основе facebook/mms-tts. В карточке приведены примеры текстов на телугу, но аудиозаписи для них не приложены. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение. README также запрещает использование для имитации реальных людей без их согласия и для обманного или незаконного контента.

facebook/mms-tts-ava — модель синтеза речи на аварском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на аварском языке. Модель основана на архитектуре VITS: это сквозная система с текстовым энкодером, потоковыми слоями, декодером аудиосигнала и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. В репозитории указано 3,5 млн параметров; формат весов — PyTorch и safetensors. Для одинакового результата при повторной генерации требуется фиксировать случайное зерно. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-bkd — модель синтеза речи на языке бинуккид (bkd), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на бинуккид в речевую аудиоволну и предназначена для синтеза речи на этом языке. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер HiFi-GAN формируют сквозной тракт генерации речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Предсказатель длительности стохастический, поэтому при одинаковом тексте модель может выдавать речь с разным ритмом, а для повторяемого результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-che — модель синтеза речи на чеченском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания чеченских фраз и текстов. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, формирующий аудиоволну; предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. При генерации результат зависит от случайного предсказателя длительности, поэтому для воспроизводимого аудио требуется фиксированный seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-eus — модель синтеза речи на баскском языке, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую волну и подходит для озвучивания фраз и создания басскоязычной речи в приложениях. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; для каждой языковой версии MMS обучена отдельная модель. Стохастический предиктор длительности позволяет получать варианты произношения и ритма для одного текста, поэтому результат может меняться между запусками; для повторяемого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.