I.9Аудио и музыка

facebook/mms-tts-gam — модель синтеза речи на языке Kandawo (gam), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на Kandawo. Модель использует архитектуру VITS: это сквозная система с вариационным автоэнкодером, поточным модулем, декодером в стиле HiFi-GAN и стохастическим предиктором длительности. Для каждого языка проекта MMS обучается отдельный чекпойнт; размер этой модели — 3,5 млн параметров. Для воспроизводимого результата генерации требуется фиксировать seed. Модель работает с текстовым входом и аудиовыходом, рассчитана на Kandawo. Для использования указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое применение.

facebook/mms-tts-gna — модель синтеза речи на языке каанса (gna), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS, построенный на архитектуре VITS и содержащий около 3,6 млн параметров. Модель принимает текст на каанса и генерирует речевую аудиоволну; для работы доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на каанса, например для голосовых интерфейсов и создания аудиоверсий текстов. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому при одинаковом тексте возможны разные варианты звучания; для воспроизводимого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

facebook/mms-tts-hau — модель синтеза речи на хауса, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на хауса в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода в приложениях. Для каждого языка MMS-TTS используется отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, декодером и стохастическим предсказателем длительности, поэтому один и тот же текст может звучать с разным ритмом. Генерация недетерминирована: для повторяемого результата требуется фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-kmr-script_cyrillic — модель синтеза речи из текста для севернокурдского языка, записанного кириллицей. Она разработана Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт VITS, обученный для данного языка; архитектура объединяет вариационный автоэнкодер, Transformer-энкодер текста, модуль предсказания длительности и декодер, формирующий речевую волну. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Модель предназначена для преобразования севернокурдского текста в речь. Стохастический предсказатель длительности позволяет получать варианты с разным ритмом, поэтому для воспроизводимого результата требуется фиксированное случайное зерно. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-mar — модель синтеза речи на маратхи из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на маратхи в речевую аудиоволну; для каждого языка в MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS с 3,6 млн параметров: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор позволяет получать разные ритмические варианты произношения одного текста; для повторяемого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Подходит для озвучивания текстов на маратхи. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-pap — модель синтеза речи на папьяменто из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на папьяменто. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт в семействе MMS-TTS. Она содержит около 3,5 млн параметров, работает с библиотекой Transformers и хранится в форматах PyTorch и Safetensors. Модель поддерживает синтез речи с вариациями ритма; генерация недетерминирована, поэтому для повторяемого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией и ограничивает коммерческое применение.

facebook/mms-tts-taq — модель синтеза речи на языке тамашек (taq), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, обученный для преобразования текста в речевую аудиоволну. Модель использует архитектуру VITS: условный вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем, декодером в стиле HiFi-GAN и стохастическим предиктором длительности. Благодаря последнему одна и та же фраза может звучать с разным ритмом; генерация недетерминирована, поэтому для повторяемого результата нужен фиксированный seed. В метаданных указаны 3,5 млн параметров и форматы PyTorch и Safetensors. Модель доступна через библиотеку Transformers версии 4.33 и новее. Подходит для озвучивания текста на тамашек, например для голосовых интерфейсов и создания аудиоверсий материалов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

facebook/mms-tts-tat — модель синтеза речи на татарском языке из проекта Massively Multilingual Speech компании Meta (Facebook). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания татарских текстов и создания голосовых сообщений. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. Используйте её через библиотеку Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-thk — модель синтеза речи на языке китхарака (thk), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на китхарака. Это отдельный чекпойнт VITS, обученный для одного языка; архитектура объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, подобный HiFi-GAN. В репозитории указано 3,5 млн параметров; модель доступна в форматах PyTorch и safetensors и используется через Transformers версии 4.33 и новее. Стохастический предиктор может давать разные варианты ритма, поэтому для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.

facebook/mms-tts-yor — модель синтеза речи на йоруба из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст на йоруба в речевую аудиоволну и предназначена для создания озвучивания на этом языке. Модель использует архитектуру VITS и обучена отдельно для йоруба. Это сквозная система синтеза речи с вероятностным предсказателем длительности, благодаря которому один текст может озвучиваться с разным ритмом. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для использования требуется Transformers версии 4.33 или новее. Генерация недетерминирована: для повторения того же результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

MusiLingo-short-v1 — модель m-a-p для ответов на короткие инструкции и вопросы о музыкальном аудио. Она объединяет музыкальный энкодер MERT-v1-300M, языковой декодер vicuna-7b-delta-v0 и линейный проекционный слой; размер модели — 6,6 млрд параметров, контекст — 2048 токенов. Чекпойнт обучен на короткой версии набора MusicInstruct и предназначен для извлечения признаков и формирования текстовых ответов о музыке, в том числе о темпе, эмоции, жанре и тегах. Модель принимает аудио музыки и текстовые инструкции, выдаёт текстовые ответы. Карточка указывает английский язык; лицензия — CC BY 4.0. Практические ограничения связаны с узкой специализацией на коротких музыкальных запросах: карточка не подтверждает качество для длинных инструкций или иных аудиосценариев.

OpenVoiceOS подготовила экспорт модели Qwen3-TTS-12Hz-0.6B-Base в формате GGUF с тензорами F16. Это модель синтеза речи с текстовым вводом и аудиовыводом, адаптированная для запуска на устройствах с ограниченными ресурсами и CPU-инференса. Карточка указывает размер базовой модели — 0,6 млрд параметров — и поддержку китайского, английского, японского, корейского, немецкого, французского, русского, португальского, испанского и итальянского языков. Модель предназначена для преобразования текста в речь; формат GGUF упрощает использование в совместимых средах инференса. Репозиторий распространяется по лицензии Apache 2.0, унаследованной от базовой модели. В README также упоминается возможность дополнительной квантизации, однако конкретный способ запуска и сведения о качестве синтеза не приведены.

SMT (Sheet Music Transformer) — модель, дообученная на наборе данных Camera GrandStaff для транскрибирования изображений нотных систем фортепианной музыки. Она объединяет визуальный энкодер ConvNeXt и классический Transformer-декодер: энкодер преобразует изображение в последовательность эмбеддингов, а декодер авторегрессионно генерирует текстовую транскрипцию. Модель предназначена для распознавания нотной записи на изображениях фортепианных партитур. Репозиторий содержит веса в формате safetensors и код модели. Лицензия — MIT. Модель специализирована на изображениях формата GrandStaff; заявленных сведений о поддержке иных типов нотных изображений нет.

Soprano-1.1-80M GGUF — это компактная модель синтеза речи из текста (text-to-speech, TTS), конвертированная в формат GGUF для использования с audio.cpp. Пакет опубликован пользователем WalkingCat и основан на оригинальной модели ekwek1/Soprano-1.1-80M, разработанной ekwek1. Модель предназначена для преобразования английского текста в аудиоречь и ориентирована на локальный запуск в сценариях, где важны небольшой размер и низкие требования к ресурсам. Модель описана как англоязычная и ультракомпактная, с размером около 80M параметров. Доступны варианты Q8_0 размером 88 МБ и BF16 размером 159 МБ; Q8_0 указан как вариант по умолчанию. Сведения о поддерживаемых голосах, архитектуре, максимальной длине контекста и характеристиках аудиовыхода в README не приведены. Лицензия пакета — Apache-2.0, при этом права на исходную модель и её веса принадлежат первоначальным авторам.

Soro-TTS Yoruba — модель преобразования текста на йоруба в речь, разработанная как часть мультиязычной системы Soro-TTS для нигерийских языков. Это дообученная на наборе yor_tts из WAXAL модель facebook/mms-tts-yor на архитектуре VITS. Метаданные указывают 3,5 млн параметров; в README приведена другая оценка — около 83 млн. Модель выдаёт речь с частотой дискретизации 16 кГц. Модель предназначена для синтеза йоруба с голосом и акцентом, представленными в обучающих записях. Набор WAXAL содержит около 22,5 часа студийных односпикерных записей; тексты охватывают новости, повествование и чтение. Для синтезированной речи измерен CER 47,72% по автоматической проверке распознаванием речи; это приближённая оценка разборчивости, а не естественности. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

Модель emirhanbilgic/speecht5_finetuned_emirhan_tr — дообученная версия SpeechT5 от Microsoft, созданная для синтеза речи на турецком языке. Для обучения использован набор данных erenfazlioglu/turkishvoicedataset; в карточке указана потеря 0,3135 на оценочной выборке. Модель принимает текст и генерирует речь. Она предназначена для турецких голосовых помощников, автоматических объявлений и средств доступности. Архитектура основана на трансформере SpeechT5. Репозиторий содержит веса в формате safetensors, лицензия — MIT. Модель оптимизирована для турецкого языка и может хуже работать с другими языками, редкой лексикой и узкоспециальными терминами.

Swa-CSM-1B — модель синтеза речи на суахили, разработанная Nadhari AI Lab и дообученная на базе Sesame CSM-1B. Она предназначена для преобразования текста в речь и может использоваться в приложениях озвучивания и голосовых помощниках, включая Soga. Модель использует основу Llama и аудиодекодер Mimi с RVQ-кодами. Для генерации можно передавать разговорный контекст; карточка сообщает, что это улучшает результат. Модель ориентирована на стандартный суахили, а качество на региональных диалектах может различаться. Унаследованы ограничения базовой CSM-1B. Лицензия — Apache-2.0.

harpertoken/talk — модель распознавания английской речи, созданная путём лёгкой донастройки Whisper Small на коротких фрагментах живой речи, записанной через микрофон. Это encoder-decoder-модель семейства Whisper с 153,1 млн параметров; она принимает монофоническое аудио с частотой 16 кГц и преобразует речь в текст. Модель и процессор загружаются из репозитория через Transformers. Модель предназначена для транскрибирования коротких записей английской речи, например с микрофона. Донастройка выполнена на небольшом объёме записей из одной комнаты, с одного устройства и, вероятно, от одного говорящего; сами аудиоданные не опубликованы. Контрольных измерений точности нет, поэтому качество адаптации не подтверждено. Лицензия — MIT.

Voila-Tokenizer — аудиотокенизатор семейства Voila от Maitrix, построенный на архитектуре EnCodec и представленный в формате safetensors. Он предназначен для преобразования аудио в представление, пригодное для работы голосовых языковых моделей и обратного преобразования в аудио; в карточке Hugging Face основная задача отмечена как audio-to-audio. Проект Voila описывает применение токенизатора в единой системе голосовых задач, включая распознавание речи, синтез речи, перевод речи и голосовой диалог в реальном времени. В метаданных перечислены английский, китайский, французский, немецкий, японский и корейский языки. Для семейства Voila заявлены потоковая обработка с низкой задержкой и поддержка множества голосов; конкретные параметры и результаты для этого токенизатора отдельно не приведены. Модель распространяется по лицензии MIT.

Модель wav2vec2-large-mms-1b-uyghur-latin — дообученная разработчиком ixxan версия facebook/mms-1b-all для автоматического распознавания речи с транскрипцией латиницей на уйгурском языке. Она построена на архитектуре Wav2Vec2ForCTC, содержит 1,3 млрд параметров и принимает аудио, выдавая текст. На оценочной выборке указаны лучшие результаты: WER 30,8949% и CER 5,9823%. Модель может использоваться для транскрибирования уйгурской речи и преобразования аудиозаписей в текст. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

sam422001/wav2vec2-large-sindhi — модель автоматического распознавания речи на основе архитектуры Wav2Vec2ForCTC. Она дообучена на facebook/wav2vec2-xls-r-300m и содержит около 402,7 млн параметров. Модель принимает аудио и предназначена для преобразования речи на синдхи в текст. Модель распространяется в формате Safetensors по лицензии Apache-2.0. README не сообщает состав обучающих данных и результаты оценки, поэтому качество распознавания, поддерживаемые варианты произношения и практические ограничения по записи речи не установлены.

Модель scasutt/wav2vec2-large-xlsr-52_Swiss_German — версия wav2vec 2.0 XLSR, дообученная для распознавания швейцарских диалектов немецкого языка на датасете Swissdial. Она преобразует аудиозапись речи в текст и предназначена для сценариев автоматической транскрипции. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; модель доступна в формате PyTorch и рассчитана на входное аудио. В карточке приведён результат на тестовой выборке: WER 0,2909 и loss 0,2811. Модель опубликована под лицензией Apache 2.0. Карточка не описывает подробно условия записи и покрытия диалектов, поэтому качество на иных вариантах речи и в других акустических условиях по этим данным оценить нельзя.

Модель andrewbawitlung/xlsr-300m-mizonal3-E3-lus-v2026.06 разработана как дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на языке lus. Она основана на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров; веса представлены в формате safetensors. Для обучения использован набор MiZonal v3.0, в эту версию добавлен примерно час разговорной речи. Конфигурация E3 применяет аугментацию изменения скорости речи. Модель предназначена для транскрибирования аудиозаписей на lus, в том числе разговорной речи. На оценочном наборе указаны WER 20,4476, CER 4,0148 и коэффициент реального времени 0,0025. Репозиторий опубликован под лицензией Apache-2.0. Карточка отмечает, что подробности эксперимента планируется представить в рецензируемой публикации.

gagan3012/xls-r-300m-pa — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе MOZILLA-FOUNDATION/COMMON_VOICE_8_0 для языка пенджаби (региональный вариант PA-IN). Она принимает аудио и преобразует речь в текст; архитектура основана на Wav2Vec2 и использует CTC. В репозитории указано 402,7 млн параметров и формат PyTorch. На оценочной выборке модель показала WER 0,5715 и loss 1,0443. Карточка не описывает дополнительные сценарии применения и ограничения качества; высокий WER указывает на заметную долю ошибок распознавания. Лицензия — Apache-2.0.

BG-TTS-V7 — модел за синтез на реч от български текст, разработен от beleata74. Това е decoder-only модел на базата на Qwen3-0.6B-Base, дообучен да преобразува текст в поредица от аудио токени MioCodec, които се декодират до реч. Посочени са 520,7 млн. параметра в метаданните и контекст от 32 768 токена; README описва разширение на токенизатора с 12 800 специални речеви токена и обучение върху около 769 часа български аудио. Моделът е предназначен предимно за генериране на българска реч и може да се използва с MioTTS-Inference или с Transformers. README посочва, че може да генерира и английска реч, но с по-ниско качество. Моделът е публикуван под лиценз Apache-2.0. Ограниченията включват сравнително малкия за TTS набор от обучаващи данни, грешки при някои кратки думи и липса на voice cloning чрез промпт. README съобщава за плато на validation loss около 5,06.

Ghana TTS – 72k — чекпойнт синтеза речи, созданный GhanaNLP Community на основе VoxCPM и дообученный на более чем 1 400 часах речи на 44 языках Ганы. Это состояние обучения на 72 000 шаге; репозиторий содержит веса safetensors, компоненты аудиокодека VAE, конфигурацию планировщика шума, токенизатор и образцы аудио для голосового промптинга. Модель предназначена для преобразования текста в речь на ганских языках; для запуска инференса README направляет к пространству Ghana TTS. В метаданных указана библиотека VoxCPM и лицензия MIT. Обучение проводилось в формате bf16 с TF32 на одном NVIDIA H200.

Это дообученная модель распознавания речи на основе facebook/mms-1b-all, разработанная автором репозитория csikasote. Модель построена на архитектуре wav2vec2 с выходной головой CTC и содержит 1,3 млрд параметров. Она предназначена для автоматического преобразования речи в текст; обучение проведено на наборе BIGC_MINI - BEM. В карточке приведены результаты оценки на тестовом наборе: loss 34,5988 и CER 0,1198. Базовая MMS-1B обучена для распознавания речи на более чем тысяче языков, однако README не уточняет языки и характеристики данных, использованных при дообучении, поэтому пригодность этой версии для конкретных языков или условий записи не установлена. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-asm — модель синтеза речи на ассамском языке из проекта Massively Multilingual Speech компании Meta. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на ассамском. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предсказатель длительности и декодер речи в стиле HiFi-GAN. Размер составляет 3,6 млн параметров. Для каждого языка в проекте обучен отдельный чекпойнт; из-за стохастического предсказателя длительности результат может меняться между запусками, поэтому для воспроизводимости нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-cni — модель синтеза речи на ашанинка (cni) из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на ашанинка в речевой аудиосигнал и подходит для озвучивания фраз и создания речевого вывода для приложений на этом языке. Модель использует архитектуру VITS и обучена как отдельный чекпойнт для одного языка. VITS объединяет текстовый энкодер, flow-модуль, стохастический предсказатель длительности и декодер на основе HiFi-GAN, формируя речь сквозным образом. В метаданных указаны 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Модель предназначена для синтеза речи на ашанинка; генерация недетерминирована, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.

facebook/mms-tts-div — модель синтеза речи на мальдивском языке (div) из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Это отдельный чекпойнт VITS, обученный для одного языка; модель принимает текст и генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер в стиле HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Модель подходит для озвучивания мальдивского текста и генерации речи с разным ритмом. Из-за стохастического предиктора длительности результат может меняться при повторном запуске; для воспроизводимой генерации нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.