I.9Аудио и музыка

VocBulwark speaker encoder — модель mlr2000 для преобразования монофонической аудиозаписи в фиксированный 768-мерный вектор признаков голоса. Это энкодер на основе Wav2Vec2 с attentive statistics pooling, обученный с целевой функцией GE2E. Для входа требуется аудио с частотой 22,05 кГц; модель предназначена для получения эмбеддинга по эталонному голосовому фрагменту и передачи его в совместно обученный вокодер VocBulwark large для синтеза речи этим голосом. Эмбеддинги также подходят для сравнения голосов и проверки сходства или совпадения говорящего. Для корректного управления вокодером нужен энкодер из той же связки; векторы от других энкодеров могут не подойти. Лицензия — CC BY 4.0.

wav2vec2-balti-specaugment — модель распознавания речи, разработанная автором репозитория YuvrajGujari и дообученная на базе facebook/wav2vec2-xls-r-300m на наборе данных generator. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей речи в текст; название указывает на настройку для языка балти и применение SpecAugment при обучении. На оценочном наборе указаны Loss 0,2866 и WER 0,2212. Модель принимает аудио и выдаёт текст. Базовая модель мультиязычная, но конкретная поддержка языков и пределы качества этой версии в карточке подробно не описаны. Лицензия — Apache-2.0.

Это японская модель распознавания речи на основе WavLM-Base-Plus, разработанная автором репозитория TylorShine. В ней используется энкодер WavLM и две CTC-головы: одна выводит хирагану, другая — фонемы. Модель содержит 113,3 млн параметров и рассчитана на аудио с частотой 16 кГц. Модель предназначена для преобразования японской речи в последовательности хираганы и фонем, включая студийную запись, речь разных дикторов и шёпот. По описанию автора, отсутствие авторегрессионного декодера помогает избежать повторяющихся галлюцинаций, а вывод ограничен хираганой и фонемами. В тестах на JSUT-BASIC5000 и наборах JVS сообщаются ошибки KER от 3,97% до 11,6% и PER от 3,33% до 7,51% в зависимости от условий записи. Репозиторий использует пользовательскую архитектуру DualCTCModel и библиотеку Transformers; для загрузки требуется разрешить выполнение кода из репозитория через trust_remote_code=True. Модель распространяется по лицензии CC BY-SA 3.0.

Карточка модели Tuananh20015/acestep-v15-turbo-shift3 на Hugging Face совпадает с карточкой ACE-Step/acestep-5Hz-lm-0.6B, поэтому описание составлено по ней. ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.

Это одноязычная модель синтеза речи на хинди из семейства Chatterbox от Resemble AI. Репозиторий gagan1985 содержит конверсию весов в формат MLX fp16 для локального запуска на компьютерах Apple Silicon через библиотеку mlx-audio; исходная модель дообучена Resemble AI на основе Chatterbox Multilingual v3. В метаданных указан формат safetensors и лицензия MIT. Модель преобразует текст на хинди в речь и поддерживает клонирование голоса по короткому чистому аудиофрагменту длительностью примерно 10–15 секунд. Референсная запись обязательна: встроенного голоса у этого чекпойнта нет. Для работы используется общий декодер речи из базового репозитория Chatterbox; README сообщает, что он устраняет артефакт звучания, возникавший с другим вариантом декодера. Конверсия рассчитана на быстрое локальное выполнение на Apple Silicon.

TylorShine разработал лёгкую японскую модель распознавания речи на основе DistilHuBERT с двумя CTC-головами: одна выводит хирагану, другая — фонемы. Модель содержит 18,9 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Автoreгрессивного декодера нет, поэтому модель стабильно выдаёт последовательности хираганы или фонем без повторяющихся галлюцинаций декодера. Архитектура использует промежуточное представление энкодера DistilHuBERT и две CTC-головы; для хираганы указано 84 класса, для фонем — 44. В приведённых оценках ошибка распознавания хираганы составляет 9,09% на JSUT-BASIC5000 и 12,5% на наборе JVS pallarel100; на шёпоте из JVS whisper10 она выше — 39,4%. Для загрузки в Transformers требуется разрешить пользовательский код через trust_remote_code=True. Модель распространяется по лицензии Apache-2.0.

mikhail-panzo/fil_weak_checkpoint — дообученная модель SpeechT5 на базе mikhail-panzo/malay_full_checkpoint. По задаче text-to-audio она предназначена для преобразования текста в аудио. В README приведено значение Loss 0,5971 на оценочном наборе, однако состав данных и подробности оценки не раскрыты. Модель опубликована в формате safetensors по лицензии MIT.

Kahya-TTS-v1.0 — турецкая модель синтеза речи, выпущенная Alican Kiraz как адаптация OpenBMB VoxCPM2. Репозиторий содержит объединённые веса шага 1500, уже проходившие оценку; для этой версии автор не выполнял дополнительное дообучение или изменение весов. Модель принимает текст и может использовать аудиозапись-образец для генерации речи с заданным голосом. Она создаёт монофонический звук с частотой 48 кГц; README также описывает генерацию последовательности отдельных высказываний из строк текстового файла. Модель предназначена прежде всего для турецкого синтеза речи и голосовой генерации с аудиообразцом. Обучение проводилось на закрытом односпикерном турецком корпусе TR-Voice-TTS; оценивание с прослушиванием проводилось на голосе этого диктора. Возможность использовать записи других дикторов предусмотрена, но сходство голоса, соблюдение стиля и разборчивость для незнакомых голосов, акцентов и языков не подтверждены. Для запуска в README приведён сценарий для Linux с NVIDIA CUDA GPU. Лицензия — Apache-2.0.

Kartoffel_Orpheus-3B_german_synthetic-v0.1 — немецкая модель синтеза речи из семейства Kartoffel на основе Orpheus-3B. Эта синтетическая версия создана для генерации речи с эмоциональными интонациями и эмоциональными возгласами; в README описаны четыре голоса: Martin, Luca, Anne и Emma. Модель принимает немецкий текст и может генерировать речь с заданным голосом и одной из поддерживаемых эмоций, например радостью, грустью или спокойствием. Для выбора голоса и эмоции используется шаблон «Имя голоса — Эмоция: текст». Поддерживаются также возгласы вроде «haha», «wow» и «ohhh». Репозиторий использует Transformers и формат safetensors. Модель собрана слиянием на базе amuvarma/3b-de-pretrain и canopylabs/orpheus-3b-0.1-ft. Лицензия — Llama 3.2. README указывает, что эта версия ориентирована на синтетически звучащие голоса; естественность звучания, кроме общего описания семейства, отдельно не гарантируется.

IST Networks дообучила NVIDIA Magpie-TTS Multilingual 357M для клонирования голоса по аудиообразцу. Модель генерирует речь на саудовском арабском, сохраняя поддержку современного литературного арабского и английского из базовой модели. Для каждого запроса требуется аудиозапись голоса длительностью 3–10 секунд; встроенных голосов в этом чекпойнте нет. В основе — архитектура Magpie-TTS из NeMo; речь выводится в моно с частотой 22,05 кГц через NVIDIA NeMo NanoCodec. Модель подходит для озвучивания фраз голосом из предоставленного образца, в том числе пакетной генерации и интеграции в сервисы с GPU. Для арабского доступны отдельные режимы саудовского диалекта и литературного арабского; английский использует фонемный токенизатор. Модель выпущена в формате GGUF F16. Лицензия указана как other, поэтому условия использования следует проверять в карточке и файлах репозитория.

Malaysian-TTS-4B-v0.1 — модель преобразования текста в речь на основе Qwen3-4B-Base, дообученная командой Mesolitica на синтетических данных из Malaysian-Podcast-Dia-1.6B. Она предназначена для синтеза малайской и английской речи с переключением между языками внутри контекста, потоковой выдачей текстовых сегментов и управлением высотой тона и скоростью произнесения отдельных слов. Для декодирования речи используется DistilCodec, выходная частота дискретизации — 24 кГц; доступны только голоса husein и idayu. Модель содержит 3,8 млрд параметров, использует плотную архитектуру Qwen3 и принимает контекст до 32 768 токенов. Для обучения применялось полное дообучение параметров с контекстом обучения 4096 токенов. Репозиторий содержит веса Safetensors и рассчитан на использование через Transformers. Лицензия в предоставленных сведениях не указана.

MiraTTS — модель синтеза речи, опубликованная YatharthS. Она преобразует текст в речь и поддерживает клонирование голоса по образцу. В карточке заявлены генерация чёткого аудио с частотой 48 кГц, задержка от 100 мс и скорость до 100 раз выше реального времени при использовании Lmdeploy и пакетной обработки; также указана работа на GPU с 6 ГБ видеопамяти. Модель основана на плотной архитектуре Qwen2 с классом Qwen2ForCausalLM и содержит около 506,6 млн параметров. Метаданные указывают поддержку английского и китайского языков, контекстное окно 32 768 токенов и файлы в форматах ONNX и Safetensors. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные работы на тех же условиях и ограничивает коммерческое использование. MiraTTS подходит для озвучивания текста, создания голосовых интерфейсов и клонирования голоса. Заявления о скорости, качестве, задержке и требованиях к памяти приведены в README; независимые оценки качества и условия клонирования конкретных голосов в карточке не описаны.

onecxi/mms-hindi-female-indic — модель синтеза речи, обученная на датасете IndicTTS для генерации речи на хинди женским голосом. Она предназначена для преобразования текста на хинди в аудио, например для озвучивания фраз и коротких сообщений. Модель использует архитектуру VITS, библиотеку Transformers и веса в формате Safetensors; указанный размер — 3,6 млн параметров. Модель является дообучением facebook/mms-tts. В карточке приведены примеры фраз на хинди, но аудиопримеры не приложены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Разработчик также предостерегает от имитации реальных людей без их согласия и от создания обманного или вредоносного контента.

facebook/mms-tts-gej — модель синтеза речи для языка Gen из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: это сквозная система синтеза речи с Transformer-энкодером текста, поточным модулем, декодером на основе транспонируемых свёрток и стохастическим предсказателем длительности. В репозитории указаны 3,5 млн параметров; модель доступна в Transformers начиная с версии 4.33. Для каждого языка проекта MMS обучается отдельный чекпойнт. Предсказатель длительности стохастический, поэтому генерация недетерминирована: для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-kor — модель синтеза речи на корейском языке из проекта Massively Multilingual Speech компании Meta (Facebook). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания корейских фраз и предложений. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система: текстовый энкодер, потоковый модуль и декодер формируют аудиосигнал; стохастический предсказатель длительности позволяет варьировать ритм речи. Для повторяемого результата нужен фиксированный seed, поскольку генерация недетерминирована. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

OmniVoice Thai — модель синтеза тайской речи, созданная UKA дообучением k2-fsa/OmniVoice на базе Qwen3-0.6B. Она принимает текст и генерирует аудио; при генерации можно задавать характеристики голоса, например мужской голос с низким тембром. Модель использует OmniVoice и подход Masked Token Prediction в стиле MaskGIT для синтеза речи. Для дообучения использовались датасет Thanarit/Thai-Voice-Test7 и дополнительные голосовые данные: около 20 тысяч высказываний общей длительностью примерно 12,6 часа от двух дикторов. Модель ориентирована прежде всего на синтез тайской речи. В карточке также указана английская языковая поддержка базовой модели, но качество английского синтеза для этой версии не описано. Ограниченный объём обучающих данных и наличие возможных ошибок в транскрипциях ASR могут снижать обобщающую способность и точность произношения. Модель распространяется по лицензии Apache-2.0.

Nam-toon Studio и Gurpreet Singh разработали набор нейросетевых моделей синтеза речи на основе VITS, экспортированных в ONNX, для панджаби на письме гурмукхи. Репозиторий содержит женский голос и многоголосую модель с тремя заявленными голосами: разговорным мужским, литературным мужским и женским дикторским. Модели обучены на корпусе Nam-toon-studio/Punjabi-MultiSpeaker-Studio-TTS-Corpus из 145 записей общей длительностью 22,8 минуты; заявленная частота дискретизации — 22 050 Гц. Модели предназначены для озвучивания панджабского текста, включая локальное и периферийное применение; авторы заявляют целевую задержку менее 50 мс на Raspberry Pi, Apple Silicon и других периферийных устройствах. В метаданных указаны 3,6 млн параметров и лицензия Apache-2.0. README описывает применение через ONNX Runtime. Небольшой объём обучающих данных может ограничивать качество и разнообразие произношения. Заявленная задержка приведена авторами без описания условий измерения.

alkhrzmy дообучил Qwen3-TTS 0.6B для синтеза речи на сунданском языке. Модель построена на архитектуре Qwen3-TTS и предназначена для преобразования текста в речь с использованием голоса `sunda_speaker`; при обучении использовался датасет OpenSLR SLR44 с женским голосом, полученным из Mozilla Common Voice. Модель содержит 0,6 млрд параметров и распространяется в формате safetensors. Она подходит для озвучивания сунданского текста и создания речевых образцов фиксированным голосом. Базовая модель также поддерживает синтез речи и клонирование голоса по аудиопримеру, однако карточка этого дообученного варианта описывает только синтез заданным голосом. Лицензия — Apache-2.0.

daje разработал корейскую версию Qwen3-TTS-12Hz-0.6B, дообучив базовую модель Qwen/Qwen3-TTS-12Hz-0.6B-Base на датасете daje/korean-tts-training для голоса korean_tts. Модель преобразует текст на корейском языке в речь; пример использования в карточке показывает генерацию аудио с выбором этого говорящего и сохранением результата в WAV. Это плотная модель семейства Qwen3-TTS с архитектурой Qwen3TTSForConditionalGeneration, опубликованная в формате safetensors. В каталоге она описана как версия базовой мультиязычной модели Qwen для синтеза речи и клонирования голоса, однако README демонстрирует только генерацию речи фиксированным голосом korean_tts. Лицензия и размер контекста в предоставленных данных не указаны.

Русскоязычная версия Qwen3-TTS-12Hz-1.7B-Base, подготовленная для локального сервера синтеза речи voicy. Модель дообучена следовать знаку ударения U+0301 в тексте, что помогает задавать произношение русских омографов и слов с нестандартным для модели ударением. Текст без знаков она озвучивает как исходная модель, а автоматическую расстановку ударений перед синтезом может выполнять voicy с помощью RUAccent и словаря произношений. Это речевая модель семейства Qwen3-TTS с говорящей частью на базе трансформера. Для дообучения использована LoRA ранга 16 на слоях внимания и MLP; адаптер влит в веса. Репозиторий содержит варианты GGUF и ONNX, включая квантизированные GGUF, для запуска через llama.cpp или ONNX Runtime. Модель рассчитана только на русский язык и сценарии синтеза речи, в том числе клонирование голоса по аудиообразцу в совместимом сервере. В описанном автором эксперименте модель чаще следовала явно заданному ударению, чем исходная, при этом качество ударений на обычном тексте существенно не изменилось. Оценка проводилась автоматическим измерителем с заметной долей ложных тревог, а прослушивание проверял один человек без слепого теста. Расстановка знаков RUAccent может ошибаться, и модель не всегда соблюдает их на словах с сильной привычной формой произношения. Лицензия — Apache-2.0.

Qwen3-TTS with Emotion Tags — дообученный с помощью LoRA вариант Qwen3-TTS-12Hz-1.7B-CustomVoice от SpragAI для синтеза речи с управлением подачей через теги в тексте. Тег эмоции или темпа, например [Angry], [Gentle] или [Fast], задаёт стиль для всей реплики. Модель поддерживает девять тегов и девять встроенных голосов: aiden, dylan, eric, ono_anna, ryan, serena, sohee, uncle_fu и vivian. Модель сохраняет эмбеддинги голосов базовой модели без изменений. Она принимает текст и выдаёт аудио; обучение проводилось для английского языка. Основа — плотная архитектура Qwen3TTSForConditionalGeneration, размер базовой модели — 1,7 млрд параметров. Для подключения требуется базовая модель Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice. Репозиторий распространяется по лицензии Apache-2.0. Тег действует на всю реплику, поэтому нельзя назначить разные эмоции отдельным фрагментам одной реплики. Обучение охватывало только английский язык; работа с другими языками не подтверждена.

Amirhossein Yousefiramandi разработал модель для преобразования речи в речь на основе SpeechT5 и вокодера HiFi-GAN. Она переносит тембр целевого говорящего на исходную запись, используя короткий аудиофрагмент целевого голоса и speaker embeddings x-vector, получаемые с помощью ECAPA. В метаданных указаны архитектура SpeechT5ForSpeechToSpeech, формат safetensors и набор данных CMU ARCTIC; примеры обучения ориентированы на английскую речь. Модель предназначена для прототипирования, исследовательских демонстраций и обучения, а также для адаптации к парам говорящих и развёртывания сервиса инференса. Качество может снижаться на других языках и акцентах, шумной или неподходящей входной записи; возможны артефакты и ухудшение разборчивости. Для репозитория указана лицензия other, а README сообщает об отсутствии собственного файла лицензии, поэтому условия использования следует уточнить у автора; базовые модели имеют лицензию MIT.

Карточка модели SYNAPSEai1/SynapseMusicV12-SFT на Hugging Face совпадает с карточкой ACE-Step/acestep-5Hz-lm-0.6B, поэтому описание составлено по ней. ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.

Карточка модели SYNAPSEai1/SynapseMusicV12-Turbo-Shift1 на Hugging Face совпадает с карточкой ACE-Step/acestep-5Hz-lm-0.6B, поэтому описание составлено по ней. ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.

Kyutai TTS — потоковая англоязычная модель синтеза речи, разработанная Kyutai. Она начинает генерировать аудио после получения первых слов, поэтому подходит для сценариев с постепенной подачей текста и низкой задержкой. Модель предназначена для сравнения систем синтеза речи на публичных тестах. Архитектура — иерархический Transformer с 300 млн параметров в основной модели и 450 млн параметров в глубинном Transformer; при генерации используются аудиотокены Mimi. Частота кадров составляет 12,5 Гц, каждый кадр кодируется 16 аудиотокенами. Модель поддерживает клонирование голоса через префиксирование, но показатель сходства голоса в карточке ниже, чем у основной модели Kyutai. Веса доступны в формате safetensors по лицензии CC-BY 4.0.

VieNeu-TTS Ngọc Huyền — вьетнамская односпикерная модель синтеза речи, адаптированная huutamm1612 на базе pnnbao-ump/VieNeu-TTS. Это полная модель, а не отдельный LoRA-адаптер: обучение включало адаптацию LoRA, безопасное слияние и частичное дообучение. Архитектура — плотная Qwen2ForCausalLM, размер — 552,8 млн параметров; модель работает через Transformers и использует аудиокодек neuphonic/neucodec. Длина контекста составляет 32 768 токенов. Модель предназначена для синтеза вьетнамской речи одним голосом Ngọc Huyền, в том числе озвучивания текста и повествовательных записей. Лучше всего она работает с нормализованным вьетнамским текстом, похожим на данные обучения. Иностранные слова, имена, аббревиатуры, выразительная речь и необычные символы могут произноситься неправильно; оценки MOS, WER и сходства голоса не проводились. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства в некоммерческих целях. Разработчик также рекомендует применять синтез только с разрешения и не выдавать сгенерированную речь за подлинную запись.

ViZipVoice — вьетнамская модель синтеза речи с нулевым обучением и клонированием голоса, разработанная авторами репозитория contextboxai и дообученная на базе ZipVoice от k2-fsa. Она преобразует текст в речь и может воспроизводить голос по короткому аудиопримеру. Модель реализована на PyTorch; опубликован чекпойнт FP16. Токенизатор посимвольный, содержит 244 токена, частота дискретизации синтеза — 24 кГц. Обучающие данные включают около 7000 часов вьетнамской и английской речи; для нормализации вьетнамского текста используется soe-vinorm, а вокодер по умолчанию — charactr/vocos-mel-24khz. Модель подходит для озвучивания вьетнамского текста, создания голосовых демонстраций и синтеза речи с заданным тембром. В карточке приведены аудиопримеры и 30 записей для референсного голоса с транскрипциями. Лицензия — Apache-2.0. Клонировать следует только голоса, на использование которых есть право или явное разрешение; качество и стабильность для других языков и сценариев в карточке не охарактеризованы.

Это модель распознавания речи на эсперанто, созданная автором xekri путём дообучения facebook/wav2vec2-large-xlsr-53 на наборе Mozilla Common Voice 13.0. Она использует архитектуру wav2vec2 с CTC-декодированием и предназначена для преобразования речи в текст. В README приведены результаты оценки: CER 0,0208 и WER 0,0687; модель рассчитана на аудио с частотой дискретизации 16 кГц. Модель подходит для транскрибирования записей на эсперанто, включая материалы Common Voice. В карточке указана лицензия Apache-2.0. В README отмечено, что записи без речи или с сильными искажениями могут вызывать галлюцинации и ошибочные транскрипции; для таких входов автор не нашёл доступного значения уверенности распознавания.

Модель vutankiet2901/wav2vec2-large-xlsr-53-ja — японская система автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на японской части набора Mozilla Common Voice 8.0. Это плотная модель архитектуры Wav2Vec2ForCTC с 402,8 млн параметров, принимающая аудио и выдающая распознанный текст на японском языке. Модель предназначена для транскрибирования японской речи, в том числе записей, похожих на примеры Common Voice. В README приведены результаты на Common Voice 7.0 и 8.0: для версии 8.0 CER составляет 9,95 без языковой модели и 7,15 с 4-граммовой языковой моделью; WER — 25,10 и 16,09 соответственно. Указана лицензия Apache-2.0. Показатели зависят от данных и настройки декодирования; качество на других источниках речи не описано.

YorubaEnglish-CodeSwitching-TTS — модель синтеза речи от LyngualLabs, полученная полным дообучением VoxCPM2 с 2 млрд параметров. Она озвучивает текст на йоруба, английском и в смешанной йоруба-английской речи, используя оригинальную письменность йоруба без G2P, espeak и языковых тегов. Модель рассчитана прежде всего на клонирование голоса: для этого ей подают короткий образец речи и его расшифровку. Также доступен синтез по текстовому описанию голоса, но на этом чекпойнте он работает ненадёжно. Обучение проводилось на корпусе объёмом около 1 039 часов из четырёх источников; оно остановлено после 28 000 шагов, примерно на 1,06 эпохи, до выхода валидационной ошибки на плато. Поэтому качество заметно различается между фразами, особенно при озвучивании имён и редких выражений. Обучение на нескольких дикторах также делает референсный аудиоклип полезным для более стабильного голоса. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.