I.9Аудио и музыка

wav2vec2-large-xls-r-300m-spanish-small — модель распознавания речи, разработанная на основе jhonparra18/wav2vec2-large-xls-r-300m-spanish-custom и дообученная на Common Voice. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка сообщает значение WER 0,1791 на оценочном наборе. Подходит для автоматической транскрипции испанской речи и экспериментов с распознаванием речи на данных Common Voice. В репозитории указаны веса PyTorch. Лицензия и подробные ограничения применения в предоставленных данных не описаны.

Это модель автоматического распознавания речи на базе wav2vec 2.0, дообученная Diana V. Davidson на неизвестном наборе данных. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель создана на основе facebook/wav2vec2-large-xlsr-53 и распространяется в формате Safetensors по лицензии Apache-2.0. В карточке приведён результат оценки: Global WER 53,1980 и loss 0,7691. Описание не раскрывает языки, состав обучающих данных и предполагаемые условия использования, поэтому качество для конкретного языка или типа записи оценить нельзя.

snehatyagi/wav2vec2_test — дообученная модель распознавания речи на базе facebook/wav2vec2-base. Она использует архитектуру Wav2Vec2ForCTC, содержит 113,3 млн параметров и принимает аудио для преобразования речи в текст. Модель опубликована в формате PyTorch под лицензией Apache-2.0. Карточка приводит результаты оценки: loss 91,1661 и WER 0,5714. Датасет обучения и поддерживаемые языки не указаны, поэтому область применимости и качество распознавания для конкретных языков или условий записи подтвердить нельзя.

Это модель автоматического распознавания речи на базе wav2vec 2.0 XLS-R, дообученная автором davidilag на неизвестном наборе данных. Она принимает аудио и преобразует речь в текст; число параметров — 1,3 млрд. В README приведены результаты оценки: WER 24,1682 и CER 3,8304, однако описание набора данных и условий оценки отсутствует. Модель предназначена для транскрибирования речи. Метаданные не определяют поддерживаемые языки, поэтому нельзя надёжно указать язык или область применения. Файлы представлены в формате safetensors, используется библиотека Transformers. Лицензия — Apache-2.0.

Это дообученная Yuriyvnv модель OpenAI Whisper-Tiny для автоматической транскрибации нидерландской речи. Она основана на архитектуре Whisper и содержит 29,4 млн параметров; принимает аудио и выдаёт текст. Обучение проведено на нидерландской части Common Voice 17.0 и на полном наборе из 34 898 синтетических аудиозаписей без фильтрации качества, созданных с помощью OpenAI TTS-1. Модель предназначена для распознавания нидерландской речи, в том числе аудиозаписей, близких по характеру к Common Voice. На тестовом наборе Common Voice указана WER 24,93%, а на MLS — 43,12%. Использование всех синтетических примеров дало лучший результат на тесте Common Voice среди описанных конфигураций, но увеличило вычислительные затраты и внесло в обучение записи с возможными дефектами синтеза. Модель может уступать на технической речи и региональных вариантах нидерландского языка. Распространяется по лицензии Apache-2.0.

Hanhpt23/whisper-tiny-slisa — модель распознавания речи на базе Whisper, дообученная разработчиком на датасете Hanhpt23/SLISA. Она предназначена для преобразования аудиозаписей в текст. В карточке приведён результат оценки на тестовом наборе: loss 0,0002 и WER 0,0; описание набора и методики оценки не раскрыто, поэтому эти значения сами по себе не позволяют судить о качестве на других данных. Модель содержит 29,4 млн параметров и распространяется в формате safetensors. В метаданных указан английский язык и лицензия Apache-2.0. Сведений о поддерживаемых языках помимо английского, длине контекста и дополнительных ограничениях применения нет.

Карточка модели gheero-Leyu/amharic-omnivoice-tts на Hugging Face совпадает с карточкой Lab-et/omnivoice-amharic, поэтому описание составлено по ней. OmniVoice Amharic — модель синтеза речи, разработанная участниками инициативы Voices For All и дообученная на базе k2-fsa/OmniVoice. Она преобразует текст в естественную амхарскую речь и поддерживает клонирование голоса по аудиозаписи длительностью около 10 секунд. Модель использует нед autoregressive дискретную диффузионную архитектуру; заявленный размер — 612,6 млн параметров. Базовая OmniVoice также поддерживает английский и китайский, однако эта версия обучалась на амхарских аудиоданных и прежде всего предназначена для амхарского языка. Модель подходит для озвучивания текстов, создания речи голосом заданного говорящего и синтеза амхарской речи с учетом характерных согласных, геминации и интонации. В карточке перечислены данные из нескольких амхарских речевых корпусов и заявлена поддержка диалектных вариантов, хотя обучающие данные смещены в сторону аддис-абебского произношения. Лицензия — Apache 2.0. Известные ограничения: в обучающих данных преобладают мужские голоса, сельские акценты представлены слабее, а переключение между амхарским и английским, числительные и даты могут произноситься непредсказуемо. Эмоциональный диапазон ограничен нейтральной и новостной манерой; количественные результаты оценки в карточке пока не опубликованы.

Canary-Qwen-2.5B GGUF — это преобразованные в формат GGUF варианты модели NVIDIA Canary-Qwen-2.5B, подготовленные проектом handy-computer для работы с transcribe.cpp. Модель предназначена для автономного распознавания английской речи и преобразования её в текст с пунктуацией и капитализацией. Она принимает монофонические WAV-файлы с частотой 16 кГц и выполняет транскрибирование офлайн с помощью жадного декодирования. Архитектура NeMo SALM объединяет аудиоэнкодер FastConformer из 32 слоёв с параметром d_model=1024 и авторегрессионную языковую модель Qwen3-1.7B из 28 слоёв с hidden_size=2048; аудиоэмбеддинги подаются в языковую модель через специальную позицию в промпте. Общий размер модели составляет около 2,5 млрд параметров. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером от 1,74 до 5,08 ГБ. Для LibriSpeech test-clean все варианты показывают WER 1,63%. Сильные стороны модели — высокая точность английского распознавания, офлайн-работа, несколько вариантов квантизации и интеграция с transcribe.cpp. Ограничения: поддерживается только английский язык, потоковая обработка, перевод, автоматическое определение языка и временные метки не поддерживаются; модель принимает именно 16 кГц моно WAV. В данной конверсии она работает в режиме распознавания, без LLM-функций постобработки исходной модели. Лицензия — CC-BY-4.0, унаследованная от базовой модели NVIDIA.

gyi-LUK-audio-aligned-speecht5 — дообученная модель SpeechT5 для синтеза речи из текста. Она основана на microsoft/speecht5_tts, построена на архитектуре SpeechT5 и сохранена в формате safetensors. В карточке указана оценка Loss 0.0899 на наборе оценки, но состав данных и методика оценки не описаны. Модель предназначена для преобразования текста в аудио. Лицензия репозитория — MIT. Карточка не сообщает, для каких языков или голосов выполнялось дообучение, поэтому область применения и качество синтеза для конкретных языков и сценариев определить нельзя.

Это односпикерная модель синтеза речи на телугу, созданная B. Narayana Reddy как дообучение Higgs Audio v3 (4B). Она преобразует текст в выразительную речь голосом одного диктора без референсной аудиозаписи и поддерживает переключение между телугу и английским языками. Для телугу входной текст нужно предварительно романизировать по ISO 15919 с помощью того же frontend.py, который использовался при обучении; без этого токенизация может нарушаться. Модель основана на плотной мультимодальной архитектуре Higgs с Qwen3 и распространяется в формате safetensors. Лицензия указана как other, конкретные условия в доступных данных не раскрыты.

Indic-Mio — открытая модель синтеза речи, разработанная SPRINGLab и дообученная на основе Aratako/MioTTS-0.6B. Она использует архитектуру Qwen3ForCausalLM и MioCodec для представления речи; размер модели — 520,7 млн параметров, формат весов — safetensors, библиотека — Transformers. Модель принимает текст и генерирует речь с частотой дискретизации 44 кГц. Модель предназначена для синтеза речи на 22 языках Индии и английском, в том числе для предложений со смешением языков. Поддерживает клонирование голоса по вектору диктора, а также управление стилем и эмоциями с помощью тегов и выделение ударения звёздочками. В README заявлены естественное звучание и скорость менее 0,1 RTF. Контекст модели составляет 32 768 токенов. Indic-Mio подходит для озвучивания текста и создания голосовых интерфейсов. Для запуска автор рекомендует MioTTS-Inference; в README также приведён вариант обслуживания через vLLM. Модель опубликована по лицензии Apache-2.0. Заявленные качество и скорость приведены авторами; независимые оценки в карточке не описаны.

Nepali Parler-TTS — дообученная версия Indic Parler-TTS для синтеза речи на непальском языке. Модель использует архитектуру ParlerTTSForConditionalGeneration и библиотеку parler-tts; веса представлены в формате safetensors. В карточке приведены результаты обучения: лучшая потеря на валидации — 5,4707, обучение длилось 1256 шагов и 270,8 минуты. Модель предназначена для преобразования текста в речь на непальском языке. Лицензия в предоставленных данных не указана.

Malaysian-TTS-1.7B-v1 — разговорная языковая модель для синтеза речи, разработанная mesolitica. Это продолжение предобучения mesolitica/Malaysian-TTS-1.7B-v0.1 на более согласованном наборе данных с полным дообучением параметров. Модель построена на архитектуре Qwen3, содержит 1,8 млрд параметров и использует контекст до 32 768 токенов. Модель принимает текст и генерирует речевые токены, которые декодируются с помощью DistilCodec в аудио с частотой 24 кГц. Она поддерживает переключение между малайским и английским языками, несколько голосов и улучшенное произношение букв и устойчивость к повторениям. Предназначена для озвучивания текста на малайском и английском, включая переключение языков в одной фразе. Для корректной озвучки числа нужно предварительно нормализовать в слова. В некоторых повторяющихся фразах запятые не обеспечивают паузы. В README указана установка DistilCodec, но лицензия модели не приведена.

MeloTTS-English — англоязычная модель синтеза речи из библиотеки MeloTTS, созданной авторами из Tsinghua University, MIT и MyShell.ai. Она преобразует текст в звучащую речь и предназначена для приложений, которым нужна озвучка на английском языке. Семейство MeloTTS включает варианты с американским, британским и индийским акцентами; этот репозиторий предназначен для английского языка. В README заявлены высокое качество синтеза и достаточно быстрая работа для вывода в реальном времени на CPU. Репозиторий содержит веса PyTorch и опубликован под лицензией MIT. Данные карточки также содержат тег языка `ko`, который расходится с названием англоязычного варианта и описанием семейства в README.

facebook/mms-tts-fra — модель синтеза французской речи из текста из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она предназначена для преобразования французской последовательности текста в речевую аудиоволну и может использоваться для озвучивания текстов и приложений синтеза речи. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система на основе вариационного автоэнкодера с текстовым энкодером, flow-модулем, декодером в стиле HiFi-GAN и вероятностным предсказателем длительности; поэтому одна и та же фраза может звучать с разным ритмом. Для воспроизводимого результата требуется фиксировать seed. Модель поддерживается библиотекой Transformers версии 4.33 и новее. Чекпойнт обучен отдельно для французского языка и ориентирован на синтез речи на французском. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-rus — модель синтеза русской речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она предназначена для преобразования русскоязычной последовательности текста в речевую аудиоволну и подходит для озвучивания текстов и создания речевого вывода в приложениях. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит текстовый энкодер на основе Transformer, flow-модуль, декодер, построенный по принципу HiFi-GAN, и стохастический предиктор длительности. Веса содержат 3,5 млн параметров и доступны в форматах PyTorch и Safetensors; модель поддерживается библиотекой Transformers версии 4.33 и выше. Из-за стохастического предиктора одинаковый текст может звучать по-разному; для повторяемого результата требуется фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Orpheus Telugu Female (QLoRA v1) — модель синтеза речи на телугу, дообученная разработчиком карточки на базе Orpheus. Она использует плотную причинную языковую модель LlamaForCausalLM размером 3,3 млрд параметров и голосовой префикс telugu_female. Модель принимает текст в формате «telugu_female: текст» и генерирует SNAC-аудиотокены, которые декодируются вокодером SNAC в монофонический звук PCM с частотой 24 кГц. Контекст модели — 131 072 токена. Модель предназначена для озвучивания текста женским голосом на телугу. При обучении применялся QLoRA: базовые веса в 4-битном формате NF4, вычисления bf16, ранг адаптера 64; обучающий набор включал около 48 часов речи с эталонными транскрипциями. По описанию, идентичность голоса проверялась измерением частоты основного тона. Модель не принимает аудио и не поддерживает клонирование голоса по образцу. Сгенерированная речь может быть тихой и требовать нормализации уровня. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Trelis публикует среднеразмерную немецкую модель синтеза речи Piper с мужским голосом Thorsten Mueller. Модель построена на архитектуре VITS и преобразует текст в аудио; она предназначена для озвучивания немецких текстов, включая пользовательские приложения и голосовые интерфейсы. Выходное аудио имеет частоту дискретизации 22,05 кГц. Модель дообучена на наборе данных Thorsten Voice и основана на lessac medium; формат весов — ONNX. Для запуска можно использовать Piper TTS, распространяемый по лицензии GPL, либо ONNX-вариант без зависимости от Piper TTS. Репозиторий модели обозначает лицензию CC0-1.0; README также описывает вариант использования ONNX с MIT-лицензией. «Medium» указывает на размер модели, а не на качество синтеза.

senga-LUK-20k-msmel-speecht5 — модель синтеза речи из текста, дообученная на базе microsoft/speecht5_tts и созданная с помощью Transformers. В карточке приведён результат оценки: loss 0,2399; описание назначения, обучающих данных и сценариев использования не раскрыто. Модель предназначена для преобразования текста в аудио. Архитектура — SpeechT5ForTextToSpeech; веса представлены в формате safetensors. Модель распространяется по лицензии MIT. Карточка не сообщает, какие языки и голоса поддерживаются, а также не описывает ограничения качества или условия эксплуатации помимо лицензии. Базовая SpeechT5 от Microsoft дообучена на LibriTTS, но датасет этой производной модели в карточке указан как None.

senga-LUK-aligned-nodegate-4k-preview-speecht5 — дообученная модель Microsoft SpeechT5 для синтеза речи из текста. Она использует архитектуру SpeechT5ForTextToSpeech и предназначена для преобразования текстового ввода в аудио; в репозитории хранятся веса в формате safetensors. В README приведён результат оценки: loss 0,1919, но набор данных указан как None, а описание обучения и тестирования отсутствует. Модель распространяется по лицензии MIT.

SoulX-Podcast-1.7B — модель Soul-AILab для синтеза речи в формате подкастов: она создаёт длинные диалоги с несколькими участниками и также поддерживает синтез монологов. В основе лежит плотная языковая архитектура Qwen3ForCausalLM с 1,7 млрд параметров; модель принимает текст и выдаёт речь. Контекст составляет до 40 960 токенов. Модель рассчитана на естественную многорепликовую речь с паралингвистическими элементами, например смехом и вздохами. Поддерживаются английский и китайский, включая диалекты сычуаньский, хэнаньский и кантонский; также заявлено клонирование голоса без предварительного обучения на образце, в том числе между китайскими диалектами. Репозиторий содержит форматы ONNX и Safetensors и распространяется по лицензии Apache-2.0. Авторы описывают применение для синтеза подкастов, персонализированной речи, вспомогательных технологий и лингвистических исследований. Потоковый вывод пока обозначен как планируемая функция; в README также указано, что модель предназначена для академических, образовательных и иных легитимных применений.

payamvha/speecht5_finetuned_North_fa — модель синтеза речи на основе архитектуры SpeechT5, дообученная автором payamvha. Она принимает текст и генерирует аудио; модель доступна в формате safetensors для библиотеки Transformers. В README указан результат оценки Loss 0,6506, но описание набора данных и методики оценки отсутствует. Модель можно использовать для преобразования текста в речь. По названию репозитория предполагается ориентация на северный вариант персидского языка, однако README и метаданные не подтверждают язык обучения или синтеза. Лицензия — MIT.

Модель davron04/speecht5_finetuned_uzbek — дообученная версия SpeechT5 от Microsoft для синтеза речи из текста. Она принимает текст и генерирует аудио; название репозитория указывает на настройку для узбекского языка. Модель построена на архитектуре SpeechT5ForTextToSpeech и сохранена в формате safetensors. В README приведено значение loss 0,3794 на оценочном наборе, но сведения о датасете, голосах и условиях обучения отсутствуют. Модель распространяется по лицензии MIT.

Lightmourne/speecht5_finetuned_voxpopuli_nl — дообученная на датасете VoxPopuli модель Microsoft SpeechT5 для синтеза речи из текста. Она предназначена для преобразования текстового ввода в аудио; карточка сообщает результат оценки Loss 0.4583. Модель использует архитектуру SpeechT5ForTextToSpeech и сохранена в форматах PyTorch и Safetensors. Модель ориентирована на нидерландскую речь, что следует из названия репозитория и датасета VoxPopuli. Она распространяется по лицензии MIT. Карточка не описывает голос, качество синтеза или ограничения для отдельных сценариев, поэтому эти характеристики нельзя уточнить.

ctaguchi/ssc-bew-mms-model — дообученная модель распознавания речи на базе facebook/mms-1b-all. Это модель wav2vec2 с архитектурой Wav2Vec2ForCTC, примерно 1,3 млрд параметров, принимающая аудио и выдающая текст. Базовая модель поддерживает более тысячи языков, однако язык и область применения именно этого дообучения не указаны. В README приведены результаты на тестовой выборке: loss 0,7747, CER 0,2038 и WER 0,6111. Оценки относятся к неизвестному набору данных, поэтому их недостаточно для вывода о качестве на других данных. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Thorsten-Voice/tv-orpheus-v1 — немецкая модель синтеза речи, созданная проектом Thorsten-Voice на основе Orpheus TTS. Это плотная LlamaForCausalLM-модель размером 3,3 млрд параметров с контекстом 131 072 токена; для генерации речи используется архитектура Orpheus со SNAC-кодеком. Модель дообучена на примерно 12 000 записях одного диктора из набора Thorsten-Voice Dataset 2022.10, чтобы создавать спокойную, естественную и разборчивую мужскую речь на немецком языке. Модель предназначена для озвучивания немецкого текста в образовательных, исследовательских и творческих проектах. Записи и голос диктора доступны по CC0; веса модели распространяются по лицензии Apache-2.0. Модель поддерживает голос одного диктора и не предназначена для генерации речи другими голосами.

keystats/w2v-bert-2.0-shona-main-best — модель автоматического распознавания речи на языке шона, разработанная Keystats на основе facebook/w2v-bert-2.0. Многоязычный речевой энкодер Wav2Vec2-BERT дообучен с символьной CTC-головой; модель содержит 402,8 млн параметров и сохраняет регистр букв и пунктуацию из обучающих транскрипций. Модель предназначена для преобразования аудио на шона в текст с регистром и пунктуацией. Она обучена на объединённом корпусе из пяти источников, включая WAXAL, и может использоваться самостоятельно с жадным декодированием или совместно с рекомендованной KenLM языковой моделью keystats/waxal-kenlm-models-best для повышения точности. Для совместного декодирования нужно использовать соответствующую варианту модели языковую модель. CTC-модель рассчитана на однонаправленную речь одного говорящего и не обрабатывает перекрывающуюся речь нескольких говорящих. Акустические условия, качество записей и диалектное покрытие отражают состав обучающих данных. Лицензия — Apache-2.0.

alokmatta/wav2vec2-large-xlsr-53-sw — модель распознавания речи на суахили, созданная дообучением facebook/wav2vec2-large-xlsr-53 на датасетах ALFFA, Gamayun и IWSLT. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; входные записи должны иметь частоту дискретизации 16 кГц. Она предназначена для автоматического распознавания речи на суахили. Доступны версии весов PyTorch и Flax. Модель выпущена под лицензией Apache-2.0. Карточка указывает использование датасетов для дообучения, но не приводит оценок качества или известных проблем распознавания.

Wav2Vec2-Large-XLSR-53-galician — модель распознавания речи, созданная Diego Fustes дообучением facebook/wav2vec2-large-xlsr-53 на галисийском языке. Она принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; архитектура основана на Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель предназначена для автоматической транскрибации галисийской речи. В README приведён результат word error rate 16,79% на тестовой выборке OpenSLR SLR77. Доступны веса в форматах PyTorch, Flax и Safetensors. Лицензия — Apache-2.0.

Модель JackyHoCL/whisper-large-v3-turbo-cantonese-noise-detection — дообученная версия Whisper Large v3 Turbo от JackyHoCL для потокового распознавания речи с подавлением ложных срабатываний на тишине и фоновом шуме. Она преобразует аудио в текст и рассчитана прежде всего на кантонскую речь; базовая модель также предназначена для кантонского и смешанного кантонско-английского аудио. При обнаружении шума модель может выводить маркер «%nz», который следует удалять или заменять в итоговой расшифровке. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и распространяется в формате safetensors. В README приведены результаты CER на тестовых наборах Common Voice и рекомендации по параметрам генерации для потокового сценария. Лицензия — MIT. Для работы с токенизатором README рекомендует Transformers версии 4.46.3 или новее.