I.9Аудио и музыка

SNAC 24 kHz Hindi — это дообученный декодер нейрокодека SNAC, подготовленный для речи на хинди и хинглише. Модель предназначена для декодирования аудиокодов SNAC в речевую волну и может использоваться как вокодер в стеке синтеза речи в стиле Orpheus. Изменён только декодер; энкодер и квантователь унаследованы от hubertsiuzdak/snac_24khz, поэтому кодовое пространство совместимо с базовой моделью. Модель использует три иерархических кодбука по 4096 записей и выдаёт монофонический звук с частотой 24 кГц. Лицензия — MIT. Для только что декодированных фрагментов README рекомендует обрезать первые примерно 2048 отсчётов, чтобы убрать переходный артефакт прогрева декодера.

Модель dvinagre/speecht5-finetuned-common-voice-13-0-euskera — версия SpeechT5 для синтеза речи из текста, дообученная на датасете Common Voice 13.0. В основе лежит microsoft/speecht5_tts; архитектура реализована классом SpeechT5ForTextToSpeech, веса доступны в форматах PyTorch и Safetensors. Модель предназначена для преобразования текста в речь на баскском языке. В README приведено значение loss 0,4667 на оценочной выборке, но дополнительное описание качества, сценариев использования и ограничений не дано. Лицензия — MIT.

Модель technaxx/speecht5_finetuned_voxpopuli — дообученная на литовской части датасета VoxPopuli версия SpeechT5 от Microsoft для синтеза речи по тексту. Она принимает текст и генерирует аудио; в карточке указана архитектура SpeechT5ForTextToSpeech и форматы PyTorch и Safetensors. Модель ориентирована на литовский язык. Автор сообщает о небольшом числе говорящих и примеров в обучении, поэтому синтез может плохо обобщаться на новые данные. На оценочной выборке указаны validation loss 0,5676 и training loss 0,38. Лицензия — MIT.

ctaguchi/ssc-meh-model — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, преобразуя речь в текст. В README приведены результаты оценки: loss 1,8542, CER 0,3340 и WER 0,8345. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. Датасет обучения, поддерживаемые языки и предполагаемые сценарии использования в карточке не описаны; приведённые метрики указывают на ошибки распознавания, поэтому качество для конкретных данных следует оценивать отдельно.

SupraLabs/SupraTTS-0.1-Beta — экспериментальная англоязычная модель синтеза речи от SupraLabs, обученная с нуля на LJSpeech с помощью Coqui-TTS. Это однодикторная система с архитектурой Glow-TTS, стохастическим предсказателем длительности и вокодером HiFi-GAN v1. Акустическая модель содержит около 29,6 млн параметров, вокодер — около 14 млн. Модель принимает текст и синтезирует речь с частотой дискретизации 22 050 Гц; она рассчитана на английскую речь одного женского диктора. В описанных разработчиком тестах модель улучшила оценку UTMOS относительно Flare-TTS-v1.5 и приблизила темп синтеза к исходным записям, но вариативность высоты тона остаётся ниже, чем в реальной речи. Модель обучена на одном датасете и не предназначена для многоязычного синтеза, нескольких голосов или клонирования голоса. Лицензия — MIT.

Карточка модели SYNAPSEai1/SynapseMusicV12-Composer-4B на Hugging Face совпадает с карточкой ACE-Step/acestep-5Hz-lm-0.6B, поэтому описание составлено по ней. ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.

Omarrran/turkish_finetuned_speecht5_tts — модель синтеза речи из текста, созданная дообучением Microsoft SpeechT5 на турецком речевом наборе данных erenfazlioglu/turkishvoicedataset. Она предназначена для озвучивания турецких текстов в приложениях доступности, обучающих сервисах, голосовых помощниках и системах объявлений. Модель использует архитектуру SpeechT5 и опубликована в формате Safetensors; в README приведены примеры синтеза и результаты обучения, включая снижение валидационной ошибки. README сообщает об ускорении инференса после квантизации, однако метаданные этого репозитория указывают формат Safetensors и не подтверждают, что здесь размещена квантованная версия. Авторы README отмечают ограничения в разнообразии данных и фонетическом покрытии турецкой речи, а также необходимость дальнейшей оценки качества. Модель распространяется по лицензии MIT.

wasmdashai/vits-ar-sa-huba — модель синтеза речи, разработанная wasmdashai для преобразования текста в речь на саудовском диалекте арабского языка. Она основана на архитектуре VITS и использует предварительно обученные веса Facebook vits ara; в метаданных указано 3,5 млн параметров и формат safetensors. Модель доступна через библиотеку Transformers. Модель предназначена для озвучивания разговорного текста, включая местную лексику и идиоматические выражения. Архитектура VITS объединяет кодировщик текста, вероятностную модель длительности и декодер, генерирующий речевую аудиоволну; README заявляет возможность варьировать высоту тона и темп речи. Лицензия в предоставленных данных не указана.

Модель ayertey01/wav2vec2-large-xlsr-53-AsanteTwi-06second — дообученная версия wav2vec2-large-xlsr-53-AsanteTwi-06 от ayertey01 для автоматического распознавания речи на датасете Common Voice 13.0. Это модель архитектуры Wav2Vec2ForCTC с 402,7 млн параметров, представленная в формате PyTorch. Модель предназначена для преобразования аудиозаписей на языке асанте-тви в текст. На оценочной выборке указаны loss 0,6678 и WER 0,4375. Распространяется по лицензии Apache-2.0.

Модель scinerd68/wav2vec2-large-xlsr-53-esperanto-esperanto-asr-augment-dynamic — дообученная версия cpierse/wav2vec2-large-xlsr-53-esperanto на архитектуре Wav2Vec2ForCTC. Она преобразует аудиозаписи речи на эсперанто в текст. В карточке приведены результаты оценки: loss 0,2010 и WER 0,2699; подробности набора данных и сценария оценки не раскрыты. Модель содержит 402,7 млн параметров, использует библиотеку Transformers и распространяется в формате Safetensors. Лицензия — Apache-2.0.

Whisper Large V2 Cantonese — дообученная Simonl0909 версия мультиязычной модели OpenAI Whisper Large V2 для автоматического распознавания речи на кантонском языке. Модель содержит 905,2 млн параметров и принимает аудио, выдавая его текстовую транскрипцию. Она обучена на кантонской части набора Common Voice 11.0; на оценочной выборке указаны CER 6,7274 и loss 0,2807. Базовая Whisper Large V2 также поддерживает транскрибацию и перевод речи, но для этой версии подтверждено распознавание речи. Модель подходит для транскрибации кантонской речи в аудиозаписях и оценки качества распознавания на наборах данных. Репозиторий распространяется по лицензии Apache-2.0. Показатели на оценочной выборке не гарантируют такое же качество на других данных; README не описывает дополнительные ограничения.

hlasith/whisper-sinhala-small — модель распознавания речи на сингальском языке, созданная дообучением Whisper-small от OpenAI. Она принимает аудио и генерирует текстовую транскрипцию письмом сингальского языка. Модель построена на архитектуре WhisperForConditionalGeneration и содержит около 244 млн параметров; для работы используется библиотека Transformers. Модель предназначена для транскрибирования аудио на сингальском, в том числе вокала. В README приведены результаты оценки на 10 примерах: WER 61,73% и CER 14,86%; автор сообщает об улучшении относительно базовой модели, однако небольшой размер проверки не позволяет считать эти показатели универсальными. Модель обучалась на сингальском речевом корпусе из примерно 10 000 примеров и оптимизирована для одного языка. По данным README, качество может снижаться на аудио вне обучающего корпуса, например на новостях и технической речи; ошибки транскрипции остаются заметными. Модель настроена без временных меток, а многоязычные возможности исходного Whisper-small деградировали. В метаданных указана лицензия other, поэтому конкретные условия использования следует уточнять в карточке модели.

Jackyhsien/whisper-small-finetune-taiwanese — дообученная модель распознавания речи на основе OpenAI Whisper Small. Она предназначена для транскрибирования речи на тайваньском языке; для обучения использован датасет Common Voice 17.0. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и принимает аудио, выдавая текст. Базовая модель OpenAI Whisper Small также поддерживает несколько языков и перевод аудио на английский, но карточка этой производной модели не подтверждает сохранение этих возможностей после дообучения. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0.

alikanakar/whisper-synthesized-turkish-8-hour — модель распознавания речи, полученная дообучением openai/whisper-small. Она принимает аудио и преобразует речь в текст; в карточке указана оценка WER 23,0527 на наборе оценки. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и распространяется в формате PyTorch. Модель предназначена для автоматической транскрипции речи на турецком языке. В названии указано, что для обучения использовались синтезированные турецкие аудиоданные длительностью восемь часов, однако README не содержит подробностей о датасете, условиях обучения и сценариях применения. Лицензия — Apache-2.0.

onnx-community/whisper-tiny — это версия модели openai/whisper-tiny с весами в формате ONNX, подготовленная для работы с библиотекой Transformers.js. Репозиторий поддерживается сообществом onnx-community и предназначен для запуска модели в JavaScript- и веб-средах, совместимых с Transformers.js. Модель рассчитана на задачи обработки и распознавания речи, однако в представленном README не указаны конкретные сценарии применения, поддерживаемые языки, размер модели, архитектурные параметры, максимальная длина контекста или сведения о модальностях. Известно лишь, что исходной моделью является Whisper Tiny, а ONNX-представление обеспечивает совместимость с веб-ориентированными инструментами. Ключевое преимущество — возможность использования модели в экосистеме Transformers.js и потенциального запуска в веб-приложениях без исходного формата весов. Ограничения, точность, требования к ресурсам и особенности производительности в README не описаны. Лицензия для этого репозитория также не указана.

geninhu/xls-asr-vi-40h — модель распознавания речи на вьетнамском языке, созданная дообучением facebook/wav2vec2-xls-r-300m на Common Voice 7.0 (раздел vi) и частном наборе данных. Модель использует архитектуру Wav2Vec2ForCTC и содержит 403,4 млн параметров; опубликованные веса представлены в формате PyTorch. Модель преобразует аудио в текст и подходит для транскрибации вьетнамской речи, в том числе записей, похожих на данные Common Voice. В README приведён результат оценки без языковой модели: WER 60,58 и loss 1,1177. Эти показатели указывают на заметные ошибки распознавания и не гарантируют качество на других данных. Модель распространяется по лицензии Apache-2.0.

Clarity-OMR — модель оптического распознавания нотной записи, разработанная автором репозитория для преобразования изображений музыкальных партитур в текстовое представление. Она дообучена на основе визуального трансформера DaViT Base и предназначена для распознавания партитур с последующим использованием результата в сценариях работы с нотным текстом. Модель обрабатывает изображения и выдаёт текст; автор описывает подход с распознаванием нотного стана за станом и приводит сравнение с Audiveris на разных музыкальных произведениях. По словам автора, на GPU RTX 3080 обработка занимает в среднем около 10 секунд на страницу и примерно втрое быстрее Audiveris в указанном режиме. Качество заметно снижается на партитурах с неаккуратной или нестандартной организацией нотных станов. Репозиторий распространяется по лицензии CC BY-SA 4.0.

EAT-base Epoch 30 — предварительно обученная модель для извлечения признаков из аудио, созданная в рамках фреймворка EAT с самообучением на наборе AS-2M. Она предназначена для получения представлений аудиосигнала и может служить начальной точкой для дообучения под задачи понимания аудио, включая классификацию и создание аудиоподписей. Модель поддерживает признаки на уровне кадров с частотой около 50 Гц и представление всего высказывания через CLS-токен. Архитектура — EATModel, библиотека запуска — Transformers; веса опубликованы в формате safetensors. Лицензия — MIT.

F5-Hindi-24KHz — модель синтеза речи на хинди, разработанная SPRING Lab при Индийском технологическом институте в Мадрасе. Она обучена с нуля на архитектуре F5 и предназначена для преобразования текста в речь с частотой дискретизации 24 кГц. Модель рассчитана прежде всего на исследовательское использование. Для обучения использовались наборы данных IndicTTS-Hindi и IndicVoices-R_Hindi. Репозиторий содержит веса PyTorch и Safetensors; лицензия — CC-BY-4.0.

GigaAM-v3 RNNT GGUF — это конверсия модели ai-sage/GigaAM-v3, подготовленная handy-computer для запуска в transcribe.cpp. Модель предназначена для автономного распознавания русской речи и преобразования аудио в текст без подключения к интернету. Она использует жадное декодирование RNN-T и не применяет внешнюю языковую модель. Модель основана на 16-слойном Conformer-энкодере и содержит около 220–240 млн параметров в исходной версии. Она обучалась на разнообразных русскоязычных аудиоданных, включая разговоры в колл-центрах, естественную речь, речь с фоновой музыкой и речь с особенностями произношения. Доступны варианты GGUF с представлением F32, F16 и квантованием Q8_0, Q6_K, Q5_K_M и Q4_K_M; их размер составляет примерно от 183 до 888 МБ. Модель выдаёт строчные русские символы без пунктуации, поддерживает токенные временные метки, но не поддерживает потоковую обработку, перевод и автоматическое определение языка. На полном тестовом наборе FLEURS для русского языка показатель WER составляет около 8,07–8,12% в зависимости от варианта квантования. Сильными сторонами являются офлайн-работа, компактные квантованные версии, отсутствие заметной потери качества при квантовании и оптимизация для запуска через transcribe.cpp на CPU, Metal и Vulkan. Ограничения включают поддержку только русского языка, отсутствие пунктуации и нормализации текста, невозможность потокового распознавания и необходимость подавать аудио в формате моно WAV с частотой 16 кГц. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Это дообученная версия Indic Parler-TTS для синтеза речи на непальском языке. Модель принимает текст и генерирует речь; в репозитории используются веса в формате safetensors и библиотека parler-tts. По карточке обучение длилось 1256 шагов, лучшее значение ошибки на валидации составило 5,4660. Модель подходит для преобразования непальского текста в речь и прототипирования приложений озвучивания. Сведений о размере модели, лицензии и ограничениях на применение в предоставленных материалах нет.

Kiseki-TTS-1.21 — японская модель синтеза речи, разработанная telecomadm1145. Она преобразует текст в последовательности дискретных аудиокодек-токенов, которые декодируются в звуковую волну с помощью Qwen3 TTS codec. Модель построена как encoder–decoder: Transformer-энкодер обрабатывает текст, а декодер на Mamba2 генерирует аудиотокены; аудиокодек работает с частотой 12,5 кадров в секунду и использует 16 слоёв квантования с кодбуком из 2048 элементов. Модель рассчитана на синтез японской речи. Mamba2-декодер поддерживает постоянный объём памяти на кадр и не использует KV-кэш, что подходит для генерации длинных высказываний; в README указана настройка до 250 кадров примерно для 20 секунд аудио. Для декодирования токенов в волну требуется Qwen3 TTS codec. Модель дообучена на telecomadm1145/Kiseki-1.1-0.3B и распространяется по лицензии MIT.

Модель csikasote/mms-1b-all-bemgen-combined-train-drodat-gdro-3e-2-dat-5e-1-no-sd-0.00-42 разработана как дообученная версия facebook/mms-1b-all на наборе BEMGEN — BEM. Это модель распознавания речи на архитектуре wav2vec2 с CTC-декодированием, содержащая 1,3 млрд параметров и предназначенная для преобразования аудио в текст. В README приведены результаты оценки на тестовом наборе: loss 12,6062 и CER 0,0541. Модель подходит для сценариев автоматической транскрипции речи; базовая MMS-1B-All поддерживает более тысячи языков, но язык и языковое покрытие именно этой доработанной версии в карточке не уточнены. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-azj-script_cyrillic — модель синтеза речи на северном азербайджанском языке, записанном кириллицей, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языковом варианте. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS для указанного языка; в архитектуре объединены текстовый энкодер, потоковый модуль, стохастический предиктор длительности и декодер, формирующий аудиоволну. При генерации возможны разные ритмические варианты произнесения одного текста, поэтому результат может меняться между запусками; фиксированный seed позволяет воспроизвести тот же результат. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-mge — модель синтеза речи Mango (код языка mge) из проекта Massively Multilingual Speech компании Facebook. Это отдельный языковой чекпойнт семейства VITS с 3,5 млн параметров: он принимает текст и генерирует речевую аудиоволну. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки и декодер на основе HiFi-GAN; стохастический предсказатель длительности позволяет получать разные ритмы произнесения одного текста. Модель предназначена для преобразования текста на языке mge в речь и доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для повторного получения того же аудио требуется фиксированный seed. Модель опубликована по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-ron — модель синтеза румынской речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она предназначена для озвучивания румынских текстов в приложениях преобразования текста в речь. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система, которая преобразует текстовую последовательность в речевую волну; стохастический предсказатель длительности позволяет варьировать ритм произношения. Для одинакового результата при повторной генерации требуется фиксировать seed. Модель поддерживается библиотекой Transformers версии 4.33 и новее. Модель рассчитана на румынский язык. Репозиторий содержит веса PyTorch и SafeTensors. Лицензия CC BY-NC 4.0 требует указания авторства и запрещает коммерческое использование.

facebook/mms-tts-vie — модель синтеза речи на вьетнамском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания вьетнамских фраз и создания аудиоверсий текстового контента. Модель использует архитектуру VITS и содержит около 3,6 млн параметров. Это сквозная система синтеза речи с текстовым энкодером на основе Transformer, потоковым модулем, декодером в стиле HiFi-GAN и стохастическим предсказателем длительности, который позволяет варьировать ритм произношения. Для повторения того же результата нужен фиксированный seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-zlm — модель синтеза речи на малайском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на малайском языке. Модель построена на архитектуре VITS: текстовый энкодер и вероятностный модуль длительности управляют генерацией речи, а декодер формирует аудиоволну. В репозитории указано 3,5 млн параметров; модель доступна в форматах PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Генерация недетерминирована, поэтому для воспроизводимого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески. Это отдельный чекпойнт для малайского языка, поэтому его не следует считать универсальной многоязычной моделью синтеза речи.

NeuTTS-Air Vietnamese — модель синтеза речи на вьетнамском языке, дообученная автором репозитория на базе neuphonic/neutts-air. Это плотная авторегрессионная модель Qwen2.5 с примерно 552,8 млн параметров; для синтеза использует аудиокодек NeuCodec и формирует речь с частотой дискретизации 24 кГц. Заявлены нормализация вьетнамского текста с ViNorm, клонирование голоса по эталонной аудиозаписи и быстрый вывод; контекст модели — 32 768 токенов. Модель предназначена для озвучивания вьетнамского текста, включая образовательные материалы, аудиокниги, приложения доступности и голосовые интерфейсы. Для клонирования требуется эталонное аудио; автор рекомендует чистую запись длительностью 3–10 секунд. Модель может хуже работать с предложениями длиннее 100 слов, а для лучшего качества вьетнамский текст должен содержать правильные диакритические знаки. Модель распространяется по лицензии Apache-2.0. В карточке также отмечены риски несанкционированного клонирования голоса и использования синтезированной речи для обмана или дезинформации; для клонирования следует использовать записи с согласия говорящего.

Это 8-битная версия модели NVIDIA Parakeet TDT 0.6B v2 в формате MLX, подготовленная CosmicFusion Labs для приложения диктовки WhisperBud на macOS. Она предназначена для автоматической транскрибации английской речи в текст на устройствах Apple Silicon. Модель использует архитектуру Parakeet TDT с 0,6 млрд параметров и принимает аудио, выдавая текстовую расшифровку. По данным разработчика, квантизация MLX с 8-битными весами сокращает размер загрузки с 2472 до 933 МБ и ускоряет загрузку модели; транскрипты совпадали с результатами того же 8-битного пути квантизации при загрузке. В собственном тесте авторов средний WER составил 11,6% на англоязычной речи; модель работала в 2–4 раза быстрее Whisper medium.en на M1 Pro. Модель рассчитана на локальную диктовку и транскрибацию речи на Apple Silicon. Она поддерживает английский язык; подтверждений поддержки других языков нет. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0).