I.9Аудио и музыка

Мультиязычная модель распознавания речи на базе Whisper Small, дообученная jjnhuang. Она принимает аудио и предназначена для автоматической транскрипции речи; название указывает на связь обучения с ирландским и валлийским языками, учебной программой и синтетическими данными, но README не раскрывает детали набора данных и сценариев применения. Модель содержит 153,1 млн параметров, построена на архитектуре Whisper и распространяется в формате safetensors для Transformers. Модель лицензирована по Apache-2.0. В README приведены результаты оценки: WER 100,2168, BLEU 6,8330, chrF++ 27,4191 и COMET 0,5177; набор оценки не описан, поэтому эти значения трудно интерпретировать. Особенно высокий WER указывает на возможные серьёзные проблемы с точностью распознавания.

YarnGPT2 — модель синтеза речи, разработанная Saheedniyi и дообученная на HuggingFaceTB/SmolLM2-360M. Она использует языковое моделирование для преобразования текста в аудио с нигерийским акцентом; в README перечислены голоса для английского, йоруба, игбо и хауса. Метаданные указывают 365,7 млн параметров, архитектуру LlamaForCausalLM, контекст до 8192 токенов и библиотеку Transformers. Модель предназначена для экспериментального создания речи, например озвучивания новостей и других текстов. В README отмечено, что качество может зависеть от автоматически созданных обучающих текстов, а модель может недостаточно представлять разнообразие нигерийских акцентов. Карточка ограничивает заявленное применение английской речью с нигерийским акцентом и предостерегает от использования для других языков и акцентов. Лицензия — Apache-2.0.

Rezuwan публикует неофициальную тонкую настройку F5-TTS для синтеза речи голосом одного диктора. Модель предназначена для изучения настройки TTS, интерполяции весов и оценки качества, а также для личного некоммерческого использования с явной маркировкой сгенерированного аудио. Она принимает текст и создаёт речь на английском языке; в карточке описана архитектура DiT с 22 слоями, размерностью 1024 и 16 головами, 100 мел-полосами при 24 кГц и вокодером Vocos. Предоставлены два чекпойнта с разной силой адаптации: рекомендуемый alpha 1.0 и alpha 1.2, который лучше сохраняет особенности произношения ценой ухудшения WER. Модель распространяется по лицензии CC BY-NC 4.0; автор также запрещает коммерческое использование и выдачу синтезированной речи за настоящую запись. Результаты могут содержать ошибки произношения, артефакты и неестественную просодию, особенно на длинном или необычном тексте.

facebook/mms-tts-mfe — модель синтеза речи на языке морисьен, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS — сквозной вариационном автоэнкодере с Transformer-энкодером текста, flow-модулем, декодером в стиле HiFi-GAN и стохастическим предиктором длительности. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors для использования через Transformers. Стохастический предиктор позволяет получать разные ритмические варианты произнесения одной фразы, поэтому для повторяемого результата нужно фиксировать seed. Модель предназначена для синтеза на морисьене и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-poy — модель синтеза речи на языке Pogolo (код poy), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Pogolo. Модель использует архитектуру VITS: генерация речи выполняется сквозным образом, а стохастический предсказатель длительности позволяет варьировать ритм произношения. В репозитории указано 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для работы с моделью подходит библиотека Transformers версии 4.33 и новее. Синтез недетерминированный: для повторения результата нужен фиксированный seed. Модель предназначена для Pogolo, поэтому её не следует считать многоязычным синтезатором. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-prf — модель синтеза речи на языке Paranan (prf), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиозапись; для каждого языка в MMS-TTS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем и декодером, подобным HiFi-GAN; стохастический предиктор длительности позволяет варьировать ритм произношения. Модель доступна через библиотеку Transformers версии 4.33 и выше и распространяется по лицензии CC BY-NC 4.0. Генерация недетерминирована: для воспроизводимого результата необходимо зафиксировать seed. Модель предназначена для синтеза речи на Paranan и не является универсальным многоязычным чекпойнтом.

Модель представляет собой LoRA-адаптер для базовой модели xelsoft-ai-lab/AfriVoxAccent_QW3_spk_wolof-tts_12hz_lora-r32_s42_20260911_174933. Она разработана организацией или лабораторией xelsoft-ai-lab для синтеза речи на языке волоф с поддержкой нескольких акцентов в рамках проекта AfriVoxAccent. Доступные акценты — baol, dakar и fouta; выбор акцента осуществляется через специальный токен accent. Модель предназначена для задач text-to-speech, то есть преобразования текста в речь на волоф, с возможностью управлять акцентом говорящего или произношения. В README указано, что это PEFT-модель и LoRA-адаптер с рангом r16, однако архитектура базовой модели, число параметров, поддерживаемые модальности помимо текста и речи, размер контекста, характеристики голоса и требования к аппаратному обеспечению не раскрыты. Сильной стороной модели является компактная адаптация базовой TTS-модели для многорегионального или многоакцентного синтеза волоф. Ограничения связаны с узкой языковой и функциональной специализацией, а также с отсутствием подробных сведений о качестве синтеза, совместимости, лицензии и условиях использования. Лицензия в README не указана.

facebook/mms-tts-did — модель синтеза речи на языке дидинга (Didinga, код did), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на дидинга в речевую аудиоволну и предназначена для создания озвучивания на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, потоковый модуль, текстовый энкодер на основе Transformer и декодер, формирующий аудиоволну; стохастический предиктор длительности позволяет варьировать ритм речи. Для языков MMS-TTS выпускаются отдельные контрольные точки. Модель доступна через библиотеку Transformers. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-hub — модель синтеза речи на языке вампис, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на вампис. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN; обучение проводится сквозным образом. Размер модели — 3,5 млн параметров, формат весов — PyTorch и Safetensors. Отдельный чекпойнт MMS-TTS обучен для каждого языка; эта версия предназначена для вампис. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной фразы, поэтому для воспроизводимого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-myy — модель синтеза речи на языке макуна (myy), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на макуна в речевую аудиоволну и подходит для озвучивания текста на этом языке. Модель использует архитектуру VITS и обучена отдельно для макуна. Вариативный предиктор длительности позволяет синтезировать разные ритмические варианты речи из одного текста; поэтому результат может меняться между запусками, а для воспроизводимого синтеза требуется фиксированное начальное значение генератора. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель предназначена для языка макуна; качество синтеза и поддержка других языков не заявлены.

facebook/mms-tts-nin — модель синтеза речи на языке Ninzo (код nin), созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт семейства VITS: он преобразует входной текст в речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, потоковый модуль и вокодер; стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста. Модель содержит около 3,5 млн параметров и доступна в форматах PyTorch и Safetensors. Модель предназначена для генерации речи на Ninzo; поддержка других языков для этого чекпойнта не заявлена. MMS-TTS подключается через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для воспроизводимого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Это частный кандидат модели распознавания речи P21 audio graft, созданный на основе компонентов Qwen3-ASR и Qwen-SEA-LION. Репозиторий объединяет обученную аудиобашню Qwen3-ASR и обученный проектор 1024→4096→5120 с полным декодером SEA-LION; декодер был заморожен во время обучения P3. Модель принимает монофоническое аудио с частотой 16 кГц и использует путь генерации текста через встраивания аудио и декодер. Артефакт отмечен как кандидат без разрешения на продвижение: он подготовлен для сохранения компонентов и происхождения, а не для производственного применения или публичного выпуска. README описывает лишь проверку упаковки на одном речевом образце, а не оценку качества распознавания. Указана лицензия other; условия лицензии следует проверить в репозитории перед использованием.

MCAA1-MSU/TTSModel — модель синтеза речи на суахили, разработанная Maseno Centre for Applied AI на основе дообучения чекпойнта Meta MMS-TTS Swahili. Она использует архитектуру VITS и принимает текст, выдавая аудио с частотой дискретизации 16 кГц. Модель предназначена для экспериментов и исследований синтеза речи на суахили, например для озвучивания фраз и прототипов голосовых интерфейсов. При дообучении использована часть датасета google/WaxalNLP: около 800 обучающих высказываний одного диктора после фильтрации; обучение описано на шаге 4 500 из запланированных 20 200. Ограничения включают зависимость от одного диктора и небольшого набора данных, поэтому качество может снижаться на разных диалектах, акцентах и стилях речи. Формальной оценки качества нет; по выборочным прослушиваниям речь разборчива, но пока грубая. Лицензия — CC-BY-NC-4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

Модель разработана автором репозитория gary109 и дообучена на базе gary109/ai-light-dance_drums_pretrain_wav2vec2-base-new для автоматического распознавания речи. Она построена на архитектуре Wav2Vec2 с CTC-выходом и содержит 113,3 млн параметров. Репозиторий создан в ноябре 2022 года, веса представлены в формате PyTorch. Модель предназначена для распознавания аудио в рамках набора данных AI Light Dance — ONSET-IDMT-MDB-ENST3. В карточке приведены результаты на оценочной выборке: loss 0,7363 и WER 0,4070. README не описывает подробнее сценарии применения или языки распознавания, поэтому их нельзя установить по имеющимся данным.

Репозиторий содержит минимальный набор файлов модели Irodori-TTS-600M-v3-VoiceDesign и связанных компонентов для загрузчика irodori_tts в форке audio.cpp, используемом NovelViewer. В составе — веса модели в safetensors, конфигурация, токенизатор llm-jp-3-150m и веса Semantic-DACVAE для японского синтеза речи; заявлены форматы safetensors и GGUF F16. Модель предназначена для преобразования японского текста в речь в приложениях на базе audio.cpp и NovelViewer. Репозиторий переупаковывает необходимые runtime-файлы, а не описывает самостоятельное дообучение. Лицензия репозитория — MIT; у исходной Irodori-TTS также указаны этические ограничения, включая запрет имитации голоса без согласия и незаконного использования.

WavSLM 4k — одно-поточная модель языкового моделирования речи, созданная Лукой Делла Либерой, Джемом Субаканом и Мирко Раванелли. Она объединяет дистилляцию представлений WavLM с FocalCodec; в этом репозитории опубликован чекпойнт с кодовой книгой размера 4096, обученный на Libri-Light. Модель предназначена для моделирования речевого аудио в едином потоке. Метаданные классифицируют её как audio-to-audio и указывают входное аудио; карточка не описывает конкретные прикладные сценарии или выходной формат подробнее. Модель основана на слиянии lucadellalib/focalcodec_50hz_4k_causal и microsoft/wavlm-large. Лицензия — Apache-2.0.

facebook/mms-tts-ikk — модель синтеза речи на языке ика (Ika, ikk), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на языке ика. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, декодером на основе HiFi-GAN и стохастическим предсказателем длительности. В репозитории указано 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors. Чекпойнт предназначен для одного языка — ика; фиксированный seed нужен, чтобы повторно получить ту же аудиозапись. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценок качества и подробностей о голосе или условиях записи, поэтому пригодность для конкретного произношения и сценария следует проверять отдельно.

WavSLM 65k — одно-потоковая языковая модель речи, созданная Лукой Делла Либера, Джемом Субаканом и Мирко Раванелли. Чекпойнт с кодовой книгой размером 65 536 обучен на Libri-Light и описан в статье о дистилляции WavLM для моделирования речи. Модель предназначена для работы с аудио в формате audio-to-audio. Она объединяет подходы WavLM и FocalCodec в одно-потоковой архитектуре. В репозитории доступны веса PyTorch в формате safetensors; лицензия — Apache-2.0. В карточке не описаны конкретные прикладные сценарии или подробные ограничения качества.

facebook/mms-tts-kwf — модель синтеза речи на языке квара’а (Kwara’ae, код kwf), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, построенный по принципу HiFi-GAN. Вариационный автоэнкодер обучается сквозным образом с вариационными и состязательными функциями потерь; стохастический предиктор длительности позволяет получать разные ритмические варианты одной и той же фразы. Чекпойнт содержит 3,5 млн параметров, доступен в форматах PyTorch и Safetensors и используется через Transformers версии 4.33 или новее. Модель специализирована на одном языке и не предназначена для перевода или распознавания речи. Генерация недетерминирована: для воспроизведения того же аудио требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.

Это дообученная модель Whisper Small с архитектурой WhisperForConditionalGeneration, разработанная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка связывает обучение с датасетом IWSLT и ирландским и валлийским языками, но не уточняет состав обучающих данных. Модель содержит 153,1 млн параметров, принимает аудио и выдаёт текст. Метрики на оценочном наборе: WER 102,03, BLEU 1,13, ChrF++ 13,46 и COMET 0,4158; высокий WER указывает на слабые результаты распознавания в этой оценке. Модель распространяется под лицензией Apache-2.0.

Модель aihimanshu/model — дообученная Himanshu модель аудиоклассификации на базе facebook/wav2vec2-base. Архитектура Wav2Vec2ForSequenceClassification содержит 113,3 млн параметров; веса опубликованы в формате safetensors. Модель предназначена для классификации аудиоданных, однако конкретные классы и сценарии применения в карточке не описаны. На оценочном наборе указаны loss 2,6731 и accuracy 0,0796. Датасет и подробности обучения не раскрыты, поэтому эти результаты не позволяют определить качество для конкретной задачи. Лицензия — Apache-2.0.

wav2vec2-rapnic-example-google-colab — дообученная модель распознавания речи на базе facebook/wav2vec2-base, опубликованная пользователем 007arbab. Это модель архитектуры Wav2Vec2ForCTC с 113,3 млн параметров, принимающая аудио и преобразующая речь в текст. В карточке указано, что модель дообучена на неизвестном наборе данных; сведения о поддерживаемых языках и целевых сценариях отсутствуют. На оценочной выборке указаны loss 2,1076 и WER 1,0876. Высокое значение WER указывает на слабое качество распознавания в приведённой оценке. Модель распространяется в формате safetensors под лицензией Apache-2.0.

HariprasathSB/whisper-vulnerable — дообученная модель автоматического распознавания речи на архитектуре Whisper, основанная на sujith013/whisper-meduim-tamil-vulnerable. Модель содержит 455,8 млн параметров и принимает аудио для преобразования речи в текст. В README указано, что она обучалась на датасете, обозначенном как None; подробности о данных и целевом сценарии не приведены. На тестовой выборке указаны Loss 0,9527 и WER 78,7841, что свидетельствует о высокой доле ошибок распознавания и ограничивает пригодность модели без дополнительной проверки и настройки. Репозиторий распространяется под лицензией Apache-2.0.

Prince Nasamu Alhassan разработал промежуточный чекпойнт распознавания ганского английского языка на основе Whisper large-v3-turbo. Модель дообучена на вещательной речи и данных серебряного качества из Ghana Speech и связанных корпусов; в README она описана как первый этап двухэтапного обучения, а для использования рекомендована завершённая модель whisper-large-v3-turbo-tekyerema-eng. Модель принимает аудио и выдаёт текст; архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. Она предназначена для распознавания речи на ганском английском, но README указывает, что это промежуточный чекпойнт, опубликованный для возобновления обучения, а не готовый продукт. Оценка проводилась на прочитанном и машинно переведённом тексте, поэтому она не отражает надёжно полевую речь и поведение при переключении языков. Лицензия — CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.

Модель tekyerema-tts-eng разработана Prince Nasamu Alhassan для синтеза речи на ганском варианте английского языка. Это дообученная на архитектуре VITS модель на основе facebook/mms-tts-eng; она обучалась на 549 аудиофрагментах длительностью около 70,9 минуты с одним диктором. Модель принимает текст и генерирует аудио. Для токенизатора посимвольного уровня текст необходимо передавать в нижнем регистре, а числа предварительно записывать словами: символы вне словаря, включая некоторые цифры, удаляются без предупреждения. Модель рассчитана на озвучивание английских фраз одним формально говорящим голосом. В README приведён пример устойчивого ошибочного произношения слова «level» и низкой разборчивости тестовой фразы; автор отмечает, что для улучшения качества нужны дополнительные данные именно этого диктора. Работа представлена как исследовательская разработка для хакатона, а не поддерживаемый продукт. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

hirohiroz/wav2vec2-base-timit-demo-google-colab-tryjpn — дообученная модель распознавания речи на архитектуре Wav2Vec2ForCTC. В README указана базовая модель facebook/wav2vec2-large-xlsr-53; датасет обозначен как None, поэтому назначение суффикса «timit-demo» по карточке подтвердить нельзя. Модель принимает аудио и преобразует речь в текст; в метаданных задача указана как automatic-speech-recognition. Размер — 404,1 млн параметров, формат весов — PyTorch. Карточка не описывает языки, условия записи или целевые сценарии, поэтому поддержка японского по суффиксу «tryjpn» не подтверждена. На оценочном наборе указаны loss 5,1527 и WER 1,0, что свидетельствует о крайне низком качестве распознавания в этой оценке. Модель доступна по лицензии Apache-2.0.

Это дообученная версия мультиязычной модели распознавания речи Whisper Small, разработанной OpenAI. Модель принимает аудио и предназначена для автоматической транскрипции речи; название репозитория указывает на перенос обучения с ирландского на валлийский и обучение без замороженного декодера. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и опубликована в формате safetensors для Transformers. В README приведены результаты оценки: loss 6,7416, WER 105,8005, BLEU 0,6736, chrF++ 12,5667 и COMET 0,4173. Высокий WER указывает на слабое качество распознавания в указанной оценке. Лицензия — Apache-2.0.

DyCAST — речевой кодек с переменной частотой кадров, построенный на основе FocalCodec. Репозиторий содержит чекпойнт, обученный на LibriTTS 960, и индекс IVF с непрерывными латентными представлениями частотой 50 Гц, полученными на выборках LibriSpeech. Модель описана в препринте «Beyond Fixed Frames: Dynamic Character-Aligned Speech Tokenization»; авторами работы указаны Luca Della Libera, Cem Subakan и Mirco Ravanelli. Модель предназначена для кодирования речи с динамической токенизацией, выровненной по символам. В метаданных Hugging Face указана задача audio-to-audio и базовые компоненты facebook/mms-1b-all, lucadellalib/focalcodec_50hz и microsoft/wavlm-large. Репозиторий распространяется по лицензии Apache-2.0. README не приводит численных характеристик битрейта, качества или контекста.

Ibrahim Salah дообучает F5-TTS для синтеза арабской речи по тексту. Модель основана на SWivid/F5-TTS и обучалась на датасетах MBZUAI/ClArTTS и Mozilla Common Voice 17. README указывает, что текущая версия ориентирована прежде всего на современный литературный арабский язык (MSA); автор рассчитывает расширить поддержку региональных вариантов по мере продолжения обучения. Доступны временные контрольные точки, включая чекпойнт на шаге 380 000. Автор предупреждает, что они пока не дают аудио высокого качества и предназначены главным образом для продолжения дообучения. Для использования рекомендуется отключить EMA параметром use_ema=False и подавать чистую референсную аудиозапись. Модель распространяется в формате PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

gary109 выпустил wav2vec2-модель, дообученную для автоматического распознавания речи на наборе GARY109/AI_LIGHT_DANCE - ONSET-IDMT-SMT-DRUMS-V2+MDBDRUMS. Это модель с архитектурой Wav2Vec2ForCTC и 113,3 млн параметров; репозиторий содержит веса PyTorch. По результатам оценки на тестовой выборке значение WER составляет 0,3635, а loss — 0,5264. Карточка не описывает дополнительные сценарии использования или ограничения качества, поэтому результаты оценки не следует переносить на другие данные без проверки. Лицензия в предоставленных данных не указана.