/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 581–2 610 из 4 835
rnagabh
gemma4-audio-encoder

rnagabh/gemma4-audio-encoder — отдельная аудиокодирующая часть мультимодальной модели Gemma 4 от Google, извлечённая и опубликованная автором репозитория. Модель принимает аудиосигнал в виде 128-канальных мел-спектрограмм и преобразует его в последовательность признаков. В README указана архитектура USM-подобного Conformer с блоками Macaron-net и размер 304,8 млн параметров; метаданные каталога указывают 201,3 млн параметров и класс Gemma4AudioModel. Выход имеет размерность 1536 после четырёхкратного временного уменьшения и предназначен для подачи в языковой декодер; доступны также 1024-мерные признаки до проекции. Кодировщик подходит для извлечения признаков речи и аудио, в том числе как основа для классификации акустических событий. Он обучался для передачи аудиопризнаков декодеру Gemma 4, а не как универсальная аудиомодель. README приводит результат линейного пробника 72% на классификации Speech Commands из 35 классов. Для загрузки полных весов аудиобашни автор предупреждает об ошибке загрузки через AutoModel.from_pretrained для базовой модели и рекомендует AutoModelForMultimodalLM. Модель является дообученной/извлечённой аудиокомпонентой google/gemma-4-E2B-it, опубликованной в safetensors; лицензия Apache 2.0. README описывает причинное внимание без заглядывания вперёд, что ограничивает применение в сценариях, требующих двунаправленного контекста. Признаки показывают лишь умеренное разделение говорящих, поэтому модель не предназначена для надёжной верификации диктора.

1175апр. 2026
textembeddingapache-2.0hugging-face
espnet
hubert_dummy

espnet/hubert_dummy — модель самообучаемого представления речи на основе HuBERT, подготовленная chen26 с использованием рецепта ESPnet для LibriSpeech. Она предназначена для извлечения признаков из аудиосигналов и последующего применения в задачах обработки речи, где нужны предварительно обученные акустические представления. В каталоге Hugging Face модель обозначена как audio и self-supervised-learning с типом конвейера feature-extraction. Модель работает с речевыми аудиоданными и связана с английским языком через набор данных LibriSpeech. В README не указаны точный размер модели, число параметров, архитектурные гиперпараметры, поддерживаемые частоты дискретизации и максимальная длина контекста, поэтому эти характеристики определить нельзя. Конфигурация показывает демонстрационное обучение продолжительностью в одну эпоху и использование одного GPU, но это не является описанием ограничений инференса. Сильной стороной модели является интеграция с ESPnet2 и возможность использовать её как готовый экстрактор речевых признаков в экспериментах и последующих моделях обработки речи. Ограничения связаны с отсутствием подробных сведений о качестве, бенчмарках, языковом охвате и производительности; кроме того, название dummy может указывать на тестовый или демонстрационный характер модели. Модель распространяется по лицензии CC BY 4.0.

4.8K0март 2025
textembeddingcc-by-4.0hugging-face
rnjema-unima
mms-tts-bci-baseline

rnjema-unima/mms-tts-bci-baseline — подготовленный к дообучению контрольный набор для синтеза речи на языке бауле (Baoulé, bci), созданный на основе WAXAL и модели Meta MMS-TTS для акан. Это прокси-инициализация: отдельной модели MMS-TTS для bci нет, поэтому в качестве близкого донора используется facebook/mms-tts-aka; акустические и просодические параметры донора предназначены для адаптации к бауле при обучении на конфигурации bci_tts датасета google/WaxalNLP, предоставленной University of Ghana. Модель основана на архитектуре VITS и рассчитана на сквозное преобразование текста в речь без отдельного вокодера. В репозитории указано 3,5 млн параметров, однако сами веса здесь не хранятся: при обучении скрипт должен загрузить их из facebook/mms-tts-aka. Репозиторий содержит изменения конфигурации и препроцессора для совместимости с процедурой дообучения, поэтому README описывает прежде всего обучающий чекпойнт, а не готовый для непосредственного синтеза голос. Лицензия репозитория — CC-BY-NC-4.0. Данные WAXAL указаны под CC-BY-4.0; условия использования данных и модели следует учитывать отдельно. Качество синтеза на бауле зависит от последующего дообучения на целевом датасете, поскольку исходные веса относятся к акан.

101апр. 2026
textaudiocc-by-nc-4.0hugging-face
Ransaka
sinhala-gpt-lyrics

Ransaka/sinhala-gpt-lyrics — дообученная модель генерации текста на архитектуре GPT-2, созданная автором карточки на основе примерно 500 тысяч текстов песен на сингальском языке из разных источников. Она предназначена для продолжения текста и генерации строк, похожих на тексты сингальских песен, например по короткой подсказке. Модель использует PyTorch и имеет контекст длиной 1024 токена. Автор характеризует её как простую модель, созданную при изучении процесса дообучения GPT-2. Лицензия — MIT.

1300март 2023ctx1K
textmithugging-face
rijulpaul
Qwen3-TTS-12Hz-0.6B-Wriothesley-LoRa-16

Это LoRA-адаптер модели Qwen3-TTS-12Hz-0.6B-Base, созданный Rijul Paul для синтеза речи, имитирующей английский голос Уриотсли из Genshin Impact. Модель основана на архитектуре Qwen3-TTS с 0,6 млрд параметров и предназначена для генерации речи по тексту. Вариант с полным чекпойнтом из репозитория работает без референсного аудио: голос персонажа уже заложен в обученные веса. При подключении папки adapter/ к базовой модели требуется пример аудио голоса. Адаптер обучен на голосовых данных Genshin Impact и датасете pano30qx. Это неофициальная фанатская работа, не связанная с HoYoverse и не одобренная компанией. Репозиторий распространяется по лицензии MIT; README указывает исследовательское и образовательное применение. Модель предназначена для английской речи и может быть полезна для прототипирования озвучки персонажа, однако качество и сходство голоса могут зависеть от текста и способа подключения адаптера.

7523сент. 2026ctx131.1K
textaudiomithugging-face
Axiveri
Renpiper-pcm-V1

Renpiper-pcm V1 — зеркало чекпойнта Meta AI facebook/mms-tts-pcm для синтеза речи на нигерийском пиджине. Модель использует архитектуру VITS и содержит 3,5 млн параметров; репозиторий представляет веса в формате safetensors. Модель преобразует текст на нигерийском пиджине в речь и подходит для озвучивания коротких фраз и текстов на этом языке. Согласно README, веса не изменялись и не дообучались: это переупаковка исходного чекпойнта MMS в структуру с файлами safetensors. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование. Назначение модели ограничено синтезом речи на нигерийском пиджине; других языков или задач источники не описывают.

70авг. 2026
textaudiocc-by-nc-4.0hugging-face
dzionek
distilgpt2-rap

DistilGPT2-rap — языковая модель на архитектуре GPT-2, дообученная на наборе из 20 тысяч рэп-песен известных англоязычных исполнителей. Она предназначена для генерации рэп-текстов по заданному началу или контексту. Модель принимает текст и выдаёт продолжение текста; максимальная длина контекста — 1024 токена. Модель создана автором репозитория dzionek как дообученная версия DistilGPT2. Веса опубликованы в формате PyTorch. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя. Поскольку обучение проводилось на рэп-текстах, модель может генерировать оскорбительные и неуважительные высказывания; её язык и тематика ограничены преимущественно англоязычным рэпом.

135апр. 2023ctx1K
texthugging-face
adventists-ai
DuplexJev-B-Para-MOSS-Transcribe-Qwen3-4B-2507

DuplexJev-B-Para-MOSS-Transcribe-Qwen3-4B-2507 — аудиоязыковой коннектор для коротких решений по речи, разработанный adventists-ai. Он соединяет замороженный аудиокодировщик Whisper из MOSS-Transcribe-Diarize и замороженную Qwen3-4B-Instruct-2507; обучаемая часть — коннектор с проектором SwiGLU и объединением кадров, около 38,8 млн обучаемых параметров. Модель принимает аудио и отвечает на типизированные вопросы распределением по вариантам ответа без генерации токенов; за один проход можно обработать несколько вопросов. Модель предназначена для классификации речевых признаков, например пола говорящего и эмоции, а также коротких вопросов и решений по аудиозаписи. В README приведены результаты на наборах spoken QA и паралингвистических задач, однако оценка проводилась на небольших тестовых наборах с прочитанной или разыгранной речью. Модель не проверялась на потоковом аудио, а небольшая языковая модель плохо справляется с вопросами, требующими общих знаний. Метки эмоций получены на разыгранной речи и не подходят для принятия решений о людях. Коннектор работает только с указанными кодировщиком и языковой моделью. Лицензия репозитория — CC-BY-NC-4.0.

250сент. 2026ctx1M
textaudiocc-by-nc-4.0hugging-face
skytnt
gpt2-japanese-lyric-small

GPT-2-модель skytnt для генерации японских текстов песен. Она обучена на 143 587 японских текстах песен, собранных с uta-net, и предназначена для создания новых текстов в этом стиле. Модель использует архитектуру GPT-2 и поддерживает контекст длиной до 1024 токенов. Модель принимает текстовый запрос и генерирует продолжение. Репозиторий содержит веса в форматах PyTorch, Safetensors и TensorFlow. Лицензия — MIT. Данных о качестве генерации и ограничениях, кроме специализированной обучающей выборки, карточка не приводит.

3533апр. 2022ctx1K
textmithugging-face
danieldzikunuofmarvel
mms-tts-asante-twi-bibletts

Экспериментальная модель синтеза речи на Asante Twi, разработанная danieldzikunuofmarvel в рамках бесплатного набора речевых инструментов LIBOG для языков Ганы. Это дообученная модель VITS на 3,5 млн параметров, основанная на facebook/mms-tts-aka и обученная на исправленной версии датасета BibleTTS: 18 221 аудиозапись одного студийного рассказчика. Модель принимает текст и генерирует монофоническую речь с частотой 16 кГц. Модель предназначена для озвучивания текстов на Asante Twi в некоммерческих демонстрациях, инструментах доступности, изучении языка и исследованиях малоресурсной речи. Голос и речевой регистр отражают чтение Писания одним диктором; это не универсальный разговорный голос и не модель для других разновидностей акан. Перед синтезом текст нужно нормализовать: привести Unicode к NFC, заменить типографскую пунктуацию ASCII-аналогами, перевести текст в нижний регистр, заменить символы вне словаря пробелами и свернуть повторные пробелы. Цифры обрабатываются некорректно: символы 2 и 3 могут сохраниться как тоновые маркеры, а другие цифры удаляются, поэтому числа следует записывать словами. Качество произношения имён, заимствований и смешанного текста с английским не оценивалось. Прослушивание отложенных фраз одним носителем языка показало улучшение относительно базовой модели, но это не формальная оценка; влияние пунктуации на фразировку измерениями не подтверждено. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование.

300сент. 2026
textaudiocc-by-nc-4.0hugging-face
bigjoedata
rockbot

Rockbot — дообученная на текстах песен модель GPT-2, созданная автором проекта на основе корпуса из примерно 16 000 песен 270 исполнителей разных жанров. Она генерирует текст песни по заданным названию и имени исполнителя; модель рассчитана на творческие эксперименты и создание черновиков текстов. В карточке указана версия GPT-2 с 124 млн параметров; также автор упоминает облегчённую версию на базе DistilGPT2, тексты которой могут быть проще. Контекст модели — 512 токенов. Генерация может быть медленной, а результат — повторяющимся или бессвязным. Автор предупреждает о возможности неожиданного NSFW-содержимого и сообщает, что не применял цензуру. Условия лицензии в доступных данных не приведены.

720март 2022ctx512
texthugging-face
gary109
ai-light-dance_drums_ft_pretrain_wav2vec2-base-new_onset-rbma13-2_7k

Модель разработана автором репозитория gary109 и представляет собой дообученную версию gary109/ai-light-dance_drums_pretrain_wav2vec2-base-new-7k на датасете GARY109/AI_LIGHT_DANCE - ONSET-RBMA13-2. Это модель Wav2Vec2ForCTC с 113,3 млн параметров для автоматического распознавания речи по аудио. В README приведён результат оценки WER 1,0, что указывает на слабое качество распознавания в указанной оценке. Для надёжного применения в других сценариях потребуется отдельная проверка качества. Репозиторий содержит веса PyTorch; условия лицензии в предоставленных данных не описаны.

770нояб. 2022
textaudiohugging-face
nikhilnavas
branchshine-cr

BranchShine-CR — модель распознавания речи, разработанная Nikhil Navas и обученная с нуля для преобразования аудио в строку символов Международного фонетического алфавита (IPA). Это компактная модель на 25,4 млн параметров с архитектурой E-Branchformer и CTC; она обучена на 17 038 часах речи IPAPack++ с 142 языковыми метками. Модель принимает аудио, которое декодирует libsndfile, автоматически приводит его к моно и частоте 16 кГц и выдаёт фонетическую транскрипцию без слов, определения языка, пробелов, пунктуации, ударений и тоновых знаков. Модель подходит для фонетической транскрипции многоязычных речевых записей и как основа для дообучения на собственных аудио и целевых символах. Веса хранятся в формате safetensors; лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных материалов на тех же условиях и запрещает коммерческое использование. Тесно обрезанные записи могут приводить к неполной транскрипции, поэтому документация рекомендует добавлять поля цифровой тишины. Модель не проверялась для оценки произношения или грамотности, детской, патологической и дальнеполевой речи; временные метки и оценки уверенности не валидированы.

1501сент. 2026
textaudiocc-by-nc-sa-4.0hugging-face
gary109
ai-light-dance_drums_ft_pretrain_wav2vec2-base

Модель gary109/ai-light-dance_drums_ft_pretrain_wav2vec2-base — дообученная модель распознавания речи на архитектуре Wav2Vec2ForCTC с 113,3 млн параметров. Она предназначена для преобразования аудио в текст и дообучена на наборе GARY109/AI_LIGHT_DANCE — ONSET-DRUMS. В README для оценки указаны loss 1,8991 и WER 0,6046. Модель принимает аудио и выдаёт текст. Карточка не сообщает языки распознавания, условия применения или лицензию, поэтому нельзя установить, насколько хорошо она подходит для речи вне обучающего набора.

2450нояб. 2022
textaudiohugging-face
ctaguchi
ssc-mmc-model

ssc-mmc-model — модель распознавания речи, дообученная автором карточки на базе facebook/wav2vec2-xls-r-300m. Она построена на архитектуре Wav2Vec2ForCTC и принимает аудио, чтобы преобразовывать речь в текст. В репозитории указаны веса Safetensors и лицензия Apache-2.0. В карточке приведены результаты оценки: CER 0,9382 и WER 0,9965. Эти значения указывают на очень высокую долю ошибок, поэтому качество распознавания может быть недостаточным для практического применения. Язык и состав обучающих данных не раскрыты.

650нояб. 2025
textaudioapache-2.0hugging-face
johnyy212
wav2vec2_cantonese_jyut-20hr

Модель johnyy212/wav2vec2_cantonese_jyut-20hr — дообученная для автоматического распознавания речи версия facebook/wav2vec2-large-xlsr-53. Это модель архитектуры wav2vec2 с 404 млн параметров, предназначенная для преобразования аудио в текст; в названии указаны кантонский язык и Jyutping, однако карточка не уточняет набор данных и схему транскрипции. Модель принимает аудио и выдаёт текст. Она распространяется в формате safetensors по лицензии Apache-2.0. В карточке приведён результат оценки WER 100,0 и loss 2,3981, что указывает на крайне слабое качество распознавания в указанной оценке. Поэтому перед практическим применением модель следует проверить на целевых аудиозаписях; сведений о контексте записи, тестовом наборе и ограничениях применения карточка не содержит.

270февр. 2026
textaudioapache-2.0hugging-face
rijulpaul
Qwen3-TTS-12Hz-0.6B-Wriothesley-LoRa-32

Это LoRA-адаптер для Qwen3-TTS-12Hz-0.6B-Base, созданный автором rijulpaul для синтеза речи, похожей на голос Уриотсли из Genshin Impact. Модель рассчитана на английский язык. Вариант из корня репозитория позволяет генерировать речь без аудиопримера: голос персонажа встроен в параметры, полученные при обучении. При подключении папки adapter/ к базовой модели требуется аудиопример голоса. Модель построена на архитектуре Qwen3-TTS и распространяется в формате safetensors. Она предназначена для фанатских и исследовательских демонстраций синтеза заданного персонажного голоса. Это неофициальная работа, не связанная с HoYoverse; лицензия репозитория — MIT. README отмечает преимущество по качеству относительно клонирования голоса по одному примеру, но не приводит количественных оценок.

2690сент. 2026ctx131.1K
textaudiomithugging-face
rijulpaul
Qwen3-TTS-12Hz-0.6B-Zhongli-LoRa-16

Это LoRA-адаптер для Qwen3-TTS-12Hz-0.6B-Base, созданный автором репозитория rijulpaul для синтеза речи, имитирующей английский голос Чжун Ли из Genshin Impact. Модель предназначена для озвучивания заданного текста голосом персонажа; при использовании полного чекпойнта из репозитория отдельный аудиопример не требуется, поскольку голосовой образ сохранён в параметрах обучения. Для подключения папки adapter/ к базовой модели нужен аудиопример персонажа. Модель основана на плотной архитектуре Qwen3-TTS и поставляется как LoRA-адаптер в формате Safetensors. В карточке указаны обучающие наборы Genshin voice и pano30qx. Поддерживается английская речь. Это неофициальная фанатская работа, не связанная с HoYoverse; лицензия репозитория — MIT. Качество сходства с голосом может зависеть от текста и выбранного способа загрузки адаптера.

1380сент. 2026ctx131.1K
textaudiomithugging-face
microsoft
unispeech-1350-en-17h-ky-ft-1h

UniSpeech-Large-plus Kyrgyz — модель распознавания речи Microsoft на архитектуре UniSpeech с плотной архитектурой и CTC-выходом; размер составляет 402,7 млн параметров. Модель предварительно обучена на речевых аудиозаписях с частотой 16 кГц и фонетической разметкой, затем дообучена на одном часе кыргызских фонем. Для распознавания аудио требуется частота дискретизации 16 кГц, а ожидаемый текст необходимо преобразовать в последовательность фонем. Модель предназначена для распознавания кыргызской речи с выводом фонетической последовательности. UniSpeech сочетает обучение CTC на размеченных фонемах с контрастивным самообучением на размеченных и неразмеченных данных; в карточке упомянут Common Voice. Модель опубликована в формате PyTorch и использует лицензию Microsoft Research License. Она требует фонемного представления целевого текста и ограниченного объёма дообучения на кыргызском материале, поэтому область её применения уже, чем у универсальных систем транскрибирования.

835март 2022
textaudiohugging-face
jalal2386
wav2vec2-base-librispeech-demo

jalal2386/wav2vec2-base-librispeech-demo — дообученная модель распознавания речи на базе facebook/wav2vec2-base. Она предназначена для преобразования речевого аудио в текст и может применяться для экспериментов с автоматическим распознаванием речи. Модель построена на архитектуре Wav2Vec2ForCTC, содержит 113,3 млн параметров и распространяется в формате safetensors. Лицензия — Apache-2.0. В карточке приведён результат оценки WER 0,9901, что указывает на очень высокую долю ошибок в этой оценке; практическое качество распознавания по имеющимся данным выглядит низким. Датасет обучения и поддерживаемые языки не установлены.

90июнь 2026
textaudioapache-2.0hugging-face
swdq
anison-lyrics-qwen35-4b-tpo-r2

swdq разработала модель anison-lyrics-qwen35-4b-tpo-r2 на основе Qwen3.5-4B — плотной языковой модели с 3,4 млрд параметров. Это дообученная версия для генерации японских песенных текстов в стилях аниме-песен, denpa, песен для эротических игр и вокалоидной музыки. Модель принимает текстовые условия и генерирует текст; заявленный контекст — до 262 144 токенов. После обучения на реальных текстах песен модель прошла два цикла оптимизации предпочтений TPO с помощью оценочной модели. По внутренним сравнениям второй цикл улучшился относительно первого, однако в тестах на соответствие реальным японским текстам модель почти не выигрывала. Оценки проводились LLM-судьями, а проверок авторами песен, слушателями и пением не было. Разработчик прямо указывает, что коммерческое качество не достигнуто и не подтверждено. В обучающих данных есть тексты третьих лиц, и модель может воспроизводить строки из них. Совпадения строк сами по себе не устанавливают наличие или отсутствие нарушения прав. Лицензия в предоставленных данных не указана.

3830окт. 2026ctx262.1K
texthugging-face
tiagoCuervo
gslm-scaling-85m-5p5b

gslm-scaling-85m-5p5b — исследовательская плотная TransformerLM-модель для генерации речевых единиц, подготовленная как конечная точка кривой масштабирования в работе «Scaling Properties of Speech Language Models» (EMNLP 2024). Чекпойнт содержит 85 339 392 параметра и обучен на 5 457 920 000 токенах; веса представлены в FP32 и формате safetensors. Для работы используется библиотека slm-research. Модель предсказывает последовательности речевых единиц mHuBERT: кластеры K-means слоя 11 с частотой 25 Гц и размером словаря 500, где 500 — EOS, а 501 — PAD. Её можно применять для генерации таких единиц и исследования масштабирования речевых языковых моделей. README приводит метрики на sBLIMP, sStoryCloze и tStoryCloze; вокодер в комплект не входит, поэтому для синтеза слышимой речи потребуется отдельный вокодер. Лицензия — Apache-2.0.

100авг. 2026
textapache-2.0hugging-face
tiagoCuervo
gslm-scaling-85m-65p3b

tiagoCuervo/gslm-scaling-85m-65p3b — исследовательский чекпойнт модели Speech Language Model из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотная TransformerLM с 85 339 392 параметрами; опубликованы веса FP32 в формате safetensors. Модель обучалась на 65 324 480 000 токенах, предсказывает последовательности акустических единиц mHuBERT K-means с частотой 25 Гц и размером словаря 500, с отдельными идентификаторами EOS и PAD. Чекпойнт предназначен для генерации речевых токенов и исследования масштабирования языковых моделей для речи. В README приведены оценки на sBLIMP, sStoryCloze и tStoryCloze. Для преобразования сгенерированных токенов в звук нужен отдельный вокодер: он не входит в репозиторий. Лицензия — Apache-2.0.

110авг. 2026
textapache-2.0hugging-face
TuKoResearch
AuriStream1B_librilight_ckpt500k

AuriStream-1B — авторегрессионный Transformer в стиле GPT, разработанный TuKoResearch для моделирования потока речи с помощью дискретных «кохлеарных» токенов. Модель обучена предсказывать токены, получаемые отдельным токенизатором WavCoch, и формировать продолжение речевого потока. Для преобразования аудио в токены и обратно требуется совместимый WavCoch; сама модель принимает идентификаторы токенов, а не необработанную звуковую волну. Модель обучалась на примерно 60 тысячах часов LibriLight в течение 500 тысяч шагов. Контекст составляет около 20 секунд, или 4096 токенов. Скрытые состояния можно использовать как представления речевого сигнала, например для анализа фонем и слов; также модель предсказывает продолжение речи. Репозиторий содержит веса в формате safetensors, используется библиотека Transformers и требуется загрузка пользовательского кода через trust_remote_code=True. Лицензия — Apache-2.0. Практическое применение ограничено зависимостью от WavCoch и токенизированного представления: модель не предназначена для прямой обработки необработанной аудиоволны. Данные обучения и карточка указывают на английскую речь; качество для других языков не заявлено.

897авг. 2025
textapache-2.0hugging-face
Ethernos
ArkEcho-GSV-Closure-Chinese-Full

Ethernos Studio подготовила GPT-SoVITS-модель для синтеза китайской речи голосом Closure из игры Arknights. Модель принимает текст и генерирует аудио; README описывает связку GPT для отображения текста в акустические признаки и SoVITS для синтеза звуковой волны. Для обучения использованы примерно 8–10 минут игровых голосовых записей и малообразцовое дообучение на 5–15 эпохах. Модель предназначена для личного обучения, алгоритмических исследований и фанатского творчества. Автор отмечает возможную нестабильность тембра, металлическое звучание, нечеткое произношение и ограниченную передачу эмоций, а также не гарантирует качество и сходство синтеза. Метаданные указывают лицензию CC BY-NC 4.0; README дополнительно запрещает коммерческое использование, требует маркировать результат как синтезированный ИИ голос и указывать источник голоса и техническую реализацию.

221сент. 2026
textaudiocc-by-nc-4.0hugging-face
tiagoCuervo
gslm-scaling-309m-30p4b

Чекпойнт tiagoCuervo для исследования масштабирования speech-language-моделей, опубликованный как конечная точка кривой обучения в работе «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотная TransformerLM-модель примерно на 309 млн параметров с весами FP32 в формате safetensors; по карточке, обучение охватило около 30,4 млрд токенов. Модель авторегрессионно предсказывает последовательности дискретных речевых единиц: свёрнутые подряд повторы кластеров K-means из слоя 11 mHuBERT, с частотой 25 Гц и словарём из 500 единиц. Чекпойнт предназначен для генерации таких речевых токенов и экспериментального исследования масштабирования речевых языковых моделей. В README приведены оценки на sBLIMP, sStoryCloze и tStoryCloze; для восстановления звука потребуется отдельный вокодер, который в репозитории не приложен. Лицензия — Apache-2.0. Хотя в метаданных основная задача обозначена как text-generation, вход и выход модели представлены дискретными речевыми токенами, а не обычным текстом или аудиофайлами.

120авг. 2026
textapache-2.0hugging-face
tiagoCuervo
gslm-scaling-309m-4p9b

gslm-scaling-309m-4p9b — исследовательская речевая языковая модель из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотный TransformerLM с 308 845 568 параметрами; репозиторий содержит веса FP32 в формате safetensors. Модель обучалась на 4 933 530 000 токенах и генерирует последовательности дискретных речевых единиц: склеенные подряд 25-Гц коды mHuBERT K-means слоя 11 с K=500. Модель предназначена для предсказания и продолжения последовательностей речевых токенов, а также для исследования масштабирования речевых языковых моделей. В README приведены результаты оценок на sBLIMP, sStoryCloze и tStoryCloze. Для получения звука нужен отдельный вокодер, который в репозиторий не включён. Метаданные указывают лицензию Apache-2.0.

110авг. 2026
textapache-2.0hugging-face
tiagoCuervo
gslm-scaling-20m-87p1b

gslm-scaling-20m-87p1b — компактная плотная TransformerLM-модель из работы *Scaling Properties of Speech Language Models* (EMNLP 2024). Репозиторий содержит веса FP32 примерно с 20,7 млн параметров; чекпойнт обучен на 87,1 млрд токенов. Модель разработана для исследования масштабирования речевых языковых моделей. Модель генерирует последовательности дискретных речевых единиц: последовательные повторы токенов схлопнуты, частота представления — 25 Гц, единицы получены кластеризацией слоя 11 mHuBERT с K=500. Пример использования подаёт токены-единицы и генерирует продолжение. README приводит оценки на sBLIMP и StoryCloze; вокодер в репозиторий не входит, поэтому для преобразования сгенерированных единиц в звучащую речь потребуются дополнительные компоненты. Лицензия — Apache-2.0.

90авг. 2026
textapache-2.0hugging-face
BreadAi
MuseCan

MuseCan — модель генерации текста на базе GPT-2, представленная под именем BreadAi. В README она описана как система для создания музыки по текстовым запросам: заявлены генерация композиций в разных стилях и настройка по жанру или настроению. Карточка связывает модель с набором данных musenet-encoders-12k; метаданные указывают формат PyTorch и контекст до 4096 токенов. README заявляет применение для фоновой музыки к играм и фильмам, а также для личного творчества. Однако описание не объясняет, в каком формате модель кодирует или выдаёт музыку, и не приводит результатов оценки качества; метаданные классифицируют её как text-generation, поэтому способность выдавать непосредственно аудио или ноты независимо не подтверждена. Лицензия в предоставленных данных не указана.

4270февр. 2023ctx4.1K
texthugging-face
Ethernos
ArkEcho-R2-Amiya-Chinese-Heavy

ArkEcho R2 Amiya Chinese Heavy — модель преобразования аудио на основе RVC v2, опубликованная Ethernos Studio. Она предназначена для преобразования голоса в аудиозаписи с тембром Амиши из игры «Arknights» и рассчитана на личные, исследовательские и фанатские проекты. В карточке указано, что модель обучена примерно на 8–10 минутах игровых голосовых записей; репозиторий содержит веса PyTorch. Поддерживаемый язык — китайский. Автор описывает проект как эксперимент и предупреждает о возможной нестабильности тембра, электронном звучании и неразборчивом произношении; качество и сходство голоса не гарантируются. README запрещает коммерческое применение и требует указывать, что голос синтезирован ИИ, а его источник — персонаж «Arknights» Амиша; авторские права на исходный голос принадлежат Hypergryph и правообладателям. Метаданные указывают лицензию CC BY-NC 4.0.

280сент. 2026
audiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей