/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 341–2 370 из 4 835
facebook
mms-tts-kbp

Модель facebook/mms-tts-kbp разработана Meta в рамках проекта Massively Multilingual Speech (MMS) и предназначена для синтеза речи на языке Kabiyè (код kbp). Это отдельный чекпойнт для одного языка из семейства MMS-TTS; модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Она принимает текст и генерирует речевую аудиоволну, используя стохастический предсказатель длительности, поэтому один и тот же текст может звучать по-разному; для повторения результата требуется фиксированное случайное зерно. Модель подходит для озвучивания текста на Kabiyè и создания речевого вывода в приложениях, работающих с этим языком. Используется через библиотеку Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1642сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kml

facebook/mms-tts-kml — модель синтеза речи на языке Kalinga, Tanudan (kml), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для генерации речи в приложениях, работающих с языками с ограниченными ресурсами. Модель использует архитектуру VITS: она объединяет вариационный автоэнкодер, потоковый модуль, текстовый энкодер на основе Transformer, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Веса содержат около 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Предсказатель длительности стохастический, поэтому одинаковый текст может звучать с разным ритмом; для воспроизводимого результата требуется фиксировать seed. Модель предназначена для одного языка и может ошибаться на неподдерживаемом тексте. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-krj

facebook/mms-tts-krj — модель синтеза речи на языке кинарай-а, разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на кинарай-а в речевой аудиосигнал и подходит для озвучивания фраз и создания голосовых материалов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка MMS обучается отдельная модель. Генерация стохастическая: чтобы получать одинаковую речь для одного и того же текста, нужно зафиксировать seed. Модель распространяется в форматах PyTorch и Safetensors по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ktj

facebook/mms-tts-ktj — модель синтеза речи на языке Krumen, Plapo (код ktj), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую форму и подходит для озвучивания текстов на этом языке. Это компактная модель VITS с 3,5 млн параметров; для запуска доступна через библиотеку Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Модель построена на архитектуре VITS: текстовый энкодер, flow-модуль, декодер волновой формы и стохастический предиктор длительности позволяют генерировать речь с различным ритмом. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное начальное значение генератора случайных чисел. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерчески.

870сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kyz

facebook/mms-tts-kyz — модель синтеза речи на языке кайаби (kyz), выпущенная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; для языка обучен отдельный чекпойнт MMS-TTS. Модель доступна через библиотеку Transformers версии 4.33 и новее. Чекпойнт предназначен для озвучивания текста на кайаби, например для создания речевых материалов и голосового доступа к текстовому содержимому. Предсказатель длительности стохастический, поэтому одинаковый текст может звучать с разным ритмом; для воспроизводимого результата нужен фиксированный seed. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-lgg

facebook/mms-tts-lgg — модель синтеза речи на языке лугбара (Lugbara, код lgg), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на лугбара в речевую аудиоволну; отдельный чекпойнт MMS-TTS обучен для этого языка. Модель использует архитектуру VITS для сквозного синтеза речи: текстовый энкодер, потоковый модуль, декодер и стохастический предиктор длительности позволяют формировать речь с разным ритмом. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, модель поддерживается Transformers начиная с версии 4.33. Стохастический предиктор делает генерацию недетерминированной, поэтому для повторения результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mca

facebook/mms-tts-mca — модель синтеза речи Maka, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке Maka в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для этого языка. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка в проекте MMS обучается отдельный чекпойнт. Модель доступна через Transformers версии 4.33 и выше. Генерация использует стохастический предиктор длительности, поэтому один и тот же текст может звучать по-разному; для повторяемого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mfh

facebook/mms-tts-mfh — модель синтеза речи на языке Matal (mfh), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Matal в речевую аудиоволну и предназначена для озвучивания текста и создания синтетической речи на этом языке. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, потоковыми слоями, декодером волновой формы и стохастическим предиктором длительности, который позволяет варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров; для использования доступны форматы PyTorch и Safetensors, а Transformers поддерживает MMS-TTS начиная с версии 4.33. Модель обучена отдельно для одного языка, поэтому её применение ограничено синтезом речи на Matal. Генерация недетерминирована: для повторения того же результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mfq

facebook/mms-tts-mfq — модель синтеза речи Moba (mfq), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на языке Moba в речевую волну и предназначена для озвучивания текста на этом языке. Для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, нормализующие потоки, стохастический предсказатель длительности и декодер в стиле HiFi-GAN. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности результат может меняться между запусками; фиксированный seed позволяет воспроизводить одну и ту же речевую волну. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1180сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-myx

facebook/mms-tts-myx — модель синтеза речи на языке Masaaba (код myx), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Masaaba в речевую аудиоволну и предназначена для создания озвучивания на этом языке. Модель построена на архитектуре VITS и обучена отдельно для Masaaba. Это компактный чекпойнт на 3,5 млн параметров; для использования доступна через Transformers версии 4.33 и новее. Из-за стохастического предсказателя длительности результат может различаться при одинаковом тексте; фиксированный seed позволяет воспроизводить генерацию. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1180сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mzm

facebook/mms-tts-mzm — модель синтеза речи на языке муму́е (Mumuye, код mzm), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на муму́е в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе условного вариационного автоэнкодера, flow-модуля, Transformer-кодировщика текста, стохастического предсказателя длительности и декодера, подобного HiFi-GAN. Размер модели — 3,5 млн параметров. Чекпойнт доступен в форматах PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Для одинакового результата при повторной генерации требуется фиксировать seed, поскольку предсказатель длительности стохастический. Модель предназначена для муму́е и не является многоязычной в рамках этого чекпойнта. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

1010сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nch

facebook/mms-tts-nch — модель синтеза речи на языке науатль Центральная Уастека (nch), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Архитектура VITS объединяет текстовый энкодер на основе Transformer, потоковый модуль, стохастический предиктор длительности и декодер, похожий на HiFi-GAN. В метаданных указано 3,5 млн параметров; веса доступны в форматах PyTorch и safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Модель подходит для озвучивания текстов на науатле Центральной Уастеки и создания речевых данных для приложений на этом языке. Предиктор длительности стохастический, поэтому один и тот же текст может звучать по-разному; для воспроизводимого результата README рекомендует фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nko

facebook/mms-tts-nko — модель синтеза речи на языке нкония (Nkonya), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на нкония в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для нкония из семейства MMS-TTS; он доступен через библиотеку Transformers. Стохастический предсказатель длительности может создавать разные ритмы для одного текста, поэтому для повторения того же результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она рассчитана на синтез речи только на нкония; качество и применимость для других языков не заявлены.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-prk

facebook/mms-tts-prk — модель синтеза речи на языке Wa (Parauk), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Wa в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, нормализующими потоками, Transformer-энкодером текста, HiFi-GAN-декодером и стохастическим предсказателем длительности. Чекпойнт содержит 3,5 млн параметров; для каждого языка MMS-TTS обучается отдельная модель. Для повторения одинакового результата требуется фиксировать seed. Модель распространяется под лицензией CC BY-NC 4.0, которая не разрешает коммерческое использование. Карточка указывает поддержку Transformers версии 4.33 и новее.

1460сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-qub

facebook/mms-tts-qub — модель синтеза речи на языке кечуа, диалект Уальяга (qub), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на этом языке. Модель основана на архитектуре VITS и обучена отдельно для языка qub. В её состав входят текстовый энкодер на базе Transformer, flow-модуль, декодер и стохастический предиктор длительности, позволяющий варьировать ритм произнесения. В репозитории указано 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Модель предназначена для синтеза речи на кечуа, диалект Уальяга, и её языковую область применения не следует расширять на другие языки без подтверждения. Лицензия — CC BY-NC 4.0, с ограничением на коммерческое использование.

1040сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-quy

facebook/mms-tts-quy — модель синтеза речи на кечуа, вариант Аякучо, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом варианте языка. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна для Transformers версии 4.33 и выше. Предсказатель длительности позволяет варьировать ритм речи, поэтому генерация недетерминирована: для повторения результата требуется фиксированное начальное значение генератора случайных чисел. Модель предназначена для одного языка — кечуа Аякучо. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1511сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-qvs

facebook/mms-tts-qvs — модель синтеза речи на кечуа Сан-Мартин (qvs), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиозапись и подходит для озвучивания фраз и создания речевых интерфейсов на языке, для которого мало доступных речевых технологий. Модель основана на архитектуре VITS: это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем, трансформерным текстовым энкодером, декодером в стиле HiFi-GAN и стохастическим предиктором длительности. В карточке указано 3,5 млн параметров; модель поставляется в форматах PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Предиктор длительности стохастический, поэтому генерация недетерминирована; для повторения результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-rmy-script_latin

facebook/mms-tts-rmy-script_latin — модель синтеза речи на латинице для языка романи, диалекта влахского. Она создана в рамках проекта Massively Multilingual Speech компании Facebook и предназначена для преобразования текста на этом варианте языка в речевую волну. Модель использует архитектуру VITS и обучена отдельно для своего языка. Это компактный чекпойнт на 3,5 млн параметров, доступный в форматах PyTorch и Safetensors и используемый через Transformers версии 4.33 и выше. Генерация речи стохастическая: одинаковый текст может звучать по-разному, а для повторения результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1080сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-rop

facebook/mms-tts-rop — модель синтеза речи на языке Kriol (код rop), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на Kriol. Для каждого языка в MMS-TTS обучается отдельный чекпойнт. Модель основана на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, декодер в стиле HiFi-GAN и стохастический предиктор длительности. Размер модели — 3,5 млн параметров. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное начальное значение генератора. Модель доступна через Transformers версии 4.33 и новее; лицензия CC BY-NC 4.0 ограничивает использование некоммерческими целями.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sch

facebook/mms-tts-sch — модель синтеза речи на языке Sakachep (код sch), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS на архитектуре VITS; модель принимает текст и генерирует речевую аудиоволну. В метаданных указано 3,5 млн параметров. Модель доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для преобразования текста на Sakachep в речь. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль и декодер, построенный по принципу HiFi-GAN; стохастический предиктор длительности позволяет варьировать ритм синтеза. Результат может меняться между запусками, поэтому для воспроизводимой генерации нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-suz

facebook/mms-tts-suz — модель синтеза речи на языке сунвар (Sunwar, код suz), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS: на вход подаётся текст, на выходе получается речевая волна. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, декодер и стохастический предиктор длительности; размер составляет 3,6 млн параметров. Модель предназначена для озвучивания текста на сунваре. Предиктор длительности позволяет варьировать ритм речи, поэтому одинаковый текст может звучать по-разному; для повторяемого результата требуется фиксировать seed. Чекпойнт доступен через Transformers версии 4.33 и выше и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4890сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-teo

facebook/mms-tts-teo — модель синтеза речи на языке атесо (код teo) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текстов на атесо. Модель можно использовать через библиотеку Transformers версии 4.33 и новее. Это компактная модель VITS с 3,5 млн параметров. Архитектура объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Из-за стохастического предиктора одинаковый текст может получать разный ритм и звучание; для воспроизводимого результата требуется фиксировать seed. Модель обучена для одного языка и не предназначена для синтеза речи на других языках. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

2810сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-wob

facebook/mms-tts-wob — модель синтеза речи для языка Wè Northern (wob), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Wè Northern в речевую аудиоволну и предназначена для озвучивания текста и создания синтетической речи на этом языке. Модель использует архитектуру VITS: текстовый энкодер, вариационный автоэнкодер, потоковый модуль и декодер на основе свёрточных слоёв в стиле HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для языков проекта MMS обучаются отдельные чекпойнты; эта модель рассчитана на Wè Northern. Предсказатель длительности работает стохастически, поэтому один и тот же текст может звучать по-разному; для воспроизводимой генерации требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-xnr

facebook/mms-tts-xnr — модель синтеза речи на языке кангри (xnr), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на кангри. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, нормализующих потоков и состязательного обучения. В состав входят текстовый энкодер, предсказатель длительности и декодер, формирующий аудиосигнал. Размер модели — 3,6 млн параметров; доступны веса PyTorch и Safetensors. Предсказатель длительности стохастический, поэтому результат синтеза может меняться между запусками; для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4790сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-yam

facebook/mms-tts-yam — модель синтеза речи для языка Yamba (yam), выпущенная в рамках проекта Massively Multilingual Speech компании Facebook. Это отдельный контрольный набор VITS, обученный для данного языка; модель принимает текст и генерирует речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, стохастический предиктор длительности и декодер на основе HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Модель предназначена для преобразования текста на Yamba в речь. Стохастический предиктор длительности позволяет получать варианты ритма для одного и того же текста; генерация недетерминирована, поэтому для воспроизводимого результата требуется фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-zaq

facebook/mms-tts-zaq — модель синтеза речи для языка сапотек, алоапам, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов. Модель основана на архитектуре VITS: она объединяет вариационный автокодировщик, потоковый модуль, текстовый энкодер на базе Transformer и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для одного и того же текста модель может синтезировать речь с разным ритмом, поэтому результат зависит от случайного состояния и для повторяемой генерации требуется фиксированный seed. Модель предназначена для языка сапотек, алоапам (код zaq). Использование через Transformers поддерживается начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
mlx-community
MOSS-Music-8B-Thinking-4bit

MOSS-Music-8B-Thinking-4bit — 4-битная MLX-конверсия модели OpenMOSS-Team/MOSS-Music-8B-Thinking для понимания музыки на компьютерах Apple Silicon. Это мультимодальная аудиоязыковая модель с плотной архитектурой MossMusicModel и 9,1 млрд параметров; она принимает аудио и текст и отвечает текстом на вопросы о музыке, анализирует вокал и музыкальные структуры. Поддерживаются английский и китайский языки. В этой сборке квантованы до 4 бит слои Qwen3, эмбеддинги токенов и выходная голова, а аудиоэнкодер сохранён в bf16. Размер сборки около 6 ГБ; автор README указывает, что она подходит для компьютеров Mac с 16 ГБ памяти. Это пользовательская конверсия сообщества, не официальный релиз OpenMOSS Team. Для загрузки требуется backend moss_music_mlx; напрямую через mlx_lm или mlx_vlm модель не загружается. Модель распространяется по лицензии Apache-2.0. По сравнению с эталонной версией PyTorch fp32 совпадение argmax следующего токена при prefill идентично, а косинусное сходство логитов составляет 0,99889; для более высокого соответствия автор рекомендует версии с разрядностью 6 или 8 бит.

3350июнь 2026ctx131.1K
textaudioapache-2.0hugging-face
nectec
Pathumma-llm-audio-1.0.0

Pathumma-llm-audio-1.0.0 — разработанная командой Pathumma Audio Team языковая модель на 8 млрд параметров для понимания аудио. Она принимает речь, обычные звуки и музыку и формирует текстовые представления. Архитектура объединяет языковую модель OpenThaiLLM-DoodNiLT-V1.0.0-Beta-7B на базе Qwen2 и аудиоэнкодер Pathumma-whisper-th-large-v3 на базе Whisper. Для работы указана библиотека Transformers. Модель предназначена для преобразования коротких аудиозаписей в текст и ответов по их содержанию. README заявляет поддержку тайского языка, а метаданные карточки также указывают английский. Максимальная длительность входного аудио — 30 секунд. Разработчики отмечают, что модель пока экспериментальная и не полностью пригодна для практического применения в качестве ассистента; также требуется улучшать надёжность и безопасность ответов. Лицензия — Apache-2.0.

1098окт. 2024
textapache-2.0hugging-face
marksverdhei
Qwen3-Voice-Embedding-12Hz-0.6B

marksverdhei/Qwen3-Voice-Embedding-12Hz-0.6B — отдельный аудиоэнкодер голоса, извлечённый из Qwen/Qwen3-TTS-12Hz-0.6B-Base. Он использует архитектуру ECAPA-TDNN с блоками Res2Net, вниманием squeeze-excitation и attentive statistical pooling, чтобы преобразовывать аудио в 1024-мерный x-вектор говорящего. Модель доступна в формате SafeTensors и запускается через Transformers. Энкодер предназначен для получения эмбеддингов говорящего из аудиозаписи и последующего использования этих эмбеддингов для клонирования голоса в семействе Qwen3-TTS. Можно сохранять и повторно подавать эмбеддинги, а также интерполировать их для смешивания голосов. Карточка приводит обработку монофонического аудио с частотой 24 кГц. Модель не синтезирует речь сама: она извлекает вектор признаков из аудио. Для клонирования голоса эмбеддинг нужно передать совместимой модели Qwen3-TTS; режим только с x-вектором может немного уступать клонированию с референсным аудио и его транскриптом. Энкодер работает только с вариантом Base, а варианты CustomVoice и VoiceDesign не поддерживают такие эмбеддинги. Лицензия — Apache-2.0.

55423февр. 2026
textembeddingapache-2.0hugging-face
loom-ai-org
snac-24khz-loom

SNAC 24 kHz — декодер многомасштабного нейронного аудиокодека, разработанный авторами проекта SNAC и экспортированный loom-ai-org в формат GGUF для loom.cpp. Он преобразует выровненные кодовые токены SNAC в аудиоволну с частотой 24 кГц; это только декодирующая часть кодека, без кодирования аудио в токены. Модель не является языковой и не имеет языкового словаря. Декодер принимает по одной строке на каждый самый редкий временной кадр: 7 идентификаторов кодовых книг, сгруппированных по уровням. Частота таких кадров — около 11,72 в секунду, каждый кадр восстанавливает 2048 аудиосэмплов. Веса не изменены относительно hubertsiuzdak/snac_24khz; репозиторий содержит их экспорт в GGUF и предназначен для запуска через loom-py-rt. Лицензия — MIT. Декодирование использует случайный шум, передаваемый драйвером; при фиксированном seed результаты повторяемы. Для корректного восстановления входные коды должны быть выровнены, а токены, выдаваемые авторегрессионной моделью с другим порядком или задержками потоков, необходимо предварительно переставить. На низком битрейте могут быть слышны модуляция фонового шума и шипение, характерные для исходного декодера.

280сент. 2026
textaudiomithugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей