I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейМодель facebook/mms-tts-kbp разработана Meta в рамках проекта Massively Multilingual Speech (MMS) и предназначена для синтеза речи на языке Kabiyè (код kbp). Это отдельный чекпойнт для одного языка из семейства MMS-TTS; модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Она принимает текст и генерирует речевую аудиоволну, используя стохастический предсказатель длительности, поэтому один и тот же текст может звучать по-разному; для повторения результата требуется фиксированное случайное зерно. Модель подходит для озвучивания текста на Kabiyè и создания речевого вывода в приложениях, работающих с этим языком. Используется через библиотеку Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-kml — модель синтеза речи на языке Kalinga, Tanudan (kml), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для генерации речи в приложениях, работающих с языками с ограниченными ресурсами. Модель использует архитектуру VITS: она объединяет вариационный автоэнкодер, потоковый модуль, текстовый энкодер на основе Transformer, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Веса содержат около 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Предсказатель длительности стохастический, поэтому одинаковый текст может звучать с разным ритмом; для воспроизводимого результата требуется фиксировать seed. Модель предназначена для одного языка и может ошибаться на неподдерживаемом тексте. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-krj — модель синтеза речи на языке кинарай-а, разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на кинарай-а в речевой аудиосигнал и подходит для озвучивания фраз и создания голосовых материалов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка MMS обучается отдельная модель. Генерация стохастическая: чтобы получать одинаковую речь для одного и того же текста, нужно зафиксировать seed. Модель распространяется в форматах PyTorch и Safetensors по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.
facebook/mms-tts-ktj — модель синтеза речи на языке Krumen, Plapo (код ktj), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую форму и подходит для озвучивания текстов на этом языке. Это компактная модель VITS с 3,5 млн параметров; для запуска доступна через библиотеку Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Модель построена на архитектуре VITS: текстовый энкодер, flow-модуль, декодер волновой формы и стохастический предиктор длительности позволяют генерировать речь с различным ритмом. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное начальное значение генератора случайных чисел. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерчески.
facebook/mms-tts-kyz — модель синтеза речи на языке кайаби (kyz), выпущенная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; для языка обучен отдельный чекпойнт MMS-TTS. Модель доступна через библиотеку Transformers версии 4.33 и новее. Чекпойнт предназначен для озвучивания текста на кайаби, например для создания речевых материалов и голосового доступа к текстовому содержимому. Предсказатель длительности стохастический, поэтому одинаковый текст может звучать с разным ритмом; для воспроизводимого результата нужен фиксированный seed. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-lgg — модель синтеза речи на языке лугбара (Lugbara, код lgg), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на лугбара в речевую аудиоволну; отдельный чекпойнт MMS-TTS обучен для этого языка. Модель использует архитектуру VITS для сквозного синтеза речи: текстовый энкодер, потоковый модуль, декодер и стохастический предиктор длительности позволяют формировать речь с разным ритмом. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, модель поддерживается Transformers начиная с версии 4.33. Стохастический предиктор делает генерацию недетерминированной, поэтому для повторения результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.
facebook/mms-tts-mca — модель синтеза речи Maka, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке Maka в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для этого языка. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка в проекте MMS обучается отдельный чекпойнт. Модель доступна через Transformers версии 4.33 и выше. Генерация использует стохастический предиктор длительности, поэтому один и тот же текст может звучать по-разному; для повторяемого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-mfh — модель синтеза речи на языке Matal (mfh), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Matal в речевую аудиоволну и предназначена для озвучивания текста и создания синтетической речи на этом языке. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, потоковыми слоями, декодером волновой формы и стохастическим предиктором длительности, который позволяет варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров; для использования доступны форматы PyTorch и Safetensors, а Transformers поддерживает MMS-TTS начиная с версии 4.33. Модель обучена отдельно для одного языка, поэтому её применение ограничено синтезом речи на Matal. Генерация недетерминирована: для повторения того же результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-mfq — модель синтеза речи Moba (mfq), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на языке Moba в речевую волну и предназначена для озвучивания текста на этом языке. Для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, нормализующие потоки, стохастический предсказатель длительности и декодер в стиле HiFi-GAN. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности результат может меняться между запусками; фиксированный seed позволяет воспроизводить одну и ту же речевую волну. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-myx — модель синтеза речи на языке Masaaba (код myx), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Masaaba в речевую аудиоволну и предназначена для создания озвучивания на этом языке. Модель построена на архитектуре VITS и обучена отдельно для Masaaba. Это компактный чекпойнт на 3,5 млн параметров; для использования доступна через Transformers версии 4.33 и новее. Из-за стохастического предсказателя длительности результат может различаться при одинаковом тексте; фиксированный seed позволяет воспроизводить генерацию. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-mzm — модель синтеза речи на языке муму́е (Mumuye, код mzm), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на муму́е в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе условного вариационного автоэнкодера, flow-модуля, Transformer-кодировщика текста, стохастического предсказателя длительности и декодера, подобного HiFi-GAN. Размер модели — 3,5 млн параметров. Чекпойнт доступен в форматах PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Для одинакового результата при повторной генерации требуется фиксировать seed, поскольку предсказатель длительности стохастический. Модель предназначена для муму́е и не является многоязычной в рамках этого чекпойнта. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.
facebook/mms-tts-nch — модель синтеза речи на языке науатль Центральная Уастека (nch), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Архитектура VITS объединяет текстовый энкодер на основе Transformer, потоковый модуль, стохастический предиктор длительности и декодер, похожий на HiFi-GAN. В метаданных указано 3,5 млн параметров; веса доступны в форматах PyTorch и safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Модель подходит для озвучивания текстов на науатле Центральной Уастеки и создания речевых данных для приложений на этом языке. Предиктор длительности стохастический, поэтому один и тот же текст может звучать по-разному; для воспроизводимого результата README рекомендует фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.
facebook/mms-tts-nko — модель синтеза речи на языке нкония (Nkonya), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на нкония в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для нкония из семейства MMS-TTS; он доступен через библиотеку Transformers. Стохастический предсказатель длительности может создавать разные ритмы для одного текста, поэтому для повторения того же результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она рассчитана на синтез речи только на нкония; качество и применимость для других языков не заявлены.
facebook/mms-tts-prk — модель синтеза речи на языке Wa (Parauk), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Wa в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, нормализующими потоками, Transformer-энкодером текста, HiFi-GAN-декодером и стохастическим предсказателем длительности. Чекпойнт содержит 3,5 млн параметров; для каждого языка MMS-TTS обучается отдельная модель. Для повторения одинакового результата требуется фиксировать seed. Модель распространяется под лицензией CC BY-NC 4.0, которая не разрешает коммерческое использование. Карточка указывает поддержку Transformers версии 4.33 и новее.
facebook/mms-tts-qub — модель синтеза речи на языке кечуа, диалект Уальяга (qub), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на этом языке. Модель основана на архитектуре VITS и обучена отдельно для языка qub. В её состав входят текстовый энкодер на базе Transformer, flow-модуль, декодер и стохастический предиктор длительности, позволяющий варьировать ритм произнесения. В репозитории указано 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Модель предназначена для синтеза речи на кечуа, диалект Уальяга, и её языковую область применения не следует расширять на другие языки без подтверждения. Лицензия — CC BY-NC 4.0, с ограничением на коммерческое использование.
facebook/mms-tts-quy — модель синтеза речи на кечуа, вариант Аякучо, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом варианте языка. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна для Transformers версии 4.33 и выше. Предсказатель длительности позволяет варьировать ритм речи, поэтому генерация недетерминирована: для повторения результата требуется фиксированное начальное значение генератора случайных чисел. Модель предназначена для одного языка — кечуа Аякучо. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-qvs — модель синтеза речи на кечуа Сан-Мартин (qvs), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиозапись и подходит для озвучивания фраз и создания речевых интерфейсов на языке, для которого мало доступных речевых технологий. Модель основана на архитектуре VITS: это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем, трансформерным текстовым энкодером, декодером в стиле HiFi-GAN и стохастическим предиктором длительности. В карточке указано 3,5 млн параметров; модель поставляется в форматах PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Предиктор длительности стохастический, поэтому генерация недетерминирована; для повторения результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-rmy-script_latin — модель синтеза речи на латинице для языка романи, диалекта влахского. Она создана в рамках проекта Massively Multilingual Speech компании Facebook и предназначена для преобразования текста на этом варианте языка в речевую волну. Модель использует архитектуру VITS и обучена отдельно для своего языка. Это компактный чекпойнт на 3,5 млн параметров, доступный в форматах PyTorch и Safetensors и используемый через Transformers версии 4.33 и выше. Генерация речи стохастическая: одинаковый текст может звучать по-разному, а для повторения результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-rop — модель синтеза речи на языке Kriol (код rop), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на Kriol. Для каждого языка в MMS-TTS обучается отдельный чекпойнт. Модель основана на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, декодер в стиле HiFi-GAN и стохастический предиктор длительности. Размер модели — 3,5 млн параметров. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное начальное значение генератора. Модель доступна через Transformers версии 4.33 и новее; лицензия CC BY-NC 4.0 ограничивает использование некоммерческими целями.
facebook/mms-tts-sch — модель синтеза речи на языке Sakachep (код sch), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS на архитектуре VITS; модель принимает текст и генерирует речевую аудиоволну. В метаданных указано 3,5 млн параметров. Модель доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для преобразования текста на Sakachep в речь. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль и декодер, построенный по принципу HiFi-GAN; стохастический предиктор длительности позволяет варьировать ритм синтеза. Результат может меняться между запусками, поэтому для воспроизводимой генерации нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-suz — модель синтеза речи на языке сунвар (Sunwar, код suz), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS: на вход подаётся текст, на выходе получается речевая волна. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, декодер и стохастический предиктор длительности; размер составляет 3,6 млн параметров. Модель предназначена для озвучивания текста на сунваре. Предиктор длительности позволяет варьировать ритм речи, поэтому одинаковый текст может звучать по-разному; для повторяемого результата требуется фиксировать seed. Чекпойнт доступен через Transformers версии 4.33 и выше и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-teo — модель синтеза речи на языке атесо (код teo) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текстов на атесо. Модель можно использовать через библиотеку Transformers версии 4.33 и новее. Это компактная модель VITS с 3,5 млн параметров. Архитектура объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Из-за стохастического предиктора одинаковый текст может получать разный ритм и звучание; для воспроизводимого результата требуется фиксировать seed. Модель обучена для одного языка и не предназначена для синтеза речи на других языках. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-wob — модель синтеза речи для языка Wè Northern (wob), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Wè Northern в речевую аудиоволну и предназначена для озвучивания текста и создания синтетической речи на этом языке. Модель использует архитектуру VITS: текстовый энкодер, вариационный автоэнкодер, потоковый модуль и декодер на основе свёрточных слоёв в стиле HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для языков проекта MMS обучаются отдельные чекпойнты; эта модель рассчитана на Wè Northern. Предсказатель длительности работает стохастически, поэтому один и тот же текст может звучать по-разному; для воспроизводимой генерации требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-xnr — модель синтеза речи на языке кангри (xnr), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на кангри. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, нормализующих потоков и состязательного обучения. В состав входят текстовый энкодер, предсказатель длительности и декодер, формирующий аудиосигнал. Размер модели — 3,6 млн параметров; доступны веса PyTorch и Safetensors. Предсказатель длительности стохастический, поэтому результат синтеза может меняться между запусками; для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-yam — модель синтеза речи для языка Yamba (yam), выпущенная в рамках проекта Massively Multilingual Speech компании Facebook. Это отдельный контрольный набор VITS, обученный для данного языка; модель принимает текст и генерирует речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, стохастический предиктор длительности и декодер на основе HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Модель предназначена для преобразования текста на Yamba в речь. Стохастический предиктор длительности позволяет получать варианты ритма для одного и того же текста; генерация недетерминирована, поэтому для воспроизводимого результата требуется фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-zaq — модель синтеза речи для языка сапотек, алоапам, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов. Модель основана на архитектуре VITS: она объединяет вариационный автокодировщик, потоковый модуль, текстовый энкодер на базе Transformer и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для одного и того же текста модель может синтезировать речь с разным ритмом, поэтому результат зависит от случайного состояния и для повторяемой генерации требуется фиксированный seed. Модель предназначена для языка сапотек, алоапам (код zaq). Использование через Transformers поддерживается начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
MOSS-Music-8B-Thinking-4bit — 4-битная MLX-конверсия модели OpenMOSS-Team/MOSS-Music-8B-Thinking для понимания музыки на компьютерах Apple Silicon. Это мультимодальная аудиоязыковая модель с плотной архитектурой MossMusicModel и 9,1 млрд параметров; она принимает аудио и текст и отвечает текстом на вопросы о музыке, анализирует вокал и музыкальные структуры. Поддерживаются английский и китайский языки. В этой сборке квантованы до 4 бит слои Qwen3, эмбеддинги токенов и выходная голова, а аудиоэнкодер сохранён в bf16. Размер сборки около 6 ГБ; автор README указывает, что она подходит для компьютеров Mac с 16 ГБ памяти. Это пользовательская конверсия сообщества, не официальный релиз OpenMOSS Team. Для загрузки требуется backend moss_music_mlx; напрямую через mlx_lm или mlx_vlm модель не загружается. Модель распространяется по лицензии Apache-2.0. По сравнению с эталонной версией PyTorch fp32 совпадение argmax следующего токена при prefill идентично, а косинусное сходство логитов составляет 0,99889; для более высокого соответствия автор рекомендует версии с разрядностью 6 или 8 бит.
Pathumma-llm-audio-1.0.0 — разработанная командой Pathumma Audio Team языковая модель на 8 млрд параметров для понимания аудио. Она принимает речь, обычные звуки и музыку и формирует текстовые представления. Архитектура объединяет языковую модель OpenThaiLLM-DoodNiLT-V1.0.0-Beta-7B на базе Qwen2 и аудиоэнкодер Pathumma-whisper-th-large-v3 на базе Whisper. Для работы указана библиотека Transformers. Модель предназначена для преобразования коротких аудиозаписей в текст и ответов по их содержанию. README заявляет поддержку тайского языка, а метаданные карточки также указывают английский. Максимальная длительность входного аудио — 30 секунд. Разработчики отмечают, что модель пока экспериментальная и не полностью пригодна для практического применения в качестве ассистента; также требуется улучшать надёжность и безопасность ответов. Лицензия — Apache-2.0.
marksverdhei/Qwen3-Voice-Embedding-12Hz-0.6B — отдельный аудиоэнкодер голоса, извлечённый из Qwen/Qwen3-TTS-12Hz-0.6B-Base. Он использует архитектуру ECAPA-TDNN с блоками Res2Net, вниманием squeeze-excitation и attentive statistical pooling, чтобы преобразовывать аудио в 1024-мерный x-вектор говорящего. Модель доступна в формате SafeTensors и запускается через Transformers. Энкодер предназначен для получения эмбеддингов говорящего из аудиозаписи и последующего использования этих эмбеддингов для клонирования голоса в семействе Qwen3-TTS. Можно сохранять и повторно подавать эмбеддинги, а также интерполировать их для смешивания голосов. Карточка приводит обработку монофонического аудио с частотой 24 кГц. Модель не синтезирует речь сама: она извлекает вектор признаков из аудио. Для клонирования голоса эмбеддинг нужно передать совместимой модели Qwen3-TTS; режим только с x-вектором может немного уступать клонированию с референсным аудио и его транскриптом. Энкодер работает только с вариантом Base, а варианты CustomVoice и VoiceDesign не поддерживают такие эмбеддинги. Лицензия — Apache-2.0.
SNAC 24 kHz — декодер многомасштабного нейронного аудиокодека, разработанный авторами проекта SNAC и экспортированный loom-ai-org в формат GGUF для loom.cpp. Он преобразует выровненные кодовые токены SNAC в аудиоволну с частотой 24 кГц; это только декодирующая часть кодека, без кодирования аудио в токены. Модель не является языковой и не имеет языкового словаря. Декодер принимает по одной строке на каждый самый редкий временной кадр: 7 идентификаторов кодовых книг, сгруппированных по уровням. Частота таких кадров — около 11,72 в секунду, каждый кадр восстанавливает 2048 аудиосэмплов. Веса не изменены относительно hubertsiuzdak/snac_24khz; репозиторий содержит их экспорт в GGUF и предназначен для запуска через loom-py-rt. Лицензия — MIT. Декодирование использует случайный шум, передаваемый драйвером; при фиксированном seed результаты повторяемы. Для корректного восстановления входные коды должны быть выровнены, а токены, выдаваемые авторегрессионной моделью с другим порядком или задержками потоков, необходимо предварительно переставить. На низком битрейте могут быть слышны модуляция фонового шума и шипение, характерные для исходного декодера.