I.9Аудио и музыка

facebook/mms-tts-eza — модель синтеза речи на языке эзаа (eza) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров; отдельный чекпойнт MMS-TTS обучен для каждого языка. VITS объединяет текстовый энкодер, потоковые слои и HiFi-GAN-подобный декодер, а стохастический предиктор длительности позволяет варьировать ритм произношения. Для повторяемой генерации требуется фиксировать seed. Модель доступна в Transformers версии 4.33 и новее. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-gbm — модель синтеза речи на языке гархвали (gbm), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на гархвали в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель имеет архитектуру VITS и содержит около 3,6 млн параметров. Это отдельный чекпойнт, обученный для одного языка; синтез выполняется сквозным методом с вариационным автоэнкодером, потоковым модулем и декодером на основе HiFi-GAN. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому для повторения того же результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-gkn — модель синтеза речи на языке гокана (Gokana, gkn), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельная языковая модель VITS с 3,5 млн параметров, которая преобразует входной текст в речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Модель предназначена для озвучивания текста на гокана. Стохастический предсказатель длительности позволяет получать варианты ритма для одного текста, поэтому результат может меняться между запусками; фиксированное случайное зерно позволяет воспроизводить тот же результат. Для запуска доступна библиотека Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-grn — модель синтеза речи на гуарани из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на гуарани в речевую аудиоволну и предназначена для озвучивания текстов и создания синтетической речи на этом языке. Модель основана на архитектуре VITS: текстовый энкодер, потоковый модуль и декодер HiFi-GAN обучаются сквозным образом; стохастический предиктор длительности позволяет варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors для использования через Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторения результата требуется фиксированный seed. Модель рассчитана на гуарани; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

facebook/mms-tts-heb — модель синтеза речи на иврите, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на иврите в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода в приложениях. Модель доступна в библиотеке Transformers начиная с версии 4.33. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; модель работает сквозным образом и использует вероятностный предиктор длительности, поэтому при одинаковом тексте может синтезировать речь с разным ритмом. Для воспроизводимого результата требуется фиксировать seed. Весовые файлы представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-kaa — модель синтеза речи на каракалпакском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт VITS, обученный для одного языка; архитектура VITS объединяет текстовый энкодер, вероятностные потоки, предсказатель длительности и декодер HiFi-GAN для генерации речевой волны из текста. Модель содержит около 3,5 млн параметров и доступна в форматах PyTorch и Safetensors; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Модель предназначена для озвучивания каракалпакского текста, например для голосовых интерфейсов и создания аудиоверсий текстовых материалов. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного и того же текста, поэтому при необходимости воспроизводимого результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-klw — модель синтеза речи на языке Tado (klw), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Tado в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, декодер в стиле HiFi-GAN и стохастический предсказатель длительности. Последний позволяет синтезировать текст с разным ритмом, поэтому генерация недетерминирована: для повторяемого результата требуется фиксированное случайное зерно. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-kps — модель синтеза речи на языке техит (Tehit, код kps), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на техит. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль, стохастический предсказатель длительности и декодер HiFi-GAN; число параметров — 3,5 млн. Для одинакового результата при повторной генерации требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-kqr — модель синтеза речи на языке кимараганг (kqr), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и обучена отдельно для кимараганга. В архитектуре объединены вариационный автоэнкодер, потоковый модуль, декодер на основе HiFi-GAN и стохастический предсказатель длительности, позволяющий варьировать ритм речи. Размер модели — 3,5 млн параметров; она доступна для PyTorch и Transformers. Генерация недетерминирована: для повторения того же результата требуется фиксировать случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

facebook/mms-tts-kxv — модель синтеза речи на языке куви (Kuvi, kxv), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на куви в речевую аудиоволну и предназначена для озвучивания текста и создания голосового вывода на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер с нормализующими потоками, предсказатель длительности и декодер HiFi-GAN-подобного типа. Размер — 3,5 млн параметров. Для каждого языка в MMS обучается отдельный чекпойнт; модель доступна через Transformers версии 4.33 и выше. Предсказатель длительности стохастический, поэтому генерация может различаться при одинаковом тексте; фиксированный seed позволяет воспроизводить результат. Модель распространяется по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование.

facebook/mms-tts-men — модель синтеза речи на языке менде (men), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текста на менде. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста и декодер, подобный HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна для Transformers версии 4.33 и новее. Для одного текста модель может синтезировать речь с разным ритмом, поэтому результат недетерминирован; фиксированный seed позволяет воспроизводить тот же сигнал. Модель принимает текст на менде и выдаёт речь; сведений о длине контекста в источниках нет. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое использование.

facebook/mms-tts-nag — модель синтеза речи на языке нага-мизе (Nagamese, код nag), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт семейства VITS с 3,5 млн параметров: он принимает текст и генерирует речевую аудиоволну. Архитектура VITS объединяет кодировщик текста, вариационный автоэнкодер, модуль предсказания длительности и декодер на основе HiFi-GAN; стохастическое предсказание длительности позволяет получать варианты произношения и ритма. Модель предназначена для озвучивания текста на нага-мизе и доступна через библиотеку Transformers версии 4.33 и выше. Один и тот же текст может давать разные результаты, поэтому для повторяемой генерации нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-new — модель синтеза речи на языке ньюар, созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на ньюар в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: генерация выполняется сквозным способом с вариационным автоэнкодером, flow-модулем, декодером HiFi-GAN-подобного типа и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. В репозитории указаны 3,6 млн параметров; веса доступны в форматах PyTorch и Safetensors, а запуск поддерживается библиотекой Transformers версии 4.33 и новее. Это отдельный языковой чекпойнт MMS-TTS для ньюар, поэтому его назначение ограничено синтезом речи на этом языке. Генерация недетерминирована: для повторения результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

facebook/mms-tts-nlc — модель синтеза речи на языке налка (Nalca), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на налка. Для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль и декодер, подобный HiFi-GAN. Стоимость распространения указана как 3,5 млн параметров; модель доступна в форматах PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому результат может меняться между запусками; фиксированный seed нужен для повторяемого синтеза. Модель подходит для озвучивания текстов на налка в приложениях и исследовательских проектах. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-nya — модель синтеза речи на языке чичева (нянджа), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для создания озвучивания и других приложений синтеза речи. Модель построена на архитектуре VITS и обучена сквозным образом; для каждого языка MMS-TTS используется отдельный чекпойнт. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому результат может меняться между генерациями; фиксированный seed позволяет воспроизводить тот же аудиосигнал. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-pag — модель синтеза речи на языке пангасинан, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на пангасинанском языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; синтез выполняется сквозным образом с помощью текстового энкодера, flow-модуля и декодера речи. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому для воспроизводимого результата нужен фиксированный seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-pss — модель синтеза речи на языке каулунг (Kaulong, pss), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; модель принимает текст и генерирует речевую волну. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, подобный HiFi-GAN. Размер модели — 3,5 млн параметров. Чекпойнт предназначен для синтеза речи на каулунге; для одинакового результата при повторном запуске требуется фиксировать seed, поскольку предсказание длительности стохастическое. Модель доступна через Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

facebook/mms-tts-qxh — модель синтеза речи на языке кечуа Панао (qxh), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на этом языке. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем и декодером, построенным по принципу HiFi-GAN. В карточке указано 3,5 млн параметров; чекпойнт доступен в форматах PyTorch и Safetensors и используется через Transformers версии 4.33 или новее. Модель предназначена для синтеза речи на кечуа Панао. Генерация стохастическая: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-rub — модель синтеза речи на языке гунгу (rub), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Для каждого языка MMS-TTS обучается отдельный чекпойнт; эта модель преобразует входной текст в речевую аудиоволну и доступна через библиотеку Transformers. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, предсказатель длительности и декодер, похожий на HiFi-GAN. Веса представлены в форматах PyTorch и Safetensors; размер модели — 3,5 млн параметров. Стохастический предсказатель длительности позволяет варьировать ритм синтеза, поэтому для повторения того же результата требуется фиксировать seed. Модель предназначена для генерации речи на гунгу из текста. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка не сообщает длину контекста или дополнительные языки синтеза.

facebook/mms-tts-rug — модель синтеза речи на языке ровiana (Roviana, rug), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на ровiana. Модель построена на архитектуре VITS: текстовый энкодер и потоковые слои формируют акустическое представление, а декодер генерирует аудио; отдельный предиктор длительности позволяет варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors для использования через Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-srx — модель синтеза речи на языке сирмаури (srx), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на сирмаури. Это отдельный языковой чекпойнт семейства MMS-TTS. Модель использует архитектуру VITS: условный вариационный автокодировщик с Transformer-энкодером текста, flow-модулем, стохастическим предиктором длительности и декодером на основе HiFi-GAN. Размер модели — 3,6 млн параметров; веса доступны в форматах PyTorch и Safetensors. Из-за стохастического предиктора одинаковый текст может давать разные варианты произношения и ритма; для повторяемого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-unr — модель синтеза речи на языке мундарийская (код unr), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на мундарийском языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль, стохастический предиктор длительности и декодер, основанный на HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и safetensors; для работы предусмотрена библиотека Transformers версии 4.33 и новее. Из-за стохастического предиктора одинаковый текст может давать разные варианты произношения и ритма; фиксированный seed позволяет повторить генерацию. Модель обучена отдельно для мундарийского языка. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-xsm — модель синтеза речи на языке касем (Kasem, код xsm), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на касем в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер на основе Transformer, flow-модуль и декодер, подобный HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна для использования через Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на касем, например для голосовых интерфейсов и создания аудиоверсий коротких текстов. Стохастический предиктор длительности позволяет варьировать ритм речи; генерация недетерминирована, поэтому для повторяемого результата нужно фиксировать seed. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование.

facebook/mms-tts-yba — модель синтеза речи на языке яла (Yala), разработанная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на яла в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода в приложениях. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, потоковых преобразований и состязательного обучения. Чекпойнт содержит 3,5 млн параметров и доступен для работы через Transformers версии 4.33 и выше. Для языков проекта MMS обучаются отдельные модели; генерация стохастическая, поэтому для повторения результата требуется фиксированное значение seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценок качества или дополнительных ограничений на входной текст.

Monsoon-Whisper-Medium-GigaSpeech2 — модель автоматического распознавания речи от команды Typhoon, основанная на Whisper Medium и дообученная на GigaSpeech2. Она преобразует тайскую речь в текст и рассчитана на распознавание аудио, в том числе записей с YouTube и речи в шумной обстановке. Модель использует архитектуру Whisper и содержит около 455,8 млн параметров. Для работы требуется Transformers версии 4.38.0 или новее. В карточке приведены оценки WER и CER на наборах GigaSpeech2 и Common Voice 17, но сравнительная таблица представлена не полностью, поэтому по ней нельзя восстановить все результаты. Модель экспериментальная: распознавание может быть неточным, и качество следует оценивать для конкретного применения. Лицензия — Apache 2.0; использование также связано с условиями OpenTyphoon и его уведомлением о конфиденциальности.

Nanite-Labs разработала Earl — англоязычный голос для синтеза речи с диалектом Смоки-Маунтинс, характерным для региона Грейт-Смоки-Маунтинс в Северной Каролине и Теннесси в 1930-х годах. Модель создана дообучением CosyVoice2-0.5B на объединённых записях мужских голосов из публичного архива 1939 года; Earl — обобщённая персона, а не копия конкретного диктора. При генерации используется объединённое голосовое представление, без аудиозаписи отдельного человека. Модель преобразует текст в речь на английском языке. В README для мужского голоса указана доля ошибок распознавания Whisper 1,5% на 68 словах диалектных фраз. Репозиторий содержит форматы ONNX и safetensors; базовая модель CosyVoice2 поддерживает потоковую генерацию и клонирование голоса, однако для этой модели заявлен режим SFT с объединённым голосовым представлением. Лицензия — Apache-2.0. Результат оценки ограничен небольшим набором фраз и не гарантирует аналогичное качество на произвольном тексте. README сообщает, что режим генерации с референсной записью давал неразборчивую речь; поддерживаемым назван режим SFT.

NVIDIA NeMo NanoCodec — нейронный аудиокодек NVIDIA для сжатия и восстановления речи. Эта версия принимает монофонический WAV с частотой 22,05 кГц и возвращает аудио с той же частотой; заявленные параметры кодирования — 1,78 кбит/с и 12,5 кадров/с. Модель содержит 62 млн параметров и использует полностью свёрточную архитектуру: энкодер, квантование FSQ с 13 кодовыми книгами и декодер на основе HiFi-GAN. Кодек предназначен для низкоскоростного сжатия речи и может использоваться как компонент при обучении моделей генерации речи. Он обучен на 28,7 тысячи часов речевых данных на 105 языках. Для этой версии в README указаны коммерческое и некоммерческое использование; метаданные Hugging Face обозначают лицензию как other, поэтому конкретные условия следует сверять с лицензией репозитория. Модель рассчитана на ускорение на NVIDIA GPU, а для работы указан NeMo 2.0.0.

NVIDIA NeMo NanoCodec — нейронный аудиокодек для сжатия и восстановления речи. Эта версия принимает монофонический WAV с частотой 22,05 кГц и формирует аудио той же частоты дискретизации. Модель содержит 62 млн параметров, использует сверточный генератор с энкодером, конечное скалярное квантование (FSQ) и декодер на основе HiFi-GAN, а также три дискриминатора для обучения с состязательными и feature-matching потерями. Вариант рассчитан на частоту кадров 21,5 кадра/с и битрейт 1,89 кбит/с; он подходит для сжатия речи и как компонент при обучении моделей генерации речи. Модель обучалась на 28,7 тыс. часов речи на 105 языках. В карточке рекомендовано использовать её с Magpie TTS для наилучшего качества. Это готовый к коммерческому и некоммерческому использованию чекпойнт NVIDIA; метаданные указывают лицензию «other», поэтому конкретные условия следует сверять с лицензией репозитория. Для работы рекомендуется окружение NeMo 2.0.0 и GPU NVIDIA.

Карточка модели TechnoBaptist/nemo-nano-codec-22khz-1.89kbps-21.5fps на Hugging Face совпадает с карточкой nvidia/nemo-nano-codec-22khz-1.89kbps-21.5fps, поэтому описание составлено по ней. NVIDIA NeMo NanoCodec — нейронный аудиокодек для сжатия и восстановления речи. Эта версия принимает монофонический WAV с частотой 22,05 кГц и формирует аудио той же частоты дискретизации. Модель содержит 62 млн параметров, использует сверточный генератор с энкодером, конечное скалярное квантование (FSQ) и декодер на основе HiFi-GAN, а также три дискриминатора для обучения с состязательными и feature-matching потерями. Вариант рассчитан на частоту кадров 21,5 кадра/с и битрейт 1,89 кбит/с; он подходит для сжатия речи и как компонент при обучении моделей генерации речи. Модель обучалась на 28,7 тыс. часов речи на 105 языках. В карточке рекомендовано использовать её с Magpie TTS для наилучшего качества. Это готовый к коммерческому и некоммерческому использованию чекпойнт NVIDIA; метаданные указывают лицензию «other», поэтому конкретные условия следует сверять с лицензией репозитория. Для работы рекомендуется окружение NeMo 2.0.0 и GPU NVIDIA.

Это дообученный вариант токенизатора речи Qwen3-TTS, созданный автором репозитория takuma104 на базе Qwen/Qwen3-TTS-Tokenizer-12Hz. Он декодирует речевые токены в аудио с частотой дискретизации 48 кГц вместо 24 кГц у исходной модели и может использоваться как сменный декодер в системах Qwen3-TTS без изменения кодировщика или TTS-модели. Модель также поддерживает кодирование аудио в токены и обратное декодирование. Архитектура расширяет декодер одним блоком; добавлено около 95 тысяч параметров, а существующие модули декодера дообучены совместно. Кодировщик принимает аудио, при кодировании снижает его частоту до 24 кГц, а декодер формирует выход с частотой 48 кГц. Обучение проводилось на примерно 1,5 тысячи часов речевых данных с состязательной функцией потерь и дополнительными аудиокритериями. Модель подходит для восстановления речи из токенов Qwen3-TTS и получения аудиовыхода с повышенной частотой дискретизации в совместимом речевом конвейере. Новые слои синтезируют частотную составляющую выше 12 кГц, поэтому точность восстановления тонких высокочастотных деталей может зависеть от записи. Лицензия — Apache-2.0.