I.9Аудио и музыка

Это зеркало модели SuperTonic 3 от Supertone, размещённое YvesStudioSmelt для стабильного доступа к снимку репозитория, который закреплён в приложении Whispall. Модель предназначена для синтеза речи из текста и используется Whispall для локального озвучивания на устройстве в приложении для диктовки и ассистента на macOS. SuperTonic 3 — модель синтеза речи на основе ONNX flow-matching; в репозитории доступен формат ONNX. Зеркало сохраняет конкретную ревизию upstream-репозитория Supertone/supertonic-3. Модель распространяется по лицензии OpenRAIL. В README не приведены сведения о языках, голосах и поддерживаемом контексте.

Rekody/whisper-large-v3-turbo-kalenjin — модель автоматического распознавания речи на языке календжин, созданная дообучением openai/whisper-large-v3-turbo с помощью LoRA и последующим объединением адаптера с базовыми весами. Модель содержит 905,2 млн параметров и доступна в формате safetensors для Transformers. Она преобразует аудио в текст на календжин, с данными обучения для диалектов кипсигис и нанди. Для распознавания при запуске указывают language="sw": в токенизаторе Whisper нет языкового токена календжин, поэтому используется токен суахили, а результат выдаётся на календжин. В README приведена оценка на отложенном наборе из 198 аудиофрагментов; модель превзошла предыдущую лучшую настройку Whisper для календжин в рамках указанной оценки. Модель лучше подходит для начитанной речи, похожей на обучающие данные; спонтанная речь и выраженные акценты распознаются хуже. Диалекты, отличные от кипсигис и нанди, в обучающих данных не представлены, а результаты оценки ещё ожидают проверки носителями языка. Лицензия модели — MIT.

Aynkader разработал Balochi-TTS-Three-Speakers — модель синтеза речи на базе SpeechT5, дообученную для чтения текста на белуджском языке латиницей. Она преобразует текст в речь с одним из трёх голосов: новостного диктора Ayn Káder, мужского голоса Dódá или женского голоса Dódén; для вокодирования используется microsoft/speecht5_hifigan. Модель подходит для озвучивания коротких фраз и абзацев, например новостных текстов. README рекомендует ограничивать вход примерно 100 символами; прямой ввод ожидается латиницей, а арабское письмо поддерживается в веб-демо через преобразование в латиницу. Обучение проводилось на 75 аудиозаписях — по 25 на каждого диктора, поэтому данных для каждого голоса немного. Для первого запуска требуется интернет, чтобы загрузить HiFi-GAN. Лицензия модели — Apache-2.0.

EAT-base Epoch 30 Fine-tuned Checkpoint — аудиомодель семейства Efficient Audio Transformer (EAT), дообученная разработчиками репозитория worstchan на датасете AS-2M поверх worstchan/EAT-base_epoch30_pretrain. Она предназначена для извлечения акустических представлений, которые можно использовать в последующих задачах понимания аудио, включая классификацию звуков и создание описаний аудиозаписей. Модель выдаёт покадровые представления с частотой около 50 Гц и представление всего высказывания на основе CLS-токена. Репозиторий предоставляет веса в формате Safetensors для загрузки через Transformers. Лицензия — MIT. Карточка заявляет улучшение качества аудиопредставлений относительно исходного чекпойнта при решении последующих задач, но не приводит количественных результатов или подробной оценки ограничений.

Gepard Slovenian TTS — модель MediaAtlas для синтеза словенской речи. Это LoRA-дообучение nineninesix/gepard-1.0: авторегрессионной модели на архитектуре Qwen3.5, которая генерирует аудиотокены NVIDIA NanoCodec. В репозитории указано около 555 млн параметров у базовой модели, а метаданные для этой LoRA-модели указывают 445,1 млн параметров. Модель предназначена для озвучивания словенского текста; перед текстом требуется языковой префикс «sl: ». Она обучена на корпусе ARTUR с 80 тысячами записей примерно 1348 дикторов. Выходной звук — 22,05 кГц. Модель корректно произносит словенские č, š и ž, а интонация может слегка меняться в зависимости от содержания и пунктуации. Качество пока не высшего уровня: возможны ошибки произношения, нестабильный темп и зависимость результата от параметров генерации. Лучше всего модель работает с короткими нейтральными фразами; явного управления эмоциями нет. Для использования нужны среда gepard-inference и декодер NeMo NanoCodec. Лицензия — Apache-2.0.

Mimi — нейронный аудиокодек, разработанный Kyutai. Модель содержит 33,6 млн параметров и использует потоковую архитектуру энкодера-декодера с квантованным латентным пространством. Она представляет речь семантическими и акустическими аудиотокенами с частотой 12,5 Гц и битрейтом 1,1 кбит/с. Mimi предназначена для потокового сжатия и восстановления речи, а также для подготовки аудиотокенов при обучении речевых языковых моделей и систем синтеза речи. Модель принимает аудио и извлекает признаки; карточка Hugging Face относит её к задаче feature-extraction. В карточке указано ограничение контекста 8000 токенов. Обучение на речевых данных делает её специализированной для речи, а не универсальным кодеком для всех типов аудио. Модель разработана Kyutai и распространяется по лицензии CC-BY 4.0. В карточке отмечены смещения, связанные с представленностью тем в обучающих данных, и ограничение одним синтезируемым голосом; модель не предназначена для имитации голосов других людей.

facebook/mms-tts-acn — модель синтеза речи на ачангском языке (acn), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка на архитектуре VITS: по входному тексту модель генерирует речевую волну, а стохастический предсказатель длительности позволяет получать разные ритмические варианты произношения. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и Safetensors; для работы поддерживается библиотека Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на ачангском языке. Генерация недетерминирована, поэтому для повторения результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-acr — модель синтеза речи на языке Achi (код acr) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на Achi. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, потоковых преобразований и декодера, сходного с HiFi-GAN. В метаданных указано 3,5 млн параметров; доступны веса PyTorch и safetensors, модель используется через Transformers версии 4.33 и новее. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-apr — модель синтеза речи для языка Arop-Lokep (код apr), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, созданный на архитектуре VITS: модель принимает последовательность текста и генерирует речевую аудиоволну. Размер модели — 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на Arop-Lokep. VITS объединяет вариационный автоэнкодер, потоковый модуль, текстовый энкодер на основе Transformer, стохастический предиктор длительности и декодер HiFi-GAN-подобного типа. Предиктор длительности позволяет варьировать ритм речи; генерация недетерминирована, поэтому для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-btx — модель синтеза речи на языке батак-каро, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на батак-каро в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе условного вариационного автоэнкодера, нормализующих потоков и декодера, построенного по принципу HiFi-GAN. Чекпойнт содержит около 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для повторения результата генерации требуется фиксировать seed, поскольку предсказатель длительности работы модели стохастический. Модель предназначена для озвучивания текста на батак-каро. Для использования доступна библиотека Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-bwu — модель синтеза речи на языке були (bwu), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для були из семейства MMS-TTS, построенный на архитектуре VITS: модель преобразует входной текст непосредственно в речевую волну и использует стохастический предиктор длительности, поэтому один текст может звучать с разным ритмом. Веса содержат около 3,5 млн параметров и доступны в форматах PyTorch и Safetensors; для работы подходит библиотека Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на були, например для голосовых интерфейсов и создания аудиоверсий материалов на этом языке. Чекпойнт обучен отдельно для одного языка и не предназначен для синтеза речи на других языках. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-dik — модель синтеза речи на языке динка (юго-западный вариант), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевой сигнал и предназначена для озвучивания текста и создания голосового вывода в приложениях. Модель доступна через библиотеку Transformers версии 4.33 и новее. Это компактная модель VITS с 3,5 млн параметров: условный вариационный автоэнкодер с текстовым энкодером на основе Transformer, потоковым модулем, декодером HiFi-GAN и стохастическим предсказателем длительности. Отдельный чекпойнт обучен для каждого языка проекта MMS. Стохастический предсказатель делает генерацию недетерминированной, поэтому для воспроизводимого результата требуется фиксированное начальное значение. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-dos — модель синтеза речи на догосе, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке догосе в речевую аудиоволну и предназначена для озвучивания текста и создания речи в приложениях, которым нужна поддержка этого языка. Модель использует архитектуру VITS для сквозного синтеза текста в речь; размер — 3,5 млн параметров. Для каждого языка в MMS обучается отдельный чекпойнт. Модель доступна через Transformers версии 4.33 и новее. Генерация недетерминирована из-за стохастического предсказателя длительности; фиксированный seed позволяет повторить результат. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка описывает поддержку догосе; сведений о других языках для этого чекпойнта нет.

facebook/mms-tts-dug — модель синтеза речи на языке Chiduruma (dug), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS, доступный в Transformers; при генерации стохастический предиктор длительности может создавать разные варианты ритма, поэтому для повторяемого результата нужно фиксировать seed. Модель принимает текст и выдаёт аудио. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но некоммерческое. README не сообщает отдельные ограничения качества или длину контекста.

facebook/mms-tts-gqr — модель синтеза речи на горском языке (Gor, код gqr), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую волну и рассчитана на озвучивание текста на горском языке. Модель использует архитектуру VITS и обучена отдельно для этого языка. Она объединяет вариационный автоэнкодер, flow-модуль и декодер на основе HiFi-GAN; стохастический предиктор длительности позволяет варьировать ритм произношения. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и safetensors; для работы подходит библиотека Transformers версии 4.33 и новее. Генерация недетерминирована: для повторяемого результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

facebook/mms-tts-hig — модель синтеза речи на языке Kamwe (код hig), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Kamwe в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Это отдельный чекпойнт для Kamwe с 3,5 млн параметров; для работы поддерживается библиотека Transformers версии 4.33 и выше. Из-за стохастического предиктора результат может различаться при одинаковом тексте, поэтому для воспроизводимого синтеза нужен фиксированный seed. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-hoc — модель синтеза речи на языке хо, выпущенная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на хо в речевую аудиоволну и предназначена для озвучивания текста и создания речевых приложений для этого языка. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система text-to-speech со стохастическим предсказателем длительности, благодаря которому один и тот же текст может звучать с разным ритмом. Для воспроизводимой генерации требуется фиксированное начальное значение случайного генератора. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель обучена отдельно для языка хо; качество для других языков не заявлено.

facebook/mms-tts-kao — модель синтеза речи на языке Xaasongaxango (kao), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. VITS синтезирует речь сквозным образом: текстовый энкодер и потоковые слои формируют акустическое представление, а декодер создаёт аудиосигнал. Стохастический предиктор длительности позволяет варьировать ритм произнесения, поэтому при одинаковом тексте результат может различаться; фиксированное зерно генератора нужно для воспроизведения того же результата. Модель доступна через Transformers и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-kdc — модель синтеза речи для языка Kutu (kdc), созданная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства VITS: он принимает текст и генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предсказатель длительности и декодер на основе HiFi-GAN; размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на языке Kutu. Стохастический предсказатель позволяет получать разные ритмические варианты речи для одного и того же текста, поэтому при фиксированном seed можно воспроизводить тот же результат. Чекпойнт доступен в PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-lee — модель синтеза речи на языке Lyélé (lee) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на Lyélé. Модель построена на архитектуре VITS и содержит 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; синтез выполняется сквозным способом, а стохастический предсказатель длительности позволяет варьировать ритм речи. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация недетерминирована: для повторения того же результата требуется фиксированное начальное значение генератора случайных чисел.

facebook/mms-tts-mgo — модель синтеза речи Meta из проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для языка mgo; модель принимает текст и генерирует речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, стохастический предиктор длительности и декодер на основе HiFi-GAN. В метаданных указано 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Модель предназначена для озвучивания текста на языке mgo, например для речевых интерфейсов и создания аудиоматериалов. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения, поэтому для воспроизводимого результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-ndj — модель синтеза речи на языке ндамба (Ndamba, код ndj) из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на ндамба в речевую аудиоволну; для языка используется отдельный чекпойнт VITS. Модель построена на архитектуре VITS — сквозной вариационном автоэнкодере с текстовым энкодером, потоковым модулем, декодером, похожим на HiFi-GAN, и стохастическим предсказателем длительности. Размер — 3,5 млн параметров. Случайность предсказателя длительности может приводить к разному звучанию одного текста; фиксированный seed позволяет воспроизводить результат. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-ndy — модель синтеза речи для языка Lutos (ndy), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на этом языке. Для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, нормализующих потоков и декодера, построенного по принципу HiFi-GAN. Предсказатель длительности работает стохастически, поэтому при одинаковом тексте возможны разные ритм и результат; для повторяемой генерации нужен фиксированный seed. В метаданных указаны 3,5 млн параметров и форматы PyTorch и Safetensors. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-ngu — модель синтеза речи на науатле Герреро, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на этом языке в речевую аудиоволну и подходит для озвучивания текстов и создания речевого вывода в приложениях. Модель использует архитектуру VITS — сквозной вариационный автоэнкодер с Transformer-кодировщиком текста, потоковыми слоями и декодером, основанным на HiFi-GAN. Для каждого языка проекта обучена отдельная модель; размер этой модели — 3,5 млн параметров. Она доступна через Transformers версии 4.33 и новее. Генерация зависит от стохастического предсказателя длительности: один и тот же текст может звучать по-разному, а для воспроизводимого результата требуется фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-nij — модель синтеза речи на языке нгаджу (Ngaju, nij), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка с архитектурой VITS: модель принимает текст и генерирует речевую аудиоволну; размер составляет 3,5 млн параметров. Модель доступна через библиотеку Transformers версии 4.33 и выше, веса опубликованы в форматах PyTorch и Safetensors. Модель предназначена для преобразования текста на нгаджу в речь. VITS объединяет кодирование текста, предсказание длительности и декодирование аудио в сквозной архитектуре; стохастический предиктор длительности позволяет получать варианты с разным ритмом. Результат генерации недетерминирован, поэтому для повторяемого аудио нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческого характера.

facebook/mms-tts-pce — модель синтеза речи на языке Палаунг, диалект Ручинг, разработанная в рамках проекта Massively Multilingual Speech компании Facebook. Это отдельный языковой чекпойнт семейства VITS с архитектурой сквозного синтеза: по текстовой последовательности модель формирует речевую волну. В составе VITS используются текстовый энкодер на основе Transformer, flow-модуль, декодер, похожий на HiFi-GAN, и стохастический предсказатель длительности. Размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на языке Палаунг (Ручинг). Стохастический предсказатель позволяет получать варианты ритма для одного текста, поэтому результаты могут различаться между запусками; для повторяемого синтеза требуется фиксировать seed. Модель распространяется в форматах PyTorch и Safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-quf — модель синтеза речи на языке кечуа Ламбаеке (quf), созданная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на языке с ограниченными ресурсами. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковыми слоями и декодером на основе свёрточных слоёв. Вариативный предиктор длительности позволяет получать разные ритмические варианты произношения одного текста; из-за стохастической генерации для повторения результата нужен фиксированный seed. Чекпойнт содержит 3,5 млн параметров и работает с текстом на входе, выдавая аудио. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-qul — модель синтеза речи на северноболивийском кечуа, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: она объединяет текстовый кодировщик на базе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Это сквозная модель объёмом 3,5 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. Генерация недетерминирована, поэтому для повторяемого результата требуется фиксированное начальное значение случайного генератора. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-qvo — модель синтеза речи на языке кичуа Напо (qvo), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер, обученные совместно. Веса представлены в форматах PyTorch и Safetensors; размер модели — 3,5 млн параметров. Для повторяемого результата при генерации требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-qvz — модель синтеза речи на северном пастаса-кечуа (Quichua, Northern Pastaza), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на языке qvz в речевую аудиоволну и предназначена для создания озвучки и других систем синтеза речи на этом языке. Модель использует архитектуру VITS: это сквозная система на основе вариационного автоэнкодера, потоковых слоёв и декодера, напоминающего HiFi-GAN. В карточке указано 3,5 млн параметров. Для каждого языка MMS-TTS обучается отдельный чекпойнт; эта модель рассчитана на qvz. Генерация стохастическая: чтобы получать одинаковую речь при повторных запусках, требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.