I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейfacebook/mms-tts-isl — модель синтеза речи на исландском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на исландском языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS, доступный через библиотеку Transformers. Стохастический предиктор длительности позволяет варьировать ритм речи; для повторяемого результата при генерации нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-kue — модель синтеза речи на куманском языке из проекта Massively Multilingual Speech компании Facebook. Она принимает текст на куманском языке и генерирует речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Модель имеет архитектуру VITS и содержит 3,5 млн параметров, доступна для использования через библиотеку Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, потоковый модуль и декодер, построенный по принципу HiFi-GAN. Стохастический предсказатель длительности позволяет получать разные ритмические варианты речи для одного текста, поэтому результаты генерации недетерминированы; чтобы воспроизводить один и тот же вариант, требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-kyo — модель синтеза речи для языка Klon (kyo), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Klon в речевую аудиоволну; для каждого языка в MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предиктор длительности и декодер волновой формы в стиле HiFi-GAN. Веса содержат около 3,5 млн параметров и доступны в форматах PyTorch и Safetensors. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому генерация недетерминирована; для повторяемого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-mhy — модель синтеза речи на языке мааньян (mhy), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на мааньян в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер HiFi-GAN обучаются совместно для генерации речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; его можно использовать через Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности результат может меняться между запусками; фиксированный seed позволяет воспроизводить одну и ту же аудиоволну. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
facebook/mms-tts-tnp — модель синтеза речи на основе VITS, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на языке Whitesands в речевую аудиоволну; для каждой языковой версии MMS-TTS обучается отдельный чекпойнт. Модель содержит около 3,5 млн параметров и доступна в форматах PyTorch и Safetensors, в том числе через Transformers версии 4.33 и новее. Архитектура VITS объединяет текстовый энкодер на основе Transformer, потоковый модуль, стохастический предиктор длительности и HiFi-GAN-подобный декодер. Предиктор позволяет получать разные ритмические варианты одной и той же фразы, поэтому результат может меняться между генерациями; фиксированный seed позволяет воспроизвести тот же аудиосигнал. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-trc — модель синтеза речи на языке трики, диалект Копала, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, поточный модуль и декодер, формирующий аудиоволну; предсказатель длительности позволяет варьировать ритм речи. В репозитории указаны 3,5 млн параметров, веса представлены в форматах PyTorch и safetensors. Для повторяемой генерации одного и того же аудио требуется фиксированный seed, поскольку предсказатель длительности стохастический. Лицензия CC-BY-NC-4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.
AXERA-TECH/moss-tts-nano — пакет для запуска MOSS-TTS-Nano-100M от команды OpenMOSS на устройстве AX650 с NPU3. Он предназначен для синтеза речи из текста; в README описан сценарий клонирования голоса по встроенному китайскому образцу zh_1.wav. Модель содержит около 100 млн параметров: авторегрессионная языковая модель работает на CPU, а декодер аудиокодека MOSS-Audio-Tokenizer-Nano и опциональные компоненты ускорения используют NPU3. Выход — китайская речь в WAV, 48 кГц, стерео, 16-бит PCM; заявлена поддержка 20 языков исходной модели, включая китайский и английский. Пакет предварительно скомпилирован для AX650 и требует axengine; он не предназначен для прямого запуска на обычной x86-машине. README указывает скорость LLM около 10–13 кадров в секунду и сходство формы сигнала AXMODEL с эталонным FP32-вариантом 0,952±0,019; для более точного результата доступен ONNX Runtime, примерно в 2,6 раза медленнее на CPU платы. Репозиторий содержит PyTorch формат и AXMODEL-компоненты. Лицензия — Apache-2.0; авторство базовой модели указано за OpenMOSS-Team.
Карточка модели ngoctham/neutts-2e на Hugging Face совпадает с карточкой neuphonic/neutts-2e, поэтому описание составлено по ней. NeuTTS-2E — модель синтеза речи, разработанная Neuphonic для локального запуска на устройствах с ограниченными ресурсами. Она преобразует текст на английском языке в речь и позволяет выбирать одну из четырёх фиксированных голосовых персон и одну из шести эмоций либо нейтральную подачу. Модель использует компактную языковую модель для генерации токенов речи и аудиокодек NeuCodec. В README указано около 125 млн активных параметров базовой части и около 236 млн параметров всего; доступны квантованные версии GGUF. Модель оптимизирована для генерации в реальном времени на CPU и для встраиваемых устройств. Все создаваемые аудиофайлы по умолчанию содержат водяной знак Perth. Это ранняя альфа-версия, рассчитанная только на английский язык и фиксированный набор голосов; клонирование голоса не заявлено. Лицензия указана как other, поэтому условия использования следует сверять с файлами лицензии репозитория.
Экспериментальная модель автоматического распознавания речи из проекта Ghanaian Speech Lab. Это дообученная версия Whisper Small с замороженным энкодером, адаптированная на очищенных обучающих примерах GhanaNLP и обучавшаяся с повторным включением данных Waxal. В репозитории указано 15 171 обучающее наблюдение, 1 024 примера проверки Waxal, 326 примеров проверки GhanaNLP и 512 строк регрессионных тестов Waxal; обучение ограничено 1 200 шагами. Модель предназначена для транскрибирования речи на аканском языке и связанных вариантов, включая твийский; карточка также указывает связь с данными GhanaNLP и Waxal. Контроль регрессии на Waxal включён в обучение. Артефакт помечен как экспериментальный и не рекомендован для промышленного применения до прохождения проверок на отложенных данных и прослушивания носителями ганского английского/языка. Архитектура — Whisper Small, около 153,1 млн параметров; модель принимает аудио и выдаёт текст. Лицензия — CC BY-SA 4.0.
Sopro — компактная англоязычная модель преобразования текста в речь, созданная Сэмюэлом Виторину как сайд-проект. Версия в этом репозитории устарела: автор рекомендует перейти на Sopro V2. Архитектура сочетает дилатированные свёртки в стиле WaveNet с лёгкими слоями перекрёстного внимания вместо стандартного Transformer; модель содержит 135 млн параметров. Модель предназначена для синтеза английской речи, в том числе в потоковом режиме, и клонирования голоса по референсной аудиозаписи длительностью 3–12 секунд. В README заявлены скорость около 0,05 RTF на процессоре M3 и потоковая задержка до первого аудио около 250 мс для более новой версии v1.5; эти показатели не следует напрямую считать характеристиками данной старой версии. Доступна по лицензии Apache-2.0. Качество может быть нестабильным; сходство клонированного голоса зависит от качества записи и может ухудшаться для голосов, отличающихся от обучающих данных. Потоковая генерация не полностью совпадает по звучанию с непотоковой. Длительность генерации ограничена примерно 32 секундами, а при превышении модель может галлюцинировать.
Набор файлов GGUF, подготовленных kevinzhow для локального синтеза речи с помощью Style-Bert-VITS2 в связке с myoland.tts и серверами TTS.cpp. Это артефакты конвертации исходных акустических моделей голосов и японской модели JP-BERT в формат GGUF, а не новые обученные модели. Репозиторий включает модели голосов и компонент JP-BERT для японского пути обработки текста; перечисленные примеры голосов основаны на моделях litagin/style_bert_vits2_jvnv, а JP-BERT — на ku-nlp/deberta-v2-large-japanese-char-wwm. Модель предназначена для локального преобразования текста в речь через совместимый GGML frontend и декодер TTS.cpp. Метаданные указывают задачу text-to-speech и японский язык. GGUF упрощает запуск в соответствующей локальной среде, однако для работы требуются совместимый сервер, frontend и подходящие файлы голосов. Лицензия указана как other; README требует соблюдать исходные условия использования моделей и голосов, включая требования атрибуции на страницах источников.
ad019el/tamasheq-99-2 — модель распознавания речи на базе архитектуры wav2vec2 с CTC-декодированием, дообученная разработчиком ad019el. Она принимает аудио и предназначена для преобразования речи в текст. В карточке приведены результаты оценки: loss 1,1325 и WER 0,8412; сведений о наборе данных и подробных сценариях обучения нет. Модель опубликована в формате PyTorch и насчитывает около 402,7 млн параметров. Лицензия и ограничения использования в предоставленных материалах не описаны.
VibeVoice-1.5B-hf — совместимая с Transformers версия модели VibeVoice, разработанной Microsoft; карточку этой версии внес Eric Bezzam. Модель предназначена для синтеза выразительной длинной разговорной речи из текста, например подкастов и диалогов с несколькими участниками. Она использует непрерывные акустические и семантические токенизаторы с частотой 7,5 Гц, языковую модель для понимания текста и хода диалога и diffusion-компонент для генерации акустических деталей. Базовая модель — Qwen2.5 1.5B. Модель может генерировать речь длительностью до 90 минут с участием до четырёх разных голосов, а также поддерживает клонирование голоса по предоставленному аудиообразцу. Она рассчитана на английский и китайский языки. В каждом сгенерированном аудиофайле предусмотрены слышимый дисклеймер и невидимый водяной знак. Лицензия — MIT. Авторы предназначают релиз для исследований и разработки и не рекомендуют применять его в коммерческих или реальных сценариях без дополнительной проверки. Модель синтезирует только речь: она не рассчитана на музыку, фоновые звуки или перекрывающиеся реплики; языки помимо английского и китайского не поддерживаются. Возможны неожиданные, предвзятые или неточные результаты, а клонирование голоса требует явного согласия его владельца.
BricksDisplay/vits-cmn — модель синтеза речи семейства VITS, разработанная на основе архитектуры условного вариационного автокодировщика с состязательным обучением. Она преобразует входной текст в речевую аудиоволну и предназначена для синтеза китайской речи. В карточке указаны обучение на наборе THCHS-30, 44 диктора и 48 часов обучающих аудиозаписей; размер модели — 3,5 млн параметров. Репозиторий содержит форматы ONNX и safetensors и поддерживает запуск через Transformers.js. Лицензия — Apache-2.0. Модель подходит для озвучивания китайского текста и прототипов приложений синтеза речи. Данные карточки описывают один язык и ограниченный объём обучения, поэтому качество для иных языков и сценариев не подтверждено.
Это версия аудиокодека Descript Audio Codec (DAC), подготовленная для запуска на устройстве через LiteRT CompiledModel с использованием GPU. Модель кодирует аудио с частотой 16 кГц в дискретные коды остаточного векторного квантования (RVQ), а декодер восстанавливает аудио из латентного представления; заявлено сжатие 43:1 — 1 секунда аудио превращается в 12 последовательностей по 50 кодов. Репозиторий содержит FP16-модели энкодера и декодера в формате TFLite, а также веса RVQ. Сверточные части выполняются на GPU, квантование и деквантование RVQ — на CPU. По карточке, на Pixel 8a скорость обработки составляет около 0,82 от реального времени, а корреляция реконструкции с PyTorch DAC равна 1,0. Модель предназначена для кодирования и восстановления аудио на устройстве; сведений о поддержке конкретных языков или речи как отдельной задачи нет. Лицензия — MIT.
FocalCodec 50 Hz — речевой аудиокодек с низким битрейтом на основе сетей с фокальной модуляцией. Репозиторий содержит чекпойнт, обученный на LibriTTS 960; модель предназначена для кодирования и восстановления речи, включая сценарии передачи аудио с ограниченной пропускной способностью. Кодек использует одну кодовую книгу и поддерживает частоты дискретизации 16 и 24 кГц. В метаданных указаны PyTorch и формат весов safetensors, а базовой моделью названа microsoft/wavlm-large; лицензия — Apache-2.0. README ссылается на предварительные публикации о FocalCodec и потоковой версии FocalCodec-Stream.
Карточка модели dare43321/hindi-tts-model-7 на Hugging Face совпадает с карточкой dare43321/hindi-tts-model-5, поэтому описание составлено по ней. Модель dare43321/hindi-tts-model-5 — дообученная dare43321 версия kenpath/svara-tts-v1. Это плотная LlamaForCausalLM на 3,3 млрд параметров, представленная в формате safetensors; в метаданных также указана поддержка чата. Базовая модель предназначена для преобразования текста в выразительную речь на 18 индийских языках и индийском английском, однако README не уточняет, какие возможности этой базовой модели сохранены после дообучения и как именно следует задавать текст для синтеза. В метаданных указаны тег text-generation, контекстное окно 131 072 токена и английский язык. Данных о речевых выходах, поддерживаемых языках самой производной модели или качестве синтеза нет, поэтому назначение TTS можно считать вероятным по базовой модели, но не подтверждённым для этого чекпойнта. Лицензия — Apache-2.0.
Карточка модели dare43321/hindi-tts-model-8 на Hugging Face совпадает с карточкой dare43321/hindi-tts-model-5, поэтому описание составлено по ней. Модель dare43321/hindi-tts-model-5 — дообученная dare43321 версия kenpath/svara-tts-v1. Это плотная LlamaForCausalLM на 3,3 млрд параметров, представленная в формате safetensors; в метаданных также указана поддержка чата. Базовая модель предназначена для преобразования текста в выразительную речь на 18 индийских языках и индийском английском, однако README не уточняет, какие возможности этой базовой модели сохранены после дообучения и как именно следует задавать текст для синтеза. В метаданных указаны тег text-generation, контекстное окно 131 072 токена и английский язык. Данных о речевых выходах, поддерживаемых языках самой производной модели или качестве синтеза нет, поэтому назначение TTS можно считать вероятным по базовой модели, но не подтверждённым для этого чекпойнта. Лицензия — Apache-2.0.
facebook/mms-tts-bcc-script_arabic — модель синтеза речи для белуджского языка, южного диалекта, с текстом на арабском письме. Она разработана Meta в рамках проекта Massively Multilingual Speech (MMS), который расширяет речевые технологии на языки с ограниченными ресурсами. Модель предназначена для преобразования текста в речевую волну; отдельный чекпойнт MMS-TTS обучен для каждого языка. В основе лежит компактная архитектура VITS с 3,5 млн параметров: модель объединяет вариационный автоэнкодер, flow-модуль, Transformer-энкодер текста, стохастический предсказатель длительности и декодер волновой формы. Разные варианты длительности могут давать разный ритм речи для одного и того же текста; для воспроизводимого результата требуется фиксированное случайное зерно. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель специализирована на белуджском южном диалекте в арабской письменности; качество для других языков или вариантов письма не заявлено.
facebook/mms-tts-bor — модель синтеза речи на языке бороро из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст на бороро в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль и декодер, похожий на HiFi-GAN; предиктор длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Чекпойнт доступен для использования через Transformers версии 4.33 и выше. Модель обучена специально для одного языка, поэтому её следует применять для синтеза речи на бороро. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-bsc — модель синтеза речи на языке ониан, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на ониан в речевую аудиоволну и предназначена для создания озвучки и речевых интерфейсов на этом языке. Модель использует архитектуру VITS и обучена отдельно для ониан в составе линейки MMS-TTS. VITS объединяет кодирование текста, предсказание длительности и декодирование аудио в сквозной системе; стохастический предиктор длительности позволяет получать варианты ритма, поэтому генерация недетерминирована и для повторения результата нужен фиксированный seed. В репозитории указаны 3,5 млн параметров и форматы PyTorch и Safetensors; модель доступна через Transformers версии 4.33 и выше. Модель рассчитана на синтез речи на ониан и не является универсальной многоязычной моделью: для других языков нужны соответствующие контрольные точки MMS-TTS. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-cax — модель синтеза речи на языке чикитано (cax), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на чикитано в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. Это компактная модель с 3,5 млн параметров; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности генерация недетерминирована: для повторения результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Модель facebook/mms-tts-gof-script_latin — система синтеза речи на языке гофа, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на гофа, записанный латиницей, в речевую аудиоволну и подходит для озвучивания текстов и создания голосовых материалов на этом языке. Модель использует архитектуру VITS и обучена отдельно для гофа. В карточке указано 3,5 млн параметров; модель доступна в Transformers начиная с версии 4.33 и хранится в форматах PyTorch и Safetensors. Лицензия CC-BY-NC-4.0 разрешает использование на условиях Creative Commons «С указанием авторства — Некоммерческое использование». Длительность и ритм синтезированной речи могут меняться между запусками из-за стохастического предиктора длительности; фиксированный seed позволяет повторить результат. Модель предназначена для гофа в латинской письменности, поэтому её не следует считать универсальным синтезатором для других языков.
facebook/mms-tts-heh — модель синтеза речи на языке хехе (Hehe, heh), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Hehe в речевую аудиоволну и предназначена для синтеза речи на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для одного и того же текста стохастический предиктор длительности может создавать варианты с разным ритмом, поэтому результат воспроизводится при фиксированном seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка описывает поддержку Hehe; качество и ограничения синтеза за пределами представленных сведений не оцениваются.
facebook/mms-tts-min — модель синтеза речи на минангкабау от Facebook, часть проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка на архитектуре VITS: модель преобразует входной текст в речевую аудиоволну. Вариативный предсказатель длительности позволяет синтезировать разные ритмы речи для одного текста; поэтому результат может меняться между запусками, а для воспроизводимого аудио требуется фиксированное начальное значение генератора случайных чисел. Модель содержит около 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors. Для работы с ней подходит библиотека Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-ncu — модель синтеза речи на языке чумбурунг (Chumburung, код ncu) из проекта Massively Multilingual Speech (MMS). Модель разработана командой MMS и использует архитектуру VITS: она преобразует последовательность текста непосредственно в речевую аудиоволну. В репозитории опубликован чекпойнт размером 3,5 млн параметров в форматах PyTorch и Safetensors. Модель предназначена для озвучивания текста на чумбурунге. VITS объединяет вариационный автоэнкодер, поточные преобразования, Transformer-энкодер текста и декодер, построенный по принципу HiFi-GAN; стохастический предиктор длительности позволяет получать варианты с разным ритмом. Для повторения того же результата требуется фиксировать seed, поскольку генерация недетерминирована. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 требует указания авторства и не допускает коммерческого использования.
facebook/mms-tts-quc-dialect_east — модель синтеза речи для восточного диалекта языка киче, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на киче в речевую аудиоволну. Модель построена на архитектуре VITS: текстовый энкодер и потоковый модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует звук; стохастический предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Чекпойнт предназначен для озвучивания текста на киче восточного диалекта. Из-за стохастического предсказателя одинаковый текст может звучать по-разному; для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-upv — модель синтеза речи на языке Uripiv-Wala-Rano-Atchin, разработанная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания голосового вывода на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, построенный по принципу HiFi-GAN, работают совместно для генерации речи. Для каждой поддерживаемой языковой разновидности MMS-TTS обучается отдельный чекпойнт; этот чекпойнт предназначен для Uripiv-Wala-Rano-Atchin. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Предсказатель длительности работает стохастически, поэтому одна и та же фраза может звучать по-разному; для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
Карточка модели suryatmodulus/neutts-2e на Hugging Face совпадает с карточкой neuphonic/neutts-2e, поэтому описание составлено по ней. NeuTTS-2E — модель синтеза речи, разработанная Neuphonic для локального запуска на устройствах с ограниченными ресурсами. Она преобразует текст на английском языке в речь и позволяет выбирать одну из четырёх фиксированных голосовых персон и одну из шести эмоций либо нейтральную подачу. Модель использует компактную языковую модель для генерации токенов речи и аудиокодек NeuCodec. В README указано около 125 млн активных параметров базовой части и около 236 млн параметров всего; доступны квантованные версии GGUF. Модель оптимизирована для генерации в реальном времени на CPU и для встраиваемых устройств. Все создаваемые аудиофайлы по умолчанию содержат водяной знак Perth. Это ранняя альфа-версия, рассчитанная только на английский язык и фиксированный набор голосов; клонирование голоса не заявлено. Лицензия указана как other, поэтому условия использования следует сверять с файлами лицензии репозитория.
OmniVoice Hakka Community 1 — контрольная точка OmniVoice, дообученная FormoSpeech на тайваньских диалектах языка хакка. Модель преобразует текст в речь и поддерживает клонирование голоса по образцу аудио с его текстовой расшифровкой, а также настройку голоса по текстовой инструкции. В карточке указано обучение в течение 16 000 шагов и поддержка шести диалектных меток: Sixian, Hailu, Dapu, Raoping, Zhao'an и Southern Sixian. Модель предназначена для синтеза речи на тайваньском хакка, включая озвучивание текста и генерацию речи с заданным голосом. В оценке на диалектах Sixian и Hailu она показала CER 2,03% и 2,44% соответственно; результаты относятся к описанным в карточке тестовым наборам и метрикам. Для использования нужен доступ к закрытому репозиторию Hugging Face. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.