I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейeugenehp/piper — конвертированная для RLX версия голоса Piper en_US-lessac-medium. Репозиторий содержит исходную ONNX-модель, вариант GGUF F16 и разделённые подграфы RLX для синтеза речи из текста. Голос предназначен для озвучивания английского текста с произношением en-US; размер ONNX-файла составляет около 60,3 МиБ, GGUF F16 — около 58,7 МиБ. Для запуска предусмотрен пакет rlx-piper. Модель опубликована по лицензии MIT. README описывает репозиторий как staging-версию и предостерегает от использования этих файлов в качестве основного runtime-пакета RLX.
cstr/piper-voices-GGUF — набор голосовых моделей Piper, преобразованных из исходных голосов rhasspy/piper в формат GGUF F16 для запуска в нативной среде CrispASR. Каждый голос хранится в отдельном файле, который включает карту фонем и голос espeak-ng, поэтому ему не нужны сопутствующие файлы. Это компактные односпикерные модели на архитектуре VITS для синтеза речи: размер отдельного голоса составляет примерно 15–60 МБ, вывод — монофонический звук 22,05 кГц. Набор подходит для мобильного использования и быстрого предварительного прослушивания; заявлена высокая скорость работы на CPU. В репозитории представлены немецкие и английские голоса, в том числе Thorsten и другие голоса с различными вариантами качества. Лицензия зависит от конкретного голоса: набор включает голоса с разрешающими условиями, включая CC0, общественное достояние, CC BY 4.0 и лицензию M-AILABS; для некоторых голосов требуется указание авторства или сохранение уведомления об авторских правах. Метаданные репозитория указывают CC BY 4.0, поэтому перед распространением результата следует сверять условия для выбранного голоса.
Sesame-1B-CSM-merged-16bit — дообученная модель семейства CSM, опубликованная thenextgentechinsider и созданная на основе unsloth/csm-1b. Она преобразует текст в речь и может учитывать аудиоконтекст. Модель содержит 977,3 млн параметров, использует плотную архитектуру CsmForConditionalGeneration и файлы safetensors; размер контекста — 2048 токенов. Модель подходит для синтеза английской речи из текста в сценариях, где важен аудиоконтекст. Обучение выполнялось с использованием Unsloth и библиотеки Hugging Face TRL. Репозиторий распространяется по лицензии Apache-2.0.
shook-medium-amharic-2k — модель распознавания речи на архитектуре Whisper, разработанная b1n1yam. Это плотная модель примерно на 455,8 млн параметров, предназначенная для преобразования аудио в текст. В README указано, что модель обучалась с нуля, а на оценочном наборе получила loss 0,0532 и WER 9,1091; обучающий набор данных не назван. Карточка не описывает языковой охват и сценарии применения подробнее, поэтому подтверждённую поддержку амхарского языка по имеющимся сведениям установить нельзя. Модель доступна в формате safetensors для библиотеки Transformers. Информация о лицензии отсутствует в предоставленных источниках.
Карточка модели SYNAPSEai1/SynapseMusicV12-Turbo-Continuous на Hugging Face совпадает с карточкой ACE-Step/acestep-5Hz-lm-0.6B, поэтому описание составлено по ней. ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.
Transcoda 59M Zero-Shot v1 — компактная модель для распознавания нотной записи на изображениях партитур и её преобразования в символическую нотацию Humdrum `**kern`. Она построена как vision-encoder-decoder с энкодером ConvNeXt V2 Tiny, обученным на ImageNet-22K, и декодером для последовательностей текста. В карточке заявлено 59 млн параметров, тогда как метаданные указывают 30,9 млн; поэтому точный размер по доступным данным определить нельзя. Модель использует библиотеку Transformers и требует загрузки пользовательской архитектуры через `trust_remote_code=True`. Модель предназначена для оптического распознавания музыкальной нотации (OMR): на вход подаётся изображение одной страницы партитуры, на выходе получается транскрипция `**kern`. Обучение проводилось на синтетических изображениях, отрендеренных Verovio; README приводит результаты на синтетическом и реальном польском наборе данных и отмечает заметное ухудшение на исторических сканах. Для декодирования доступны жадный поиск, beam search и грамматически ограниченное декодирование; последнее требует кода проекта. Вход имеет фиксированную геометрию 1485 × 1050 пикселей, многостраничные документы нужно предварительно разбивать на страницы. Лицензия — CC BY 4.0.
Это модель автоматического распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием, дообученная на основе KasuleTrevor/wav2vec2-xls-r-300m-nyn_filtered-yogera-v3. В репозитории указано 402,7 млн параметров и формат safetensors. Название модели указывает на многоязычную фильтрацию для Yogera, однако README не описывает языки и обучающие данные, поэтому языковую поддержку по этим сведениям установить нельзя. Модель предназначена для преобразования речи в текст. В карточке приведены результаты оценки: WER 0,6815 и CER 0,2155; они указывают на заметные ошибки распознавания и требуют осторожности при практическом применении. Условия лицензии в предоставленных данных не приведены.
efwkjn/whisper-ja-760M — японская дообученная версия Whisper, рассчитанная на распознавание речи в общих и аниме-сценариях. Модель содержит около 852 млн параметров и использует архитектуру WhisperForConditionalGeneration; принимает аудио и генерирует текстовую транскрипцию на японском языке. Модель дообучена от Whisper large-v3-turbo с сокращённым словарём токенов. Обучение проводилось на корпусе объёмом около 45 000 часов с аугментациями и настройкой смешивания данных для поддержки длинных записей и временных меток. По описанию автора, модель конкурентоспособна на тестовых наборах, лучше модели на 1,5 млрд параметров на коротких фрагментах, но уступает на длинных; качество распознавания текстов песен не проверено. Для faster-whisper требуется CTranslate2 версии 4.7.1 или новее из-за изменений словаря. В движках с жёстко заданным размером словаря может потребоваться дополнить token embedding. В README предложены инструкции использования openai/whisper-large-v3-turbo. Лицензия в предоставленных данных не указана.
Whisper largeV2 dutch MLS — дообученная модель распознавания речи на базе openai/whisper-large-v2, созданная для транскрибирования нидерландской речи. Она обучалась 4000 шагов на обучающей части набора facebook/multilingual_librispeech Dutch и использует архитектуру WhisperForConditionalGeneration с 905,2 млн параметров. Модель принимает аудио и выдаёт текст; в тесте MLS Dutch указана WER 10,5916, тогда как zero-shot версия базовой модели показала WER 9,3. Модель подходит для транскрибирования нидерландской речи, в том числе записей для оценки на MLS Dutch. Результат тестирования показывает, что это дообучение уступило базовой модели в zero-shot режиме, поэтому для этого набора данных его преимущество не подтверждено. Модель распространяется по лицензии Apache-2.0.
Модель kpriyanshu256/whisper-medium-as-200-32-1e-05-bn — дообученная версия Whisper medium от OpenAI для автоматического распознавания речи. Она содержит 455,8 млн параметров и предназначена для преобразования аудио в текст; при дообучении использован Common Voice 11.0. Карточка приводит результат на оценочной выборке: WER 59,3214 и loss 1,1192. Модель принимает аудио и выдаёт текст. По названию карточки она связана с ассамским языком, однако README не подтверждает языковую область обучения, поэтому это назначение следует считать предположительным. Базовая Whisper medium — мультиязычная модель для распознавания и перевода речи, но для этой производной подтверждена только задача распознавания. Лицензия — Apache-2.0.
Это дообученная версия Whisper Medium, созданная автором репозитория на основе openai/whisper-medium и обученная 500 шагов на испанской версии датасета Common Voice 17.0. Данные были приведены к частоте 16 кГц; текст не проходил дополнительную обработку. Модель предназначена для автоматической расшифровки испанской речи в текст. В README приведены результаты на оценочной выборке: WER 6,159 и WER Ortho 10,8189. Архитектура Whisper содержит 455,8 млн параметров; модель работает с аудиовходом и текстовым выводом. Используется библиотека Transformers, веса представлены в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает ограничения и дополнительные сценарии использования; качество за пределами указанного оценочного набора не установлено.
Ratchet + Whisper Tiny — это конверсия модели openai/whisper-tiny из формата GGML в пользовательский формат Ratchet. Модель разработана на основе Whisper от OpenAI, а конверсию выполнил FL33TW00D-HF. README не содержит подробных сведений о назначении, архитектуре, размере, поддерживаемых языках, модальностях и длине контекста исходной модели. Известно только, что это вариант Whisper Tiny, предназначенный для использования в среде или инструментах, поддерживающих формат Ratchet; конкретные сценарии применения не уточнены. Модель распространяется по лицензии Apache-2.0. Сильной стороной является адаптация модели к формату Ratchet, однако ограничения и требования к аппаратному обеспечению в карточке модели не указаны.
Whisper Tiny GRPO — компактная модель распознавания речи, созданная wrice дообучением openai/whisper-tiny методом GRPO с наградой на основе ошибок слов и символов. Она преобразует аудиозаписи в текст и предназначена для транскрибации речи; обучение проводилось на данных Common Voice для 49 языковых локалей с фиксацией языка по локали аудиоклипа. На отложенной выборке Common Voice после нормализации текста лучшая общая оценка составила WER 0,472 и CER 0,175. Модель использует архитектуру Whisper и формат safetensors; для запуска доступен pipeline Transformers. Репозиторий распространяется по лицензии MIT. Это экспериментальный proof of concept, а не настроенная для промышленного применения система. Результаты на реальных записях зависят от предметной области, акцента, языка и качества аудио; метрики README получены на срезе Common Voice.
Модель chmanoj/xls-r-2B-te — дообученная версия facebook/wav2vec2-xls-r-2b для автоматического распознавания речи на датасете OPENSLR_SLR66 (NA). Архитектура основана на Wav2Vec2ForCTC; репозиторий содержит веса PyTorch и насчитывает 2,8 млрд параметров. Модель преобразует входящее аудио в текст и предназначена для распознавания речи в данных, похожих на обучающую выборку. В README для оценки указаны loss 0,4253 и WER 0,5109; сведений о языках, аудиоформатах и требованиях к использованию в карточке нет. Лицензия — Apache-2.0.
YarnGPT2b — дообученная модель Saheed Azeez для синтеза речи с нигерийским акцентом на английском, йоруба, игбо и хауса. Она основана на HuggingFaceTB/SmolLM2-360M и использует языковую модель для генерации речи; размер составляет 365,7 млн параметров, архитектура — плотная LlamaForCausalLM, формат весов — safetensors. Модель принимает текст и может генерировать аудио; в карточке также заявлено распознавание речи. Модель предназначена для озвучивания текста голосами с нигерийским акцентом, в том числе для новостного чтения. В README приведены идентификаторы голосов для четырёх языков и отмечено, что подсказка голосом улучшает работу и стабильность синтеза. Контекст модели — до 8192 токенов. Совместное обучение синтезу и распознаванию не дало заметного улучшения распознавания, поэтому качество ASR ограничено. Модель опубликована по лицензии Apache-2.0.
FloatinggOnion разработала модель синтеза речи на йоруба на основе Conditional Flow Matching и Diffusion Transformer (DiT). Она преобразует последовательности фонем йоруба в аудиолатенты, а декодер EnCodec 24 кГц восстанавливает из них звуковую волну. Для преобразования обычного текста в фонемы требуется библиотека YorubaG2P; можно также передать идентификаторы фонем напрямую. Архитектура включает 4-слойный текстовый Transformer, 10 блоков DiT с размерностью 512 и 8 головами внимания, а также декодер Meta EnCodec. При генерации метод Эйлера выполняет 24 шага. Модель обучена на данных йоруба и выпущена с лицензией Apache-2.0. Модель подходит для озвучивания текста на йоруба. Её ограничения включают небольшое разнообразие голосов из-за обучения на данных одного диктора, отсутствие явного управления длительностью и просодией, возможные артефакты декодирования и тишину или обрезание слишком коротких и длинных высказываний.
shreyask/bol-tts-marathi — это дообученная модель синтеза речи на основе hexgrad/Kokoro-82M, разработанная для озвучивания текста на маратхи. Она использует архитектуру StyleTTS2 с декодером ISTFTNet, содержит 81,76 млн параметров и генерирует аудио с частотой дискретизации 24 кГц. Доступно 25 голосов, включая голоса, обученные на маратхи, и варианты голосов Kokoro. Модель предназначена для синтеза речи на маратхи, в том числе смешанного текста на маратхи и английском (Minglish). Для латинских английских слов в смешанном тексте README рекомендует предварительную транслитерацию в деванагари перед фонемизацией; доступны клиентская предобработка и таблица примерно из 19 500 соответствий. Модель построена на Kokoro-82M и дообучена с использованием данных AI4Bharat/Rasa, AI4Bharat/IndicVoices-R и SPRINGLab/IndicTTS-Marathi. Модель не подходит для предложений только на английском: декодер может произносить их с акустикой маратхи. Редкие английские заимствования могут не обрабатываться таблицей предобработки. Лицензия модели — Apache-2.0; лицензии и условия использования исходных датасетов различаются.
DiCoW v3.3 — модель распознавания речи целевого говорящего, разработанная командой BUT Speech@FIT. Она выделяет и транскрибирует речь выбранного человека в аудиозаписи с несколькими говорящими, используя результаты диаризации. Модель дообучена на базе Whisper large-v3-turbo и содержит около 905,2 млн параметров; для работы принимает 30-секундное аудио и четырёхканальную маску STNO. Поддерживает многоязычное распознавание речи. В версии 3.3 применяются послойные преобразования FDDT перед позиционными эмбеддингами, а обучение с шумовой инъекцией STNO и SpecAugment повышает устойчивость к неточной диаризации. Модель предназначена для транскрибирования выбранного участника встреч и смешанных записей с перекрывающейся речью. Репозиторий содержит веса в формате Safetensors и рассчитан на использование с Transformers; лицензия — CC BY 4.0. Качество результата зависит от точности диаризации и маски STNO. При перекрытии более двух говорящих модель может испытывать трудности с выделением целевого голоса.
Dolphin CN-Dialect Small — модель автоматического распознавания речи от DataoceanAI, переупакованная проектом OpenASR в формат .oasr. Она предназначена для преобразования китайской речи в текст, особенно региональных вариантов китайского языка и речи с выраженным акцентом. Модель ориентирована на сценарии локальной транскрипции на CPU и GPU без Python во время инференса, включая работу с диалектной речью и смешанной речью с китайским языком. Модель построена по рецепту Dolphin и WeNet: использует энкодер E-Branchformer, Transformer-декодер и совместную objective CTC и attention с последующим attention rescoring. Это компактный checkpoint small.cn с посимвольным китайским словарём. Поддерживаются 22 китайских диалекта, включая сычуаньский, уский, кантонский, миньнаньский и шанхайский; заявлена также сохранённая эффективность для стандартного мандаринского языка. Доступны сборки fp16, q8_0 и q4_k размером примерно от 298 МБ до 860 МБ; fp16 рекомендована для максимального соответствия исходным результатам, а q4_k уменьшает размер ценой некоторого ухудшения CER. Контекстная длина и точные абсолютные метрики качества в карточке не указаны. Ограничением является отсутствие пунктуации: модель выдаёт обычный непунктуированный текст, поскольку обучающий корпус не содержал знаков препинания. Лицензия Apache-2.0 унаследована от исходной модели DataoceanAI1/dolphi-cn-dialect-small; OpenASR выполняет только конвертацию формата и квантование.
KaniTTS Korean — модель синтеза речи, разработанная авторами проекта KaniTTS. Она преобразует корейский текст в аудио и предназначена для разговорных помощников, чат-ботов, экранных дикторов и приложений для изучения языка. Модель построена на LFM2 и использует двухэтапную схему: языковая модель генерирует сжатые аудиотокены, затем нейрокодек синтезирует звуковую волну. В репозитории указано 460 млн параметров, контекст — 128 000 токенов, частота аудио — 22 кГц; метаданные указывают корейский язык. В тестах авторов на GPU RTX 5090 скорость составляла около пяти раз быстрее реального времени. Модель дообучена на nineninesix/kani-tts-400m-0.3-pt. README сообщает о лицензии Apache 2.0, тогда как метаданные Hugging Face обозначают лицензию как other, поэтому лицензионные условия следует сверить с файлами репозитория перед использованием. По данным README, качество снижается на входах длиннее 15 секунд, выразительность ограничена без дополнительной настройки, а просодия и произношение могут отражать смещения обучающих данных.
Kani-TTS-400M-UR — модель синтеза речи на урду, разработанная на основе Kani-TTS и дообученная на речевом наборе данных mahwizzzz/UAT. Она преобразует текст на урду в речь; карточка заявляет естественное, выразительное звучание. Модель использует плотную архитектуру LFM2 с причинной языковой моделью Lfm2ForCausalLM, содержит 460 млн параметров и имеет контекстное окно 128 000 токенов. Модель предназначена для озвучивания текста на урду и создания синтезированной речи. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. README не приводит оценок качества или дополнительных подробностей о голосах и настройках синтеза.
Luigi/matcha-zh-tw-en-8k-gguf — конверсия Matcha-TTS в формате GGUF для запуска через RapidSpeech.cpp. В комплект входят акустическая модель на основе CFM и вокодер Vocos; веса и токены совпадают с Luigi/matcha-zh-tw-en-8k. Размер файла составляет около 105 МБ, частота дискретизации — 8 кГц. Конверсия проверена сравнением тензоров с исходной ONNX-моделью. Модель синтезирует речь на тайваньском мандаринском и английском. Она рассчитана на CPU и ggml-CUDA, включая маломощные устройства вроде Jetson Nano; текстовый фронтенд, преобразующий текст в фонемы, предоставляется отдельно. Модель распространяется по лицензии Apache-2.0.
facebook/mms-tts-azb — модель синтеза речи на южноазербайджанском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS, обученный для одного языка; в Transformers он поддерживается начиная с версии 4.33. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного текста, поэтому результаты могут различаться между запусками; фиксированное случайное зерно позволяет воспроизводить тот же результат. Модель можно применять для озвучивания текстового контента и создания речевого вывода на южноазербайджанском. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не коммерческое применение.
facebook/mms-tts-dhi — модель синтеза речи на языке дхимал, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на дхимал. Модель построена на архитектуре VITS: сочетает вариационный автоэнкодер, потоковый модуль, предсказывающий акустические признаки, и декодер на основе свёрточных слоёв; предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS для дхимал, доступный через Transformers версии 4.33 и выше. Генерация недетерминирована: для повторяемого результата нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-dsh — модель синтеза речи на языке даасанах, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал; отдельный чекпойнт VITS обучен для этого языка. В метаданных указано 3,5 млн параметров, архитектура VITS, веса доступны в форматах PyTorch и Safetensors. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль и декодер на основе свёрточных слоёв; стохастический предсказатель длительности позволяет варьировать ритм речи. Модель предназначена для озвучивания текста на даасанах и доступна через Transformers версии 4.33 и новее. Из-за стохастического предсказателя повторная генерация может давать разные результаты; фиксированный seed нужен для воспроизводимого аудио. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-fij — модель синтеза речи на фиджийском языке из проекта Massively Multilingual Speech, разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на фиджийском. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; модель работает с текстом на входе и генерирует аудио. Вариативный предсказатель длительности позволяет синтезировать разные ритмы речи, поэтому результат может меняться между запусками; для повторяемого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее и распространяется по лицензии CC BY-NC 4.0.
facebook/mms-tts-hnn — модель синтеза речи на языке хануну, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и рассчитана на озвучивание текстов на хануну. Модель основана на архитектуре VITS — сквозном вариационном автоэнкодере с Transformer-энкодером текста, flow-модулем, декодером типа HiFi-GAN и стохастическим предсказателем длительности. Веса представлены в форматах PyTorch и Safetensors; число параметров — около 3,5 млн. Для одинакового результата при повторной генерации требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-kdh — модель синтеза речи на языке тем, разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на тем в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный контрольный пункт для одного языка из семейства MMS-TTS; использовать его можно через библиотеку Transformers версии 4.33 и новее. Генерация речи стохастическая: для повторения того же результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Описание не приводит оценок качества или подробностей о голосе и охвате диалектов.
facebook/mms-tts-krc — модель синтеза речи на карачаево-балкарском языке из проекта Massively Multilingual Speech компании Meta. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка в проекте обучен отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер, вариационный автоэнкодер, поточный модуль и декодер, основанный на HiFi-GAN. Размер — 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Генерация недетерминирована: для повторения результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства и ограничивает коммерческое применение.
facebook/mms-tts-kum — модель синтеза речи на кумыкском языке из проекта Massively Multilingual Speech, разработанного Facebook. Это отдельный чекпойнт VITS, обученный для одного языка; архитектура объединяет вариационный автоэнкодер, Transformer-энкодер текста, потоковый модуль, стохастический предсказатель длительности и декодер волновой формы, построенный по принципу HiFi-GAN. Модель принимает текст и генерирует речь; из-за стохастического предсказания длительности результат может меняться между запусками, а для воспроизводимого синтеза нужен фиксированный seed. Чекпойнт предназначен для преобразования кумыкского текста в речь и доступен через библиотеку Transformers версии 4.33 и новее. В репозитории указано 3,5 млн параметров; веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерческое.