I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейvldsavelyev/guitar_tab_gpt2_bass — модель генерации текста на архитектуре GPT-2, обученная на датасете guitar_tab с табулатурами в формате alphaTex, отфильтрованными до партий для четырёхструнной бас-гитары. Она предназначена для генерации басовых табулатур, продолжения музыкальных фрагментов и создания черновых басовых партий по текстовому контексту. Репозиторий содержит веса PyTorch; контекст модели составляет 1024 токена. В метаданных указана дата публикации 2 апреля 2023 года. Лицензия и размер модели в доступных данных не приведены.
Kızagan-TTS-v1.0 — турецкая модель синтеза речи, выпущенная Alican Kiraz на основе VoxCPM2 от OpenBMB. Она преобразует текст в монофоническую речь с частотой 48 кГц; при генерации можно передать аудиозапись-образец, чтобы обусловить голос. Для нескольких фраз README рекомендует подавать отдельные предложения строками и повторно использовать одну и ту же запись-образец. Модель дообучена на закрытом односпикерном турецком корпусе TR-Voice-TTS. Выпуск v1.0 содержит объединённый чекпойнт Step 1500; повторное дообучение при подготовке релиза не проводилось. Карточка приводит ограниченные результаты прослушивания для голоса диктора обучающего корпуса, но они не подтверждают сходство голоса для незнакомых дикторов, акцентов или языков. Указанная лицензия — Apache-2.0.
kokoro-inno-clone-tuner — дообученная модель remsky для настройки голосов Kokoro-82M по короткому аудиофрагменту. Она извлекает голосовые характеристики из записи и формирует совместимый с Kokoro голосовой пакет; синтез речи выполняет базовая модель Kokoro через совместимый с ней конвейер. Модель использует энкодер говорящего WeSpeaker ResNet34 и компоненты для подстройки тембра и просодии. Размер весов составляет около 24 МБ в FP16; для работы используется файл safetensors. Модель предназначена для клонирования голоса с нуля по образцу и синтеза английской речи новым текстом с похожими тембром, высотой и темпом. Для образца требуется чистая запись одного говорящего длительностью от 3 до 30 секунд. По данным карточки, настройка выполняется примерно за 0,05 секунды обработки на секунду аудио на CPU после загрузки модели. Модель обучена преимущественно на английских данных. Сходство тембра и просодии ограничено диапазоном голосов и просодических характеристик базовых голосовых пакетов Kokoro; тембр может частично отличаться ради качества и стабильности звука. Лицензия — Apache-2.0.
Это модель выделения целевого говорящего из смешанной аудиозаписи, созданная wyz на базе рецепта LibriMix для ESPnet. Она принимает аудио с несколькими говорящими и предназначена для извлечения речи выбранного говорящего; имя эксперимента указывает на SpeakerBeam с обучением по целевому эмбеддингу говорящего и частотой дискретизации 16 кГц. В карточке приведены результаты на тестовом и проверочном наборах LibriMix 2mix clean, включая SI-SNR около 12,66 дБ и ESTOI около 83. Это специализированный экспериментальный чекпойнт с оценками для конкретного сценария смешения двух источников; данные не описывают качество на других наборах, частотах дискретизации или в реальных акустических условиях. Репозиторий упакован для ESPnet и использует формат PyTorch. Сведения о лицензии в предоставленных источниках отсутствуют.
MioCodec-25Hz-24kHz — лёгкий нейронный аудиокодек от Aratako для компактного представления и восстановления речи, предназначенный для spoken language modeling. Модель использует архитектуру на основе реализации Kanade-Tokenizer и включает декодер iSTFTHead, который синтезирует waveform напрямую, без внешнего вокодера. Размер модели — 132 млн параметров; частота дискретных токенов — 25 Гц, словарь содержит 12 800 токенов, частота дискретизации выходного аудио — 24 кГц, заявленный битрейт — 341 бит/с. Кодек разделяет речь на дискретные токены содержания, передающие фонетическую и языковую информацию, и глобальный вектор акустических характеристик, отражающий голос говорящего и особенности записи. Это подходит для реконструкции речи и преобразования голоса: при zero-shot voice conversion можно сочетать токены содержания исходной записи с глобальным вектором голоса-образца. В обучении использовались WavLM-base+ и наборы данных для речи; README подробно описывает преимущественно японские и английские обучающие данные. Метаданные также указывают поддержку английского, японского, нидерландского, французского, немецкого, итальянского, польского, португальского, испанского, корейского и китайского языков. Модель опубликована под лицензией MIT. Заявлены низкий битрейт, быстрое выполнение и восстановление речи с высокой точностью, однако README не приводит количественных результатов оценки качества. Это аудиокодек, а не универсальная модель для генерации речи по тексту; русскоязычная поддержка не заявлена.
Tree-AI-lab/mms-tts-bau-finetuned — модель синтеза речи, полученная дообучением facebook/mms-tts-aka на голосе JH из поднабора bau_tts набора Google WaxalNLP. Она преобразует текст на бауле в речь; модель построена на архитектуре VITS и содержит 3,6 млн параметров. Для токенизации используется Tree-AI-lab/mms-tts-bau-tokenizer, выходное аудио рассчитано на частоту 16 кГц. Качество синтеза не оценивалось формально; при подготовке использовались аудиоклипы длительностью 1–30 секунд и последовательности до 500 токенов. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-gde — модель синтеза речи на языке гуде (Gude, код gde), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт MMS-TTS обучен для каждого языка проекта. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль, стохастический предиктор длительности и декодер формы сигнала в стиле HiFi-GAN. В метаданных указаны 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Чекпойнт предназначен для озвучивания текста на гуде. Стохастический предиктор длительности может давать разные ритмы произношения при одинаковом вводе, поэтому для повторяемого результата требуется фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-tdj — модель синтеза речи на языке таджио (Tajio, tdj), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS на архитектуре VITS: модель принимает текст и генерирует речевую аудиоволну. VITS объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста и декодер, построенный по принципу HiFi-GAN; стохастический предсказатель длительности позволяет получать варианты с разным ритмом. Модель предназначена для озвучивания текста на таджио. Она доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторения того же аудио нужно фиксировать seed. Чекпойнт содержит 3,5 млн параметров и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-tur — модель синтеза речи на турецком языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует текстовую последовательность в речевую аудиоволну и предназначена для озвучивания турецких текстов. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт проекта MMS-TTS; модель доступна через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может меняться между запусками; для воспроизводимого аудио требуется фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение. Карточка описывает синтез турецкой речи; иных языков или возможностей не заявлено.
Tilas представил NeuTTS Air — дообученную версию neuphonic/neutts-air для синтеза речи на марокканском диалекте арабского языка (дариже). Модель содержит 552,8 млн параметров, использует архитектуру Qwen2 и выдаёт речевые токены NeuCodec; для преобразования их в аудио нужен декодер neuphonic/neucodec. Контекст модели — 32 768 токенов. Модель предназначена для генерации дариджской речи по тексту. Обучение выполнено на токенах из Tilas/MoulSot-Tokens-v1, полученных из корпуса MoulSot с примерно 101,9 часами транскрибированной речи. При инференсе необходимо использовать тот же фонемизатор на основе espeak-ng, что применялся при обучении. Качество произношения ограничено тем, что espeak-ng использует фонологические правила современного литературного арабского, а не специализированную фонемизацию дариджи; французские заимствования могут звучать с английским оттенком. Транскрипты автоматически созданы Gemini-2.5-Pro и не проверены людьми, а исходные записи с YouTube различаются по акустическим условиям. Модель распространяется по лицензии Apache-2.0.
NeuTTS Nano Spanish — модель синтеза речи от Neuphonic, предназначенная для локального запуска на CPU и устройствах с ограниченными ресурсами. Она преобразует испанский текст в речь, используя короткий аудиозаписанный образец голоса и его текстовую расшифровку для клонирования голоса и генерации речи в похожем стиле. Модель использует компактную языковую основу класса Nano для генерации TTS-токенов и аудиокодек NeuCodec с одним кодбуком. В README указано около 116,8 млн активных параметров основы и около 228,7 млн параметров с учётом связанных эмбеддингов и выходного слоя; заявлена оптимизация для синтеза в реальном времени или быстрее на CPU. Репозиторий содержит веса safetensors, а README также упоминает варианты квантования GGUF. Выходы снабжаются водяными знаками. Модель рассчитана на испанский язык, локальных голосовых помощников, встраиваемые устройства и сценарии, где текст и аудио должны оставаться на устройстве. Для работы требуются зависимости NeuTTS и espeak-ng; для GGUF нужен llama-cpp-python. Карточка указывает лицензию other, но конкретные условия лицензии в предоставленных данных не раскрыты. Качество клонирования зависит от чистоты и характеристик образца: рекомендуются монофонические WAV-записи длительностью 3–15 секунд с естественной непрерывной речью.
Репозиторий tranhuyluyen/piper-voices-thai содержит две тайские модели синтеза речи, женский и мужской голоса, преобразованные из дообученных моделей MMS-TTS в формат Piper. Обе используют архитектуру VITS и поставляются в ONNX вместе с конфигурациями Piper; частота дискретизации — 22,05 кГц. Их можно загружать через piper-tts для синтеза тайской речи из текста. Модели предназначены для локального синтеза речи, например озвучивания коротких сообщений и создания аудиофайлов тайской речи. Текст обрабатывается посимвольно без фонемизации; алфавит модели включает 71 тайский символ. Лицензия репозитория — CC BY-NC 4.0. Известное ограничение: словарь содержит только цифры 0, 1, 2 и 4, поэтому остальные цифры пропускаются; перед синтезом числа следует записывать словами.
Это исследовательский чекпойнт Qwen3 плотной авторегрессионной архитектуры с 1,7 млрд параметров, разработанный dsinghvi; он использует общий токенизатор для текста и аудиотокенов. Модель предназначена для генерации текста и речевых сценариев: синтеза речи из текста, распознавания речи, продолжения текстовой или речевой последовательности и преобразования речи в речь. Аудиокодирование и декодирование выполняется SNAC 24 кГц; для синтеза можно использовать аудио-пример для голосового кондиционирования. Карточка описывает итерацию обучения 23 447 и отмечает, что синтез речи дал слышимые результаты в тестах проекта. Распознавание речи и межмодальное продолжение пока экспериментальны: результаты могут быть низкого качества, повторяться или отсутствовать. Чекпойнт не включает аудиофайлы; входное или референсное аудио нужно предоставить отдельно. Лицензия — Apache-2.0.
TADA-1B — модель синтеза речи и генерации текста с речью, разработанная HumeAI на базе Llama 3.2 1B. Она объединяет текст и акустические представления в синхронизированный поток с соответствием 1:1 между текстовыми токенами и речевыми векторами. Архитектура авторегрессионная; модель содержит 1,2 млрд параметров и имеет контекст длиной 131 072 токена. Модель предназначена для преобразования текста в речь, продолжения речи и совместной генерации текста и аудио. При синтезе каждый шаг обрабатывает один текстовый токен, а длительность речевого фрагмента определяется динамически. В README заявлены выразительная, естественная речь, снижение вычислительных затрат по сравнению с обработкой аудио фиксированной частоты кадров и уменьшение галлюцинаций в транскрипте. Указан общий энкодер HumeAI/tada-codec для моделей семейства. Карточка сообщает об английском языке; данные не подтверждают поддержку других языков. Модель распространяется по лицензии Llama 3.2. Для её использования могут потребоваться совместимый код и энкодер TADA, а заявленные качества и эффективность в доступной карточке не сопровождаются подробностями оценки.
FranckyB публикует VibeVoice-1.5B — модель синтеза речи на базе архитектуры VibeVoice. Она преобразует текст диалогов в выразительную разговорную речь, в том числе для подкастов и длинных многоязычных по составу диалогов. В README указана базовая модель Qwen2.5 1.5B; архитектура сочетает LLM, которая учитывает контекст и ход диалога, и диффузионную голову для генерации акустических деталей. Модель использует акустический и семантический непрерывные токенизаторы с частотой 7,5 Гц. Модель рассчитана на контекст до 64 тысяч токенов, генерацию аудио длительностью до примерно 90 минут и диалоги с участием до четырёх говорящих. Поддерживаются английский и китайский языки. Репозиторий содержит веса Safetensors, библиотека — Transformers; лицензия — MIT. Карточка позиционирует модель для исследований и разработки и не рекомендует применять её в коммерческих или реальных сценариях без дополнительной проверки. Она создаёт только речь, не генерирует фоновый звук или музыку, не поддерживает перекрывающуюся речь, а тексты на других языках могут давать непредсказуемый результат. Возможны смещения и ошибки; в сгенерированное аудио встроены слышимый дисклеймер и водяной знак.
VibeVoice-1.5B-hf — совместимая с Transformers версия модели VibeVoice, разработанной Microsoft; эту версию внёс Eric Bezzam. Модель предназначена для синтеза выразительной длинной речи по тексту, включая диалоги и подкасты с несколькими собеседниками. В архитектуре сочетаются языковая модель и диффузионная голова; акустический и семантический токенизаторы работают с частотой 7,5 Гц. Модель может генерировать аудио длительностью до 90 минут и поддерживает до четырёх голосов. Модель принимает текст и может использовать референсное аудио для клонирования голоса. По данным карточки, она обучена на английских и китайских данных; поддержка других языков не заявлена. В сгенерированное аудио автоматически добавляются слышимое уведомление об ИИ и незаметная водяная метка. Карточка ограничивает предполагаемое применение исследованиями и разработкой и не рекомендует коммерческое или реальное применение без дополнительной проверки. Модель не предназначена для фоновой музыки и звуковых эффектов, не моделирует перекрывающуюся речь; качество и точность текста могут быть непредсказуемыми. Клонировать голос реального человека следует только при наличии явного записанного согласия. Лицензия — MIT.
VibeVoice-7B-hf — совместимая с Transformers версия модели VibeVoice, разработанной Microsoft и опубликованной в Hugging Face пользователем Eric Bezzam. Она предназначена для синтеза выразительной длинной разговорной речи по тексту: например, подкастов с несколькими участниками. Модель поддерживает генерацию аудио длительностью до 45 минут и до четырёх голосов, а также клонирование голоса по предоставленному аудиопримеру. Архитектура сочетает LLM для понимания текста и хода диалога с диффузионной головой для генерации акустических деталей. Акустический и семантический токенизаторы работают с частотой 7,5 Гц. В качестве базовой модели используется Qwen2.5 7B. Карточка заявляет поддержку английского и китайского языков; README описывает синтез речи и диалогового аудио, но не генерацию музыки и фоновых звуков. Модель распространяется по лицензии MIT, однако разработчики рекомендуют использовать её для исследований и разработки и не рекомендуют применение в коммерческих или реальных сценариях без дополнительного тестирования. Возможны неточности и смещения; речь на других языках не поддерживается, перекрывающаяся речь явно не моделируется. README сообщает о встроенном слышимом предупреждении и незаметной водяной метке в сгенерированном аудио.
VieNeu-TTS-0.3B — модель преобразования текста в речь для вьетнамского языка, разработанная Phạm Nguyễn Ngọc Bảo. Модель предназначена для локального и встроенного использования, включая синтез речи, голосовые интерфейсы, чат-боты в реальном времени и чтение текста. Модель имеет размер 0,3 млрд параметров и оптимизирована для высокой скорости работы на устройствах. По заявлению автора, она обеспечивает примерно вдвое более быструю инференцию по сравнению с версией 0,5B при сохранении высокого качества речи. Поддерживается мгновенное клонирование голоса по 3–5 секундам референсной аудиозаписи, а также готовые предустановленные голоса. Доступны варианты в форматах PyTorch и GGUF с квантованием Q4 и Q8. Архитектура, максимальная длина контекста и точные требования к ресурсам в README не указаны. Сильными сторонами модели являются специализация на вьетнамской речи, возможность работы на устройстве, высокая скорость и zero-shot клонирование голоса. Ограничение — заявленная языковая поддержка охватывает только вьетнамский язык, а качество клонирования и синтеза может зависеть от референсной записи и используемой конфигурации. Модель распространяется по лицензии Apache-2.0.
Vi-F5-TTS — модель синтеза речи из текста для вьетнамского языка, созданная на основе F5-TTS и дообученная на датасете vin100h-preprocessed-v2. Она предназначена для преобразования вьетнамского текста в речь; README содержит инструкции по загрузке чекпойнта и раздел с кодом инференса. Модель опубликована в формате PyTorch под лицензией MIT. Подробные сведения об архитектуре, размере модели, контексте и характеристиках сгенерированного голоса в доступных материалах не приведены.
VoxCPM2-Yoruba — экспериментальная модель синтеза речи от LyngualLabs, полученная полным дообучением openbmb/VoxCPM2. Она преобразует текст на йоруба и смешанный текст на йоруба и английском в речь; поддерживает клонирование голоса по короткому аудиофрагменту с расшифровкой и создание голоса по текстовому описанию. В основе лежит VoxCPM2 с 2 млрд параметров; обучение проведено на примерно 102 часах многоязычных и спонтанных записей с частотой 16 кГц. Модель предназначена для синтеза речи на йоруба, в том числе с переключением на английский. Это ранняя экспериментальная версия: возможны ошибки произношения и тонов, артефакты и ухудшение качества на длинных текстах и текстах с большим количеством чисел. При обучении на нескольких голосах для стабильного воспроизведения конкретного голоса рекомендуется передавать эталонную запись; дообучение также снизило способность базовой модели работать с другими языками. Лицензия — Apache-2.0.
speech31/wav2vec2-large-english-phoneme-v2 — модель распознавания речи на базе архитектуры Wav2Vec2, разработанная путём дообучения facebook/wav2vec2-large. Она использует CTC-архитектуру и содержит 402,7 млн параметров. Модель предназначена для преобразования входящего аудио в текстовую последовательность; название указывает на английскую фонемную версию, но карточка не уточняет точный формат вывода и обучающие данные. В README приведены результаты оценки: loss 0,4069 и CER 0,0900. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. README не описывает условия применения и ограничения; указанные метрики относятся только к упомянутому набору оценки, который в карточке не назван.
yuriyvnv/whisper-small-mixed-pt — модель автоматического распознавания речи, созданная Yuriy VNV дообучением openai/whisper-small. Она принимает аудио и выдаёт текстовую транскрипцию на португальском языке. Модель содержит 153,1 млн параметров и построена на архитектуре Whisper; для обучения использовались португальские данные Common Voice 17.0 и синтетические аудиозаписи с фильтрацией WAVe. Модель предназначена для транскрибирования португальской речи и экспериментов с влиянием синтетических данных на качество распознавания. В README указаны WER 14,08% на тестовой части Common Voice и 30,54% на MLS; результат на Common Voice немного хуже CV-only базовой модели с WER 13,87%. Поэтому для рабочих систем, где важна точность, автор рекомендует рассмотреть другие варианты Whisper. Модель распространяется по лицензии Apache-2.0. Она оптимизирована для общего португальского языка; качество на других языках, акцентах и предметных областях из приведённых данных не следует.
hf-audio/xcodec-hubert-general — модель семейства X-Codec для извлечения признаков из общего аудио. Карточка относит её к кодекам X-Codec и показывает применение на нескольких полосах пропускания от 0,5 до 4 кбит/с. Модель основана на дообученной ZhenYe234/hubert_base_general_audio и использует архитектуру XcodecModel; веса опубликованы в формате safetensors для Transformers. Модель предназначена для извлечения аудиопризнаков и кодирования аудио в сценариях, где важны разные уровни битрейта. В README приведены примеры аудиосэмплов на нескольких битрейтах, но подробности о входном формате, языках, длине контекста и качестве не сообщаются. Репозиторий распространяется по лицензии MIT.
Chatterbox Flash CoreML — скомпилированный экспорт модели ResembleAI/chatterbox-flash для сред Apple на базе Core ML. Экспорт подготовлен в виде статических графов .mlmodelc и предназначен для локального синтеза речи и клонирования голоса в приложениях для iOS, macOS и устройств Apple Silicon. Модель преобразует текст в речь с использованием T3 block-diffusion token generator и аудиокомпонента S3Gen. Она поддерживает zero-shot voice cloning и conditioning по эталонной речи, а также синтез на английском языке. Общий размер составляет около 798,4 млн параметров: 532,4 млн у T3 и 266 млн у S3Gen. Используется точность fp16; выходной сигнал — аудио с частотой 24 кГц. Графы имеют статические ограничения: длина текста до 256 токенов, максимальная последовательность T3 1024, длина токенов аудио 192 и длина mel-представления 384. Сильная сторона модели — адаптация Chatterbox Flash к локальному выполнению через Core ML и подтверждённое соответствие исходным PyTorch-графам в тестах, включая успешный smoke-тест синтеза. Однако это не готовый конвейер «ref.wav → cloned wav»: приложение должно самостоятельно реализовать токенизацию, нормализацию текста, циклы denoising и sampling, подготовку эталонных аудиопризнаков, оркестрацию графов, обработку padding и два шага meanflow. Для CPU_ONLY в локальном тестировании была отмечена ошибка выполнения T3; рекомендуется использовать режимы ALL, CPU_AND_NE или скомпилированный runtime на устройстве. Артефакт распространяется по лицензии MIT.
elijahross/csm-german — модель генерации аудио из текста на архитектуре CSM, опубликованная под именем elijahross. Модель обучена с нуля на неизвестном наборе данных; в карточке не приведены дополнительные сведения о разработчике, обучении или назначении. Репозиторий содержит веса в формате Safetensors, модель рассчитана на использование через Transformers и насчитывает около 977 млн параметров; длина контекста — 2048 токенов. Модель предназначена для преобразования текстового ввода в аудио. По названию можно предположить связь с немецким языком, однако README не подтверждает, что именно немецкая речь или текст были целевыми данными. Качество синтеза, поддерживаемые голоса и языки, а также ограничения применения в карточке не описаны. Лицензия в предоставленных данных не указана.
F5-TTS-Vietnamese-ViVoice — компактная дообученная версия F5-TTS, созданная автором репозитория на основе F5-TTS_Base для синтеза вьетнамской речи. Модель обучена на 1000 часах аудиоданных из Vi-Voice и наборов VLSP 2021, 2022 и 2023; при подготовке данных отфильтровывали записи с плохими транскрипциями и аудио вне диапазона длительности от одной до 30 секунд. Модель предназначена для преобразования вьетнамского текста в речь. В примере использования F5-TTS принимает текст для озвучивания, а также референсное аудио и его транскрипцию; для инференса указаны F5-TTS и Vocos. Репозиторий опубликован в формате PyTorch и лицензирован CC-BY-NC-SA-4.0, допускающей только некоммерческое использование. Автор указывает, что модель предназначена для исследований и экспериментов, и запрещает использование для клонирования голоса без согласия, мошенничества и иных незаконных целей.
Hypa-Orpheus-3b-TTS-VC-ext — экспериментальная продолженная донастройка модели Hypa Intelligence для синтеза речи и клонирования голоса. Это плотная causal language model семейства Llama с 3,3 млрд параметров, обученная продолжением Hypa-Orpheus-3b-TTS-VC: адаптер LoRA повышенной ёмкости был дообучен и объединён с весами для инференса в bf16. Модель принимает текстовые промпты и генерирует последовательности SNAC-токенов, которые декодируются в речь; карточка указывает мультиязычную поддержку, включая английский, французский, испанский, португальский, арабский и ряд языков с ограниченными ресурсами. Контекст модели — 131072 токена. Продолжение обучения показало более низкую валидационную потерю, чем у основной версии, но это само по себе не доказывает более высокое воспринимаемое качество речи. Модель предназначена для экспериментов и развёртываний, которым важна эта версия с повышенной ёмкостью адаптера; основная Hypa-Orpheus-3b-TTS-VC остаётся рекомендуемой версией для стандартного производства. Ограничения включают короткий этап продолжения обучения, примерно четырёхкратный рост размера адаптера и отсутствие опубликованных оценок WER/CER, сходства голосов и MOS. Лицензия — Apache-2.0.
Inflect-Nano-v2 — компактная модель синтеза речи от автора репозитория owensong. Она преобразует английский текст в монофоническое аудио с частотой 24 кГц и рассчитана на локальный запуск, в том числе на CPU. Модель содержит 3 966 721 параметр, размер весов FP32 — 15,97 МБ; для вывода доступны детерминированный seed и обработка длинных текстов с разбиением по пунктуации. Модель использует фиксированный мужской голос и не поддерживает клонирование голоса с нуля. Автор сообщает о скорости CPU выше реального времени и приводит оценки естественности и разборчивости, однако эти автоматические метрики не заменяют контролируемую оценку людьми. На необычных формулировках речь может звучать менее выразительно или стабильно; числа, сокращения, омографы и редкие имена зависят от контекста и текстового фронтенда. Длинные фрагменты обрабатываются частями, поэтому переходы между ними могут отличаться от цельной генерации. Лицензия — Apache-2.0. В README также описан инструментарий адаптации голоса или языка, но качество адаптированных вариантов названо экспериментальным и зависящим от данных и оценки носителями языка.
LumynaX Speech Whisper Large v3 Turbo — экспериментальная историческая сборка AbteeX AI Labs на базе Whisper Large v3 Turbo от OpenAI. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст; карточка указывает английский и маори как языки релиза. Она использует архитектуру Whisper и содержит 905,2 млн параметров. В этом выпуске Whisper подключён через маршрутизацию во время выполнения; веса исходной модели не изменялись. Для работы с моделью указана библиотека Transformers. Это ранний архивный эксперимент, который больше не поддерживается и не рекомендуется для производственного применения. README предупреждает, что выпуск не отражает нынешние возможности, архитектуру или стандарты безопасности AbteeX AI Labs. Указана лицензия MIT.
Malaysian Parler TTS Tiny V1 — небольшая модель синтеза речи на основе архитектуры Parler TTS, дообученная Mesolitica на наборе данных mesolitica/TTS. Она предназначена для преобразования текста в речь на малайском языке. В метаданных Hugging Face указаны библиотека Transformers и веса в формате safetensors. Карточка не описывает голосовые характеристики, качество синтеза, контекстные ограничения или условия лицензии, поэтому эти свойства нельзя определить по доступным данным.