I.9Аудио и музыка

Resemble AI Chatterbox — открытая модель синтеза речи из текста семейства Chatterbox. Эта версия относится к многоязычной линейке; в карточке указана Chatterbox Multilingual V3 размером 0,5 млрд параметров на основе Llama. Модель генерирует естественную разговорную речь на 23 языках, поддерживает клонирование голоса по образцу и управление выразительностью речи с помощью параметра exaggeration. Разработчик заявляет об улучшенном сходстве с голосом-образцом, сохранении акцента и снижении повторов и нежелательных продолжений. Модель предназначена для озвучивания текстов, локализации аудио и голосовых интерфейсов, включая агентов и интерактивные приложения. В README также описаны водяные знаки Perth в генерируемом аудио и оговорка: для корректного переноса голоса язык референсного аудио должен соответствовать языку генерации; несовпадение может повлиять на акцент. Модель распространяется по лицензии MIT; в репозитории указаны форматы PyTorch и safetensors.

dots.tts-base — базовая предварительно обученная модель синтеза речи от разработчиков проекта dots.tts. Это сквозная авторегрессионная система с 2 млрд параметров: семантический энкодер передаёт текст в LLM, а акустическая голова на основе flow matching генерирует аудио через непрерывное латентное представление AudioVAE с частотой 48 кГц. Дискретные аудиокодеки в конвейере не используются; LLM основана на Qwen2.5-1.5B-Base и принимает текст в BPE-токенах без фонемной транскрипции. Модель обучена на примерно 1,5 млн часов речи и предназначена для преобразования текста в речь, включая клонирование голоса по аудиореференсу. Контрольный чекпойнт предлагается как отправная точка для дообучения. По README, качество на малоресурсных и недостаточно представленных языках ниже, в частности для арабского, хинди, турецкого и вьетнамского; обучение на речевых данных не охватывает пение и совместную генерацию речи со звуками. Лицензия — Apache-2.0.

Карточка модели suliniacats/dots.tts-base на Hugging Face совпадает с карточкой dots-studio/dots.tts-base, поэтому описание составлено по ней. dots.tts-base — базовая предварительно обученная модель синтеза речи от разработчиков проекта dots.tts. Это сквозная авторегрессионная система с 2 млрд параметров: семантический энкодер передаёт текст в LLM, а акустическая голова на основе flow matching генерирует аудио через непрерывное латентное представление AudioVAE с частотой 48 кГц. Дискретные аудиокодеки в конвейере не используются; LLM основана на Qwen2.5-1.5B-Base и принимает текст в BPE-токенах без фонемной транскрипции. Модель обучена на примерно 1,5 млн часов речи и предназначена для преобразования текста в речь, включая клонирование голоса по аудиореференсу. Контрольный чекпойнт предлагается как отправная точка для дообучения. По README, качество на малоресурсных и недостаточно представленных языках ниже, в частности для арабского, хинди, турецкого и вьетнамского; обучение на речевых данных не охватывает пение и совместную генерацию речи со звуками. Лицензия — Apache-2.0.

Карточка модели musafa901/Fishaudio_s2-pro на Hugging Face совпадает с карточкой fishaudio/s2-pro, поэтому описание составлено по ней. Fish Audio S2 Pro — модель синтеза речи, разработанная Fish Audio. Она преобразует текст в речь и поддерживает управление интонацией, эмоциями и другими особенностями произношения с помощью текстовых инструкций в квадратных скобках, которые можно размещать рядом с нужными фрагментами текста. Архитектура объединяет декодерный трансформер с аудиокодеком RVQ и состоит из двух авторегрессионных частей: модель на 4 млрд параметров предсказывает основной семантический код, а компонент на 400 млн параметров генерирует девять остаточных кодов для акустических деталей. Модель предназначена для многоязычной генерации речи, включая потоковый синтез. В карточке заявлена поддержка более 80 языков; среди основных — японский, английский и китайский, а также русский, корейский, испанский, португальский, арабский, французский и немецкий. Модель принимает текст и выдаёт аудио. Авторы сообщают о потоковом движке инференса на базе SGLang и скорости генерации выше реального времени на NVIDIA H200; эти показатели зависят от оборудования и конфигурации. Лицензия указана как «other», поэтому условия использования следует проверить на странице репозитория Hugging Face.

Higgs Audio v2 Generation 3B Base — модель генерации речи и аудио из текста семейства Higgs Audio v2, разработанного Boson AI; репозиторий eustlb содержит её реализацию для Transformers. Модель предназначена для преобразования текстового ввода в аудио, включая выразительную речь и диалог с несколькими говорящими. В официальных материалах семейство описано как аудиомодель с генерацией речи; карточка этого репозитория автоматически создана и не уточняет поддерживаемые языки и лицензию. Метаданные указывают на плотную архитектуру HiggsAudioV2ForConditionalGeneration, около 3,2 млрд параметров, контекст 2048 токенов и формат safetensors. Модель использует конвейер text-to-audio; код Transformers загружает её через AutoModelForTextToWaveform. Карточка не сообщает точные языковые ограничения или лицензионные условия для этой копии.

Higgs Audio V2 Generation Base — базовая генеративная аудиомодель, представленная авторами проекта Higgs Audio. Она предназначена для синтеза речи по тексту, включая выразительную речь с эмоциями и подходящей интонацией, а также многоязычные диалоги с несколькими голосами и генерацию речи с фоновой музыкой. Модель обучена на более чем 10 миллионах часов аудио и разнообразных текстовых данных; в README указана архитектура на основе Llama-3.2-3B с аудиоэкспертом DualFFN. В README приведено общее число параметров 3,6 млрд для LLM и 2,2 млрд для DualFFN. Авторы сообщают о поддержке английского, китайского, немецкого и корейского языков, генерации с нуля по голосовому образцу и адаптации просодии при озвучивании. Карточка описывает базовую версию без последующего дообучения. Репозиторий использует формат safetensors; лицензия указана как other, без уточнения её условий в предоставленных данных.

drbaph/LongCat-AudioDiT-3.5B-bf16 — конверсия модели LongCat-AudioDiT-3.5B от Meituan из FP32 в BF16. Это неавторегрессионная модель синтеза речи на основе диффузии: она использует DiT-трансформер, Wav-VAE и текстовый энкодер и работает в латентном пространстве волновой формы. Версия содержит около 3,5 млрд параметров; преобразование весов и активаций в BF16 сокращает размер файлов примерно с 14 до 7 ГБ и снижает требования к видеопамяти при заявленной авторами незначительной потере качества. Модель предназначена для синтеза речи по тексту, zero-shot клонирования голоса по аудиообразцу и генерации речи нескольких участников. В README приведены результаты 0,818 SIM на Seed-ZH и 0,797 SIM на Seed-Hard. Для запуска рекомендуются ComfyUI и поддерживающая модель нода; указаны требования к NVIDIA GPU с CUDA и примерно 7 ГБ видеопамяти, при этом работа на CPU возможна, но медленна. Репозиторий распространяется по лицензии MIT.

maotianchen/maobailing_rvc — модель преобразования голоса на базе RVC v2, опубликованная автором репозитория. Она предназначена для преобразования входной речи в целевой голос, обученный на китайском женском голосе. Модель рассчитана на частоту дискретизации 40 кГц; в репозитории также есть FAISS-индексы для поиска признаков, используемые при инференсе. Для обучения использованы синтезированные материалы из index-tts 2: около 29 минут китайской речи одного говорящего. В описании указаны извлечение основного тона RMVPE и 768-мерных признаков HuBERT. Модель можно запускать через RVC WebUI или интерфейс командной строки. Она предназначена для преобразования голоса, а не для распознавания речи или синтеза речи из текста. Модель выпущена по лицензии Apache 2.0. Качество преобразования зависит от входной записи и параметров RVC; для длинных аудиозаписей автор рекомендует обработку по сегментам. При использовании необходимо соблюдать права на исходную речь и целевой голос.

MOSS-TTS — модель синтеза речи от MOSI.AI и команды OpenMOSS, вариант семейства MOSS-TTS с архитектурой MossTTSDelay. Она преобразует текст в речь и предназначена для озвучивания длинных материалов, клонирования голоса по короткому аудиопримеру и управляемого произношения. Модель поддерживает 20 языков, включая русский, и переключение языков внутри высказывания. Архитектура Delay использует параллельное предсказание RVQ с планированием задержек и ориентирована на устойчивую генерацию длинной речи. Заявлены синтез продолжительностью до часа, управление длительностью на уровне токенов и контроль произношения через Pinyin и IPA. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для озвучивания аудиокниг и длительных рассказов, многоязычного контента и создания голосовых приложений. Клонирование голоса не требует дообучения под конкретного диктора, но качество может зависеть от аудиообразца и языка. Заявления о качестве приведены авторами проекта; независимые результаты в предоставленных материалах не описаны.

Карточка модели Supbatomic/OmniVoice-bf16 на Hugging Face совпадает с карточкой drbaph/OmniVoice-bf16, поэтому описание составлено по ней. OmniVoice-bf16 — конверсия модели OmniVoice от k2-fsa в формат bfloat16, опубликованная пользователем drbaph. Это плотная модель преобразования текста в речь на архитектуре diffusion language model; версия использует веса и активации BF16 вместо FP32, что примерно вдвое сокращает размер файлов и потребление видеопамяти при заявленной незначительной потере качества. Модель предназначена для многоязычного синтеза речи, генерации голоса по описанию и клонирования голоса без предварительного обучения на конкретном дикторе. В карточке заявлена поддержка более 600 языков, а метаданные перечисляют языки от болгарского до японского. Модель подходит для локальной генерации речи через OmniVoice, в том числе в ComfyUI; README также указывает на возможность использования через исходный интерфейс OmniVoice. Для ускоренной работы рекомендуется GPU NVIDIA с CUDA и нативной поддержкой BF16, доступной на Ampere и более новых поколениях; на CPU инференс поддерживается, но медленный. Репозиторий содержит формат safetensors и имеет лицензию Apache-2.0.

Parler-TTS Large v1 — модель преобразования текста в речь, выпущенная проектом Parler-TTS при участии исследователей Stability AI и Эдинбургского университета. Модель с архитектурой ParlerTTSForConditionalGeneration содержит 2,2 млрд параметров и обучена на 45 тысячах часов аудио. Она генерирует естественно звучащую речь на английском языке, принимая текст и текстовое описание желаемого звучания.

Qwen3-TTS-12Hz-1.7B-Base-bf16 — версия базовой модели Qwen3-TTS-12Hz-1.7B-Base в формате MLX BF16, подготовленная пользователем theoracleguy для OpenVox и приложений на базе mlx-audio. Исходная модель разработана командой Qwen, а конвертация выполнена с использованием mlx-audio 0.3.0. Модель предназначена для синтеза речи по тексту и клонирования голоса по референсной аудиозаписи. Её можно применять для локальной генерации аудио, создания аудиокниг, озвучивания и дубляжа. Модель рассчитана на запуск через mlx-audio, в том числе в нативных приложениях для Apple Silicon, без передачи текста или аудио в облачные сервисы. Ключевая характеристика модели — размер 1,7 млрд параметров и представление BF16 в формате MLX. Лицензия модели — Apache-2.0. В README не приведены точные сведения о поддерживаемых естественных языках, размере контекста и качестве синтеза; совместимость и возможности могут зависеть от mlx-audio и аппаратной платформы.

Это конвертированная в GGUF модель Qwen3-TTS-12Hz-1.7B-VoiceDesign от Qwen, подготовленная для запуска через qwen3-tts.cpp. Она преобразует текст в речь, позволяя задавать голос естественно-языковой инструкцией: например, описать тембр, темп и характер звучания. Для создания голосового образа ей не нужна референсная аудиозапись; полученный клип можно использовать для извлечения эмбеддинга диктора в связке с базовой моделью Qwen3-TTS. Модель содержит 1,7 млрд параметров; файл GGUF представлен в точности F16, без квантизации. Для работы также требуется GGUF-файл токенизатора и аудиокодека Qwen3-TTS-Tokenizer-12Hz. В карточке указана поддержка английского, китайского, японского, корейского, немецкого, французского, испанского, русского, португальского и итальянского языков. Репозиторий распространяется по лицензии Apache-2.0.

FishAudio S1-mini — многоязычная модель синтеза речи от Fish Audio, дистиллированная версия FishAudio S1 размером 0,5 млрд параметров. Она преобразует текст в речь на 13 языках: английском, китайском, японском, немецком, французском, испанском, корейском, арабском, русском, нидерландском, итальянском, польском и португальском. Модель поддерживает маркеры эмоций, интонации и голосовых эффектов, например шёпота, смеха и плача. Модель подходит для озвучивания текста и создания речи с заданной эмоциональной окраской и манерой произношения. В приведённой оценке Seed TTS для английского S1-mini показала WER 0,011, CER 0,005 и расстояние между голосами 0,380; это результаты автоматической оценки, а не гарантия качества для всех языков и сценариев. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных материалов на тех же условиях и не разрешает коммерческое использование.

SepFormer — модель разделения аудиоисточников, разработанная командой SpeechBrain и обученная на наборе WSJ0-3Mix. Она предназначена для выделения трёх речевых источников из смешанной записи. Модель реализована на архитектуре SepFormer с Transformer и использует формат PyTorch; для обработки требуется SpeechBrain. На тестовой выборке WSJ0-3Mix модель показала SI-SNRi 19,8 дБ и SDRi 20,0 дБ. Входная запись должна быть монофонической с частотой дискретизации 8 кГц. Репозиторий распространяется по лицензии Apache-2.0. Результаты на других наборах данных не гарантируются; заявленная оценка относится к тестовой выборке WSJ0-3Mix.

Это порт Silero VAD v6 для MLX, подготовленный сообществом mlx-community на основе весов из официального пакета silero_vad. Модель использует ветвь для аудио с частотой 16 кГц и архитектуру STFT, за которой следуют четыре сверточных слоя Conv1d, LSTM со скрытым размером 128 и выходной Conv1d с сигмоидой. Веса сохранены в формате safetensors и предназначены для запуска через mlx-audio на Apple Silicon. Модель определяет наличие речи в аудио и выдаёт вероятность речи для фрагмента: по одному значению на каждые 32 мс в потоковом режиме либо на 256 мс при пакетном вызове с объединением восьми внутренних фрагментов. Её можно применять для отбора речевых участков перед распознаванием речи, обработки потокового аудио и разметки активности говорящего. В README приведены результаты на одном англоязычном собрании и проверка совпадения выходов с upstream PyTorch; эти оценки не устанавливают качество для других условий и языков. Лицензия репозитория — MIT.

Sonus — мультиязычная модель синтеза речи с нуля (zero-shot) от автора репозитория comethrusws. Она преобразует текст в речь, поддерживает более 600 языков, клонирование голоса по короткой аудиозаписи и настройку голоса по атрибутам, таким как пол, возраст, высота тона и акцент. Модель использует архитектуру семейства OmniVoice; в README указаны 0,6 млрд параметров и частота дискретизации 24 кГц. Для запуска предусмотрена библиотека Transformers. Sonus предназначена для генерации речи в реальном времени и пакетной обработки, а также для управления произношением и невербальными звуками. Карточка указывает лицензию other, поэтому конкретные условия использования следует проверять в файлах репозитория. README запрещает несанкционированное клонирование голоса, выдачу себя за другого человека, мошенничество и незаконное применение.

Step-Audio-TTS-3B — модель синтеза речи, разработанная командой StepFun. Это плотная авторегрессионная языковая модель семейства Step1 с 3,9 млрд параметров, обученная в парадигме диалога LLM на масштабном синтетическом наборе данных и использующая два аудиокодбука. Репозиторий также содержит вокодер для синтеза речи и отдельный вокодер, оптимизированный для напевания. Модель предназначена для преобразования текста в речь с управлением голосовым стилем и эмоциональной выразительностью. Она поддерживает несколько языков, а также генерацию рэпа и напевания. В README заявлены результаты CER уровня SOTA на тесте SEED TTS Eval; подробности сравнительных таблиц в доступной карточке опущены. Веса доступны в форматах ONNX и Safetensors. Лицензия — Apache-2.0. В карточке не приведены конкретные языки, длина контекста и количественные оценки качества для отдельных языков или режимов; заявленные возможности стоит учитывать с этим ограничением.

rsxdalv/suno — вариант модели Bark, разработанной Suno, с крупным набором весов для генерации аудио по тексту. Это каскад из трёх трансформерных моделей: первая преобразует текст в семантические токены, а две следующие — в аудиотокены кодека EnCodec. Модель предназначена для синтеза реалистичной многоязычной речи, а также музыки, фонового шума, простых звуковых эффектов и невербальных вокализаций — например, смеха, вздохов и плача. Репозиторий содержит веса PyTorch и Safetensors; автор README также описывает варианты bf16, которые занимают меньше места и ускоряют инференс при использовании в этом формате. Поддерживаются английский, немецкий, испанский, французский, хинди, итальянский, японский, корейский, польский, португальский, русский, турецкий и китайский языки. Лицензия — MIT. Выходные данные не фильтруются; авторы предупреждают о возможности злоупотреблений, включая имитацию голоса.

TEMPO — Table 3 — + Both — это экспериментальный англоязычный аудио-языковой чекпойнт, дообученный Kaousheik на базе NVIDIA Audio Flamingo 3 для определения временных границ событий в аудио. Он объединяет распознавание речи с временными метками, диаризацию говорящих, поиск временного интервала по текстовому запросу, плотное описание звуков и анализ музыки. Архитектура Audio Flamingo 3 сочетает аудиоэнкодер Whisper-large и Qwen2-7B; вариант использует временной мультимодальный проектор и функцию потерь, учитывающую близость ошибочных временных меток. Для загрузки этой версии требуется файл time_proj.pt. Модель принимает аудио и текстовые инструкции с тегом задачи, а выдаёт текст с временными метками. Шаг временной шкалы составляет 0,1 секунды, но словарь временных токенов ограничивает разметку отрезками до 60 секунд, поэтому более длинные записи нужно разбивать на фрагменты. Модель рассчитана на английский язык; качество многоголосого распознавания и определения аккордов ограничено, а метки говорящих согласованы только внутри одной записи. Лицензия указана как other, конкретные условия использования в карточке не описаны.

TeraTTSv2 ONNX — модель синтеза речи, опубликованная TeraSpace для запуска через ONNX Runtime и Transformers. Она преобразует текст на русском или английском языке в монофоническое аудио с частотой 44,1 кГц и поддерживает потоковую выдачу звука. В комплект входят десять голосовых стилей и два варианта диффузионного сэмплера: ускоренный дистиллированный восьмишаговый вариант и учительская модель с настраиваемым CFG. Для русского текста предусмотрена автоматическая расстановка ударений, а также ручные маркеры ударения; текст требуется заключать в языковые теги. Длительность и темп речи можно менять параметром duration_scale. Для русской речи рекомендованы голоса ru_f1 и ru_m5. Символы вне словаря пропускаются, а качество автоматической обработки ударений может зависеть от слова; в словарном режиме неизвестные слова и неоднозначные омографы остаются без изменений. Модель распространяется в формате ONNX; лицензия модели в предоставленных материалах не указана.

VoxCPM2-8bit — 8-битная версия модели VoxCPM2, подготовленная сообществом mlx-community в формате MLX для запуска через mlx-audio на Apple Silicon. Это многоязычная модель синтеза речи с 2 млрд параметров и выходным аудио с частотой 48 кГц. Она поддерживает создание речи по тексту, клонирование голоса по короткому аудиофрагменту и создание голоса по текстовому описанию без образца. Доступны режимы синтеза с нуля, продолжения аудио и работы с голосовым образцом. Квантизированы до 8 бит только слои языковой модели, а VAE и DiT сохранены в полной точности. По данным карточки, вариант занимает 3,23 ГБ и даёт почти двукратный прирост скорости относительно bf16; указанная скорость для Apple Silicon — 0,85x реального времени при семи шагах. Модель заявлена для 30 языков, включая английский, китайский, индонезийский, японский и корейский. Лицензия — Apache 2.0.

XTTS-v1 — модель синтеза речи и клонирования голоса, разработанная Coqui на основе Tortoise. Она создаёт речь на разных языках по тексту и может воспроизводить голос по короткому аудиофрагменту длительностью около 6 секунд, в том числе переносить голос между языками. Модель поддерживает 14 языков: английский, испанский, французский, немецкий, итальянский, португальский, польский, турецкий, русский, нидерландский, чешский, арабский, китайский и японский. XTTS-v1 поддерживает перенос эмоций и стиля по голосовому образцу, а также потоковый вывод. Частота дискретизации синтезированной речи составляет 24 кГц. Репозиторий содержит модель в формате PyTorch; карточка отмечает лицензию как other, но не приводит её конкретные условия.

YuE2-3B — открытая модель генерации музыки, построенная на архитектуре YuE2 и представленная в репозитории Stevroy7/YuE2-3B. Модель преобразует текстовое описание стиля и слова песни в полноценную композицию с вокалом и аккомпанементом, а также поддерживает генерацию по музыкальному плану и редактируемой партитуре ABC. В основе — плотная AR–NAR Mixture-of-Transformers с планированием символической партитуры и генерацией акустических латентов методом flow matching; для декодирования используется VAE. Модель рассчитана на создание оригинальных песен, переаранжировку существующих композиций, работу с мелодией и аккордами и итеративное редактирование музыки с помощью агента. README заявляет контекст 24 576 токенов; метаданные указывают 1,8 млрд параметров. Для локального запуска описана конфигурация Linux и NVIDIA GPU с 24 ГБ памяти и поддержкой BF16. Указанные языки — китайский и английский. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерчески.

Zonos-v0.1-hybrid — открытая модель синтеза речи от Zyphra на гибридной трансформерной архитектуре. Она преобразует текст в естественную речь и поддерживает генерацию с заданным голосом по speaker embedding или короткому аудиофрагменту, включая клонирование голоса по записи длительностью несколько секунд. Модель обучена на более чем 200 тысячах часов многоязычной речи и поддерживает английский, японский, китайский, французский и немецкий языки. Можно управлять темпом, высотой тона, качеством и эмоциональной окраской речи; также принимается аудиопрефикс для более точного сходства с образцом или воспроизведения особенностей вроде шёпота. Речь генерируется с частотой 44 кГц. Для работы требуются Linux и совместимый графический процессор NVIDIA; в карточке рекомендованы видеокарты серии RTX 3000 или новее с объёмом видеопамяти от 6 ГБ. Модель распространяется по лицензии Apache-2.0. Заявленная скорость около двухкратного реального времени относится к RTX 4090; перенос сходства голоса и качества на другие условия может отличаться.

saxyZ/audio.cpp-gguf-fork — это набор нативных конвертаций аудиомоделей в формате GGUF для проекта audio.cpp. Пакет не представляет собой одну модель: он объединяет веса множества базовых моделей, включая ACE-Step, Chatterbox, Fish Audio S2 Pro, Fun-ASR, Higgs Audio, IndexTTS, Irodori-TTS, Qwen3-TTS и ASR-модели. Разработчик самого набора в README явно не указан; конвертации предназначены для использования с audio.cpp. Модели охватывают широкий спектр аудиозадач: синтез речи и преобразование голоса, генерацию текста в аудио, автоматическое распознавание речи, разделение источников, диаризацию говорящих, музыкальную генерацию и обработку аудио. Доступны варианты с исходной точностью, F16 или BF16, а также квантованные версии Q8_0. Архитектура, число параметров, поддерживаемые языки и размер контекста зависят от конкретной базовой модели и для набора в целом не определены. Сильная сторона пакета — унифицированное представление GGUF и возможность локального запуска различных аудиомоделей через audio.cpp. README предупреждает, что автоматические проверки могут выявлять расхождения по длине, log-mel-признакам или транскрипции, даже если результат приемлем для слуха; совместимость и качество следует проверять для конкретного файла, backend и сценария. Лицензия указана как other, при этом лицензии отдельных исходных моделей различаются и включают MIT, Apache-2.0, CC-BY-4.0, CC-BY-NC-4.0 и другие, поэтому условия использования необходимо уточнять для выбранной модели.

cstr/bark-small-GGUF — это версия модели Suno Bark, преобразованная в формат GGUF для нативного запуска на C++ вместе с CrispASR. Модель предназначена для синтеза речи по тексту и генерирует монофонический PCM-аудиосигнал с частотой 24 кГц. Конвертацию и среду выполнения предоставил проект CrispASR; исходная модель разработана Suno AI. Архитектура состоит из трёх иерархических transformer-моделей: семантической, грубой акустической и тонкой акустической, а также декодера EnCodec. Всего используется около 300 млн параметров в трёх GPT-2-подмоделях. Семантическая модель применяет BERT WordPiece tokenizer, акустические модели преобразуют текстовые и семантические токены в коды EnCodec, а декодер формирует итоговый звук. Модель поддерживает 13 языков, включая английский, немецкий, испанский, французский, итальянский, японский, корейский, польский, португальский, русский, турецкий и китайский, с предварительно обученными голосовыми подсказками. Доступны варианты F16, Q8_0 и Q4_K. F16 обеспечивает эталонное качество, Q8_0 близок к исходному качеству, а Q4_K занимает меньше места и ориентирован на использование в реальном времени. Все варианты содержат необходимые подмодели и декодер в одном файле GGUF. Ограничениями являются зависимость качества и размера от выбранного уровня квантования, а также использование заранее подготовленных голосовых prompts; в README не заявлены возможности обучения или тонкой настройки. Модель распространяется по лицензии MIT.

Breeze TTS 2 — открытая модель преобразования текста в речь семейства Breeze, опубликованная авторами проекта Breeze TTS. Модель с плотной архитектурой BreezeForConditionalGeneration содержит 1,4 млрд параметров и рассчитана на английскую и китайскую речь; длина контекста — 2048 токенов. Модель предназначена для синтеза речи в реальном времени с потоковой выдачей аудио. Она поддерживает клонирование голоса по референсному аудио и его точной расшифровке, создание нового голоса по текстовому описанию и управление тоном, эмоцией, темпом и манерой речи. В тексте также можно задавать вокальные события, например смех или вздох. В README заявлены задержка до первого аудио менее 40 мс и скорость около 3,1× реального времени на NVIDIA H100 при прогретом быстром режиме. Для инференса нужны Linux, Python 3.10 или новее и CUDA-совместимый GPU NVIDIA; рекомендуется от 12 ГБ видеопамяти для обычного режима. Веса и производные модели, а также результаты самостоятельного развёртывания предназначены только для исследований и некоммерческого использования; исходный код лицензирован Apache 2.0.

aufklarer/Chatterbox-Multilingual-MLX-fp16 — многоязычная модель синтеза речи на базе Chatterbox от Resemble AI, преобразованная для инференса через MLX на компьютерах Apple с Apple Silicon. Модель использует компоненты для кодирования голоса, преобразования текста в токены речи и генерации волновой формы; поддерживает клонирование голоса с нуля по короткому аудиообразцу на 23 языках, включая арабский и хинди. Репозиторий хранит тензоры в формате fp16 объёмом около 1,3 ГБ. Для работы также требуются веса S3TokenizerV2, которые mlx-audio загружает автоматически. Модель подходит для озвучивания текста и создания речи голосом из предоставленного образца. Лицензия — MIT.

ConvTasNet — модель разделения аудио, обученная Joris Cosentino с использованием рецепта LibriMix в Asteroid. Она предназначена для разделения смеси речи трёх говорящих на отдельные аудиодорожки и обучена для задачи sep_clean на наборе Libri3Mix. Модель принимает звук с частотой дискретизации 8 кГц и рассчитана на три источника. В конфигурации указаны фильтробанк с 512 фильтрами, масочная сеть с 8 блоками и 3 повторениями. Модель пригодится для экспериментов и обработки смешанной речи; данные о качестве на тестовом наборе в доступном README опущены. Репозиторий распространяется по лицензии CC BY-SA 4.0; README также указывает лицензию CC BY 3.0 для этой работы и CC BY 4.0 для исходного корпуса LibriSpeech.