I.9Аудио и музыка

ViiTorVoice-NAR — модель синтеза речи с неавторегрессионной генерацией, разработанная для проекта viitor-ai/viitor-voice-nar. Она генерирует речевые токены по тексту, аудио-промпту, маскам редактирования, условиям длительности и меткам эмоций или неречевых вокальных событий. В состав входят языковая модель на основе дообученной Qwen3-0.6B, DualCodec для преобразования аудио в дискретные токены и обратно, а также W2V-BERT 2.0 для извлечения семантических признаков речи. Модель предназначена для клонирования голоса по образцу, локальной замены фрагментов записи с сохранением остальной речи и управления эмоциями и паралингвистическими особенностями звучания. В метаданных указаны языки китайский, английский, японский и корейский, форматы ONNX и safetensors. Модель распространяется под лицензией Apache-2.0; README рекомендует отдельно проверять условия использования каждого подкомпонента.

pyannote/voice-activity-detection — открытая модель для обнаружения участков речи в аудиозаписях, разработанная командой pyannote.audio. Она предназначена для voice activity detection и может использоваться как этап предварительной обработки в автоматическом распознавании речи, сегментации аудио и задачах speaker diarization. Модель реализована как pipeline на базе pyannote.audio 2.1 и работает с аудио; сведения о размере, конкретной архитектуре, поддерживаемых языках и максимальной длине контекста в карточке не указаны. Результатом является временная шкала интервалов, в которых присутствует активная речь. В качестве связанных наборов данных указаны AMI, DIHARD и VoxConverse. Для использования требуется принять условия доступа к зависимой модели pyannote/segmentation и настроить токен Hugging Face. Модель распространяется по лицензии MIT. README не содержит количественных метрик качества и подробного описания ограничений, поэтому пригодность для конкретного типа аудио и требуемый уровень точности необходимо проверять отдельно.

XTTS-v2 — многоязычная модель синтеза речи от Coqui. Она генерирует речь по тексту и клонирует голос по короткому аудиофрагменту длительностью около шести секунд, в том числе при переносе голоса на другой язык. Модель поддерживает 17 языков: английский, испанский, французский, немецкий, итальянский, португальский, польский, турецкий, русский, нидерландский, чешский, арабский, китайский, японский, венгерский, корейский и хинди. XTTS-v2 улучшает обусловливание по голосу, поддерживает несколько эталонных аудиозаписей и смешивание голосов, а также перенос эмоций и стиля. Заявленная частота дискретизации выходного аудио — 24 кГц. Кодовая база поддерживает инференс и дообучение. В метаданных указан формат PyTorch и лицензия other; конкретные условия лицензии следует сверять с карточкой модели и сопровождающими материалами Coqui.

ACE-Step 1.5 XL Turbo — MLX Serve 8-bit — это локальная квантованная версия модели генерации музыки ACE-Step 1.5 XL Turbo, адаптированная для Apple Silicon и движка mlx-serve. Модель разработана ACE Studio и StepFun; конвертацию и нативную реализацию для MLX выполнил ddalcu. Она предназначена для создания оригинальных музыкальных треков по текстовому описанию стиля, с возможностью добавить структурированные lyrics или генерировать инструментальную музыку. Модель основана на 4-миллиардной DiT-архитектуре с дистиллированным 8-шаговым сэмплированием без CFG. В состав входят энкодеры текста, lyrics и тембра, Qwen3-Embedding-0.6B, а также аудио-VAE AutoencoderOobleck. Генерация выполняется в формате 48 кГц, stereo; поддерживаются вокальные и инструментальные композиции длительностью от 10 секунд до 10 минут, настройка BPM от 30 до 300, тональности и размера такта. Предусмотрено управление языком вокала, seed и потоковой передачей прогресса. Модель ориентирована на macOS с Apple Silicon и работает полностью локально; в README указано, что 30-секундный трек на Mac с M-серией генерируется примерно за 4 секунды. К сильным сторонам относятся высокая скорость локальной генерации, отсутствие облачных зависимостей, поддержка вокала и lyrics, а также близкое соответствие исходной fp32-версии по заявленным cosine-similarity проверкам. Ограничения включают зависимость от Apple Silicon и mlx-serve, а также 8-битную квантизацию, которая может влиять на точность по сравнению с исходной моделью. Модель распространяется по лицензии MIT. В README также указано, что исходная модель обучалась на лицензированных, royalty-free и синтетических данных, а сгенерированная музыка может использоваться коммерчески согласно условиям upstream-проекта.

Audio8 TTS Preview 0.6B ONNX INT4 — мультиязычная модель синтеза речи с zero-shot клонированием голоса, разработанная Audio8 и распространяемая в формате ONNX для локального запуска на CPU. Модель предназначена для преобразования текста в речь, создания локальных голосовых профилей по короткой эталонной записи с транскриптом, потоковой генерации аудио, работы через CLI, web UI, HTTP API и OpenAI-совместимый endpoint. Основная модель содержит около 601 млн параметров без учёта кодека и использует архитектуру DualAR: медленный autoregressive-трансформер предсказывает семантические токены аудиокадров, а быстрый — кодовые книги кодека. Медленный блок имеет 24 слоя, быстрый — 4 слоя; ширина обоих блоков составляет 896, используются 14 attention heads и 2 KV heads. Акустическое представление включает 10 кодовых книг по 4096 элементов, кодек работает с частотой 44,1 кГц и выдаёт монофонический аудиосигнал FP32. Контекст ограничен 2048 объединёнными текстовыми и аудиопозициями. Поддерживаются кантонский, китайский, нидерландский, английский, французский, немецкий, итальянский, японский, корейский, польский и испанский языки. К сильным сторонам относятся компактный размер, INT4-квантизация весов, отсутствие необходимости в CUDA и возможность работы через ONNX Runtime CPUExecutionProvider; заявленное потребление памяти при обычном запуске составляет около 1 ГиБ, а файлы модели занимают примерно 572 МиБ. Это preview-релиз с намеренно ограниченным языковым покрытием, поэтому качество и стабильность для других языков не гарантируются. Для клонирования голоса требуется эталонная запись длительностью 0,5–30 секунд и её точная расшифровка. Лицензия — Apache 2.0.

audio.cpp-gguf — это репозиторий с наборами моделей в формате GGUF, преобразованных для нативного использования с аудиофреймворком audio.cpp, разработанным сообществом проекта audio.cpp. Это не единая модель, а коллекция пакетов для различных задач обработки речи и аудио, включая синтез речи, автоматическое распознавание речи, voice conversion, преобразование текста и аудио, разделение источников, диаризацию и генерацию аудио. В репозитории представлены конвертации множества базовых моделей, среди которых ACE-Step, Chatterbox, CosyVoice, Fish Audio S2 Pro, Fun-ASR, HeartMuLa, Higgs Audio, IndexTTS, Irodori-TTS, Kokoro, MOSS-TTS, Qwen3-ASR и Qwen3-TTS, а также другие проекты. Доступные форматы и уровни квантования зависят от конкретного пакета и включают F32, F16, BF16, Q8, Q4 и оригинальные веса. Поддерживаемые языки, размер, архитектура, модальности и максимальный контекст также различаются между входящими моделями и не могут быть обобщены для всего репозитория. Сильная сторона проекта — единый формат распространения и возможность локального запуска разнообразных аудиомоделей через audio.cpp, включая квантованные варианты, потенциально снижающие требования к памяти. При этом качество и совместимость зависят от конкретного пакета, backend и маршрута выполнения; автоматические метрики конвертации не гарантируют одинаковое субъективное качество для слушателей. Лицензия верхнего уровня указана как other, а лицензии отдельных исходных моделей различаются и включают MIT, Apache-2.0, CC-BY-4.0, CC-BY-NC-4.0, исследовательские и некоммерческие лицензии, поэтому условия использования необходимо проверять для выбранного пакета.

BigVGAN-v2 — нейронный вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Этот репозиторий содержит вариант с частотой дискретизации 22 кГц, 80 мел-полосами и коэффициентом повышения частоты 256×. Модель генератора имеет архитектуру BigVGAN; размер конкретного чекпойнта в предоставленных данных не указан. Модель принимает мел-спектрограмму и синтезирует из неё звуковую волну. Она предназначена для вокодирования речи и других аудиосигналов; обучение BigVGAN-v2 охватывало речь на разных языках, окружающие звуки и музыкальные инструменты. Для ускорения инференса предусмотрено CUDA-ядро, но его сборка требует CUDA, nvcc и ninja. Репозиторий опубликован по лицензии MIT.

BigVGAN-v2 44 kHz — нейронный вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Он преобразует мел-спектрограмму в аудиосигнал и предназначен для синтеза речи и других аудио по спектральным признакам. Эта конфигурация использует 128 мел-полос, частоту дискретизации 44 кГц, коэффициент передискретизации 256 и содержит 112 млн параметров. Модель обучена на крупной компиляции разнообразных аудиоданных, включая многоязычную речь, звуки окружающей среды и музыкальные инструменты. В BigVGAN-v2 улучшены дискриминатор и функция потерь; для ускорения инференса предусмотрено CUDA-ядро, которое, по данным авторов, ускоряет синтез в 1,5–3 раза на GPU A100. Для его сборки нужны CUDA, nvcc и ninja; код проверен с CUDA 12.1. Репозиторий содержит веса PyTorch. Лицензия — MIT.

Chatterbox Multilingual — открытая модель синтеза речи (TTS), разработанная Resemble AI и представленная в экспортированном формате ONNX сообществом onnx-community. Модель предназначена для преобразования текста в естественно звучащую речь, голосовых агентов, создания озвучки для видео, игр и мемов, а также для zero-shot клонирования голоса и voice conversion. Модель поддерживает арабский, датский, немецкий, греческий, английский, испанский, финский, французский, иврит, хинди, итальянский, японский, корейский, малайский, нидерландский, норвежский, польский, португальский, русский, шведский, суахили, турецкий и китайский языки. Указана архитектура с backbone на базе Llama размером 0,5 млрд параметров; обучение проводилось на 0,5 млн часов очищенных данных. Экспорт ONNX позволяет выполнять переносимый и быстрый вывод через ONNX Runtime на разных платформах. Для генерации доступны управление выразительностью и интенсивностью эмоций, а также опциональная водяная маркировка аудио. К сильным сторонам относятся широкая языковая поддержка, zero-shot TTS для английского языка, управление экспрессией и заявленная устойчивость генерации благодаря alignment-informed inference. Ограничения заключаются в том, что README не приводит подробных количественных характеристик качества, требований к ресурсам, ограничений по длительности контекста или сопоставимого качества для всех поддерживаемых языков; повышенная выразительность также может ускорять речь. Модель распространяется по лицензии MIT.

Репозиторий Yushasyed/contextlens-music-engines содержит сторонние модели, которые ContextLens использует для удаления музыкального фона из записи урока с сохранением речи. В него входят Kim's vocals Mel-Band RoFormer в формате Core ML с 4-битными оценщиками маски и MossFormer2 SE 48K из ClearVoice в формате ONNX с 8-битной квантизацией. Модели предназначены для улучшения разборчивости речи в аудиозаписях с музыкой. Первая распространяется по лицензии MIT, вторая — по Apache-2.0. Репозиторий перераспространяет сторонние модели без изменений исходных весов, однако включает преобразование в указанные форматы и квантизацию; у каждой модели своя лицензия.

FunAudioLLM/CosyVoice-300M-Instruct — модель синтеза речи из текста, разработанная командой FunAudioLLM в рамках семейства CosyVoice. Версия с инструкциями позволяет управлять параметрами озвучивания, включая язык, диалект, эмоцию, скорость и громкость. Репозиторий содержит ONNX-формат модели; лицензия — Apache-2.0. Модель предназначена для многоязычной генерации речи, в том числе с переносом голоса по образцу (zero-shot voice cloning) и потоковой генерацией. В карточке семейства заявлена поддержка китайского, английского, японского, корейского, немецкого, испанского, французского, итальянского и русского языков, а также китайских диалектов. Также описаны нормализация чисел и специальных символов и управление произношением через фонетические подсказки. Документация относится к нескольким версиям CosyVoice, поэтому перечисленные возможности семейства не обязательно все доступны именно в этой модели на том же уровне. Карточка не сообщает размер контекста или конкретные ограничения качества; синтез речи может требовать дополнительной настройки и ресурсов для выбранного способа запуска.

Dasheng-AudioGen-GGUF — версия модели mispeech/Dasheng-AudioGen в формате GGUF, подготовленная ilintar для запуска через C++/GGML-рантайм thinksound.cpp. Модель преобразует текстовое описание в аудио: Flan-T5-Large кодирует текст, адаптер предсказывает содержание и длительность, LayerFusionAudioDiT формирует аудиолатенты, а декодер Vocos выдаёт монофонический звук с частотой 16 кГц. Генерация выполняется с помощью 25-шагового flow-matching-сэмплера. Пакет включает веса аудиомодели, декодера и текстового энкодера; заявлена работа на CPU, ROCm/HIP и Vulkan, а соответствие PyTorch-версии проверено поэтапным сравнением. Модель подходит для создания речи, музыки, звуковых эффектов и фоновых звуков по описанию. Длительность результата предсказывается моделью и может не совпасть с запрошенной. Репозиторий распространяется по лицензии Apache-2.0.

mlx-community/fish-audio-s2-pro-bf16 — конвертированная в формат MLX версия Fish Audio S2 Pro, подготовленная сообществом mlx-community на основе fishaudio/s2-pro. Это модель синтеза речи с архитектурой Dual-Autoregressive и 5 млрд параметров: медленный авторегрессионный блок отвечает за основное семантическое представление, а быстрый — за остаточные кодовые книги. Модель рассчитана на генерацию речи из текста на множестве языков; в карточке выделены английский, японский и китайский как языки с полной поддержкой, а русский, корейский, испанский, португальский, арабский, французский и немецкий — с сильной поддержкой. Модель поддерживает управление просодией и эмоциями с помощью встроенных текстовых тегов, например для шёпота, пауз, ударения, смеха, пения или изменения высоты голоса. Это позволяет настраивать манеру произношения внутри текста и использовать синтез для озвучивания, выразительной речи и клонирования голоса. Веса представлены в формате safetensors для MLX; README указывает конверсию с помощью mlx-audio 0.4.0. Лицензия обозначена как other, поэтому перед использованием следует проверить условия исходной карточки модели.

MiDashengLM-Gen — модель генерации аудиосцен, разработанная авторами проекта MiDashengLM. Она использует полностью дообученную языковую модель Qwen3-1.7B, аудиотокенизатор DashengTokenizer и условный flow matching для авторегрессионного создания аудио переменной длины. На вход подаются структурированные текстовые описания сцены, речи и характеристик голоса; модель генерирует согласованные аудиосцены с речью, музыкой, звуковыми эффектами и окружающей акустикой. Выходное аудио имеет частоту дискретизации 16 кГц. Аудиотокенизатор формирует латентные представления размерности 768 с частотой 25 Гц, затем аудиопроектор снижает её до 5 Гц; блок Flow Matching DiT содержит 16 слоёв, размер скрытого состояния 2048 и 8 голов внимания. Модель подходит для создания смешанных звуковых сцен по текстовым сценариям, включая диалоги с заданной подачей голоса, музыку и фоновые эффекты. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0. Авторы запрещают использовать модель и её производные для незаконных действий, нарушения прав, причинения вреда людям, дискриминации и военных целей.

Parler-TTS Mini Multilingual v1 — модель синтеза речи, разработанная в сотрудничестве аудиокоманды Hugging Face и Quantum Squadra при участии AI4Bharat. Это дообученная версия Parler-TTS Mini, построенная на архитектуре Parler-TTS и предназначенная для преобразования текста в речь на английском, французском, испанском, португальском, польском, немецком, итальянском и нидерландском языках. Модель генерирует речь по тексту и позволяет управлять её характеристиками с помощью текстового описания. Для обработки используются отдельные токенизаторы текста и описания; улучшенный токенизатор с расширенным словарём и резервным кодированием байтов упрощает мультиязычное обучение и расширение языкового охвата. При обучении использовались очищенные данные CML-TTS и неанглоязычная часть Multilingual LibriSpeech — около 9 200 часов данных, а также примерно 580 часов английских записей LibriTTS-R. Веса опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия Apache-2.0. В карточке не указаны размер модели и длина контекста.

aufklarer/Qwen3-ForcedAligner-0.6B-4bit — 4-битная версия Qwen/Qwen3-ForcedAligner-0.6B, подготовленная для запуска на Apple Silicon через MLX. Модель принимает аудио и соответствующий ему текст и за один проход без авторегрессивной генерации предсказывает временные метки слов. В описанной конфигурации аудиокодировщик и классификационная голова работают в float16, а текстовый декодер квантизирован до 4 бит с размером группы 64. Модель предназначена для выравнивания текста с речью: например, чтобы получить таймкоды слов для субтитров или транскрипта. Класс временной метки соответствует интервалу 80 мс. Поддерживаемые языки включают английский, китайский, японский, корейский, немецкий, французский, испанский, итальянский и русский. Репозиторий распространяется по лицензии Apache-2.0. Это производная модель, указанная как дообученная на базе Qwen/Qwen3-ForcedAligner-0.6B; README описывает её как 4-битную MLX-версию для Apple Silicon. Такое сжатие уменьшает точность весов декодера; модель требует пар аудио и текста и сама по себе не предназначена для распознавания речи из необработанного аудио.

RE-SepFormer — модель разделения аудиоисточников, разработанная командой SpeechBrain и обученная на наборе WSJ0-2Mix. Она предназначена для выделения отдельных речевых сигналов из смешанной записи; репозиторий предоставляет средства для запуска разделения на собственных аудиофайлах. Модель реализована на архитектуре RE-SepFormer с использованием SpeechBrain. На тестовом наборе WSJ0-2Mix указаны SI-SNRi 18,6 дБ и SDRi 18,9 дБ. Для входных записей требуются монофонический сигнал с частотой дискретизации 8 кГц; аудио с другой частотой нужно предварительно пересэмплировать. Модель поддерживает английскую речь и распространяется по лицензии Apache-2.0. Разработчики не гарантируют такую же производительность на других наборах данных, поэтому результаты на аудио за пределами WSJ0-2Mix могут отличаться.

Карточка модели hiahiaxixi/s2-pro на Hugging Face совпадает с карточкой fishaudio/s2-pro, поэтому описание составлено по ней. Fish Audio S2 Pro — модель синтеза речи, разработанная Fish Audio. Она преобразует текст в речь и поддерживает управление интонацией, эмоциями и другими особенностями произношения с помощью текстовых инструкций в квадратных скобках, которые можно размещать рядом с нужными фрагментами текста. Архитектура объединяет декодерный трансформер с аудиокодеком RVQ и состоит из двух авторегрессионных частей: модель на 4 млрд параметров предсказывает основной семантический код, а компонент на 400 млн параметров генерирует девять остаточных кодов для акустических деталей. Модель предназначена для многоязычной генерации речи, включая потоковый синтез. В карточке заявлена поддержка более 80 языков; среди основных — японский, английский и китайский, а также русский, корейский, испанский, португальский, арабский, французский и немецкий. Модель принимает текст и выдаёт аудио. Авторы сообщают о потоковом движке инференса на базе SGLang и скорости генерации выше реального времени на NVIDIA H200; эти показатели зависят от оборудования и конфигурации. Лицензия указана как «other», поэтому условия использования следует проверить на странице репозитория Hugging Face.

Карточка модели jagaliano/s2-pro на Hugging Face совпадает с карточкой fishaudio/s2-pro, поэтому описание составлено по ней. Fish Audio S2 Pro — модель синтеза речи, разработанная Fish Audio. Она преобразует текст в речь и поддерживает управление интонацией, эмоциями и другими особенностями произношения с помощью текстовых инструкций в квадратных скобках, которые можно размещать рядом с нужными фрагментами текста. Архитектура объединяет декодерный трансформер с аудиокодеком RVQ и состоит из двух авторегрессионных частей: модель на 4 млрд параметров предсказывает основной семантический код, а компонент на 400 млн параметров генерирует девять остаточных кодов для акустических деталей. Модель предназначена для многоязычной генерации речи, включая потоковый синтез. В карточке заявлена поддержка более 80 языков; среди основных — японский, английский и китайский, а также русский, корейский, испанский, португальский, арабский, французский и немецкий. Модель принимает текст и выдаёт аудио. Авторы сообщают о потоковом движке инференса на базе SGLang и скорости генерации выше реального времени на NVIDIA H200; эти показатели зависят от оборудования и конфигурации. Лицензия указана как «other», поэтому условия использования следует проверить на странице репозитория Hugging Face.

silero-vad-v5 — модель обнаружения голосовой активности Silero, опубликованная Vokra в формате GGUF для runtime Vokra. Это конверсия исходных весов snakers4/silero-vad версии 5, а не новая или дообученная модель. Репозиторий содержит файл размером 2,1 МБ с архитектурой silero-vad. Модель предназначена для выделения участков речи в аудиозаписях и потоках речи. Для указанного в README сценария на вход подаётся монофонический WAV с частотой 16 кГц, а результатом являются сегменты с обнаруженной речью. Формат GGUF позволяет runtime Vokra напрямую отображать файл в память. Модель распространяется по лицензии MIT. Карточка не описывает другие частоты дискретизации, языковые ограничения или показатели качества.

VieNeu-TTS v3 Turbo — модель синтеза речи, разработанная Phạm Nguyễn Ngọc Bảo. Она обучена с нуля примерно на 10 000 часах англо-вьетнамской речи и не является доработкой или дистилляцией существующей TTS-модели. Модель предназначена для преобразования текста в речь на вьетнамском и английском языках, включая плавное переключение между языками, создание подкастов, диалогов и потокового аудио. Ключевые возможности включают синтез с частотой дискретизации 48 кГц, 23 встроенных голоса северного, центрального и южного регионов Вьетнама, клонирование голоса, управление эмоциями с помощью встроенных текстовых маркеров и генерацию в реальном времени. На CPU модель работает через ONNX Runtime без PyTorch, поддерживает режим int8 и может использоваться на macOS; на CUDA GPU применяется движок PyTorch с автоматической и непрерывной пакетной обработкой. Заявлена совместимость с OpenAI API для потоковой передачи аудио, а на одной RTX 3060 поддерживается до 16 одновременных потоков. В архитектуре используются оригинальная модель автора, аудиокодек MOSS-Audio-Tokenizer-Nano с поддержкой 48 кГц и фонемайзер sea-g2p. Сильные стороны модели — высокое качество аудио, широкий выбор вьетнамских голосов, клонирование голоса, эмоциональная выразительность, двуязычный режим и поддержка CPU- и GPU-сценариев. Ограничения включают отсутствие указанных сведений о размере модели и максимальной длине контекста, а также зависимость GPU-режима от совместимого CUDA-окружения. Модель распространяется по лицензии Apache-2.0.

VocalParse-1.7B — модель для транскрибации вокала, разработанная pymaster и дообученная на базе Qwen3-ASR-1.7B. Она принимает аудио с пением и генерирует последовательность токенов, объединяющую текст песни, высоту нот, их длительности в условных значениях и общий темп в BPM. Архитектура сочетает аудиоэнкодер Whisper с декодером Qwen; веса опубликованы в формате safetensors. Модель предназначена для автоматической транскрибации пения и получения структурированного представления мелодии, например для анализа исполнения или подготовки нотной разметки. В режиме CoT сначала выводится текст песни, затем совмещённая последовательность текста и музыкальных признаков. Основной язык обучения — китайский; модель унаследована от многоязычной Qwen3-ASR. Модель преимущественно обучена на китайском пении, не предсказывает физическую длительность звучания нот, а аудио длиннее 30 секунд рекомендуется заранее разбивать на фрагменты. Лицензия — Apache-2.0.

XTTS-v2 — модель синтеза речи Coqui, дообученная на базе coqui/XTTS-v2. Она создаёт многоязычную речь по тексту и позволяет клонировать голос по аудиофрагменту длительностью около 6 секунд, в том числе переносить голос на другой язык. Модель поддерживает 17 языков, выдаёт аудио с частотой дискретизации 24 кГц и допускает использование нескольких голосовых образцов для интерполяции между голосами. Модель подходит для озвучивания текстов, многоязычной генерации речи и переноса эмоционального стиля и манеры речи из образца. В карточке указаны улучшения стабильности, просодии и качества аудио относительно XTTS-v1. Репозиторий использует формат PyTorch и библиотеку Coqui; лицензия обозначена как other, поэтому перед использованием следует проверить её условия в карточке модели.

Карточка модели Anyhow5026272/YuE2-3B на Hugging Face совпадает с карточкой Stevroy7/YuE2-3B, поэтому описание составлено по ней. YuE2-3B — открытая модель генерации музыки, построенная на архитектуре YuE2 и представленная в репозитории Stevroy7/YuE2-3B. Модель преобразует текстовое описание стиля и слова песни в полноценную композицию с вокалом и аккомпанементом, а также поддерживает генерацию по музыкальному плану и редактируемой партитуре ABC. В основе — плотная AR–NAR Mixture-of-Transformers с планированием символической партитуры и генерацией акустических латентов методом flow matching; для декодирования используется VAE. Модель рассчитана на создание оригинальных песен, переаранжировку существующих композиций, работу с мелодией и аккордами и итеративное редактирование музыки с помощью агента. README заявляет контекст 24 576 токенов; метаданные указывают 1,8 млрд параметров. Для локального запуска описана конфигурация Linux и NVIDIA GPU с 24 ГБ памяти и поддержкой BF16. Указанные языки — китайский и английский. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерчески.

AnyGPT-base — базовая мультимодальная авторегрессионная модель команды OpenMOSS-Team, построенная на архитектуре LLaMA и объединяющая текст, изображения, речь и музыку через дискретные представления и предсказание следующего токена. Модель содержит 6,7 млрд параметров, использует формат PyTorch и имеет контекст 2048 токенов. Для обработки модальностей применяются отдельные токенизаторы и компоненты реконструкции: SpeechTokenizer и Soundstorm для речи, SEED-tokenizer для изображений, Encodec-32k для музыки и unCLIP SD-UNet для восстановления изображений. Модель предназначена для преобразования данных между модальностями: генерации изображений, описания изображений, распознавания речи, синтеза речи, генерации музыки и создания описаний музыки. README указывает, что AnyGPT-base может выполнять эти задачи в заданном формате инструкций; примеры и метки языковой поддержки в метаданных относятся к английскому. Авторы отмечают нестабильность генерации из-за ограничений данных и вычислительных ресурсов, поэтому результат может требовать повторной генерации или настройки декодирования. Лицензия — исходная лицензия LLaMA 2.

Audio8 TTS Preview 0.6B — компактная многоязычная модель синтеза речи с клонированием голоса по образцу, опубликованная под именем Audio8. Основная модель содержит около 601 млн параметров и использует архитектуру DualAR: медленный авторегрессионный трансформер предсказывает семантические токены аудиокадров, а быстрый — кодовые книги аудиокодека. В репозитории также находятся кодек 44,1 кГц, токенизатор и процессор. Модель предназначена для генерации речи по тексту, в том числе с голосом, заданным референсным аудио, и поддерживает кантонский и китайский, нидерландский, английский, французский, немецкий, итальянский, японский, корейский, польский и испанский языки. Для клонирования транскрипт референсного аудио должен совпадать с произнесённым содержанием. Авторы сообщают о сильных результатах на тестах Seed-TTS и CV3, однако эти сравнения являются ориентировочными из-за различий в нормализации и методах оценки. Это Preview-релиз с ограниченным охватом языков и диалектов. Длинные, шумные или неточно транскрибированные референсы могут ухудшать стабильность генерации и сходство голоса. Для работы рекомендуется CUDA-совместимый GPU; доступны также отдельные варианты развёртывания на CPU через ONNX INT4 и высокопроизводительной подачи через SGLang Omni. Лицензия — Apache-2.0. При клонировании голосов следует получать согласие и раскрывать факт синтетической генерации там, где это уместно.

Audio8 TTS Preview 0.6B — предварительная многоязычная модель синтеза речи с нулевым клонированием голоса от Edge0. Она построена на архитектуре DualAR, вдохновлённой Fish Audio S2 Pro: медленный авторегрессионный трансформер предсказывает семантические токены аудиокадров, а быстрый — кодовые книги аудиокодека. Основная модель содержит около 601 млн параметров; в репозитории также есть кодек с частотой 44,1 кГц, токенизатор и процессор. Модель генерирует речь по тексту и может имитировать голос по аудиозаписи и соответствующей ей расшифровке. Заявлена поддержка кантонского и китайского, нидерландского, английского, французского, немецкого, итальянского, японского, корейского, польского и испанского языков. В README описаны запуск на GPU и варианты развертывания для CPU через отдельную ONNX INT4-версию, а также обслуживание через адаптер SGLang Omni. Модель компактна по сравнению с крупными системами, а приведённые в карточке результаты показывают конкурентные показатели на нескольких тестах синтеза речи. Это Preview-чекпойнт с ограниченным охватом языков и диалектов; длинные, шумные или неверно расшифрованные эталонные записи могут ухудшать стабильность и сходство голоса. Для клонирования голоса следует получать согласие говорящего и раскрывать факт синтетической генерации. Лицензия — Apache-2.0.

Audio8 TTS Preview — компактная многоязычная модель синтеза речи от разработчика репозитория developerjeremylive. Модель насчитывает около 0,6 млрд параметров и использует архитектуру DualAR: медленный авторегрессионный трансформер предсказывает семантические токены аудиокадров, а быстрый — кодовые последовательности аудиокодека. В репозитории также есть кодек 44,1 кГц, токенизатор и процессор. Модель преобразует текст в речь и поддерживает клонирование голоса по короткому аудиопримеру без отдельного дообучения. Заявлены кантонский и китайский, нидерландский, английский, французский, немецкий, итальянский, японский, корейский, польский и испанский языки. Карточка приводит сравнительные результаты на тестах Seed-TTS и CV3, но они получены с разными нормализаторами и оценщиками, поэтому служат ориентиром, а не строгим рейтингом. Лицензия — Apache-2.0. Это предварительная версия с ограниченным охватом языков и диалектов. Длинные, шумные или неверно транскрибированные референсные записи могут снизить стабильность генерации и сходство голоса. Для работы с пользовательской записью требуется совпадающая с речью расшифровка; клонирование голоса следует выполнять с согласия его носителя.

nvidia/bigvgan_24khz_100band — предобученный нейронный вокодер BigVGAN-v2, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Он преобразует мел-спектрограммы в аудиоволну и рассчитан на синтез речи и других звуков с частотой дискретизации 24 кГц. Модель имеет архитектуру BigVGAN, 100 мел-полос и коэффициент повышения частоты дискретизации 256; вариант на 24 кГц содержит 112 млн параметров и обучен на крупной компиляции аудиоданных. В обучающих данных были речь на нескольких языках, окружающие звуки и музыкальные инструменты. Для ускорения инференса доступно пользовательское CUDA-ядро; README сообщает об ускорении в 1,5–3 раза на A100, при этом для его сборки требуются CUDA, nvcc и ninja. Модель принимает мел-спектрограмму и выдаёт аудиоволну; она сама по себе не преобразует произвольный текст или исходную речь в аудио. Репозиторий распространяется по лицензии MIT.

BigVGAN-v2 — нейросетевой вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Этот чекпойнт предназначен для синтеза аудиоволны по входной мел-спектрограмме с частотой дискретизации 22 кГц, 80 мел-полосами и максимальной частотой 8 кГц; коэффициент апсемплинга составляет 256×. В README указано, что семейство обучали на разнообразных аудиоданных, включая речь на нескольких языках, окружающие звуки и музыкальные инструменты. Модель подходит для преобразования мел-спектрограмм в аудио в системах синтеза речи и других аудиосценариях. Для ускорения инференса доступно CUDA-ядро; для его сборки требуются CUDA, nvcc и ninja. Репозиторий использует PyTorch и распространяется по лицензии MIT. README отмечает, что CUDA-ускорение проверялось с CUDA 12.1; качество и поддерживаемые языки конкретно этого чекпойнта не описаны.