/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
24 сен 2026

UNITE-AUDIO

Генерация аудиоТекст → аудио

UNITE-AUDIO генерирует аудио по текстовому условию с помощью латентной flow-модели и декодера.

0скачиваний за 30 дней5лайковвеса обновлены25 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

UNITE-AUDIO — фреймворк генерации аудио по тексту. В README описаны совместное обучение непрерывной токенизации и латентный flow matching с обучением на зашумлённом частичном контексте. В состав входят общая текстово-условная латентная flow-модель Stage 3 на 117,7 млн параметров и два декодера по 45,5 млн параметров; стандартная конфигурация использует Stage 3 вместе со Spectral Decoder, которому приписана более стабильная передача высокочастотных деталей. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Сценарии применения

  • генерация аудио по текстовому описанию
  • создание звуковых фрагментов по запросу
  • эксперименты с латентной генерацией аудио

Ограничения

README не сообщает поддерживаемые языки текста, длительность или качество генерируемого аудио; заявленное преимущество Spectral Decoder касается стабильности высокочастотных деталей.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

UNITE-AUDIO is a text-to-audio generation framework that jointly learns continuous tokenization and latent flow matching.

Checkpoints

CheckpointParametersDescription
Stage 3 Flow Model (stage3_flow.safetensors)117.7MThe shared text-conditioned latent flow model.
Default Decoder (default_decoder.safetensors)45.5MThe decoder checkpoint used for the reported paper metrics.
Spectral Decoder (spectral_decoder.safetensors)45.5MAn alternative decoder with more stable high-frequency detail.

The default setting uses the Stage 3 Flow Model with the Spectral Decoder. Parameter counts refer to the released checkpoint modules.

Quick Start

The official inference code downloads the required checkpoints automatically on first use.

Method Overview

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
9acf92a

0 моделей