/ Модель

Характеристики

Контекст
8 192 токена
Лицензия
Apache 2.0
Библиотека
dia2
Опубликована
15 ноя 2025

Dia2-2B

Синтез речиТекст → аудио3 профессии

Потоковая модель Nari Labs для синтеза английской диалоговой речи с возможностью аудиообусловленной генерации.

5 171скачиваний за 30 дней187лайковвеса обновлены1 дек 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Dia2-2B — потоковая модель синтеза диалоговой речи, разработанная Nari Labs. Она начинает генерировать аудио после получения первых слов, поэтому подходит для сценариев с низкой задержкой. Выход можно обусловить аудио, чтобы создавать естественные диалоги; модель поддерживает генерацию на английском языке длительностью до двух минут.

Модель поставляется в варианте с 2 млрд параметров согласно названию репозитория; карточка указывает формат safetensors и библиотеку dia2. Для запуска README приводит пример с CUDA 12.8 или новее и точностью bfloat16. Результат включает аудиотокены, waveform и временные метки слов.

Модель рассчитана на исследовательское и образовательное применение. README запрещает имитировать реальных людей без разрешения, создавать вводящий в заблуждение контент и использовать модель для незаконных или вредоносных целей. Лицензия — Apache-2.0; она не отменяет ограничений использования, установленных авторами.

Сценарии применения

  • потоковая озвучка текста на английском языке
  • генерация реплик для диалоговых приложений с низкой задержкой
  • синтез разговорной речи с аудиообусловливанием
  • создание английской речи длительностью до двух минут

Ограничения

Поддерживает только английский язык и генерацию длительностью до двух минут. Не следует создавать аудио, похожее на реальных людей, без разрешения или использовать модель для обмана, незаконных и вредоносных действий.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Dia2-2B

Dia2 is a streaming dialogue TTS model created by Nari Labs.

The model does not need the entire text to produce the audio, and can start generating as the first few words are given as input. You can condition the output on audio, enabling natural conversations in realtime.

We provide model checkpoints (1B, 2B) and inference code to accelerate research. The model only supports up to 2 minutes of generation in English.

Upcoming

  • Dia2 TTS Server: Real streaming support
  • Sori: Dia2-powered speech-to-speech engine written in Rust

Examples

Quickstart

Requirement — install uv and use CUDA 12.8+ drivers. All commands below run through uv run … as a rule.

  1. Install dependencies (one-time):
    uv sync
    
  2. Prepare a script: edit input.txt using [S1] / [S2] speaker tags.
  3. Generate audio:
    uv run -m dia2.cli \
      --hf nari-labs/Dia2-2B \
      --input input.txt \
      --cfg 2.0 --temperature 0.8 \
      --cuda-graph --verbose \
      output.wav
    
    The first run downloads weights/tokenizer/Mimi. The CLI auto-selects CUDA when available (otherwise CPU) and defaults to bfloat16 precision—override with --device / --dtype if needed.
  4. Conditional Generation (optional):
    uv run -m dia2.cli \
      --hf nari-labs/Dia2-2B \
      --input input.txt \
      --prefix-speaker-1 prefix_speaker1.wav \
      --prefix-speaker-2 prefix_speaker2.wav \
      --cuda-graph --verbose \
      output_conditioned.wav
    
    Condition the generation on previous conversational context in order to generate natural output for your speech-to-speech system. For example, place the voice of your assistant as prefix speaker 1, place user's audio input as prefix speaker 2, and generate the response to user's input.
  5. Gradio for Easy Usage
    uv run gradio_app.py
    

Programmatic Usage

from dia2 import Dia2, GenerationConfig, SamplingConfig

dia = Dia2.from_repo("nari-labs/Dia2-2B", device="cuda", dtype="bfloat16")
config = GenerationConfig(
    cfg_scale=2.0,
    audio=SamplingConfig(temperature=0.8, top_k=50),
    use_cuda_graph=True,
)
result = dia.generate("[S1] Hello Dia2!", config=config, output_wav="hello.wav", verbose=True)

Generation runs until the runtime config's max_context_steps (1500, 2 minutes) or until EOS is detected. GenerationResult includes audio tokens, waveform tensor, and word timestamps relative to Mimi’s ~12.5 Hz frame rate.

Hugging Face

VariantRepo
Dia2-1Bnari-labs/Dia2-1B
Dia2-2Bnari-labs/Dia2-2B

License & Attribution

Licensed under Apache 2.0. All third-party assets (Kyutai Mimi codec, etc.) retain their original licenses.

Disclaimer

This project offers a high-fidelity speech generation model intended for research and educational use. The following uses are strictly forbidden:

  • Identity Misuse: Do not produce audio resembling real individuals without permission.
  • Deceptive Content: Do not use this model to generate misleading content (e.g. fake news)
  • Illegal or Malicious Use: Do not use this model for activities that are illegal or intended to cause harm.

By using this model, you agree to uphold relevant legal standards and ethical responsibilities. We are not responsible for any misuse and firmly oppose any unethical usage of this technology.

Acknowledgements


Questions? Join our Discord or open an issue.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · dia2

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
7abae12

0 моделей