/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3-0.6B
Опубликована
9 июн 2026

ViiTorVoice-NAR

Синтез речиТекст → аудио3 профессии

Неавторегрессионная модель синтеза речи для клонирования голоса, редактирования аудиофрагментов и управления эмоциями в речи.

114скачиваний за 30 дней138лайковвеса обновлены11 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ViiTorVoice-NAR — модель синтеза речи с неавторегрессионной генерацией, разработанная для проекта viitor-ai/viitor-voice-nar. Она генерирует речевые токены по тексту, аудио-промпту, маскам редактирования, условиям длительности и меткам эмоций или неречевых вокальных событий. В состав входят языковая модель на основе дообученной Qwen3-0.6B, DualCodec для преобразования аудио в дискретные токены и обратно, а также W2V-BERT 2.0 для извлечения семантических признаков речи.

Модель предназначена для клонирования голоса по образцу, локальной замены фрагментов записи с сохранением остальной речи и управления эмоциями и паралингвистическими особенностями звучания. В метаданных указаны языки китайский, английский, японский и корейский, форматы ONNX и safetensors. Модель распространяется под лицензией Apache-2.0; README рекомендует отдельно проверять условия использования каждого подкомпонента.

Сценарии применения

  • синтез речи голосом по короткому аудиообразцу
  • клонирование характеристик голоса при озвучивании текста
  • замена изменённого фрагмента в существующей записи
  • генерация речи с заданной эмоцией
  • создание неречевых вокальных звуков по меткам

Ограничения

Для клонирования голоса и локального редактирования требуется аудио-промпт и компоненты DualCodec и W2V-BERT 2.0; README не приводит количественных оценок качества или ограничений по длительности входа.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ViiTorVoice-NAR Local Models

GitHub Hugging Face Demo

This directory contains the local model files used by viitor-ai/viitor-voice-nar.

ViiTorVoice-NAR is a non-autoregressive speech generation model for voice cloning, local speech editing, and emotion / paralinguistic speech control. The files in this directory are split by function so each model component can be loaded independently.

Directory

local_models/
├── aligner/
│   └── Qwen3-ForcedAligner-0.6B/
├── assets/
│   └── dualcodec_silence_2s.pt
├── dualcodec/
│   ├── dualcodec_ckpts/
│   └── w2v-bert-2.0/
└── llm/
    └── 0p6_emotion/

Model Components

ComponentPathPurpose
ViiTorVoice-NAR LLMllm/0p6_emotion/Generates target speech tokens from text, prompt speech tokens, edit masks, duration conditions, and emotion or non-verbal tags.
DualCodecdualcodec/dualcodec_ckpts/Converts waveform audio into discrete speech codebook tokens and decodes generated tokens back into waveform audio.
W2V-BERT 2.0dualcodec/w2v-bert-2.0/Extracts semantic speech features used by the DualCodec encoder.
Qwen3 Forced Aligneraligner/Qwen3-ForcedAligner-0.6B/Aligns speech audio with text and provides timestamps for local speech editing.
Runtime Assetsassets/Stores small auxiliary files, such as precomputed silence tokens used during generation or padding.

Main Uses

  • Voice cloning: synthesize new speech from target text while preserving the speaker characteristics of prompt audio.
  • Local speech editing: replace only the changed region of an utterance while keeping the rest of the audio stable.
  • Emotion and paralinguistic control: condition generation with tags such as emotion labels or non-verbal vocal events.

Notes

  • Keep the directory structure unchanged unless the loading code is updated as well.
  • Model weights are large binary files and are usually stored outside normal git tracking.
  • Check the upstream project and each submodel for license and usage terms.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
c225ea3

0 моделей