/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
qwen3_tts_tokenizer_12hz · dense
Опубликована
5 июл 2026

Qwen3-TTS-Tokenizer-12Hz

Обработка аудиоАудио → аудио

Производная модели Qwen/Qwen3-TTS-Tokenizer-12Hz. Токенизатор Qwen3-TTS кодирует речь в компактные дискретные токены и декодирует их обратно в аудио для речевых систем.

9скачиваний за 30 дней0лайковвеса обновлены5 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели Jinstudio/Qwen3-TTS-Tokenizer-12Hz на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-Tokenizer-12Hz, поэтому описание составлено по ней.

Qwen3-TTS-Tokenizer-12Hz — аудиотокенизатор из семейства Qwen3-TTS, разработанный командой Qwen. Он кодирует входную речь в дискретные акустические токены и декодирует токены обратно в речь, чтобы компактно представлять аудио для хранения и передачи, а также использовать его в речевых системах.

Архитектура использует 16 слоёв многокодовой книги, частоту токенизации 12,5 Гц и лёгкую каузальную ConvNet. В README заявлены эффективное акустическое сжатие и сохранение просодических и акустических характеристик среды. Семейство Qwen3-TTS охватывает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки; это описание относится к семейству, а не обязательно к отдельным возможностям токенизатора.

Модель предназначена для кодирования и восстановления речи, включая сценарии хранения, передачи и потоковой генерации с низкой задержкой в системах Qwen3-TTS. Репозиторий распространяется по лицензии Apache-2.0. Количественные результаты оценки качества вынесены в технический отчёт; сам README их не приводит.

Сценарии применения

  • кодирование речи в дискретные токены
  • декодирование токенов обратно в речь
  • компактное хранение речевых данных
  • передача аудио в речевых системах
  • токенизация аудио для потоковой генерации речи

Ограничения

README не приводит количественных результатов оценки качества; заявленные языки и низкая задержка описаны для семейства Qwen3-TTS, поэтому их поддержка конкретным токенизатором отдельно не детализирована.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3-TTS-Tokenizer-12Hz

This repository contains the Qwen3-TTS-Tokenizer-12Hz, as presented in the paper Qwen3-TTS Technical Report.

Qwen3-TTS-Tokenizer-12Hz achieves extreme bitrate reduction and ultra-low-latency streaming, enabling immediate first-packet emission through its 12.5 Hz, 16-layer multi-codebook design and a lightweight causal ConvNet.

Quickstart

Environment Setup

Install the qwen-tts Python package from PyPI:

pip install -U qwen-tts

Tokenizer Encode and Decode

You can encode audio into discrete tokens for storage or transport and decode them back into speech using the snippet below:

import soundfile as sf
from qwen_tts import Qwen3TTSTokenizer

tokenizer = Qwen3TTSTokenizer.from_pretrained(
    "Qwen/Qwen3-TTS-Tokenizer-12Hz",
    device_map="cuda:0",
)

# Encode audio from a URL (or local path)
enc = tokenizer.encode("https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-TTS-Repo/tokenizer_demo_1.wav")

# Decode codes back into waveforms
wavs, sr = tokenizer.decode(enc)
sf.write("decode_output.wav", wavs[0], sr)

Overview

Introduction

Qwen3-TTS covers 10 major languages (Chinese, English, Japanese, Korean, German, French, Russian, Portuguese, Spanish, and Italian) as well as multiple dialectal voice profiles. Key features:

  • Powerful Speech Representation: Powered by the self-developed Qwen3-TTS-Tokenizer-12Hz, it achieves efficient acoustic compression and high-dimensional semantic modeling of speech signals. It fully preserves paralinguistic information and acoustic environmental features.
  • Extreme Low-Latency Streaming Generation: Based on the innovative Dual-Track hybrid streaming generation architecture, it can output the first audio packet immediately after a single character is input, with end-to-end synthesis latency as low as 97ms.

Model Architecture

Released Tokenizers

Tokenizer NameDescription
Qwen3-TTS-Tokenizer-12HzThe Qwen3-TTS-Tokenizer-12Hz model which can encode the input speech into codes and decode them back into speech.

Evaluation

For detailed evaluation results on speech generation consistency, speaker similarity, and tokenizer benchmarks (ASR tasks, PESQ, STOI, UTMOS), please refer to the technical report or the GitHub repository.

Citation

@article{Qwen3-TTS,
  title={Qwen3-TTS Technical Report},
  author={Hangrui Hu and Xinfa Zhu and Ting He and Dake Guo and Bin Zhang and Xiong Wang and Zhifang Guo and Ziyue Jiang and Hongkun Hao and Zishan Guo and Xinyu Zhang and Pei Zhang and Baosong Yang and Jin Xu and Jingren Zhou and Junyang Lin},
  journal={arXiv preprint arXiv:2601.15621},
  year={2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Класс архитектуры
Qwen3TTSTokenizerV2Model
Ревизия весов
83b4cfa

0 моделей