/ Модель

Характеристики

Лицензия
CC BY-NC 4.0
Опубликована
5 окт 2026

Q-SPT

Обработка аудиоАудио → аудио

Q-SPT сжимает речь в низкочастотные семантические и акустические токены и восстанавливает аудио из этого представления.

24скачиваний за 30 дней0лайковвеса обновлены5 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Q-SPT — токенизатор речи для языковых моделей, разработанный KU-AGI. Он преобразует речь с частотой дискретизации 16 кГц в компактное представление с частотой 6,25 токена в секунду: один семантический поток с кодовой книгой на 32 768 кодов и семь акустических потоков по 4 096 кодов. Модель также восстанавливает речь из этих токенов.

В репозитории размещены веса в формате safetensors: модель содержит 104 млн параметров и сохранена в FP32. Она предназначена для сжатого представления и реконструкции речи в системах речевых языковых моделей. Карточка ссылается на исследовательскую работу arXiv:2610.01492 и код KU-AGI/Q-SPT. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Сценарии применения

  • токенизация речи для речевой языковой модели
  • сжатое представление речи при частоте 6,25 Гц
  • восстановление речи из семантических и акустических токенов

Ограничения

Для работы с моделью требуется программная среда из связанного репозитория. Лицензия запрещает коммерческое использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization

Q-SPT is a speech tokenizer for speech language models. It converts 16 kHz speech into tokens at 6.25 Hz (1 semantic stream with 32768 codes + 7 acoustic streams with 4096 codes each) and reconstructs speech from them.

Usage

Set up the environment by following the GitHub repository, then:

import torchaudio
from qspt import QSPT

codec = QSPT.from_pretrained("KU-AGI/Q-SPT").cuda()

wav, sr = torchaudio.load("speech.wav")
codes = codec.encode(wav, sr)          # (1, 8, N) tokens at 6.25 Hz
recon = codec.decode(codes)            # (1, 1, ~N * 2560) waveform at 16 kHz
torchaudio.save("recon.wav", recon[0].cpu(), 16000)

The semantic encoder SenseVoiceSmall is downloaded automatically on first use.

Files

  • model.safetensors: Q-SPT weights (fp32, 104M parameters)
  • config.json: model configuration

Citation

@article{yun2026qspt,
  title={Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization},
  author={Yun, Jeeyoung and Yun, Seohwan and Kim, Sungwoong},
  journal={arXiv preprint arXiv:2610.01492},
  year={2026}
}

License

CC BY-NC 4.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
991f20e

0 моделей