/ Модель

Характеристики

Лицензия
CC BY 4.0
Опубликована
17 сен 2025

voxtream

Синтез речиТекст → аудио3 профессии

VoXtream — англоязычная авторегрессионная модель потокового синтеза речи с низкой задержкой для озвучивания текста в реальном времени.

76скачиваний за 30 дней23лайкавеса обновлены14 мар 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VoXtream — авторегрессионная система синтеза речи с потоковой генерацией, рассчитанная на работу в реальном времени. Модель принимает текст по мере его поступления и начинает воспроизводить речь с первых слов, не дожидаясь полного предложения; аудио выдаётся фрагментами по 80 мс. В README заявлены скорость до 5 раз выше реального времени и задержка первого аудиопакета 102 мс на GPU.

Модель обучена на подмножестве объёмом 9 тысяч часов из наборов Emilia и HiFiTTS2. Карточка позиционирует её как zero-shot TTS; метаданные указывают английский язык и формат весов safetensors. Лицензия — CC BY 4.0.

VoXtream подходит для потокового озвучивания текста в приложениях и сценариях, где важны низкая задержка и возможность подавать текст постепенно. README запрещает использовать модель для генерации речи конкретного человека без его согласия. Заявления о скорости и качестве приведены в карточке модели; подробные результаты оценки в доступных материалах не описаны.

Сценарии применения

  • потоковое озвучивание текста по мере его поступления
  • синтез речи для голосовых интерфейсов с низкой задержкой
  • озвучивание ответов чат-бота в реальном времени
  • генерация речи для приложений, передающих аудио небольшими фрагментами

Ограничения

Для синтеза речи конкретного человека требуется его согласие; README запрещает генерацию такой речи без согласия. Заявленные показатели скорости и качества не сопровождаются подробными результатами оценки в предоставленных материалах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for VoXtream

VoXtream, a fully autoregressive, zero-shot streaming text-to-speech system for real-time use that begins speaking from the first word.

Key features

  • Streaming: Support a full-stream scenario, where the full sentence is not known in advance. The model takes the text stream coming word-by-word as input and outputs an audio stream in 80ms chunks.
  • Speed: Works 5x times faster than real-time and achieves 102 ms first packet latency on GPU.
  • Quality and efficiency: With only 9k hours of training data, it matches or surpasses the quality and intelligibility of larger models or models trained on large datasets.

Model Sources

Get started

Installation

pip install voxtream==0.1.5

Usage

Output streaming

voxtream \
    --prompt-audio assets/audio/male.wav \
    --prompt-text "The liquor was first created as 'Brandy Milk', produced with milk, brandy and vanilla." \
    --text "In general, however, some method is then needed to evaluate each approximation." \
    --output "output_stream.wav"
  • Note: Initial run may take some time to download model weights.

Full streaming

voxtream \
    --prompt-audio assets/audio/female.wav \
    --prompt-text "Betty Cooper helps Archie with cleaning a store room, when Reggie attacks her." \
    --text "Staff do not always do enough to prevent violence." \
    --output "full_stream.wav" \
    --full-stream

Out-of-Scope Use

Any organization or individual is prohibited from using any technology mentioned in this paper to generate someone's speech without his/her consent, including but not limited to government leaders, political figures, and celebrities. If you do not comply with this item, you could be in violation of copyright laws.

Training Data

The model was trained on a 9k-hour subset from Emilia and HiFiTTS2 datasets. You can download it here. For more details, please check our paper.

Citation

@inproceedings{torgashov2026voxtream,
  title={Vo{X}tream: Full-Stream Text-to-Speech with Extremely Low Latency},
  author={Torgashov, Nikita and Henter, Gustav Eje and Skantze, Gabriel},
  booktitle={Proc. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  year={2026},
  note={to appear},
  url={https://arxiv.org/abs/2509.15969}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
1b0e673

0 моделей