/ Модель

Характеристики

Лицензия
CC BY 4.0
Базовая модель
pocket-tts
Библиотека
phoonnx
Опубликована
2 авг 2026

phoonnx-pocket-tts

Синтез речиТекст → аудио

Зеркало Kyutai Pocket TTS в ONNX для быстрого синтеза речи на шести европейских языках с phoonnx.

0скачиваний за 30 дней0лайковвеса обновлены3 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OpenVoiceOS/phoonnx-pocket-tts — зеркало весов Kyutai Pocket TTS в формате ONNX для движка phoonnx pockettts. Pocket TTS — модель преобразования текста в речь примерно со 100 млн параметров; в репозитории размещены языковые наборы весов, опубликованные состояния голосов и варианты графов ONNX в полной точности и INT8. Графы экспортированы сообществом и перенесены из KevinAHM/pocket-tts-onnx; новых весов этот репозиторий не добавляет.

Модель предназначена для синтеза речи на английском, французском, немецком, итальянском, португальском и испанском языках. README указывает скорость выше реального времени на двух ядрах CPU; аудиовыход — моно, 24 кГц. Для клонирования голоса используется состояние трансформера, полученное после обработки аудио говорящего. Лицензия репозитория — CC BY 4.0.

Сценарии применения

  • синтез английской речи из текста
  • озвучивание французского текста
  • синтез немецкой речи
  • озвучивание текста на итальянском, португальском или испанском
  • локальный синтез речи на CPU
  • генерация речи с использованием опубликованного состояния голоса

Ограничения

Репозиторий является зеркалом и не содержит новых обученных весов; для клонирования голоса требуются состояния голоса, соответствующие форматам манифестов. README сообщает о наборах для шести языков, но не приводит здесь полный перечень языковых каталогов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Pocket TTS — ONNX mirror for phoonnx

ONNX weights for Kyutai Pocket TTS, packaged for the phoonnx pockettts engine.

Pocket TTS is a 100-million-parameter text-to-speech model. It runs faster than real time on two CPU cores. This mirror holds one weight bundle per language, in full precision and in 8-bit, together with the published speaker states.

Languages

DirectoryLanguageTransformer layers
english_2026-04English6
french_24lFrench24
germanGerman6
italianItalian6
portuguesePortuguese6
spanishSpanish6

Contents of a bundle

FilePurpose
bundle.jsonSample rate, latent size, chunk limit and the two state manifests
tokenizer.modelSentencePiece tokenizer, 4000 units
bos_before_voice.npyEmbedding prepended to a cloned voice
text_conditioner.onnxToken ids to text embeddings
flow_lm_main.onnxAutoregressive transformer with explicit state
flow_lm_flow.onnxFlow network for one latent frame
mimi_decoder.onnxLatent frames to 24 kHz audio
mimi_encoder.onnxReference audio to latent frames, for voice cloning
voices/<name>.safetensorsPublished speaker states, 26 per language

Every graph except the encoders also ships as *_int8.onnx.

Graph interfaces

text_conditioner : token_ids                          -> embeddings
flow_lm_main     : sequence, text_embeddings, state_* -> conditioning, eos_logit, out_state_*
flow_lm_flow     : c, s, t, x                         -> flow_dir
mimi_decoder     : latent, state_*                    -> audio_frame, out_state_*
mimi_encoder     : audio                              -> latents

Audio is 24 kHz mono. The model produces 12.5 latent frames per second, and each frame decodes to 1920 samples. The state_* tensors are described by the state manifests in bundle.json: each entry gives the tensor name, shape, dtype and how to fill it at the start of a stream.

A voice is a state, not an embedding vector: it is the transformer state after the model has consumed a speaker's audio. The manifests map a voices/*.safetensors file onto the state tensors of flow_lm_main.

Usage

from phoonnx.model_manager import TTSModelManager

manager = TTSModelManager()
voice = manager.download_voice_by_id("pockettts/en/alba").load()
audio = voice.synthesize_wav("Hello world.")

Attribution

The model is the work of Kyutai, released as kyutai/pocket-tts. The ONNX graphs were exported by the community and are mirrored from KevinAHM/pocket-tts-onnx. The speaker states come from kyutai/pocket-tts-without-voice-cloning.

This repository adds no new weights. It exists so that phoonnx can fetch a stable set of files from one place.

License

The weights keep their upstream license, Creative Commons Attribution 4.0 International (CC BY 4.0). The full text is in LICENSE. Give credit to Kyutai when you use them.

Kyutai asks that the model is not used for voice impersonation without consent, for deception, or for unlawful or abusive content.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · phoonnx

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
81b240f

0 моделей