Характеристики

Лицензия: CC BY 4.0
Опубликована: 22 авг 2026

Ссылки

moshiko-full-duplex-onnx-catalogue

Обработка аудиоАудио → аудио

Квантизированный ONNX-пакет Kyutai Moshiko для потокового общения голосом с одновременной генерацией речи и текстовых токенов.

0скачиваний за 30 дней0лайковвеса обновлены26 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это производный пакет Kyutai Moshiko, подготовленный Justin Chuby в формате ONNX для потокового речевого общения с полным дуплексом. В состав входят Mimi-кодировщик и декодировщик, временной трансформер на 7 млрд параметров и depformer с 8 шагами. Веса MatMul и константные веса Gather квантизированы симметричным INT4 RTN с размером блока 128; Mimi оставлен в экспортированной точности.

Модель принимает аудио с частотой 24 кГц и генерирует одновременно текстовые токены и аудио ассистента с частотой 24 кГц. Пакет рассчитан на потоковый сценарий с состоянием сессии, KV-кэшами и кольцевым буфером задержки; в README приведён пример детерминированной генерации на CUDA. Репозиторий распространяется по лицензии CC BY 4.0.

Сценарии применения

потоковый голосовой диалог с ассистентом
генерация ответа голосом по входящему аудио
одновременный вывод текста и речи в голосовом интерфейсе

Ограничения

Пакет ориентирован на потоковую обработку аудио 24 кГц и требует ведения состояния сессии; приведённый в README замер производительности получен на H200 и не характеризует другие устройства.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Moshiko full-duplex ONNX package

Real-weight four-component Kyutai Moshiko speech-to-speech package: Mimi encoder, 7B temporal transformer, 8-step depformer, and Mimi decoder. The LM MatMul and constant Gather weights use ONNX Runtime symmetric INT4 RTN (block size 128, Gather axis -1); Mimi remains in its exported precision. This substitutes for inaccessible gated PersonaPlex while preserving the canonical delayed multi-stream/recurrent full-duplex workflow.

Pinned source

kyutai/moshiko-pytorch-bf16@2bfc9ae6e89079a5cc7ed2a68436010d91a3d289
CC BY 4.0, public and ungated.
Original creator: Kyutai. This derivative converts the checkpoint to ONNX and applies symmetric INT4 RTN quantization to MatMul and constant Gather weights.
Mobius exporter: onnxruntime/mobius@80e11c45cb47b876bc2b4c6b183ebf38427c121b.
PersonaPlex substitution and quantization rationale: provenance.json.
Hashless canonical workflow metadata: inference_metadata.yaml.
Component hashes and real graph ports: graph_report.json.

Download

hf download justinchuby/moshiko-full-duplex-onnx-catalogue \
  --repo-type model --local-dir moshiko-full-duplex
cd moshiko-full-duplex

Run deterministic CUDA duplex generation

pip install 'onnxruntime-gpu==1.28.0' 'numpy==2.3.3' 'soundfile==0.13.1' \
  'nvidia-cudnn-cu12==9.10.2.21' 'nvidia-cublas-cu12==12.6.4.1' \
  'nvidia-cuda-runtime-cu12==12.6.77'
bash run_cuda.sh --seed 0 --dep-q 8 --frames 5 --save-to reproduced

The checked evidence uses five 80 ms silence frames encoded by the real Mimi encoder. output.npz contains generated text tokens, 8-stream audio codes, and decoded waveform; assistant.wav is the decoded sample. On H200, compact INT4 steady-state LM frame time averaged 19.97 ms versus the 80 ms budget. Exact per-frame timings are in runtime_output.json.

Graph/state contract

The workflow consumes a 24 kHz audio chunk and session ID. Temporal KV caches and the 17-channel delay ring are session scoped; the 8-step depformer cache resets each frame. The output is simultaneously generated text tokens and 24 kHz assistant audio.

Annotated inference metadata

Review inference_metadata.annotated.yaml for inline explanations of this package's workflow, tensor/state/cache contracts, and fail-closed omissions. inference_metadata.yaml remains the canonical machine-authored contract; automated validation confirms both files parse to the same metadata object.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов: 4114e41