/ Модель

Характеристики

Контекст
65 536 токенов
Параметры
3,9 млрд
Лицензия
Apache 2.0
Архитектура
step1 · dense
Базовая модель
Step-Audio-EditX
Библиотека
mlx
Опубликована
7 окт 2026

Step-Audio-EditX-8bit

Генерация текстаТекст → текст

8-битная MLX-сборка Step-Audio-EditX для редактирования речи и аудиоэффектов с сохранением голоса говорящего.

69скачиваний за 30 дней0лайковвеса обновлены7 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Step-Audio-EditX-8bit — 8-битная MLX-сборка модели Step-Audio-EditX от StepFun, основанная на базовой модели stepfun-ai/Step-Audio-EditX. Она предназначена для редактирования существующей аудиозаписи с сохранением голоса говорящего: изменения эмоции и манеры речи, добавления смеха, вздохов и дыхания, шумоподавления и обрезки тишины. Также заявлено клонирование голоса с нуля без дополнительных примеров.

Сборка содержит языковую модель Step1 с 3,9 млрд параметров, квантизированную до 8 бит с группой 64; аудиотокенизаторы, flow-компоненты, вокодер HiFT и модуль CAM++ оставлены в bf16. Модель принимает и выдаёт аудио, а языковые компоненты рассчитаны на английский и китайский. Для работы предусмотрены потребитель Swift mlx-step-audio-editx-swift и загрузка через mlx-speech.

По приведённым в карточке измерениям на M5 Max потребление памяти ниже, чем у bf16-сборки, а результаты тестовых правок по сохранению содержания, сходству голоса и качеству аудио сопоставимы с ней. Квантизация может менять выбор токенов при близких оценках. Лицензия — Apache-2.0; отдельные компоненты аудиотокенизатора имеют лицензию FunASR.

Сценарии применения

  • изменение эмоции и манеры речи в записи
  • добавление смеха, вздохов и дыхания в аудио
  • шумоподавление в голосовой записи
  • обрезка тишины в аудио
  • клонирование голоса по аудиопримеру

Ограничения

В карточке приведены результаты лишь для четырёх тестовых правок на M5 Max; они не гарантируют аналогичное качество на других записях и устройствах. Из-за квантизации выбор токенов может отличаться от bf16-сборки при близких оценках.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Step-Audio-EditX — int8 MLX bundle

Step-Audio-EditX (StepFun, Apache-2.0): a 3 B audio LLM that re-delivers an existing take — emotion, speaking style, inserted paralinguistics (laughter, sighs, breaths), denoise, silence trim — in the same voice, plus zero-shot cloning. This is the bf16 bundle with the step1 LM quantised to 8 bits (affine, group 64, every Linear and the embeddings — model.safetensors 3.75 GB instead of 7.06 GB); the tokenizers, flow, HiFT and CAM++ are the bf16 files unchanged. config.json carries "quantization": {"bits": 8, "group_size": 64, "mode": "affine"}.

The quantised weights were written by the Swift consumer itself from the bf16 bundle (editx-gates --write-int8-bundle, quantised on MLX's CPU stream), so loading this bundle reproduces quantise-at-load exactly.

filecomponentsource
model.safetensors (3.75 GB, int8) + config.jsonstep1 LM — 32 × 3072, 48 heads / 4 KV groups, sqrt-ALiBistepfun-ai/Step-Audio-EditX
vq02.safetensors, vq06.safetensors, step-audio-tokenizer-assets.safetensors + configsthe dual tokenizer (bf16)FunASR Paraformer (FunASR model licence) / stepfun-ai/Step-Audio-Tokenizer
flow-model.safetensors, flow-conditioner.safetensors, hift.safetensors, campplus.safetensors + configsflow, vocoder, speaker (bf16)StepFun-trained / Alibaba CAM++ (Apache-2.0)
tokenizer.json, tokenizer_config.json, frontend-config.jsontext tokenizer, mel front endderived from tokenizer.model

Consumers

  • Swift: xocialize/mlx-step-audio-editx-swift ≥ 0.1.1 — EditXPipeline.load(bundle:) reads the quantisation from config.json.
  • Python: mlx-speech loads int8 LM bundles of this layout (its --bits 8 converter writes the same keys).

Measured (M5 Max, the Swift consumer, the E19 evaluation cues)

  • Resident 6.2 GB phys_footprint after load (MLX active 5.7 GB); MLX peak 7.3–7.7 GB per edit; real-time factor 0.51–0.53 (bf16: 0.72–0.75); loads in 0.5 s.
  • Content survives every edit (ASR error 0.000 on the four test edits), speaker similarity 0.83–0.97 to the source, DNSMOS 3.45–3.49 — the same bars as bf16 and the torch reference. Sampled tokens differ from bf16's at near-ties, as any quantised tier's do.

Licence

Apache-2.0 (StepFun) for the LM, flow, HiFT and the S3 tokenizer; the Paraformer encoder under the FunASR model licence; CAM++ Apache-2.0 (Alibaba / 3D-Speaker). Quantised and re-hosted by xocialize for mlx-community.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры
Step1ForCausalLM
Ревизия весов
b905e8c

0 моделей