/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Архитектура
dubbing_bridge · dense
Базовая модель
Index-Echo-S2ST-9B
Библиотека
transformers
Опубликована
3 окт 2026

Ссылки

Hugging Face

Index-Echo-S2ST-9B-FP4

IndexTeam
ПереводТекст → текст

Квантизованная NVFP4-модель Index-Echo переводит речь между китайским, японским и английским с синтезом озвученного перевода.

115скачиваний за 30 дней0лайковвеса обновлены16 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Index-Echo-S2ST-9B-FP4-v4rft — официальная квантизованная версия модели Index-Echo от bilibili для перевода речи в речь. Она принимает речь на китайском, японском или английском и озвучивает перевод на английском, испанском, японском, корейском или китайском; в релизе заявлено двенадцать направлений перевода. Архитектура включает аудиобашню, соединитель, языковую модель и компоненты синтеза речи.

Квантизация NVFP4 W4A4 применяется к линейным слоям языкового блока, кроме проекций гибридного линейного внимания. Аудиобашня, соединитель, эмбеддинги, lm_head и компоненты синтеза остаются в BF16. Репозиторий сохраняет компоновку базовой модели и рассчитан на загрузку через compressed-tensors в vLLM или Transformers. На фиксированном корпусе perplexity выросла с 5,6834 до 6,0724 относительно BF16; генерации китайско-английского и английско-китайского направлений не совпадали дословно, хотя были семантически эквивалентны. Лицензия — Apache-2.0.

Сценарии применения

  • перевод китайской речи на английский с озвучиванием
  • перевод японской речи на корейский голосовой дорожкой
  • перевод английской речи на китайский с синтезом речи
  • создание многоязычной озвучки для видеоматериалов

Ограничения

NVFP4-версия показала рост perplexity на 6,85% относительно BF16 на указанном фиксированном корпусе; генерации не всегда дословно совпадают с базовой моделью. Языковой ввод ограничен китайским, японским и английским, а в README приведено двенадцать направлений из возможных сочетаний входного и выходного языков.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Index-Echo-S2ST-9B-FP4-v4rft

Official NVFP4 (W4A4) quantization of IndexTeam/Index-Echo-S2ST-9B (v4rft), part of the Index-Echo speech-to-speech translation (S2ST) model family by bilibili.

The v4rft package updates the multilingual translator and extends the release to twelve directions: Chinese, Japanese, or English speech input, dubbed into English, Spanish, Japanese, Korean, or Chinese.

This repository mirrors the original checkpoint layout; only the text LLM backbone (stlm_llm/) is quantized to NVFP4 - the audio tower, connector, and all speech-synthesis components remain in BF16. Use it exactly like the original repo (same modeling_dubbing.py / configs).

Quantization

  • Scheme: NVFP4 (W4A4: 4-bit floating-point weights with per-group-16 scales, 4-bit floating-point activations with calibrated per-tensor global scales), produced with llm-compressor (quantization_scheme recorded in recipe.yaml). Calibrated on a small bilingual translation corpus.
  • All Linear layers of the language model backbone (stlm_llm/) are quantized except the hybrid linear-attention projections; the audio tower, connector, lm_head, embeddings and all other pipeline components are kept in BF16.
  • Format: compressed-tensors nvfp4-pack-quantized safetensors - load directly with vLLM (quantization="compressed-tensors") or transformers.

Consistency validation

Measured on an NVIDIA A100 (weight-dequantized execution) against the original BF16 checkpoint (greedy decoding, fixed bilingual corpus):

MetricBF16FP4Delta
Perplexity (fixed corpus)5.68346.0724+6.85%
zh->en generation identical--no (semantically equivalent)
en->zh generation identical--no (semantically equivalent)

Usage

Identical to the original checkpoint - clone this repo and follow the README / modeling_dubbing.py of the base model (IndexTeam/Index-Echo-S2ST-9B). The quantized LLM backbone loads via compressed-tensors; make sure compressed-tensors (or vLLM / a recent transformers) is installed.

Hardware note: full NVFP4 (W4A4) acceleration requires an NVIDIA Blackwell GPU (SM100+, e.g. B200 / RTX 50 series). On older GPUs vLLM falls back to weight-only dequantization, which still reduces memory but gives no FP4 speedup.

Quantized and published by the Index team, 2026-10-15.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Архитектура dubbing_bridge неизвестна transformers в образе рантайма.

Ревизия весов
5a39c06

0 моделей

    Создать бенчмарк