Характеристики

Лицензия: Apache 2.0
Библиотека: transformers
Опубликована: 21 авг 2026

Ссылки

Hugging Face

SimulS2ST-Omni

HA-SA-ki

Обработка аудиоАудио → аудио

Набор компонентов для потокового и офлайн-перевода речи с речевым выходом на английском и китайском языках.

0скачиваний за 30 дней0лайковвеса обновлены30 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SimulS2ST-Omni — набор модельных компонентов для одновременного перевода речи с речевым выходом (S2ST), представленный HA-SA-ki и принятый на EMNLP 2026. Репозиторий содержит объединённую модель OmniTalker для офлайн-инференса, адаптеры LoRA для потокового режима, компоненты talker, а также VoiceBox и Vocos. Для потокового инференса README указывает использовать offline как базовую модель и simuls2st_adapter как адаптер.

Модель предназначена для перевода речи в режиме реального времени и офлайн. Метаданные указывают поддержку английского и китайского языков; файлы представлены в формате safetensors и рассчитаны на работу через Transformers. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает размер базовой модели, длину контекста или результаты оценки качества.

Сценарии применения

одновременный перевод устной речи в потоковом режиме
офлайн-перевод аудиозаписей с речевым ответом
создание голосового перевода англо-китайских диалогов

Ограничения

В карточке не приведены результаты оценок качества и задержки потокового перевода, поэтому пригодность для конкретных сценариев реального времени следует проверять отдельно.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SimulS2ST-Omni model assets

Model assets for SimulS2ST-Omni, accepted by EMNLP 2026.

Layout

Directory	Contents	Approximate size
`offline/`	Fully merged OmniTalker model, offline talker components, processor, and tokenizer files	13 GB
`simuls2st_adapter/`	Simultaneous S2ST thinker/talker LoRA adapters, talker components, and tokenizer files	893 MB
`voicebox/`	VoiceBox, Vocos, and `voicebox_config.json`	2.3 GB
`dualcodec/`	DualCodec weights and W2V-BERT normalization statistics	321 MB
`w2v/`	`facebook/w2v-bert-2.0` feature model used by the codec tokenizer	2.2 GB

The root simuls2st_config.json records the canonical relative path for every runtime component. MANIFEST.sha256 verifies all runtime assets.

Download

hf download HA-SA-ki/SimulS2ST-Omni \
  --local-dir models/SimulS2ST-Omni

Runtime paths

models/SimulS2ST-Omni/offline
models/SimulS2ST-Omni/simuls2st_adapter
models/SimulS2ST-Omni/voicebox/voicebox.safetensors
models/SimulS2ST-Omni/voicebox/vocos.safetensors
models/SimulS2ST-Omni/voicebox/voicebox_config.json
models/SimulS2ST-Omni/dualcodec/dualcodec.safetensors
models/SimulS2ST-Omni/dualcodec/w2v_bert_stats.pt
models/SimulS2ST-Omni/w2v

For offline inference, use offline/ as both the model and checkpoint path. For simultaneous streaming inference, use offline/ as the base model and simuls2st_adapter/ as the adapter/checkpoint path.

License

The SimulS2ST-Omni model weights are released under the Apache License 2.0.

Upload

Upload large files with the Hugging Face CLI rather than a regular Git push:

hf upload-large-folder HA-SA-ki/SimulS2ST-Omni . --repo-type model

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов: 3985b55