/ Модель
Каталог

Характеристики

Опубликована
2 авг 2026

Ссылки

Hugging Face

EchoLoc

zsy814
Синтез речиТекст → аудио

EchoLoc — система выразительного синтеза диалоговой речи на основе Thinker/Talker, предназначенная для генерации речи с управляемым звучанием.

0скачиваний за 30 дней0лайковвеса обновлены3 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

EchoLoc — модель синтеза речи, представленная исследовательской командой в репозитории zsy814. Она использует архитектуру Thinker/Talker: Thinker построен на базе Qwen/Qwen3-Omni-30B-A3B-Instruct и выпущен как PEFT-адаптер, а Talker дообучен на объединённой основе Qwen/Qwen3-TTS-12Hz-1.7B-Base и Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign. Репозиторий содержит код обучения, инференса, рендеринга речи и оценки выразительного синтеза.

Модель предназначена для синтеза выразительной речи и диалоговых сценариев с управлением характеристиками звучания. Для запуска нужны локальные чекпойнты и настроенная среда; крупные наборы данных и сгенерированные аудиофайлы в репозиторий не включены. Указаны форматы PyTorch и Safetensors. Репозиторий на момент публикации оставался закрытым для публичного доступа из-за анонимного рецензирования. Лицензия в предоставленных сведениях не описана.

Сценарии применения

  • синтез выразительных реплик для диалоговых систем
  • генерация речи с заданными акустическими характеристиками
  • рендеринг речи для оценки голосовых стилей
  • сравнение качества синтеза речи по метрикам выразительности

Ограничения

В репозитории отсутствуют крупные наборы данных, аудиорезультаты и кэшированные признаки, поэтому для воспроизведения работы требуются локальные ресурсы. Лицензия и поддерживаемые естественные языки в предоставленных сведениях не описаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

EchoLoc

This repository contains the EchoLoc implementation and executable entrypoints for data construction, calibration, Thinker/Talker training and inference, speech rendering, VStyle/render evaluation, benchmark inference, and statistical audits.

Large datasets, generated audio, cached features, job logs, API credentials, and precomputed result tables are intentionally omitted. Provide local paths through command-line arguments, YAML configuration, or environment variables.

Released checkpoints

  • Thinker PEFT adapter: checkpoints/thinker/
  • Talker checkpoint: checkpoints/talker/
  • Thinker base: Qwen/Qwen3-Omni-30B-A3B-Instruct
  • Talker origins: Qwen/Qwen3-TTS-12Hz-1.7B-Base and Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign

Download this private repository, including both checkpoints, with:

hf download zsy814/EchoLoc --local-dir echoloc-release

The Talker checkpoint is loaded over the Base/VoiceDesign merged origin described in checkpoints/talker/README.md. This repository is kept private during double-blind review and can be made public after anonymity restrictions are lifted.

Directory map

  • data_construction/: context/query generation, quality filtering, acoustic controls, oracle targets, and SFT export.
  • calibration_agent/: planner, critics, diagnostic memory, repair loop, and supervisor.
  • model/thinker_talker/: EchoLoc Thinker/Talker task, model, training, and inference code.
  • model/qwen_omni_finetune/: Qwen-Omni fine-tuning and evaluation adapters.
  • rendering/universal_tts/: dual-path rendering framework and synthesizer adapters.
  • evaluation/vstyle/: VStyle prompts, inference, scoring, ASR, and aggregation.
  • evaluation/render_metrics/ and evaluation/esd/: AutoPCP, emotion embedding, smoothness, WER, ESD alignment, and report generation.
  • inference/benchmarks/: generic benchmark input, Thinker/Talker inference, and output export.
  • experiments/: reviewer-facing statistical analyses.
  • checkpoints/thinker/: best Iter006 Thinker PEFT adapter and tokenizer assets.
  • checkpoints/talker/: best Talker-46000 state dictionary and tokenizer assets.
  • CHECKPOINTS.md: checkpoint provenance, byte sizes, and SHA-256 digests.
  • SOURCE_INVENTORY.tsv: implementation-area inventory.
  • MANIFEST.tsv: size and SHA-256 for every source-release file; checkpoint hashes are recorded separately in CHECKPOINTS.md.

Start with ENVIRONMENT.md, then follow RUNBOOK.md. Run python tools/validate_archive.py for a source and manifest integrity check.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
a3e5563

0 моделей

    Создать бенчмарк