/ Модель

Характеристики

Контекст
131 072 токена
Размер весов
19,4 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
raon_duplex · dense
Библиотека
transformers
Опубликована
19 авг 2026

Mercury-M12nc

Обработка аудиоАудио → аудио3 профессии

Экспериментальная полнодуплексная модель речи в речь для диалогов с учётом времени, показывающая низкую согласованность создаваемого аудио с текстовыми решениями.

7скачиваний за 30 дней0лайковвеса обновлены19 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Mercury-M12nc — экспериментальная модель преобразования речи в речь с полнодуплексным диалогом, дообученная для разговора с учётом времени. Разработчик выпустил её под кодовым названием, пока связанная статья проходит анонимное рецензирование. В метаданных указаны архитектура RaonDuplexModel семейства raon_duplex и формат весов safetensors.

Модель предназначена для диалогов, в которых речь собеседника и ответ модели обрабатываются одновременно. Чекпойнт обучен в течение двух эпох на 4 440 самостоятельно сгенерированных полнодуплексных диалогах; временные метки слов получены принудительным выравниванием аудио. Частота кадров составляет 12,5 кадра в секунду, аудио — 24 кГц.

В README приведены низкие показатели согласованности между текстовыми решениями модели и созданным аудио на выборке из 100 диалогов: средняя посимвольная согласованность 37,2%, полнота слов 15,2%; в 98 случаях из 100 расхождение было серьёзным. Это указывает на существенные ограничения качества и не подтверждает пригодность модели для надёжного использования. Данные, код обучения и скрипты оценки не опубликованы. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Сценарии применения

  • экспериментальная оценка полнодуплексного речевого диалога
  • исследование синхронной обработки входящей речи и речевого ответа
  • анализ согласованности текстовых решений и синтезированной речи

Ограничения

На 100 тестовых диалогах средняя посимвольная согласованность аудио с текстовыми решениями составила 37,2%, а полнота слов — 15,2%; серьёзное расхождение наблюдалось в 98 случаях. Обучающие данные, код и скрипты оценки не опубликованы, коммерческое использование ограничено лицензией CC BY-NC 4.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Mercury-M12nc

A full-duplex speech-to-speech model fine-tuned for time-aware conversation. Released under a codename while the associated paper is under anonymous review.

What this checkpoint is

Baseline: PAD loss weight 0.0, effective batch 1, lr 1e-5, no native clock.

Trained for 2 epochs on 4,440 self-generated full-duplex dialogues whose word timestamps come from forced alignment of the rendered audio (not from the model's own decision frames).

Reported measurements

Text/audio consistency on 100 held-out dialogues — does the produced audio actually say what the text-decision stream decided? Both sides come from the model's own artifacts; no reference transcript is involved.

this checkpointuntuned base
character-level consistency (mean / median)37.2% / 36.6%92.6% / 96.2%
word-level recall15.2%79.1%
severe mismatch (<50%)98/1006/100
text emission rate8.6 tok/s2.5 tok/s

Frames are 80 ms (12.5 fps), audio is 24 kHz.

Attribution and licence

Derived from a publicly available full-duplex speech model released under CC-BY-NC-4.0. This checkpoint inherits that licence: non-commercial use only. The base model's name and full attribution are withheld only for the duration of anonymous review and will be added here once the associated paper is de-anonymised.

Not included

Training code, data, and evaluation scripts are withheld during anonymous review.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Класс архитектуры
RaonDuplexModel
Ревизия весов
428aea1

0 моделей