/ Модель

Характеристики

Лицензия
CC BY 4.0
Архитектура
cage_detector · dense
Библиотека
transformers
Опубликована
17 июл 2026

vocoder-small-watermark-detector

ЭмбеддингиТекст → embedding

Модель обнаруживает фиксированный 32-битный водяной знак VocBulwark в аудио, созданном малым сопутствующим вокодером.

14скачиваний за 30 дней0лайковвеса обновлены17 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VocBulwark watermark detector — компактная модель от mlr2000 для обнаружения фиксированной 32-битной метки происхождения, встроенной сопутствующим вокодером mlr2000/vocoder-small. Она принимает аудио, извлекает биты с помощью Cage extractor и возвращает число совпадений с известным кодом, длину кода и p-value совпадения для постороннего аудио. Детектор рассчитан на аудио 24 кГц в моно; при передаче частоты дискретизации вход можно пересэмплировать, а многоканальный сигнал сводится к моно.

Модель предназначена для атрибуции аудио, созданного указанным малым вокодером, и оценки совпадения с водяным знаком. Веса доступны в формате safetensors, для загрузки используется Transformers с trust_remote_code=True. Лицензия — CC BY 4.0. Порог бинарного решения не встроен: рабочую границу по числу совпавших битов или p-value выбирает пользователь. Детектор не предназначен для проверки аудио от большого вокодера, у которого другой 50-битный знак.

Сценарии применения

  • проверка, создано ли аудио вокодером mlr2000/vocoder-small
  • подсчёт совпавших битов водяного знака в аудиозаписи
  • оценка вероятности случайного совпадения аудио с известной меткой
  • атрибуция происхождения сгенерированной речи после передачи через аудиоканал

Ограничения

Работает с водяным знаком только малого вокодера mlr2000/vocoder-small и ожидает сигнал 24 кГц моно; автоматический порог «да/нет» не задан. Метка публичная и предназначена для атрибуции, а не для скрытого маркирования; README также предостерегает от применения для слежки за людьми.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VocBulwark watermark detector

Standalone detector for the fixed 32-bit provenance watermark embedded by the companion VocBulwark vocoder. Given an audio clip, it extracts the watermark bits with the Cage extractor and compares them to the known fixed code, reporting how many bits match.

Self-contained: loads with trust_remote_code=True, no training repo required.

Companion Models

This detector is part of a set of 6 repositories:

RepoRole
mlr2000/vocoder-largeLarge vocoder
mlr2000/vocoder-large-watermark-detectorWatermark detector for the large model
mlr2000/vocoder-large-speaker-encoderSpeaker encoder for the large model
mlr2000/vocoder-smallSmall vocoder (generates the watermarked audio)
mlr2000/vocoder-small-watermark-detectorWatermark detector (this repo)
mlr2000/vocoder-small-speaker-encoderSpeaker encoder for the small model

Usage

import torchaudio
from transformers import AutoModel

det = AutoModel.from_pretrained("mlr2000/vocoder-small-watermark-detector", trust_remote_code=True).eval()

wav, sr = torchaudio.load("clip.wav")          # [C, T]
res = det.detect(wav, input_sample_rate=sr)    # resampled to 24 kHz internally
print(res)
# {'matches': 32, 'n_bits': 32, 'p_value': 8.9e-16}   # from our model

See example_roundtrip.ipynb in this repo for an end-to-end example (generate with the vocoder → detect here).

How detection works

detect() returns a dict with:

  • matches: how many of the 32 extracted bits equal the fixed code.
  • n_bits: 32.
  • p_value: the probability an unrelated clip matches at least this well under Binomial(32, 0.5).

A clip generated by our vocoder matches all 32 bits (p_value ~ 0); an unrelated clip matches about half of them (p_value ~ 1). There is no built-in yes/no threshold — read matches / p_value and pick whatever operating point you need. Requiring all 32 bits gives an astronomically small false-positive rate; allowing a few mismatches trades that for robustness to lossy channels.

Notes

  • Detection runs on 24 kHz mono. Other inputs are resampled when you pass input_sample_rate, and multi-channel audio is downmixed to mono.
  • This detector is paired with mlr2000/vocoder-small. It will not correctly verify audio generated by the large vocoder (mlr2000/vocoder-large), which uses a different fixed 50-bit watermark.
  • A fixed public watermark is for attribution ("did our model make this"), not a secret mark.
  • Not intended for surveillance or any use that violates the privacy of individuals.

Citation

If you use this model, please cite:

@misc{muletta2026,
  title  = {Training a Discriminator-Free Foundation Vocoder 
             with Integrated Audio Watermarking},
  author = {Muletta, Romolo and Deriu, Jan},
  year   = {2026},
  note   = {VT2 Project Report, ZHAW School of Engineering}
}

License

cc-by-4.0. Trained on MLS (CC-BY-4.0) and Common Voice (CC0). Builds on BigVGAN (MIT) and wav2vec 2.0 (Apache-2.0). Please retain attribution when redistributing or building on this model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
CageDetector
Ревизия весов
66157f2

0 моделей