/ Модель

Характеристики

Лицензия
CC BY 4.0
Библиотека
onnx
Опубликована
5 окт 2026

turnover-engines

Классификация аудиоАудио → label

ONNX-экспорт WeSpeaker ResNet34-LM формирует 256-мерные эмбеддинги голоса для задач аудиоанализа.

0скачиваний за 30 дней0лайковвеса обновлены7 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий SoundbyJames содержит ONNX-файлы и сборки FFmpeg для бета-версии инструмента анализа аудио. Среди файлов — экспорт модели эмбеддингов голоса WeSpeaker ResNet34-LM, обёрнутой в pyannote/wespeaker-voxceleb-resnet34-LM. Экспорт сохраняет вход масок кадров pyannote; веса хранятся в формате float16 и вычисляются в float32, переобучение не проводилось. Модель принимает fbank размером (batch, 998, 80) и веса кадров (batch, 589), выдаёт голосовой эмбеддинг размером 256.

В составе репозитория также указана таблица калибровки сводных оценок CED-small и ссылки на внешние ONNX-модели для аудиотегирования и сегментации речи, а также метки классов AudioSet. Эти компоненты предназначены для анализа аудио, однако основная модель, описанная в карточке, формирует эмбеддинги говорящего. Файлы репозитория распространяются по CC BY 4.0; внешние компоненты и FFmpeg имеют собственные лицензии, включая Apache-2.0, MIT и LGPL-2.1-or-later. Репозиторий отмечен как бета-версия.

Сценарии применения

  • извлечение голосовых эмбеддингов из аудиофрагментов
  • сравнение голосов для проверки сходства говорящих
  • подготовка признаков голоса для кластеризации говорящих
  • использование эмбеддингов в конвейере анализа аудио

Ограничения

Репозиторий обозначен как бета-версия. Описание не приводит метрик качества или сведений о поддерживаемых языках.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

turnover-engines

Model files and ffmpeg builds for an audio-analysis tool in beta.

Files in this repository

FileWhat it isLicence
wespeaker-resnet34-LM-masked-fp16.onnxSpeaker embedding model. An ONNX export of WeSpeaker ResNet34-LM, as wrapped in pyannote/wespeaker-voxceleb-resnet34-LM. Changes: pyannote's frame-weight (mask) input is kept; weights are stored as float16 and computed in float32; no retraining. Inputs: fbank (batch, 998, 80) and weights (batch, 589). Output: embedding (batch, 256).CC BY 4.0
calibration-ced-small-int8.jsonA table of monotone maps that rescales six summary scores of CED-small to another score scale.CC BY 4.0
manifest.jsonFile list (version 1) with addresses, pinned revisions, sizes and SHA-256 checksums.CC BY 4.0
manifest-2026-10-06.jsonFile list (version 2): the same model files plus the ffmpeg builds. Never edited once published.CC BY 4.0
ffmpeg/8.1.3-lgpl-1/ffmpeg and ffprobe built from FFmpeg 8.1.3 with libsoxr 0.1.3, for Apple silicon (arm64/) and Intel (x86_64/). Complete source code and the build script are in source/. See NOTICE.txt and BUILD-INFO.txt in that folder.LGPL-2.1-or-later
MODEL-NOTICE.txtAttribution and licence notices for the model files.n/a

Files fetched from their original hosts

Listed in manifest.json, at pinned revisions; not copied here.

FileLicenceHost
CED-small, int8 ONNXApache-2.0k2-fsa/sherpa-onnx-ced-small-audio-tagging-2024-04-19, converted from mispeech/ced-small
AudioSet class labelsCC BY 4.0same repository
pyannote segmentation-3.0, ONNXMITcsukuangfj/sherpa-onnx-pyannote-segmentation-3-0, converted from pyannote/segmentation-3.0

ffmpeg

This repository includes ffmpeg and ffprobe, built from FFmpeg 8.1.3 and licensed under the GNU LGPL version 2.1 or later. They use libsoxr 0.1.3 (LGPL 2.1). The complete source code is in ffmpeg/8.1.3-lgpl-1/source/, with the script that built the binaries from it. FFmpeg is unmodified; only its build options were chosen (no network, no GPL or non-free parts).

Citations

  • WeSpeaker: Hongji Wang et al., Wespeaker: A research and production oriented speaker embedding learning toolkit, ICASSP 2023.
  • VoxCeleb: Arsha Nagrani et al., VoxCeleb: a large-scale speaker identification dataset, Interspeech 2017; Joon Son Chung et al., VoxCeleb2: Deep speaker recognition, Interspeech 2018.
  • pyannote: Alexis Plaquet and Hervé Bredin, Powerset multi-class cross entropy loss for neural speaker diarization, Interspeech 2023; Hervé Bredin, pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe, Interspeech 2023.
  • CED: Heinrich Dinkel et al., CED: Consistent ensemble distillation for audio tagging, ICASSP 2024.
  • AudioSet: Jort F. Gemmeke et al., Audio Set: An ontology and human-labeled dataset for audio events, ICASSP 2017.

These files are provided as-is, without warranty of any kind.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnx

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Ревизия весов
897931e

0 моделей