/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
eres2netv2 · dense
Библиотека
pytorch
Опубликована
30 июн 2026

speech_eres2netv2_sv_zh-cn_16k-common

Классификация аудиоАудио → label3 профессии

ERes2NetV2 извлекает голосовые эмбеддинги из китайской речи для проверки совпадения говорящего.

35скачиваний за 30 дней0лайковвеса обновлены1 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ERes2NetV2 — модель для проверки личности говорящего по речи, опубликованная MigoXV. Она извлекает 192-мерные векторы голоса из аудио и предназначена для сравнения записей и подтверждения совпадения говорящего. Модель принимает речь с частотой дискретизации 16 кГц; в проекте аудио преобразуется в 80-мерные Kaldi fbank-признаки. В Hugging Face репозитории веса представлены в формате safetensors и проверены на соответствие архитектуре ERes2NetV2.

Модель рассчитана на китайскую речь. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Карточка описывает проверку говорящего и извлечение голосовых эмбеддингов; качество может зависеть от акустических условий и соответствия входа ожидаемому формату, а результаты сами по себе не подтверждают личность без выбранного порога и процедуры проверки.

Сценарии применения

  • сравнение двух аудиозаписей для проверки одного говорящего
  • извлечение голосовых эмбеддингов для системы верификации
  • проверка говорящего в записях с частотой 16 кГц

Ограничения

Модель ориентирована на китайскую речь и ожидает аудио 16 кГц, преобразованное в 80-мерные Kaldi fbank-признаки. Для принятия решения о совпадении требуется внешняя процедура сравнения эмбеддингов и выбора порога.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ERes2NetV2 Speaker Verification Chinese 16k

This repository contains an ERes2NetV2 speaker verification model exported from the original PyTorch checkpoint to Hugging Face style safetensors format.

Model Details

  • Architecture: ERes2NetV2 speaker embedding model
  • Task: speaker verification and speaker embedding extraction
  • Language/domain: Chinese speech
  • Sample rate: 16 kHz
  • Acoustic feature: 80-dimensional Kaldi fbank
  • Embedding size: 192
  • Weight file: model.safetensors
  • Config file: config.json

The exported weights are converted from:

model-bin/speech_eres2netv2_sv_zh-cn_16k-common/pretrained_eres2netv2.ckpt

Repository Files

.
|-- config.json
|-- model.safetensors
`-- README.md

config.json keeps the model metadata used by this project and points pretrained_model to model.safetensors.

Loading

Use the project inferencer:

from campplus_sid.inferencer.inferencer import Inferencer

inferencer = Inferencer.from_pretrained(
    "model-bin/safetensor/speech_eres2netv2_sv_zh-cn_16k-common",
    device="cpu",
)

For direct weight loading:

from safetensors.torch import load_file

state_dict = load_file(
    "model-bin/safetensor/speech_eres2netv2_sv_zh-cn_16k-common/model.safetensors"
)

Input Format

The model expects normalized 80-bin fbank features with shape:

batch, frames, feature_dim

In this project, raw 16 kHz audio is converted to fbank features by the Inferencer before the model forward pass.

Reference

This architecture is associated with the 3D-Speaker speaker recognition work:

https://github.com/alibaba-damo-academy/3D-Speaker

Verification

The exported model.safetensors was validated by loading all tensors and checking the state dict against the ERes2NetV2 model definition with no missing or unexpected keys.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch · audio-classification

Нельзя запустить

Архитектура eres2netv2 неизвестна transformers в образе рантайма.

Класс архитектуры
SpeakerVerificationERes2NetV2
Ревизия весов
3ba3a27

0 моделей