/ Модель

Характеристики

Лицензия
MIT
Библиотека
mlx
Опубликована
30 сен 2026

redimnet2-b3-vb2-vox2-cnc2-lm-mlx

Классификация аудиоАудио → label3 профессии

MLX-конверсия ReDimNet2 B3 создаёт 192-мерные эмбеддинги голоса из монофонической речи для верификации говорящего.

30скачиваний за 30 дней0лайковвеса обновлены30 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ReDimNet2 B3 — конвертированная в формат MLX версия официального чекпойнта ReDimNet2 b3-vb2+vox2+cnc2_v0-lm, разработанного авторами исходной модели. Чекпойнт дообучен с large-margin и рекомендован авторами карточки. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт 192-мерные эмбеддинги голоса для задач аудиоклассификации и верификации говорящего.

Сборка предназначена для запуска через библиотеку MLX. По данным карточки, эмбеддинги совпадают с PyTorch-эталоном с относительной ошибкой до 3,2×10⁻⁶ в проверке на CPU с float32. Код и веса распространяются по лицензии MIT, однако обучающие наборы VoxBlink2, VoxCeleb2 и CN-Celeb2 имеют собственные условия использования, которые следует проверить перед коммерческим применением.

Сценарии применения

  • верификация личности говорящего по голосу
  • сравнение голосовых записей по эмбеддингам
  • извлечение признаков голоса из аудио 16 кГц
  • классификация аудиозаписей по голосовым признакам

Ограничения

Принимает монофоническое аудио с частотой 16 кГц; характеристики могут отличаться для других форматов. У обучающих наборов данных есть отдельные условия использования, которые могут ограничивать коммерческое применение.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ReDimNet2 B3 (VoxBlink2 + VoxCeleb2 + CN-Celeb2, lm) for MLX

MLX conversion of the official ReDimNet2 b3-vb2+vox2+cnc2_v0-lm.pt checkpoint (large-margin fine-tuned (recommended)). It produces 192-dimensional speaker embeddings from 16 kHz mono audio.

Usage

uv add git+https://github.com/avra-m3/speaker-embedding-mlx
import mlx.core as mx
from redimnet2_mlx import load_model

model = load_model("causal/redimnet2-b3-vb2-vox2-cnc2-lm-mlx")
emb = model(mx.array(wav_16k_float32)[None])  # (1, 192)

Parity

Embeddings match the PyTorch reference to 3.2e-06 relative error (worst case, float32, MLX CPU backend). See the parity log.

Training data terms

This checkpoint was trained on VoxBlink2 and CN-Celeb in addition to VoxCeleb2. The model code and weights are MIT licensed upstream, but those datasets have their own terms of use, which may restrict use to research. Check them before any commercial use.

License and citation

MIT, following the upstream ReDimNet2 release (Copyright (c) 2026 Palabra.ai). See third-party notices.

@inproceedings{redimnet2_2026,
  title={ReDimNet2: Scaling Speaker Verification via Time-Pooled Dimension Reshaping},
  author={Yakovlev, Ivan and Okhotnikov, Anton},
  booktitle={Proceedings of Interspeech 2026},
  year={2026},
  eprint={2603.11841},
  archivePrefix={arXiv},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
7e21cea

0 моделей