Характеристики

Лицензия: MIT
Библиотека: mlx
Опубликована: 30 сен 2026

Ссылки

redimnet2-b2-vox2-ptn-mlx

Классификация аудиоАудио → label4 профессии

Преобразованная для MLX модель ReDimNet2 B2 создаёт голосовые эмбеддинги для распознавания и проверки говорящего по аудио.

20скачиваний за 30 дней0лайковвеса обновлены30 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

causal/redimnet2-b2-vox2-ptn-mlx — преобразованная для MLX версия официального чекпойнта ReDimNet2 B2, обученного на VoxCeleb2-dev до этапа дообучения с large-margin. Модель принимает монофонический звук с частотой 16 кГц и выдаёт 192-мерные векторы голоса, предназначенные для задач распознавания и проверки личности говорящего.

Репозиторий содержит веса в формате safetensors; библиотека MLX позволяет запускать их в совместимой с MLX среде. По заявлению карточки, эмбеддинги совпадают с PyTorch-референсом с относительной ошибкой до 3,6×10⁻⁶ в проверке на CPU с float32. Модель распространяется по лицензии MIT.

Сценарии применения

проверка личности говорящего по голосу
сопоставление голосов в аудиозаписях
извлечение голосовых эмбеддингов для поиска похожих голосов

Ограничения

Модель формирует эмбеддинги, а не готовые метки личности; для проверки или идентификации говорящего требуется отдельная логика сравнения и пороговое решение. Чекпойнт взят до large-margin fine-tuning.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ReDimNet2 B2 (VoxCeleb2-dev, ptn) for MLX

MLX conversion of the official ReDimNet2 b2-vox2-ptn.pt checkpoint (pretrained, before large-margin fine-tuning). It produces 192-dimensional speaker embeddings from 16 kHz mono audio.

Usage

uv add git+https://github.com/avra-m3/speaker-embedding-mlx

import mlx.core as mx
from redimnet2_mlx import load_model

model = load_model("causal/redimnet2-b2-vox2-ptn-mlx")
emb = model(mx.array(wav_16k_float32)[None])  # (1, 192)

Parity

Embeddings match the PyTorch reference to 3.6e-06 relative error (worst case, float32, MLX CPU backend). See the parity log.

License and citation

@inproceedings{redimnet2_2026,
  title={ReDimNet2: Scaling Speaker Verification via Time-Pooled Dimension Reshaping},
  author={Yakovlev, Ivan and Okhotnikov, Anton},
  booktitle={Proceedings of Interspeech 2026},
  year={2026},
  eprint={2603.11841},
  archivePrefix={arXiv},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов: a1cd608