wav2vec2-base-superb-sd
Модель Wav2Vec2 для покадрового определения активного говорящего в аудиозаписях с двумя условными классами говорящих.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
anton-l/wav2vec2-base-superb-sd — модель на базе Wav2Vec2, опубликованная пользователем anton-l на Hugging Face и основанная на facebook/wav2vec2-base-960h. Она предназначена для покадровой классификации аудиосигнала в задачах определения говорящих и сегментации речи по говорящим.
Модель имеет архитектуру Wav2Vec2 с трансформерным энкодером и классификационной головкой для аудиокадров, содержит около 113,3 млн параметров и работает через Transformers с PyTorch. В конфигурации определены два класса: speaker_0 и speaker_1. Модель принимает речевой аудиосигнал и возвращает классификацию для временных кадров, что позволяет оценивать, какой из двух условных говорящих активен в каждый момент.
Модель подходит для базовой диаризации и анализа многоговорящих записей с двумя участниками. Она не выполняет транскрибацию текста и не определяет реальные имена людей без дополнительной обработки. Контекстное окно, поддерживаемые языки и лицензия в доступных источниках не установлены.
Сценарии применения
- сегментация записи разговора по двум говорящим
- определение того, кто говорит в каждый момент аудиозаписи
- подготовка разметки говорящих перед транскрибацией
- анализ смены говорящих в диалогах
- базовая speaker diarization для речевого аудио
Ограничения
Модель классифицирует только два условных класса speaker_0 и speaker_1, поэтому не идентифицирует реальные личности и не предназначена для произвольного числа говорящих без дополнительной адаптации. Она также не выполняет автоматическое распознавание речи в текст.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
У модели не указана задача.
- Класс архитектуры
- Wav2Vec2ForAudioFrameClassification
- Ревизия весов
- 3b90217