Характеристики

Параметры: 403 млн
Лицензия: CC0 1.0
Архитектура: wav2vec2 · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face arXiv 2205.03026

wav2vec2-large-voxrex

KBLab

Распознавание речиАудио → текст3 профессии

Шведская акустическая модель wav2vec2 для продолжения предобучения и извлечения признаков речи под downstream-задачи.

23скачиваний за 30 дней2лайкавеса обновлены19 апр 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KBLab разработала wav2vec 2.0 large VoxRex-C — акустическую модель на архитектуре wav2vec2 с 402,7 млн параметров, предварительно обученную без учителя на 10 000 часах шведского местного радио и 1 500 часах аудиокниг и других речевых записей из коллекций KB. Модель обучалась 400 000 шагов и предназначена для работы с аудио на шведском языке.

Её можно использовать для продолжения предварительного обучения на собственных неразмеченных аудиоданных или как извлекатель признаков при настройке downstream-задач, например для обучения собственного CTC-слоя или классификатора аудио. Веса представлены в формате PyTorch и доступны по лицензии CC0 1.0.

В репозитории нет CTC-слоя, поэтому сама модель не преобразует речь в текст. README характеризует её как находящуюся в разработке; качество для конкретных задач может зависеть от последующего дообучения.

Сценарии применения

продолжение предобучения wav2vec2 на неразмеченной шведской речи
извлечение признаков из шведской речи для дообучения
обучение собственного CTC-слоя для распознавания шведской речи
обучение классификатора аудиозаписей на речевых признаках

Ограничения

Модель не содержит CTC-слоя и сама не выполняет распознавание речи в текст; для этой задачи требуется дообучение или отдельная версия с CTC-слоем. README отмечает, что модель находится в разработке.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Wav2vec 2.0 large VoxRex (C)

Please note: The model hosted in this repository is a pretrained wav2vec2 without a CTC head, as such it cannot do speech-to-text. If you are interested in speech-to-text, see our finetuned version of this model, which can be found at KBLab/wav2vec2-large-voxrex-swedish. The weights found in this repository are from the pure acoustic model after unsupervised pretraining. This model is suitable for anyone interested in i) continued wav2vec2-pretraining with your own unsupervised data, ii) a feature extractor for finetuning your own downstream tasks (e.g. if you want to train your own CTC head, or an audio classifier).

Disclaimer: This is a work in progress. Update 2022-01-08: Updated to VoxRex-C version, use git to get the older (B) version. Update 2022-05-16: Paper is is here.

This model has been pretrained for 400,000 updates on the P4-10k corpus which contains 10 000 hours of swedish local public service radio as well as 1500 hours of audio books and other speech from KBs collections.

Accuracy during training

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Wav2Vec2ForPreTraining
Ревизия весов: 8276e97