Характеристики

Параметры: 113 млн
Лицензия: CC BY-NC 4.0
Архитектура: wav2vec2 · dense

Ссылки

wav2vec2-base-10k-voxpopuli

Распознавание речиАудио → текст3 профессии

Базовая мультиязычная модель Wav2Vec2, предварительно обученная на VoxPopuli и предназначенная для адаптации к распознаванию речи.

126скачиваний за 30 дней0лайковвеса обновлены6 июл 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Wav2Vec2-Base-VoxPopuli — базовая модель Facebook AI на архитектуре Wav2Vec2 с 113,3 млн параметров. Она предварительно обучена на 10 тысячах неразмеченных примеров из мультиязычного корпуса VoxPopuli и предназначена для последующей адаптации к распознаванию речи на конкретном языке.

Модель принимает аудио и может служить основой для систем автоматического распознавания речи после дообучения. Карточка советует использовать её как чекпойнт для fine-tuning, но не приводит готовых показателей качества или списка поддерживаемых языков распознавания. Веса опубликованы в формате PyTorch по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Сценарии применения

дообучение распознавателя речи для конкретного языка
создание прототипа системы автоматического распознавания речи
извлечение речевых представлений для последующей адаптации

Ограничения

Для получения распознавания речи на конкретном языке требуется дообучение; готовые показатели качества в карточке не приведены. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Wav2Vec2-Base-VoxPopuli

Facebook's Wav2Vec2 base model pretrained on the 10k unlabeled subset of VoxPopuli corpus.

Paper: VoxPopuli: A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation

Authors: Changhan Wang, Morgane Riviere, Ann Lee, Anne Wu, Chaitanya Talnikar, Daniel Haziza, Mary Williamson, Juan Pino, Emmanuel Dupoux from Facebook AI

See the official website for more information, here

Fine-Tuning

Please refer to this blog on how to fine-tune this model on a specific language. Note that you should replace "facebook/wav2vec2-large-xlsr-53" with this checkpoint for fine-tuning.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Wav2Vec2ForPreTraining
Ревизия весов: daedd81