Характеристики

Параметры: 113 млн
Лицензия: CC BY-NC 4.0
Архитектура: wav2vec2 · dense

Ссылки

wav2vec2-base-100k-voxpopuli

Распознавание речиАудио → текст3 профессии

Многоязычный аудиочекпойнт Wav2Vec2 от Facebook AI, предназначенный для дообучения на размеченных данных распознавания речи.

1 123скачиваний за 30 дней5лайковвеса обновлены5 ноя 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

facebook/wav2vec2-base-100k-voxpopuli — базовая модель Facebook AI на архитектуре Wav2Vec2, предварительно обученная на 100 тысячах часов неразмеченной речи из корпуса VoxPopuli. Модель содержит 113,3 млн параметров и принимает аудио; предобучение не использует текстовую разметку.

Чекпойнт предназначен для дообучения под распознавание речи на размеченных аудиоданных. Сам по себе он не содержит токенизатора и не готов выдавать транскрипции: для распознавания нужно создать токенизатор и дообучить модель на паре аудио и текста. Корпус VoxPopuli многоязычный, однако конкретные поддерживаемые языки этим чекпойнтом не перечислены.

Модель опубликована под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка рекомендует использовать её как основу для языковой адаптации и дообучения.

Сценарии применения

дообучение модели для транскрибации речи на конкретном языке
создание системы распознавания речи на основе размеченных аудиозаписей
исследование представлений речи, полученных из неразмеченного аудио

Ограничения

Без токенизатора и дообучения на размеченных аудиотекстовых данных модель не готова транскрибировать речь. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Wav2Vec2-Base-VoxPopuli

Facebook's Wav2Vec2 base model pretrained on the 100k unlabeled subset of VoxPopuli corpus.

Note: This model does not have a tokenizer as it was pretrained on audio alone. In order to use this model speech recognition, a tokenizer should be created and the model should be fine-tuned on labeled text data. Check out this blog for more in-detail explanation of how to fine-tune the model.

Paper: VoxPopuli: A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation

Authors: Changhan Wang, Morgane Riviere, Ann Lee, Anne Wu, Chaitanya Talnikar, Daniel Haziza, Mary Williamson, Juan Pino, Emmanuel Dupoux from Facebook AI

See the official website for more information, here

Fine-Tuning

Please refer to this blog on how to fine-tune this model on a specific language. Note that you should replace "facebook/wav2vec2-large-xlsr-53" with this checkpoint for fine-tuning.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Wav2Vec2ForPreTraining
Ревизия весов: 7a43eaf