/ Модель

Характеристики

Параметры
113 млн
Лицензия
GPL 3.0
Архитектура
wav2vec2 · dense
Опубликована
13 апр 2022

wav2vec2-cv-be

Распознавание речиАудио → текст5 профессий

Дообученная Wav2Vec2-модель распознаёт белорусскую речь и преобразует аудиозаписи в текст.

121 тыс.скачиваний за 30 дней1лайквеса обновлены13 апр 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель автоматического распознавания речи на белорусском языке, созданная дообучением facebook/wav2vec2-base. Разработчик обучал её на разделах Train, Dev и Test корпуса Mozilla Common Voice 8.0 для белорусского языка; дополнительные записи из раздела Validated не использовались. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров.

Модель преобразует аудиозапись речи в текст и рассчитана на сценарии распознавания белорусской речи. Для декодирования также подготовлена 5-граммная языковая модель KenLM, обученная на предложениях из корпуса Common Voice. Репозиторий содержит веса PyTorch и распространяется по лицензии GPL-3.0.

Качество может быть ограничено объёмом и составом использованных данных: в обучающих разделах использовали только одну озвучку каждого предложения, без дополнительных вариантов из Validated. README предлагает расширить обучающие данные дополнительными озвучками; численные результаты оценки в карточке не приведены.

Сценарии применения

  • расшифровка записей белорусской речи
  • распознавание белорусской речи в голосовых сообщениях
  • создание текстовых расшифровок для белорусскоязычных аудиозаписей

Ограничения

Обучение использовало одну озвучку каждого предложения из Train, Dev и Test и не включало дополнительные варианты из Validated, что может ограничивать разнообразие акустических примеров. В README не приведены численные метрики качества.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Automatic Speech Recognition for Belarusian language

Fine-tuned version of facebook/wav2vec2-base on mozilla-foundation/common_voice_8_0 be dataset.

Train, Dev, Test splits were used as they are present in the dataset. No additional data was used from Validated split, only 1 voicing of each sentence was used - the way the data was split by CommonVoice CorporaCreator. To build a better model one can use additional voicings from Validated split for sentences already present in Train, Dev, Test splits, i.e. enlarge mentioned splits.

Language model was built using KenLM. 5-gram Language model was built on sentences from Train + (Other - Dev - Test) splits of mozilla-foundation/common_voice_8_0 be dataset.

Source code is available here.

Run model in a browser

This page contains interactive demo widget that lets you test this model right in a browser.

However, this widget uses Acoustic model only without Language model that significantly improves overall performance.

You can play with full pipeline of Acoustic model + Language model on the following spaces page (also works from browser).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Wav2Vec2ForCTC
Ревизия весов
2d73dd6

0 моделей