/ Модель
Каталог

Характеристики

Параметры
113 млн
Архитектура
wav2vec2 · dense

Ссылки

Hugging FacearXiv 2107.07402

wav2vec2-pretrained-clsril-23-10k

Harveenchadha
ЭмбеддингиТекст → embedding3 профессии

Предварительно обученная wav2vec 2.0 модель извлекает межъязыковые речевые представления из аудио на 23 индийских языках для последующих задач обработки речи.

104скачиваний за 30 дней9лайковвеса обновлены6 авг 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Harveenchadha/wav2vec2-pretrained-clsril-23-10k — предварительно обученная модель аудиоречевых представлений на базе wav2vec 2.0, созданная для проекта CLSRIL-23 (Cross Lingual Speech Representations on Indic Languages). Она обучена без учителя на сыром аудио и формирует общие межъязыковые представления речи для 23 индийских языков; размер модели — 113,3 млн параметров. Модель предназначена для извлечения речевых признаков и использования как основы для последующих задач обработки речи.

Обучение использует контрастивную задачу над замаскированными скрытыми представлениями и совместное обучение квантизации латентных представлений. Репозиторий содержит веса PyTorch; исходный проект распространяет модели в формате fairseq. Лицензия и ограничения применения в предоставленных данных не описаны.

Сценарии применения

  • извлечение признаков из аудиозаписей индийских языков
  • подготовка речевых представлений для дообучения моделей распознавания речи
  • перенос обучения между индийскими языками
  • создание эмбеддингов для анализа устной речи

Ограничения

Модель предназначена для извлечения речевых представлений и сама по себе не заявлена как готовая система распознавания речи. Перечень языков в доступном фрагменте таблицы неполон, а лицензия не приведена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейI.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Overview

We present a CLSRIL-23 (Cross Lingual Speech Representations on Indic Languages), a self supervised learning based audio pre-trained model which learns cross lingual speech representations from raw audio across 23 Indic languages. It is built on top of wav2vec 2.0 which is solved by training a contrastive task over masked latent speech representations and jointly learns the quantization of latents shared across all languages.

Arxiv Link

Original Repo contains models in fairseq format.

Languages in the pretraining dataset

LanguageData (In Hrs)
Assamese254.9
Bengali331.3
Bodo26.9
Dogri17.1
English819.7
Gujarati336.7
Hindi4563.7
Kannada451.8
Kashmiri67.8
Konkani36.8
Maithili113.8
Malayalam297.7
Manipuri171.9
Marathi458.2
Nepali31.6
Odia131.4
Punjabi486.05
Sanskrit58.8
Santali6.56
Sindhi16
Tamil542.6
Telugu302.8
Urdu259.68

Repo for training:

Experimentation platform built on top of fairseq.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Wav2Vec2Model
Ревизия весов
026bd5f

0 моделей

    Создать бенчмарк