Характеристики
- Параметры
- 116 млн
- Архитектура
- wav2vec2 · dense
- Опубликована
- 30 окт 2022
Ссылки
mandarin-wav2vec2
Предварительно обученная Wav2Vec 2.0-модель для извлечения признаков из мандаринской речи и последующего обучения систем распознавания речи.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
kehanlu/mandarin-wav2vec2 — предварительно обученная аудиомодель Wav2Vec 2.0 base, разработанная Ke-Han Lu и соавторами. Модель преобразована из контрольной точки Fairseq/ESPnet в формат Hugging Face Transformers и предварительно обучена на примерно 960 часах мандаринской речи из AISHELL-2; в метаданных указано около 116,5 млн параметров.
Модель предназначена для извлечения признаков из мандаринской речи и последующей адаптации к задачам распознавания речи, например через CTC-финетюнинг. Она работает с аудио и поддерживает китайский мандарин; готовой системой транскрибирования сама по себе не является. Для ASR используется отдельная производная модель kehanlu/mandarin-wav2vec2-aishell1.
Модель подходит для построения акустических представлений и исследовательских пайплайнов распознавания речи. Ограничения включают специализацию на мандаринской речи, отсутствие готовой ASR-головы в этой контрольной точке и зависимость условий использования от лицензии AISHELL-2: свободное применение разрешено для академических целей, а коммерческое использование требует разрешения фонда AISHELL.
Сценарии применения
- извлечение акустических признаков из мандаринской речи
- предобучение моделей распознавания китайской речи
- дообучение CTC-модели для Mandarin ASR
- исследование представлений разговорной речи
- построение акустического энкодера для речевого пайплайна
Ограничения
Модель является базовой предварительно обученной моделью для извлечения признаков и не предназначена для непосредственной транскрипции без дополнительной ASR-головы или дообучения. Коммерческое использование ограничено условиями лицензии AISHELL-2 и требует разрешения фонда AISHELL.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- Wav2Vec2Model
- Ревизия весов
- 6ab33cf