/ Модель

Характеристики

Параметры
113 млн
Архитектура
wav2vec2 · dense
Опубликована
10 окт 2022

wav2vec2-base-960h-phoneme-reco-dutch

Распознавание речиАудио → текст3 профессии

Дообученная Wav2Vec2-модель распознаёт фонемы в аудиозаписях на нидерландском языке.

290скачиваний за 30 дней3лайкавеса обновлены11 окт 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Clementapa дообучила акустическую модель facebook/wav2vec2-base-960h для распознавания фонем нидерландского языка. Модель основана на архитектуре Wav2Vec2 и содержит 113,3 млн параметров; веса представлены в формате PyTorch.

Модель принимает аудио и выдаёт последовательность фонем, поэтому подходит для фонетической транскрипции нидерландской речи и акустического анализа произношения. Она предназначена для работы как акустическая модель распознавания речи на основе CTC.

Модель обучена на данных Common Voice. Сведения о лицензии и ограничениях качества в предоставленных материалах отсутствуют.

Сценарии применения

  • фонетическая транскрипция нидерландской речи
  • распознавание фонем в речевых аудиозаписях
  • анализ нидерландского произношения

Ограничения

Модель настроена на нидерландский язык и распознавание фонем; пригодность для обычной транскрипции слов не подтверждена. Сведения о лицензии и качестве распознавания в предоставленных материалах отсутствуют.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Description

The Wav2vec2 base model facebook/wav2vec2-base-960h fine tuned on phoneme recognition task for the dutch language.

Usage

To transcribe in phonemes audio files the model can be used as a standalone acoustic model as follows:

 from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
 from datasets import load_dataset
 import torch
 
 # load model and tokenizer
 processor = Wav2Vec2Processor.from_pretrained("Clementapa/wav2vec2-base-960h-phoneme-reco-dutch")
 model = Wav2Vec2ForCTC.from_pretrained("Clementapa/wav2vec2-base-960h-phoneme-reco-dutch")
     
 # load dummy dataset and read soundfiles
 ds = load_dataset("common_voice", "nl", split="validation")
 
 # tokenize
 input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values  # Batch size 1
 
 # retrieve logits
 logits = model(input_values).logits
 
 # take argmax and decode
 predicted_ids = torch.argmax(logits, dim=-1)
 transcription = processor.batch_decode(predicted_ids)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Wav2Vec2ForCTC
Ревизия весов
2a4c2e9

0 моделей