Характеристики

Контекст: 1 024 токена
Параметры: 456 млн
Лицензия: Apache 2.0
Архитектура: whisper · dense
Опубликована: 23 ноя 2022

Ссылки

Hugging Face

whisper-medium-nlcv11

GeoffVdr

Распознавание речиАудио → текст8 профессий

Дообученная на нидерландской речи модель Whisper Medium для автоматической транскрипции аудио.

12скачиваний за 30 дней5лайковвеса обновлены14 дек 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GeoffVdr/whisper-medium-nlcv11 — дообученная модель распознавания речи на базе OpenAI Whisper Medium. Она обучена на обучающей и валидационной частях нидерландского набора Mozilla Common Voice 11.0 и предназначена для преобразования нидерландской речи в текст. Модель использует архитектуру WhisperForConditionalGeneration и содержит 455,8 млн параметров.

Для оценки использовалась тестовая часть Common Voice 11.0 на нидерландском языке. Модель принимает аудио и выдаёт текст; карточка не сообщает метрики качества или подробные ограничения. Веса доступны в формате PyTorch по лицензии Apache-2.0.

Сценарии применения

транскрибация нидерландской речи
распознавание речи из записей Common Voice
преобразование нидерландских аудиозаписей в текст

Ограничения

Карточка не приводит численных метрик качества или подробных сведений об ограничениях; обучение и оценка проводились на Common Voice 11.0 на нидерландском языке.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Whisper Medium nl - GeoffVdr

This model is a fine-tuned version of openai/whisper-medium on the Common Voice 11.0 dataset.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

Training: Mozilla CommonVoice 11 Dutch train+validation set
Evaluation: Mozilla CommonVoice 11 Dutch test set

Training procedure

Training Hyperparameters

learning_rate: 1e-5
train_batch_size: 8
eval_batch_size: 8
gradient_accumulation_steps: 2
lr_scheduler_warmup_steps: 500
training_steps: 12000

Training Results

Training Loss	Epoch	Step	WER
0.1111	0.39	1000	9.89
0.0884	0.78	2000	9.26
0.0362	1.17	3000	8.64
0.0359	1.56	4000	8.60
0.0375	1.95	5000	8.24
:
:
0.0015	4.68	12000	7.51

Framework versions

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: WhisperForConditionalGeneration
Ревизия весов: 1757d19