Характеристики

Параметры: 153 млн
Архитектура: whisper · dense
Базовая модель: whisper-small
Библиотека: adapter-transformers
Опубликована: 7 авг 2023

Ссылки

Hugging Face

Whisper-small-FullFinetuning-CV-train-test

mohammadsp99

Распознавание речи

Дообученная на Common Voice 13.0 модель Whisper для распознавания речи на фарси и преобразования её в текст.

0скачиваний за 30 дней0лайковвеса обновлены7 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Whisper-small-FullFinetuning-CV-train-test — дообученная Mohammadsp99 модель распознавания речи на базе mohammadsp99/whisper-small. Она построена на архитектуре WhisperForConditionalGeneration и содержит 153,1 млн параметров; обучение проводилось на Common Voice 13.0. Модель предназначена для преобразования речи на фарси в текст.

В карточке приведены результаты оценки после обучения: loss 0,4865 и WER 37,3. Модель опубликована в формате PyTorch и распространяется на условиях лицензии базовой модели.

Сценарии применения

транскрибация записей речи на фарси
распознавание речи на фарси в аудиофайлах
создание текстовых расшифровок для датасета Common Voice

Ограничения

На оценочном наборе указана WER 37,3; качество на других данных карточка не описывает.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Whisper-small-FullFinetuning-CV-train-test

This model is a fine-tuned version of mohammadsp99/whisper-small on the common_voice_13_0 dataset. It achieves the following results on the evaluation set:

Loss: 0.4865
Wer: 37.3 The evaluation was done after training

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 50
training_steps: 2000

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.886	0.05	100	2.1958	101.5152
0.6142	0.1	200	2.2113	110.6061
0.5544	0.15	300	2.2247	215.1515
0.4809	0.2	400	1.8149	104.5455
0.393	0.25	500	1.8802	96.9697
0.4191	0.3	600	1.9056	107.5758
0.3515	0.35	700	1.9166	89.3939
0.2671	0.4	800	1.9010	86.3636
0.2763	0.45	900	1.8574	96.9697
0.2896	0.5	1000	1.8940	95.4545
0.2201	0.55	1100	1.6264	96.9697
0.1937	0.6	1200	1.8990	98.4848
0.1787	0.65	1300	1.7999	100.0
0.1138	0.7	1400	1.8118	96.9697
0.1759	0.75	1500	1.9026	93.9394
0.1276	0.8	1600	1.8715	195.4545
0.1437	0.85	1700	1.7353	92.4242
0.1593	1.02	1800	1.7307	95.4545
0.1617	1.07	1900	1.7732	96.9697
0.1737	1.12	2000	1.7646	93.9394

Framework versions

Transformers 4.31.0
Pytorch 2.0.1+cu118
Datasets 2.14.3
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · adapter-transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры: WhisperForConditionalGeneration
Ревизия весов: 9c84264