Характеристики

Контекст: 1 024 токена
Параметры: 905 млн
Архитектура: whisper · dense
Опубликована: 1 сен 2023

Ссылки

Hugging Face

whisper-large-v2-es

Jack200133

Распознавание речиАудио → текст

Модель на архитектуре Whisper для распознавания речи и преобразования аудио в текст.

6скачиваний за 30 дней0лайковвеса обновлены18 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Jack200133/whisper-large-v2-es — модель распознавания речи на архитектуре Whisper, содержащая около 905,2 млн параметров. В карточке указано, что модель обучена с нуля на неизвестном наборе данных; назначение набора данных и подробности обучения не раскрыты.

Модель предназначена для преобразования аудио в текст. В README приведены результаты оценки: loss 0,2930 и WER 31,3542, однако состав и условия оценочного набора не описаны, поэтому эти показатели не позволяют уверенно судить о качестве в конкретных сценариях. Данные не подтверждают поддержку конкретного языка, несмотря на суффикс «es» в названии.

Репозиторий содержит веса PyTorch и safetensors. Лицензия в предоставленных сведениях не указана.

Сценарии применения

транскрибация аудиозаписей в текст
распознавание речи в аудиофайлах
получение текстовой расшифровки речи для последующей обработки

Ограничения

В README указаны обучение на неизвестном наборе данных и WER 31,3542 на оценочном наборе без описания его состава и условий. Поддерживаемые языки и лицензия не подтверждены предоставленными сведениями.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

whisper-large-v2-es

This model was trained from scratch on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.2930
Wer: 31.3542

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 16
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 200
training_steps: 6000

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.0328	0.16	250	0.3149	26.25
0.0498	0.33	500	0.2925	37.9167
0.0666	0.49	750	0.2762	28.3333
0.0909	0.65	1000	0.2705	32.1875
0.0843	0.82	1250	0.2566	27.7083
0.1277	0.98	1500	0.2609	29.7917
0.0431	1.14	1750	0.2667	30.6250
0.0321	1.31	2000	0.2570	30.8333
0.0301	1.47	2250	0.2793	31.1458
0.0364	1.63	2500	0.2769	29.375
0.0303	1.8	2750	0.2755	28.6458
0.0226	1.96	3000	0.2846	27.9167
0.0185	2.12	3250	0.2863	26.9792
0.0161	2.29	3500	0.2902	27.8125
0.0165	2.45	3750	0.2903	32.7083
0.0145	2.61	4000	0.2903	29.8958
0.0123	2.78	4250	0.3076	27.8125
0.0129	2.94	4500	0.3019	28.4375
0.0145	3.1	4750	0.2917	26.5625
0.0118	3.27	5000	0.2953	33.6458
0.0099	3.43	5250	0.2881	33.0208
0.0088	3.59	5500	0.2922	31.5625
0.0118	3.76	5750	0.2935	30.5208
0.0103	3.92	6000	0.2930	31.3542

Framework versions

Transformers 4.34.0.dev0
Pytorch 1.12.1+cu116
Datasets 2.4.0
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: WhisperForConditionalGeneration
Ревизия весов: 4c39a7a

Характеристики

Ссылки

whisper-large-v2-es

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Карточка модели

whisper-large-v2-es

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить