Характеристики

Контекст: 1 024 токена
Параметры: 153 млн
Лицензия: Apache 2.0
Архитектура: whisper · dense
Базовая модель: whisper-small
Опубликована: 17 авг 2023

Ссылки

Hugging Face

whisper-small-fr

aviroes

Распознавание речиАудио → текст

Дообученная версия Whisper Small для автоматического распознавания речи и транскрибирования аудио.

6скачиваний за 30 дней0лайковвеса обновлены17 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

aviroes/whisper-small-fr — дообученная модель распознавания речи на базе openai/whisper-small. Она предназначена для преобразования аудиозаписей в текст; суффикс fr в названии указывает на французскую специализацию, однако README не уточняет язык обучающих данных. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и веса PyTorch. В README приведён результат оценки: WER 0,2295 и loss 0,5417, но набор данных и условия оценки не описаны. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

транскрибирование аудиозаписей на французском языке
преобразование французской речи в текст
создание текстовых расшифровок аудио

Ограничения

README не сообщает, на каком наборе данных проводилось дообучение, и не описывает ограничения модели. Указанный WER 0,2295 приведён без деталей набора и условий оценки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

whisper-small-fr

This model is a fine-tuned version of openai/whisper-small on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.5417
Wer: 0.2295

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 6.25e-06
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
training_steps: 3000

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.3362	0.16	100	0.5329	0.4774
0.2786	0.32	200	0.5236	0.4494
0.2399	0.48	300	0.5163	0.3599
0.1602	0.64	400	0.5413	0.3265
0.221	0.8	500	0.5354	0.3384
0.4037	0.96	600	0.5186	0.2662
0.1617	1.12	700	0.5274	0.3222
0.1656	1.28	800	0.5151	0.2349
0.1786	1.44	900	0.5141	0.2640
0.1772	1.6	1000	0.5169	0.2683
0.1647	1.76	1100	0.5031	0.2403
0.1486	1.92	1200	0.5036	0.2522
0.074	2.08	1300	0.5044	0.2425
0.0683	2.24	1400	0.5044	0.3103
0.0692	2.4	1500	0.5035	0.3114
0.0601	2.56	1600	0.5127	0.3114
0.0717	2.72	1700	0.5090	0.2403
0.0661	2.88	1800	0.5071	0.2381
0.0301	3.04	1900	0.5176	0.2457
0.0305	3.2	2000	0.5171	0.2575
0.0241	3.36	2100	0.5209	0.2371
0.0208	3.52	2200	0.5247	0.2403
0.0246	3.68	2300	0.5303	0.2392
0.0217	3.84	2400	0.5255	0.2295
0.0317	4.0	2500	0.5323	0.2274
0.0154	4.16	2600	0.5392	0.2328
0.0217	4.32	2700	0.5395	0.2295
0.0204	4.48	2800	0.5412	0.2295
0.0174	4.64	2900	0.5410	0.2328
0.0103	4.8	3000	0.5417	0.2295

Framework versions

Transformers 4.32.0.dev0
Pytorch 2.0.1+cu118
Datasets 2.14.4
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: WhisperForConditionalGeneration
Ревизия весов: 6319678

Характеристики

Ссылки

whisper-small-fr

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Карточка модели

whisper-small-fr

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить