Характеристики

Контекст: 1 024 токена
Параметры: 153 млн
Лицензия: Apache 2.0
Архитектура: whisper · dense
Базовая модель: whisper-small
Опубликована: 18 апр 2024

Ссылки

Hugging Face

whisper-small-sr-yodas-v2

Sagicc

Распознавание речиАудио → текст6 профессий

Дообученная на аудиоданных сербского языка модель Whisper Small для автоматической транскрибации речи.

30скачиваний за 30 дней0лайковвеса обновлены20 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Sagicc/whisper-small-sr-yodas-v2 — модель распознавания речи на основе Whisper Small от OpenAI, дообученная на объединённых наборах Common Voice 16, Fleurs, JuzneVesti-SR, LBM и YODAS. Она предназначена для преобразования аудиозаписей в текст; карточка приводит результаты оценки: WER 0,1220 и WER Ortho 0,2328. Модель содержит 153,1 млн параметров и распространяется в формате Safetensors.

В названии и обучающих данных указаны сербский язык и южносербские новости; также в обучении использованы многоязычные наборы Common Voice, Fleurs и YODAS. Базовый Whisper Small поддерживает распознавание речи на нескольких языках. Модель опубликована под лицензией Apache 2.0. Карточка не уточняет ограничения применения и условия оценки метрик.

Сценарии применения

транскрибация речи на сербском языке
распознавание речи в новостных аудиозаписях на сербском
преобразование аудио из наборов Common Voice и Fleurs в текст

Ограничения

Карточка не описывает ограничения модели и подробности протокола оценки; приведённые значения WER нельзя напрямую сопоставить без сведений о тестовом наборе и нормализации текста.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Whisper Small Sr Yodas

This model is a fine-tuned version of openai/whisper-small on merged datasets Common Voice 16 + Fleurs + Juzne vesti (South news) + LBM + (Yodas)[https://huggingface.co/datasets/espnet/yodas] dataset and

Rupnik, Peter and Ljubešić, Nikola, 2022,
ASR training dataset for Serbian JuzneVesti-SR v1.0, Slovenian language resource repository CLARIN.SI, ISSN 2820-4042,
http://hdl.handle.net/11356/1679.

It achieves the following results on the evaluation set:

Loss: 0.3584
Wer Ortho: 0.2328
Wer: 0.1220

Model description

Added new dataset Yodas as test and experiment to improve results.

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 16
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 50
num_epochs: 10
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer Ortho	Wer
0.6958	0.49	1000	0.2114	0.2528	0.1563
0.5941	0.98	2000	0.1857	0.2214	0.1269
0.3985	1.46	3000	0.1729	0.2106	0.1167
0.4187	1.95	4000	0.1745	0.2120	0.1147
0.3446	2.44	5000	0.1770	0.2074	0.1139
0.2992	2.93	6000	0.1710	0.2048	0.1061
0.2074	3.42	7000	0.1887	0.2090	0.1123
0.1958	3.91	8000	0.1871	0.2136	0.1131
0.1707	4.39	9000	0.2069	0.2230	0.1126
0.1403	4.88	10000	0.2092	0.2138	0.1110
0.0871	5.37	11000	0.2345	0.2216	0.1161
0.0856	5.86	12000	0.2384	0.2281	0.1161
0.0496	6.35	13000	0.2657	0.2327	0.1211
0.0542	6.84	14000	0.2760	0.2346	0.1198
0.0274	7.32	15000	0.3024	0.2304	0.1218
0.0281	7.81	16000	0.3134	0.2357	0.1216
0.0151	8.3	17000	0.3328	0.2276	0.1188
0.0165	8.79	18000	0.3417	0.2348	0.1220
0.0094	9.28	19000	0.3545	0.2318	0.1221
0.0125	9.77	20000	0.3584	0.2328	0.1220

Framework versions

Transformers 4.39.3
Pytorch 2.0.1+cu117
Datasets 2.18.0
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: WhisperForConditionalGeneration
Ревизия весов: cbe258b