Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sulaimank/w2vbert-shona-waxal — модель автоматического распознавания речи, полученная дообучением sulaimank/W2V2_Bert_Afrivoice_FLEURS_Shona_100hr_v1. Она принимает аудио и преобразует речь на шона в текст. Репозиторий содержит веса в формате Safetensors и предназначен для использования с библиотекой Transformers.

В карточке приведены результаты оценки: WER 0,0296, CER 0,0241, Loss 0,0131 и Zindi 0,9731. Датасет обучения, подробности об условиях оценки и ограничения применения не описаны. Модель распространяется по лицензии MIT.

Сценарии применения

транскрибация записей на шона
распознавание устной речи на шона
создание текстовых субтитров для аудио на шона

Ограничения

Датасет обучения, подробности оценки и ограничения использования в карточке не раскрыты.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

w2vbert-shona-waxal

This model is a fine-tuned version of sulaimank/W2V2_Bert_Afrivoice_FLEURS_Shona_100hr_v1 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0131
Wer: 0.0296
Cer: 0.0241
Zindi: 0.9731

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 16
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 64
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 60.0

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer	Zindi
0.5649	0.8753	500	0.1006	0.1889	0.0492	0.8810
0.6798	1.7492	1000	0.0997	0.1888	0.0490	0.8811
0.5055	2.6232	1500	0.0932	0.1848	0.0476	0.8838
0.4115	3.4972	2000	0.0882	0.1916	0.0478	0.8803
0.3757	4.3711	2500	0.0846	0.1848	0.0468	0.8842
0.3304	5.2451	3000	0.0776	0.1800	0.0453	0.8874
0.2782	6.1190	3500	0.0735	0.1787	0.0451	0.8881
0.3180	6.9943	4000	0.0660	0.1689	0.0431	0.8940
0.2770	7.8683	4500	0.0607	0.1658	0.0427	0.8958
0.2285	8.7422	5000	0.0551	0.1594	0.0410	0.8998
0.1971	9.6162	5500	0.0517	0.1437	0.0397	0.9083
0.1580	10.4902	6000	0.0440	0.1331	0.0379	0.9145
0.1350	11.3641	6500	0.0377	0.1121	0.0356	0.9261
0.1204	12.2381	7000	0.0354	0.0998	0.0342	0.9330
0.1076	13.1120	7500	0.0308	0.0881	0.0323	0.9398
0.1214	13.9873	8000	0.0261	0.0750	0.0307	0.9471
0.0992	14.8613	8500	0.0227	0.0697	0.0300	0.9502
0.0973	15.7352	9000	0.0225	0.0659	0.0295	0.9523
0.0930	16.6092	9500	0.0215	0.0609	0.0289	0.9551
0.0738	17.4832	10000	0.0184	0.0561	0.0281	0.9579
0.0690	18.3571	10500	0.0188	0.0567	0.0280	0.9576
0.0630	19.2311	11000	0.0165	0.0514	0.0273	0.9607
0.0907	20.1050	11500	0.0156	0.0495	0.0272	0.9617
0.0775	20.9803	12000	0.0151	0.0468	0.0267	0.9632
0.0536	21.8543	12500	0.0148	0.0470	0.0266	0.9632
0.0666	22.7282	13000	0.0142	0.0463	0.0264	0.9636
0.0371	23.6022	13500	0.0136	0.0423	0.0259	0.9659
0.0479	24.4761	14000	0.0135	0.0434	0.0261	0.9653
0.0383	25.3501	14500	0.0130	0.0402	0.0256	0.9671
0.0340	26.2241	15000	0.0119	0.0381	0.0252	0.9683
0.0421	27.0980	15500	0.0131	0.0393	0.0255	0.9676
0.0426	27.9733	16000	0.0113	0.0371	0.0251	0.9689
0.0403	28.8473	16500	0.0114	0.0374	0.0251	0.9688
0.0307	29.7212	17000	0.0105	0.0371	0.0251	0.9689
0.0310	30.5952	17500	0.0107	0.0387	0.0251	0.9681
0.0211	31.4691	18000	0.0099	0.0344	0.0247	0.9705
0.0294	32.3431	18500	0.0108	0.0330	0.0245	0.9712
0.0169	33.2171	19000	0.0103	0.0338	0.0247	0.9707
0.0217	34.0910	19500	0.0109	0.0346	0.0247	0.9704
0.0176	34.9663	20000	0.0104	0.0333	0.0246	0.9710
0.0141	35.8403	20500	0.0109	0.0328	0.0245	0.9714
0.0137	36.7142	21000	0.0113	0.0324	0.0246	0.9715
0.0126	37.5882	21500	0.0109	0.0326	0.0245	0.9715
0.0115	38.4621	22000	0.0115	0.0327	0.0245	0.9714
0.0092	39.3361	22500	0.0114	0.0319	0.0244	0.9719
0.0045	40.2101	23000	0.0104	0.0312	0.0243	0.9722
0.0054	41.0840	23500	0.0112	0.0312	0.0244	0.9722
0.0086	41.9593	24000	0.0097	0.0319	0.0244	0.9719
0.0061	42.8333	24500	0.0108	0.0316	0.0244	0.9720
0.0041	43.7072	25000	0.0107	0.0312	0.0243	0.9722
0.0024	44.5812	25500	0.0107	0.0311	0.0243	0.9723
0.0028	45.4551	26000	0.0126	0.0312	0.0243	0.9722
0.0019	46.3291	26500	0.0117	0.0303	0.0242	0.9728
0.0008	47.2031	27000	0.0121	0.0302	0.0243	0.9728
0.0012	48.0770	27500	0.0121	0.0305	0.0243	0.9726
0.0013	48.9523	28000	0.0123	0.0303	0.0242	0.9728
0.0015	49.8263	28500	0.0125	0.0308	0.0242	0.9725
0.0019	50.7002	29000	0.0109	0.0301	0.0242	0.9728
0.0007	51.5742	29500	0.0112	0.0293	0.0241	0.9733
0.0008	52.4481	30000	0.0107	0.0297	0.0241	0.9731
0.0005	53.3221	30500	0.0115	0.0298	0.0241	0.9731
0.0006	54.1961	31000	0.0116	0.0298	0.0241	0.9731
0.0009	55.0700	31500	0.0122	0.0297	0.0241	0.9731
0.0009	55.9453	32000	0.0123	0.0297	0.0241	0.9731
0.0001	56.8193	32500	0.0124	0.0295	0.0241	0.9732
0.0001	57.6932	33000	0.0125	0.0296	0.0241	0.9732
0.0000	58.5672	33500	0.0128	0.0296	0.0241	0.9732
0.0000	59.4411	34000	0.0130	0.0297	0.0241	0.9731
0.0001	60.0	34320	0.0131	0.0296	0.0241	0.9731

Framework versions

Transformers 5.13.0
Pytorch 2.13.0+cu130
Datasets 3.6.0
Tokenizers 0.22.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 8a70c77

Характеристики

Ссылки

w2vbert-shona-waxal

Бенчмарки

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Карточка модели

w2vbert-shona-waxal

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить