Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sulaimank/w2vbert-luganda-waxal — модель автоматического распознавания речи, созданная дообучением sulaimank/w2v-bert-2.0-lg-CV-Fleurs-300. Она принимает аудио и предназначена для преобразования речи на луганда в текст. В README приведены результаты на оценочной выборке: WER 0,1278, CER 0,0285, Loss 0,1126 и показатель Zindi 0,9219; описание набора данных и подробности оценки не раскрыты. Модель доступна в формате Safetensors для библиотеки Transformers и распространяется по лицензии MIT.

Сценарии применения

расшифровка записей речи на луганда
распознавание устных высказываний на луганда
создание текстовых транскриптов аудиозаписей на луганда

Ограничения

В README не описаны обучающие данные, условия оценки и ограничения применения. Приведённые метрики относятся к оценочной выборке, подробности о которой отсутствуют.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

w2vbert-luganda-waxal

This model is a fine-tuned version of sulaimank/w2v-bert-2.0-lg-CV-Fleurs-300 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.1126
Wer: 0.1278
Cer: 0.0285
Zindi: 0.9219

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 16
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 64
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 60.0

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer	Zindi
0.2041	0.1116	500	0.1647	0.1696	0.0387	0.8958
0.2117	0.2233	1000	0.1667	0.1687	0.0407	0.8953
0.2281	0.3349	1500	0.1568	0.1708	0.0410	0.8941
0.2158	0.4466	2000	0.1530	0.1697	0.0370	0.8966
0.2199	0.5582	2500	0.1358	0.1515	0.0337	0.9074
0.2099	0.6699	3000	0.1419	0.1677	0.0370	0.8976
0.2347	0.7815	3500	0.1400	0.1505	0.0337	0.9079
0.2444	0.8932	4000	0.1436	0.1570	0.0358	0.9036
0.2041	1.0047	4500	0.1294	0.1497	0.0330	0.9087
0.1984	1.1163	5000	0.1346	0.1461	0.0324	0.9108
0.1860	1.2280	5500	0.1340	0.1488	0.0336	0.9088
0.1821	1.3396	6000	0.1289	0.1421	0.0318	0.9130
0.2105	1.4513	6500	0.1321	0.1494	0.0330	0.9088
0.1951	1.5629	7000	0.1290	0.1441	0.0326	0.9116
0.1906	1.6746	7500	0.1339	0.1450	0.0328	0.9111
0.1824	1.7862	8000	0.1285	0.1401	0.0323	0.9138
0.2062	1.8978	8500	0.1271	0.1387	0.0326	0.9144
0.1450	2.0094	9000	0.1205	0.1362	0.0304	0.9167
0.1598	2.1210	9500	0.1225	0.1377	0.0312	0.9155
0.1942	2.2327	10000	0.1201	0.1386	0.0307	0.9154
0.1446	2.3443	10500	0.1236	0.1377	0.0314	0.9155
0.1635	2.4560	11000	0.1154	0.1329	0.0297	0.9187
0.1630	2.5676	11500	0.1194	0.1350	0.0296	0.9177
0.1805	2.6792	12000	0.1215	0.1412	0.0319	0.9134
0.1561	2.7909	12500	0.1155	0.1313	0.0292	0.9198
0.1740	2.9025	13000	0.1202	0.1244	0.0288	0.9234
0.1348	3.0141	13500	0.1191	0.1286	0.0291	0.9212
0.1291	3.1257	14000	0.1207	0.1325	0.0294	0.9191
0.1252	3.2374	14500	0.1174	0.1332	0.0297	0.9186
0.1305	3.3490	15000	0.1167	0.1353	0.0298	0.9175
0.1363	3.4606	15500	0.1163	0.1314	0.0290	0.9198
0.1415	3.5723	16000	0.1145	0.1314	0.0296	0.9195
0.1504	3.6839	16500	0.1141	0.1267	0.0283	0.9225
0.1669	3.7956	17000	0.1142	0.1276	0.0285	0.9220
0.1493	3.9072	17500	0.1126	0.1233	0.0275	0.9246
0.1197	4.0188	18000	0.1134	0.1241	0.0279	0.9240
0.1110	4.1304	18500	0.1123	0.1290	0.0287	0.9212
0.1084	4.2420	19000	0.1131	0.1211	0.0273	0.9258
0.1197	4.3537	19500	0.1114	0.1230	0.0278	0.9246
0.1393	4.4653	20000	0.1151	0.1302	0.0293	0.9203
0.1318	4.5770	20500	0.1111	0.1207	0.0275	0.9259
0.1325	4.6886	21000	0.1100	0.1231	0.0271	0.9249
0.1249	4.8003	21500	0.1137	0.1210	0.0269	0.9260
0.1406	4.9119	22000	0.1117	0.1252	0.0283	0.9232
0.0883	5.0234	22500	0.1093	0.1181	0.0271	0.9274
0.1049	5.1351	23000	0.1107	0.1212	0.0270	0.9259
0.0997	5.2467	23500	0.1123	0.1277	0.0286	0.9218
0.1148	5.3584	24000	0.1147	0.1325	0.0306	0.9184
0.1053	5.4700	24500	0.1090	0.1223	0.0275	0.9251
0.1019	5.5817	25000	0.1127	0.1259	0.0284	0.9228
0.1110	5.6933	25500	0.1100	0.1184	0.0271	0.9272
0.0972	5.8050	26000	0.1059	0.1203	0.0269	0.9264
0.1204	5.9166	26500	0.1152	0.1260	0.0280	0.9230
0.0748	6.0281	27000	0.1088	0.1219	0.0272	0.9254
0.0747	6.1398	27500	0.1126	0.1278	0.0285	0.9219

Framework versions

Transformers 5.13.0
Pytorch 2.12.1+cu130
Datasets 3.6.0
Tokenizers 0.22.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 72394e3

Характеристики

Ссылки

w2vbert-luganda-waxal

Бенчмарки

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Карточка модели

w2vbert-luganda-waxal

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить