Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

xlsr-waxal-from-luganda — модель автоматического распознавания речи, дообученная на основе sulaimank/xls-r-300m-luganda-313hr. Она принимает аудио и преобразует речь в текст; карточка сообщает результаты оценки на тестовом наборе: WER 0,2806, CER 0,0853 и WER для луганда 0,1613. Также приведены WER для линга́ла 0,3334 и шона 0,2719, но состав и происхождение оценочного набора подробно не описаны. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Сценарии применения

транскрибирование речи на луганда
распознавание речи на линга́ла
распознавание речи на шона
подготовка текстовых расшифровок аудиозаписей

Ограничения

Карточка не описывает обучающие данные, условия применения и ограничения. Приведённые метрики относятся к оценочному набору, детали которого не раскрыты.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

xlsr-waxal-from-luganda

This model is a fine-tuned version of sulaimank/xls-r-300m-luganda-313hr on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.2325
Wer: 0.2806
Cer: 0.0853
Wer Lug: 0.1613
Wer Lin: 0.3334
Wer Sna: 0.2719

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 16
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 32
optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 0.1
num_epochs: 30

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer	Wer Lug	Wer Lin	Wer Sna
21.2074	0.1463	500	8.4380	1.0000	0.9992	1.0	1.0	1.0000
5.7880	0.2927	1000	2.8031	1.0000	0.9992	1.0	1.0	1.0000
4.5646	0.4390	1500	2.0687	1.0	0.8928	1.0	1.0	1.0
2.3249	0.5854	2000	1.0506	0.9775	0.3500	0.9771	0.9723	0.9841
1.9122	0.7317	2500	0.8572	0.8284	0.2515	0.8643	0.8034	0.8425
1.7780	0.8781	3000	0.7866	0.7892	0.2304	0.8237	0.7575	0.8126
1.6314	1.0243	3500	0.7187	0.7340	0.2150	0.7808	0.7035	0.7497
1.5220	1.1706	4000	0.6687	0.7017	0.2061	0.7197	0.6874	0.7109
1.3840	1.3170	4500	0.6266	0.6613	0.1929	0.6246	0.6616	0.6790
1.3338	1.4633	5000	0.6011	0.6584	0.1894	0.5561	0.6706	0.6929
1.2607	1.6097	5500	0.5688	0.6123	0.1841	0.4791	0.6610	0.6157
1.1818	1.7560	6000	0.5489	0.5583	0.1650	0.3907	0.5975	0.5903
1.1072	1.9024	6500	0.5219	0.5283	0.1603	0.3396	0.5828	0.5514
1.0281	2.0486	7000	0.5269	0.4928	0.1491	0.2937	0.5435	0.5258
1.0194	2.1949	7500	0.4973	0.4780	0.1460	0.2756	0.5352	0.5044
0.9406	2.3413	8000	0.4809	0.4662	0.1422	0.2665	0.5229	0.4919
0.9777	2.4876	8500	0.4554	0.4772	0.1497	0.2523	0.5599	0.4821
0.9098	2.6340	9000	0.4520	0.4407	0.1362	0.2392	0.5040	0.4589
0.8793	2.7803	9500	0.4480	0.4909	0.1595	0.2357	0.6194	0.4527
0.8249	2.9267	10000	0.4528	0.4148	0.1293	0.2216	0.4748	0.4332
0.7515	3.0729	10500	0.4161	0.4199	0.1329	0.2142	0.4938	0.4268
0.8012	3.2192	11000	0.4059	0.4221	0.1373	0.2116	0.5111	0.4120
0.8088	3.3656	11500	0.4139	0.3970	0.1247	0.2044	0.4589	0.4127
0.7414	3.5119	12000	0.4014	0.3875	0.1226	0.2003	0.4514	0.3979
0.7193	3.6583	12500	0.3894	0.3810	0.1211	0.1988	0.4444	0.3897
0.7677	3.8046	13000	0.3786	0.3926	0.1233	0.2030	0.4638	0.3948
0.7347	3.9510	13500	0.3773	0.3737	0.1188	0.1946	0.4387	0.3787
0.6657	4.0972	14000	0.3754	0.3722	0.1185	0.1924	0.4383	0.3762
0.6621	4.2435	14500	0.3707	0.3641	0.1178	0.1940	0.4281	0.3661
0.6837	4.3899	15000	0.3579	0.3647	0.1171	0.1835	0.4354	0.3635
0.6827	4.5362	15500	0.3530	0.3703	0.1177	0.1903	0.4412	0.3682
0.6236	4.6826	16000	0.3563	0.3800	0.1242	0.1909	0.4705	0.3575
0.6701	4.8289	16500	0.3660	0.3530	0.1140	0.1827	0.4158	0.3566
0.6811	4.9753	17000	0.3578	0.3484	0.1122	0.1814	0.4125	0.3486
0.6206	5.1215	17500	0.3680	0.3467	0.1123	0.1829	0.4114	0.3447
0.5978	5.2678	18000	0.3374	0.3520	0.1129	0.1837	0.4205	0.3474
0.5872	5.4142	18500	0.3491	0.3442	0.1101	0.1821	0.4082	0.3421
0.5911	5.5605	19000	0.3342	0.3503	0.1112	0.1800	0.4212	0.3437
0.5771	5.7069	19500	0.3345	0.3519	0.1136	0.1800	0.4285	0.3389
0.5751	5.8532	20000	0.3432	0.3374	0.1087	0.1768	0.4012	0.3350
0.6158	5.9996	20500	0.3375	0.3353	0.1081	0.1761	0.3998	0.3314
0.5215	6.1458	21000	0.3253	0.3431	0.1118	0.1787	0.4157	0.3313
0.5423	6.2921	21500	0.3290	0.3350	0.1062	0.1779	0.3963	0.3341
0.5467	6.4385	22000	0.3393	0.3308	0.1068	0.1744	0.3943	0.3266
0.5765	6.5848	22500	0.3156	0.3320	0.1059	0.1739	0.3981	0.3254
0.4922	6.7312	23000	0.3184	0.3273	0.1039	0.1757	0.3908	0.3208
0.5498	6.8775	23500	0.3139	0.3290	0.1051	0.1747	0.3931	0.3231
0.4997	7.0237	24000	0.3232	0.3242	0.1023	0.1731	0.3860	0.3196
0.4635	7.1701	24500	0.3084	0.3283	0.1037	0.1717	0.3930	0.3229
0.4957	7.3164	25000	0.3140	0.3239	0.1027	0.1720	0.3850	0.3208
0.4840	7.4628	25500	0.3379	0.3215	0.1032	0.1734	0.3820	0.3171
0.4712	7.6091	26000	0.3096	0.3225	0.1017	0.1741	0.3818	0.3199
0.5330	7.7555	26500	0.3120	0.3200	0.1011	0.1717	0.3801	0.3163
0.4769	7.9018	27000	0.2984	0.3210	0.1016	0.1719	0.3831	0.3153
0.4623	8.0480	27500	0.3155	0.3156	0.0992	0.1701	0.3759	0.3102
0.4614	8.1944	28000	0.3047	0.3166	0.1000	0.1703	0.3754	0.3136
0.5024	8.3407	28500	0.2973	0.3154	0.0997	0.1684	0.3758	0.3106
0.4791	8.4870	29000	0.2874	0.3153	0.0996	0.1688	0.3781	0.3072
0.4726	8.6334	29500	0.2947	0.3137	0.0994	0.1702	0.3725	0.3092
0.4847	8.7797	30000	0.2870	0.3161	0.0994	0.1685	0.3774	0.3105
0.4695	8.9261	30500	0.2929	0.3111	0.0991	0.1699	0.3705	0.3046
0.4348	9.0723	31000	0.2885	0.3100	0.0983	0.1705	0.3686	0.3039
0.4265	9.2186	31500	0.2935	0.3095	0.0980	0.1689	0.3676	0.3045
0.4537	9.3650	32000	0.2793	0.3099	0.0966	0.1675	0.3704	0.3026
0.4559	9.5113	32500	0.2812	0.3091	0.0960	0.1683	0.3688	0.3024
0.4180	9.6577	33000	0.2789	0.3100	0.0973	0.1672	0.3677	0.3067
0.4263	9.8040	33500	0.2798	0.3067	0.0963	0.1689	0.3656	0.2992
0.4584	9.9504	34000	0.2822	0.3054	0.0967	0.1689	0.3641	0.2978
0.4005	10.0966	34500	0.2770	0.3058	0.0955	0.1691	0.3635	0.2995
0.4018	10.2429	35000	0.2740	0.3071	0.0956	0.1663	0.3667	0.3004
0.4474	10.3893	35500	0.2768	0.3039	0.0955	0.1676	0.3617	0.2971
0.3940	10.5356	36000	0.2767	0.3025	0.0952	0.1657	0.3604	0.2958
0.4062	10.6820	36500	0.2699	0.3025	0.0950	0.1672	0.3618	0.2935
0.4176	10.8283	37000	0.2801	0.3006	0.0940	0.1656	0.3567	0.2953
0.4230	10.9747	37500	0.2691	0.3005	0.0933	0.1659	0.3578	0.2936
0.3564	11.1209	38000	0.2719	0.3011	0.0932	0.1649	0.3589	0.2943
0.3958	11.2672	38500	0.2666	0.3006	0.0932	0.1658	0.3570	0.2950
0.4042	11.4136	39000	0.2710	0.2985	0.0927	0.1653	0.3555	0.2912
0.4263	11.5599	39500	0.2654	0.2976	0.0925	0.1639	0.3553	0.2897
0.3904	11.7063	40000	0.2669	0.2962	0.0921	0.1629	0.3533	0.2889
0.4115	11.8526	40500	0.2711	0.2963	0.0922	0.1650	0.3537	0.2877
0.4133	11.9990	41000	0.2633	0.2966	0.0920	0.1633	0.3552	0.2875
0.3925	12.1452	41500	0.2592	0.2967	0.0909	0.1637	0.3523	0.2913
0.3853	12.2915	42000	0.2590	0.2995	0.0927	0.1657	0.3572	0.2917
0.3938	12.4379	42500	0.2578	0.2941	0.0914	0.1634	0.3494	0.2879
0.3861	12.5842	43000	0.2623	0.2926	0.0903	0.1640	0.3487	0.2842
0.3716	12.7306	43500	0.2610	0.2919	0.0902	0.1626	0.3481	0.2839
0.3574	12.8769	44000	0.2571	0.2933	0.0897	0.1621	0.3494	0.2862
0.3830	13.0231	44500	0.2535	0.2938	0.0906	0.1620	0.3517	0.2848
0.3598	13.1695	45000	0.2549	0.2938	0.0903	0.1641	0.3500	0.2859
0.3697	13.3158	45500	0.2570	0.2912	0.0900	0.1626	0.3486	0.2813
0.3275	13.4622	46000	0.2554	0.2910	0.0905	0.1621	0.3491	0.2804
0.3743	13.6085	46500	0.2572	0.2898	0.0902	0.1625	0.3477	0.2785
0.3529	13.7549	47000	0.2475	0.2914	0.0903	0.1622	0.3469	0.2842
0.3496	13.9012	47500	0.2507	0.2900	0.0886	0.1624	0.3450	0.2827
0.3649	14.0474	48000	0.2449	0.2920	0.0893	0.1616	0.3488	0.2838
0.3395	14.1938	48500	0.2515	0.2882	0.0883	0.1597	0.3441	0.2801
0.3236	14.3401	49000	0.2532	0.2866	0.0876	0.1609	0.3418	0.2780
0.3521	14.4865	49500	0.2524	0.2852	0.0885	0.1599	0.3409	0.2756
0.3577	14.6328	50000	0.2498	0.2850	0.0879	0.1608	0.3396	0.2764
0.3328	14.7792	50500	0.2458	0.2849	0.0886	0.1607	0.3410	0.2744
0.3523	14.9255	51000	0.2515	0.2836	0.0876	0.1594	0.3389	0.2743
0.3218	15.0717	51500	0.2416	0.2842	0.0869	0.1598	0.3404	0.2736
0.3319	15.2181	52000	0.2454	0.2849	0.0866	0.1621	0.3392	0.2759
0.3337	15.3644	52500	0.2391	0.2838	0.0877	0.1610	0.3393	0.2735
0.3001	15.5108	53000	0.2428	0.2827	0.0874	0.1600	0.3378	0.2727
0.3059	15.6571	53500	0.2426	0.2832	0.0876	0.1587	0.3372	0.2755
0.3347	15.8035	54000	0.2347	0.2866	0.0883	0.1586	0.3444	0.2758
0.3460	15.9498	54500	0.2383	0.2832	0.0871	0.1587	0.3395	0.2726
0.3352	16.0960	55000	0.2427	0.2803	0.0853	0.1569	0.3347	0.2715
0.3435	16.2424	55500	0.2371	0.2835	0.0872	0.1584	0.3397	0.2732
0.3291	16.3887	56000	0.2438	0.2796	0.0863	0.1593	0.3326	0.2711
0.3042	16.5351	56500	0.2351	0.2790	0.0871	0.1595	0.3337	0.2681
0.3092	16.6814	57000	0.2383	0.2790	0.0851	0.1585	0.3335	0.2688
0.2947	16.8277	57500	0.2363	0.2793	0.0855	0.1598	0.3318	0.2711
0.2999	16.9741	58000	0.2338	0.2800	0.0847	0.1601	0.3327	0.2717
0.2970	17.1203	58500	0.2361	0.2797	0.0860	0.1616	0.3333	0.2695
0.3251	17.2666	59000	0.2325	0.2806	0.0853	0.1613	0.3334	0.2719

Framework versions

Transformers 5.12.1
Pytorch 2.6.0+cu124
Datasets 3.6.0
Tokenizers 0.22.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: c6f4e0a

Характеристики

Ссылки

xlsr-waxal-from-luganda

Бенчмарки

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Карточка модели

xlsr-waxal-from-luganda

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить