Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sulaimank/w2v-bert-waxal — модель автоматического распознавания речи на базе Wav2Vec2-BERT, дообученная разработчиком на основе sulaimank/w2v-bert-lingala-109h. Она преобразует входящую речь в текст и предназначена для сценариев транскрибирования аудио. В README приведены метрики оценки: WER 0,1867 и CER 0,0587; также указаны отдельные значения для Lug, Lin и Sna. Датасет обучения в карточке обозначен как None, поэтому детали данных неясны.

Модель опубликована в формате safetensors и использует библиотеку Transformers. Сведения о лицензии, размере, контексте и практических ограничениях в источниках отсутствуют.

Сценарии применения

транскрибирование аудиозаписей
распознавание речи в голосовых сообщениях
создание текстовых расшифровок разговоров

Ограничения

Метрики приведены для оценки, но состав обучающего набора указан как None, поэтому область применимости результатов оценить трудно. Лицензия и дополнительные ограничения использования в карточке не описаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

w2v-bert-waxal

This model is a fine-tuned version of sulaimank/w2v-bert-lingala-109h on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.1251
Wer: 0.1867
Cer: 0.0587
Zindi: 0.8773
Wer Lug: 0.1599
Cer Lug: 0.0327
Wer Lin: 0.1485
Cer Lin: 0.0726
Wer Sna: 0.2482
Cer Sna: 0.0580

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 16
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 32
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 40
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Cer	Cer Lin	Cer Lug	Cer Sna	Validation Loss	Wer	Wer Lin	Wer Lug	Wer Sna	Zindi
0.8658	0.0855	1000	0.1366	0.1169	0.1255	0.1580	0.4209	0.4811	0.2770	0.6084	0.6775	0.6912
0.5961	0.1709	2000	0.1118	0.1072	0.0913	0.1245	0.3196	0.3862	0.2388	0.4405	0.5465	0.7510
0.5068	0.2564	3000	0.0984	0.0962	0.0766	0.1095	0.2745	0.3335	0.2066	0.3688	0.4769	0.7841
0.4516	0.3419	4000	0.0897	0.0901	0.0681	0.0985	0.2473	0.3002	0.1928	0.3262	0.4236	0.8051
0.4118	0.4273	5000	0.0869	0.0893	0.0638	0.0947	0.2218	0.2917	0.1871	0.3128	0.4140	0.8107
0.3989	0.5128	6000	0.0811	0.0822	0.0591	0.0896	0.2171	0.2677	0.1703	0.2872	0.3815	0.8256
0.3837	0.5983	7000	0.0793	0.0816	0.0562	0.0872	0.1991	0.2599	0.1675	0.2740	0.3700	0.8304
0.3649	0.6837	8000	0.0784	0.0822	0.0556	0.0851	0.1902	0.2574	0.1690	0.2643	0.3661	0.8321
0.3580	0.7692	9000	0.1921	0.2479	0.0768	0.8376	0.2548	0.0540	0.1652	0.0810	0.3494	0.0831
0.3427	0.8547	10000	0.1788	0.2422	0.0752	0.8413	0.2447	0.0514	0.1611	0.0800	0.3435	0.0814
0.3417	0.9401	11000	0.1740	0.2391	0.0745	0.8432	0.2414	0.0506	0.1628	0.0801	0.3347	0.0799
0.2917	1.0256	12000	0.1786	0.2336	0.0734	0.8465	0.2358	0.0493	0.1583	0.0792	0.3280	0.0787
0.3116	1.1110	13000	0.1741	0.2298	0.0729	0.8487	0.2298	0.0483	0.1586	0.0800	0.3199	0.0774
0.2824	1.1965	14000	0.1697	0.2286	0.0719	0.8498	0.2223	0.0461	0.1587	0.0793	0.3201	0.0767
0.2810	1.2820	15000	0.1647	0.2337	0.0754	0.8454	0.2228	0.0461	0.1735	0.0895	0.3153	0.0760
0.2916	1.3674	16000	0.1619	0.2240	0.0704	0.8528	0.2179	0.0446	0.1563	0.0776	0.3127	0.0752
0.2768	1.4529	17000	0.1674	0.2227	0.0706	0.8533	0.2146	0.0443	0.1568	0.0790	0.3102	0.0747
0.2849	1.5384	18000	0.1617	0.2218	0.0705	0.8539	0.2152	0.0440	0.1573	0.0796	0.3066	0.0742
0.2735	1.6238	19000	0.1625	0.2209	0.0687	0.8552	0.2101	0.0432	0.1555	0.0758	0.3089	0.0736
0.2774	1.7093	20000	0.1592	0.2211	0.0702	0.8543	0.2063	0.0425	0.1563	0.0796	0.3103	0.0741
0.2692	1.7948	21000	0.1552	0.2186	0.0684	0.8565	0.2095	0.0425	0.1562	0.0769	0.3020	0.0721
0.2721	1.8802	22000	0.1536	0.2160	0.0687	0.8576	0.2052	0.0416	0.1561	0.0788	0.2973	0.0718
0.2562	1.9657	23000	0.1544	0.2118	0.0681	0.8601	0.1967	0.0405	0.1526	0.0780	0.2941	0.0714
0.2270	2.0511	24000	0.1536	0.2141	0.0680	0.8590	0.1997	0.0405	0.1546	0.0778	0.2963	0.0716
0.2462	2.1366	25000	0.1495	0.2196	0.0681	0.8561	0.1969	0.0400	0.1581	0.0776	0.3088	0.0721
0.2365	2.2220	26000	0.1504	0.2102	0.0659	0.8620	0.1907	0.0388	0.1531	0.0749	0.2920	0.0698
0.2231	2.3075	27000	0.1532	0.2103	0.0660	0.8618	0.1903	0.0390	0.1531	0.0751	0.2926	0.0697
0.2346	2.3930	28000	0.1508	0.2103	0.0667	0.8615	0.1919	0.0384	0.1555	0.0772	0.2888	0.0699
0.2281	2.4784	29000	0.1479	0.2092	0.0655	0.8627	0.1916	0.0388	0.1536	0.0745	0.2882	0.0692
0.2278	2.5639	30000	0.1459	0.2087	0.0664	0.8624	0.1889	0.0383	0.1547	0.0770	0.2868	0.0693
0.2304	2.6494	31000	0.1428	0.2099	0.0675	0.8613	0.1900	0.0389	0.1571	0.0798	0.2864	0.0692
0.2219	2.7348	32000	0.1480	0.2068	0.0653	0.8640	0.1838	0.0375	0.1539	0.0759	0.2849	0.0682
0.2309	2.8203	33000	0.1450	0.2052	0.0654	0.8647	0.1846	0.0374	0.1541	0.0767	0.2800	0.0678
0.2269	2.9058	34000	0.1395	0.2044	0.0642	0.8657	0.1828	0.0373	0.1526	0.0741	0.2806	0.0673
0.2178	2.9912	35000	0.1450	0.2038	0.0649	0.8656	0.1802	0.0365	0.1509	0.0759	0.2824	0.0677
0.1958	3.0767	36000	0.1466	0.2027	0.0639	0.8667	0.1813	0.0370	0.1512	0.0736	0.2785	0.0672
0.1977	3.1621	37000	0.1426	0.2026	0.0646	0.8664	0.1792	0.0366	0.1530	0.0759	0.2768	0.0670
0.2150	3.2476	38000	0.1415	0.2019	0.0639	0.8671	0.1813	0.0368	0.1523	0.0745	0.2748	0.0665
0.2003	3.3331	39000	0.1432	0.2004	0.0632	0.8682	0.1791	0.0359	0.1494	0.0733	0.2753	0.0663
0.1952	3.4185	40000	0.1443	0.2013	0.0624	0.8682	0.1779	0.0364	0.1515	0.0719	0.2757	0.0654
0.1905	3.5040	41000	0.1424	0.2003	0.0623	0.8687	0.1788	0.0360	0.1514	0.0722	0.2728	0.0651
0.1975	3.5895	42000	0.1354	0.2014	0.0629	0.8679	0.1766	0.0357	0.1533	0.0738	0.2743	0.0652
0.1990	3.6749	43000	0.1406	0.2001	0.0639	0.8680	0.1782	0.0359	0.1531	0.0761	0.2704	0.0656
0.1945	3.7604	44000	0.1371	0.2066	0.0655	0.8640	0.1774	0.0362	0.1563	0.0785	0.2846	0.0669
0.2038	3.8459	45000	0.1374	0.2008	0.0642	0.8675	0.1736	0.0353	0.1520	0.0768	0.2760	0.0659
0.1975	3.9313	46000	0.1379	0.1983	0.0627	0.8695	0.1777	0.0358	0.1504	0.0738	0.2691	0.0648
0.1667	4.0168	47000	0.1385	0.1968	0.0624	0.8704	0.1696	0.0342	0.1503	0.0739	0.2689	0.0649
0.1716	4.1022	48000	0.1379	0.1978	0.0627	0.8697	0.1741	0.0357	0.1521	0.0742	0.2672	0.0646
0.1833	4.1877	49000	0.1373	0.1954	0.0626	0.8710	0.1694	0.0348	0.1487	0.0744	0.2671	0.0646
0.1737	4.2732	50000	0.1349	0.1976	0.0622	0.8701	0.1716	0.0348	0.1519	0.0734	0.2683	0.0643
0.1744	4.3586	51000	0.1343	0.1980	0.0632	0.8694	0.1701	0.0345	0.1545	0.0766	0.2666	0.0642
0.1741	4.4441	52000	0.1324	0.1979	0.0626	0.8698	0.1708	0.0350	0.1542	0.0752	0.2664	0.0637
0.1701	4.5296	53000	0.1393	0.1971	0.0627	0.8701	0.1704	0.0347	0.1514	0.0749	0.2681	0.0643
0.1750	4.6150	54000	0.1402	0.1952	0.0625	0.8712	0.1676	0.0339	0.1507	0.0753	0.2649	0.0639
0.1800	4.7005	55000	0.1314	0.1991	0.0623	0.8693	0.1670	0.0339	0.1520	0.0743	0.2743	0.0642
0.1809	4.7859	56000	0.1371	0.1954	0.0624	0.8711	0.1667	0.0341	0.1504	0.0747	0.2665	0.0640
0.1734	4.8714	57000	0.1375	0.1950	0.0626	0.8712	0.1658	0.0339	0.1507	0.0754	0.2653	0.0640
0.1770	4.9569	58000	0.1360	0.1942	0.0615	0.8721	0.1667	0.0340	0.1499	0.0734	0.2639	0.0633
0.1463	5.0423	59000	0.1394	0.1936	0.0609	0.8727	0.1665	0.0335	0.1499	0.0723	0.2623	0.0629
0.1485	5.1278	60000	0.1340	0.1934	0.0618	0.8724	0.1640	0.0333	0.1516	0.0749	0.2606	0.0628
0.1663	5.2132	61000	0.1327	0.1921	0.0611	0.8734	0.1651	0.0335	0.1489	0.0731	0.2600	0.0626
0.1523	5.2987	62000	0.1368	0.1955	0.0607	0.8719	0.1650	0.0334	0.1489	0.0720	0.2694	0.0628
0.1476	5.3842	63000	0.1324	0.1933	0.0608	0.8729	0.1659	0.0333	0.1507	0.0730	0.2608	0.0623
0.1513	5.4696	64000	0.1342	0.1924	0.0606	0.8735	0.1618	0.0331	0.1498	0.0722	0.2613	0.0624
0.1539	5.5551	65000	0.1381	0.1915	0.0605	0.8740	0.1632	0.0335	0.1484	0.0720	0.2600	0.0622
0.1509	5.6406	66000	0.1307	0.1921	0.0608	0.8736	0.1628	0.0334	0.1496	0.0729	0.2603	0.0621
0.1402	5.7260	67000	0.1317	0.1932	0.0604	0.8732	0.1677	0.0346	0.1507	0.0724	0.2594	0.0613
0.1549	5.8115	68000	0.1337	0.1905	0.0597	0.8749	0.1595	0.0331	0.1466	0.0707	0.2612	0.0617
0.1502	5.8970	69000	0.1298	0.1926	0.0613	0.8730	0.1620	0.0334	0.1533	0.0748	0.2575	0.0618
0.1572	5.9824	70000	0.1326	0.1902	0.0602	0.8748	0.1628	0.0335	0.1494	0.0723	0.2552	0.0614
0.1361	6.0679	71000	0.1310	0.1958	0.0609	0.8717	0.1631	0.0333	0.1515	0.0735	0.2679	0.0620
0.1358	6.1533	72000	0.1370	0.1912	0.0598	0.8745	0.1642	0.0332	0.1494	0.0715	0.2574	0.0613
0.1400	6.2388	73000	0.1333	0.1928	0.0604	0.8734	0.1619	0.0332	0.1491	0.0728	0.2634	0.0615
0.1350	6.3243	74000	0.1304	0.1901	0.0598	0.8750	0.1604	0.0324	0.1502	0.0727	0.2551	0.0606
0.1400	6.4097	75000	0.1320	0.1939	0.0608	0.8726	0.1619	0.0334	0.1502	0.0737	0.2649	0.0617
0.1344	6.4952	76000	0.1277	0.1922	0.0601	0.8738	0.1623	0.0331	0.1519	0.0733	0.2580	0.0605
0.1280	6.5807	77000	0.1311	0.1905	0.0597	0.8749	0.1605	0.0331	0.1502	0.0726	0.2562	0.0603
0.1282	6.6661	78000	0.1305	0.1887	0.0599	0.8757	0.1602	0.0329	0.1494	0.0729	0.2523	0.0603
0.1384	6.7516	79000	0.1318	0.1902	0.0596	0.8751	0.1591	0.0326	0.1497	0.0725	0.2566	0.0601
0.1349	6.8371	80000	0.1284	0.1885	0.0596	0.8760	0.1609	0.0330	0.1485	0.0728	0.2525	0.0598
0.1334	6.9225	81000	0.1288	0.1875	0.0592	0.8766	0.1582	0.0326	0.1482	0.0722	0.2517	0.0595
0.1253	7.0079	82000	0.1279	0.1903	0.0590	0.8753	0.1592	0.0327	0.1483	0.0715	0.2588	0.0597
0.1121	7.0934	83000	0.1323	0.1880	0.0590	0.8765	0.1571	0.0323	0.1483	0.0717	0.2532	0.0597
0.1138	7.1789	84000	0.1278	0.1889	0.0588	0.8761	0.1610	0.0329	0.1491	0.0715	0.2529	0.0591
0.1105	7.2643	85000	0.1336	0.1880	0.0591	0.8764	0.1572	0.0322	0.1484	0.0722	0.2532	0.0596
0.1220	7.3498	86000	0.1297	0.1871	0.0589	0.8770	0.1574	0.0326	0.1488	0.0724	0.2503	0.0588
0.1167	7.4353	87000	0.1253	0.1887	0.0587	0.8763	0.1580	0.0320	0.1490	0.0718	0.2540	0.0590
0.1156	7.5207	88000	0.1319	0.1874	0.0586	0.8770	0.1603	0.0328	0.1482	0.0713	0.2504	0.0588
0.1219	7.6062	89000	0.1293	0.1859	0.0589	0.8776	0.1577	0.0324	0.1480	0.0725	0.2476	0.0586
0.1158	7.6917	90000	0.1337	0.1890	0.0590	0.8760	0.1615	0.0325	0.1495	0.0724	0.2526	0.0589
0.1143	7.7771	91000	0.1271	0.1882	0.0586	0.8766	0.1614	0.0328	0.1490	0.0719	0.2508	0.0584
0.1244	7.8626	92000	0.1226	0.1909	0.0585	0.8753	0.1583	0.0325	0.1500	0.0715	0.2586	0.0585
0.1138	7.9481	93000	0.1232	0.1872	0.0587	0.8771	0.1597	0.0327	0.1482	0.0722	0.2501	0.0583
0.0990	8.0335	94000	0.1251	0.1867	0.0587	0.8773	0.1599	0.0327	0.1485	0.0726	0.2482	0.0580

Framework versions

Transformers 5.12.1
Pytorch 2.8.0+cu128
Datasets 3.6.0
Tokenizers 0.22.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: e456939

Характеристики

Ссылки

w2v-bert-waxal

Бенчмарки

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Карточка модели

w2v-bert-waxal

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить