Характеристики

Параметры: 113 млн
Архитектура: wav2vec2 · dense
Опубликована: 25 ноя 2022

Ссылки

ai-light-dance_drums_ft_pretrain_wav2vec2-base-new_onset-idmt-mdb-2

Распознавание речиАудио → текст4 профессии

Дообученная wav2vec2-модель для автоматического распознавания речи, оценённая на наборе AI_LIGHT_DANCE - ONSET-IDMT-MDB-2.

2 091скачиваний за 30 дней0лайковвеса обновлены25 ноя 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель автоматического распознавания речи на архитектуре wav2vec2 с примерно 113,3 млн параметров, представленная в формате PyTorch. Согласно карточке, модель дообучена на наборе GARY109/AI_LIGHT_DANCE - ONSET-IDMT-MDB-2; на указанном тестовом наборе достигла WER 0,1844 и loss 0,4204. Метаданные указывают датасет ai_light_dance. Подробности о предназначении, языках и условиях использования в карточке не раскрыты. Лицензия не указана.

Сценарии применения

распознавание речи в аудиозаписях
экспериментальная оценка качества распознавания речи
транскрибирование аудио с использованием wav2vec2

Ограничения

Карточка не описывает целевые языки и сценарии применения; приведённый WER относится только к указанному набору оценки. Лицензия в доступных данных не указана.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ai-light-dance_drums_ft_pretrain_wav2vec2-base-new_onset-idmt-mdb-2

This model is a fine-tuned version of gary109/ai-light-dance_drums_ft_pretrain_wav2vec2-base-new_onset-idmt-mdb-2 on the GARY109/AI_LIGHT_DANCE - ONSET-IDMT-MDB-2 dataset. It achieves the following results on the evaluation set:

Loss: 0.4204
Wer: 0.1844

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0003
train_batch_size: 4
eval_batch_size: 4
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 16
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 30
num_epochs: 100.0
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.2599	0.98	11	0.4281	0.2198
0.2491	1.98	22	0.4891	0.1947
0.2619	2.98	33	0.5496	0.2183
0.3354	3.98	44	0.5202	0.2094
0.277	4.98	55	0.4574	0.2080
0.3065	5.98	66	0.4749	0.2080
0.2669	6.98	77	0.5902	0.2183
0.2829	7.98	88	0.8560	0.2050
0.2509	8.98	99	0.6190	0.2035
0.2728	9.98	110	0.6562	0.2109
0.2615	10.98	121	0.6291	0.2065
0.2586	11.98	132	0.6167	0.1844
0.2441	12.98	143	0.6736	0.1962
0.233	13.98	154	0.5727	0.2050
0.2567	14.98	165	0.6165	0.1873
0.2264	15.98	176	0.7506	0.2080
0.2346	16.98	187	0.7017	0.1888
0.2343	17.98	198	0.5930	0.2094
0.2638	18.98	209	0.5730	0.2006
0.2543	19.98	220	0.4991	0.2198
0.2476	20.98	231	0.6364	0.2065
0.2777	21.98	242	0.6247	0.1844
0.2661	22.98	253	0.5589	0.2006
0.2094	23.98	264	0.5316	0.2080
0.2496	24.98	275	0.8821	0.1844
0.2302	25.98	286	0.5408	0.1814
0.2651	26.98	297	0.6479	0.2094
0.2119	27.98	308	0.5875	0.1814
0.2468	28.98	319	0.7614	0.1976
0.2239	29.98	330	0.4908	0.1903
0.2514	30.98	341	0.5196	0.2035
0.2244	31.98	352	0.5580	0.1991
0.2524	32.98	363	0.5342	0.2021
0.2516	33.98	374	0.4204	0.1844
0.2515	34.98	385	0.5135	0.2124
0.2542	35.98	396	0.8150	0.1962
0.2269	36.98	407	0.8833	0.2094
0.212	37.98	418	1.3235	0.2183
0.2119	38.98	429	0.6919	0.2021
0.2228	39.98	440	0.6712	0.2021
0.2127	40.98	451	0.7557	0.1976
0.2064	41.98	462	0.5918	0.1947
0.2147	42.98	473	0.8049	0.1962
0.193	43.98	484	0.7117	0.1976
0.2063	44.98	495	0.5544	0.1962
0.1989	45.98	506	0.5782	0.1888
0.2193	46.98	517	0.5216	0.1947
0.2012	47.98	528	0.5269	0.1917
0.2187	48.98	539	0.4636	0.1844
0.2128	49.98	550	0.4968	0.1888
0.2041	50.98	561	0.4784	0.1888
0.1993	51.98	572	0.5592	0.1755
0.1981	52.98	583	0.4871	0.1785
0.1808	53.98	594	0.4771	0.1740
0.2317	54.98	605	0.5285	0.1814
0.1906	55.98	616	0.5485	0.1844
0.1924	56.98	627	0.5615	0.1814
0.1761	57.98	638	0.4604	0.1799
0.2047	58.98	649	0.4223	0.1829
0.1992	59.98	660	0.4706	0.1873
0.1949	60.98	671	0.4633	0.1844
0.2034	61.98	682	0.4854	0.1814
0.2147	62.98	693	0.4489	0.1844
0.2135	63.98	704	0.4874	0.1726
0.2021	64.98	715	0.4635	0.1814
0.1822	65.98	726	0.4813	0.1785
0.1882	66.98	737	0.5076	0.1799
0.2014	67.98	748	0.5183	0.1888
0.1869	68.98	759	0.5035	0.1799
0.1914	69.98	770	0.4694	0.1844
0.1972	70.98	781	0.4485	0.1844
0.1724	71.98	792	0.4579	0.1829
0.195	72.98	803	0.5178	0.1814
0.2017	73.98	814	0.4978	0.1829
0.1874	74.98	825	0.5035	0.1873
0.1925	75.98	836	0.5495	0.1829
0.1845	76.98	847	0.5394	0.1799
0.1718	77.98	858	0.5070	0.1711
0.1824	78.98	869	0.4912	0.1770
0.1702	79.98	880	0.4632	0.1726
0.1563	80.98	891	0.4412	0.1726
0.1858	81.98	902	0.4635	0.1667
0.1701	82.98	913	0.4838	0.1726
0.188	83.98	924	0.4775	0.1814
0.1789	84.98	935	0.4801	0.1740
0.2134	85.98	946	0.4542	0.1785
0.2141	86.98	957	0.4499	0.1785
0.1599	87.98	968	0.4595	0.1770
0.1927	88.98	979	0.4772	0.1755
0.1709	89.98	990	0.4588	0.1770
0.1588	90.98	1001	0.4607	0.1785
0.1702	91.98	1012	0.4656	0.1829
0.1646	92.98	1023	0.4631	0.1829
0.1867	93.98	1034	0.4758	0.1814
0.1799	94.98	1045	0.4820	0.1755
0.1611	95.98	1056	0.4846	0.1785
0.1685	96.98	1067	0.4816	0.1770
0.19	97.98	1078	0.4781	0.1770
0.1953	98.98	1089	0.4767	0.1770
0.188	99.98	1100	0.4774	0.1770

Framework versions

Transformers 4.25.0.dev0
Pytorch 1.8.1+cu111
Datasets 2.7.1.dev0
Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Wav2Vec2ForCTC
Ревизия весов: ea8158d

Характеристики

Ссылки

ai-light-dance_drums_ft_pretrain_wav2vec2-base-new_onset-idmt-mdb-2

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит4

Карточка модели

ai-light-dance_drums_ft_pretrain_wav2vec2-base-new_onset-idmt-mdb-2

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить