Характеристики

Контекст: 512 токенов
Параметры: 136 млн
Лицензия: MIT
Архитектура: albert · dense
Базовая модель: indobert-lite-base-p1
Опубликована: 31 янв 2024

Ссылки

Hugging Face arXiv 1909.11942 arXiv 2110.14566

indobert-lite-base-p1-indonli-multilingual-nli-distil-mdeberta

Классификация текстаТекст → label

ALBERT-модель для классификации логических отношений между индонезийскими текстами, дообученная и дистиллированная для задачи NLI.

188скачиваний за 30 дней1лайквеса обновлены31 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

IndoBERT Lite Base IndoNLI Multilingual NLI Distil mDeBERTa — модель обработки естественного языка от LazarusNLP для распознавания отношений между посылкой и гипотезой на индонезийском языке. Она основана на ALBERT-модели indobenchmark/indobert-lite-base-p1, дообучена на IndoNLI и индонезийских подвыборках многоязычных наборов NLI и дистиллирована из MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7. В метаданных указано 136,3 млн параметров, архитектура ALBERT для классификации последовательностей и контекст до 512 токенов.

Модель предназначена для классификации NLI, например определения, следует ли гипотеза из посылки, противоречит ей или не связана с ней. На тестовых выборках IndoNLI точность составила 74,69% на test_lay и 65,55% на test_expert; результат на dev — 78,60%. Данные подтверждают специализацию на индонезийском NLI, но не заявляют поддержку других языков. Лицензия — MIT.

Сценарии применения

определение, следует ли утверждение из текста на индонезийском языке
выявление противоречий между посылкой и гипотезой на индонезийском
классификация пары индонезийских предложений как связанных или не связанных по смыслу

Ограничения

Оценка на IndoNLI ниже на экспертной тестовой выборке (65,55%), чем на обычной тестовой выборке (74,69%). Карточка приводит результаты только для индонезийских наборов NLI, поэтому они не подтверждают качество на других языках или задачах.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IndoBERT Lite Base IndoNLI Multilingual NLI Distil mDeBERTa

IndoBERT Lite Base IndoNLI Multilingual NLI Distil mDeBERTa is a natural language inference (NLI) model based on the ALBERT model. The model was originally the pre-trained indobenchmark/indobert-lite-base-p1 model, which is then fine-tuned on IndoNLI and the Indonesian subsets of MoritzLaurer/multilingual-NLI-26lang-2mil7, whilst being distilled from MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7.

Evaluation Results

	`dev` Acc.	`test_lay` Acc.	`test_expert` Acc.
`IndoNLI`	78.60	74.69	65.55

Model

Model	#params	Arch.	Training/Validation data (text)
`indobert-lite-base-p1-indonli-multilingual-nli-distil-mdeberta`	11.7M	ALBERT Base	`IndoNLI`, Multilingual NLI (`id`)

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1	Precision	Recall
0.4808	1.0	1803	0.4418	0.7683	0.7593	0.7904	0.7554
0.4529	2.0	3606	0.4343	0.7738	0.7648	0.7893	0.7619
0.4263	3.0	5409	0.4383	0.7861	0.7828	0.7874	0.7807
0.398	4.0	7212	0.4456	0.7792	0.7767	0.7792	0.7756
0.3772	5.0	9015	0.4499	0.7711	0.7674	0.7700	0.7661

Framework versions

Transformers 4.36.2
Pytorch 2.1.2+cu121
Datasets 2.16.1
Tokenizers 0.15.0

References

[1] Mahendra, R., Aji, A. F., Louvan, S., Rahman, F., & Vania, C. (2021, November). IndoNLI: A Natural Language Inference Dataset for Indonesian. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: AlbertForSequenceClassification
Ревизия весов: e5ec579