Характеристики

Контекст: 512 токенов
Параметры: 20,4 млн
Лицензия: Apache 2.0
Архитектура: electra · dense
Базовая модель: electra-small-discriminator
Опубликована: 25 окт 2023

Ссылки

Hugging Face

student_electra_small

YaHi

Классификация текстаТекст → label3 профессии

Небольшая дообученная модель ELECTRA для классификации текстовых последовательностей.

81скачиваний за 30 дней0лайковвеса обновлены10 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

YaHi/student_electra_small — дообученная модель классификации текста на основе google/electra-small-discriminator. Она использует архитектуру ELECTRA и содержит 20,4 млн параметров; рассчитана на последовательности длиной до 512 токенов. Модель предназначена для классификации текстовых последовательностей, однако конкретные классы и сценарии применения не описаны.

Модель опубликована в формате PyTorch под лицензией Apache-2.0. В карточке приведён результат оценки на тестовой выборке: loss 0,6385. Данные обучения и подробные ограничения не раскрыты.

Сценарии применения

классификация текстовых последовательностей
назначение меток коротким текстам
классификация текстов длиной до 512 токенов

Ограничения

Конкретный набор классов и область применения не описаны; датасет обучения не указан. Результат loss 0,6385 приведён без описания методики оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

student_electra_small

This model is a fine-tuned version of google/electra-small-discriminator on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.6385

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 1022
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 1000
num_epochs: 4

Training results

Training Loss	Epoch	Step	Validation Loss
1.2869	0.4	1200	0.9636
0.9176	0.81	2400	0.8391
0.7991	1.21	3600	0.7501
0.7191	1.62	4800	0.6928
0.6846	2.02	6000	0.6669
0.6356	2.43	7200	0.6525
0.6087	2.83	8400	0.6383
0.5962	3.24	9600	0.6397
0.5749	3.64	10800	0.6385

Framework versions

Transformers 4.32.1
Pytorch 2.1.0
Datasets 2.12.0
Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ElectraForSequenceClassification
Ревизия весов: 7f1e15c