/ Модель

Характеристики

Контекст
512 токенов
Параметры
20,4 млн
Лицензия
Apache 2.0
Архитектура
electra · dense
Базовая модель
electra-small-discriminator
Опубликована
25 окт 2023

teacher_electra_small

Классификация текстаТекст → label3 профессии

Дообученный ELECTRA-small для классификации текста, предназначение и классы которого в карточке не уточнены.

94скачиваний за 30 дней0лайковвеса обновлены16 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

YaHi/teacher_electra_small — дообученная модель классификации текста на базе google/electra-small-discriminator. Она содержит 20,4 млн параметров, использует архитектуру ELECTRA и формат PyTorch; максимальная длина контекста — 512 токенов. Модель предназначена для задач классификации последовательностей, однако конкретные классы и прикладной сценарий не описаны. В карточке приведено значение loss 0,2845 на оценочной выборке, но без описания набора данных и методики это число нельзя интерпретировать как показатель качества для конкретной задачи.

Модель разработана YaHi и распространяется по лицензии Apache-2.0. Базовая модель — небольшой англоязычный энкодер, поэтому английский язык можно считать основным ориентиром; сведения о языках и обучающих данных самой дообученной модели отсутствуют. Ограничения включают неизвестные обучающие данные, целевые метки и область применения; перенос результатов на другие данные не подтверждён.

Сценарии применения

  • Классификация коротких текстов на заданные категории
  • Определение категории сообщения или отзыва
  • Использование как начального чекпойнта для дообучения классификатора

Ограничения

В README не указаны обучающий набор данных, целевые классы и конкретная область применения. Значение loss 0,2845 приведено без описания оценочной выборки и методики.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

teacher_electra_small

This model is a fine-tuned version of google/electra-small-discriminator on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.2845

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 1022
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 1000
  • num_epochs: 4

Training results

Training LossEpochStepValidation Loss
0.39021.9930000.2789
0.25223.9860000.2845

Framework versions

  • Transformers 4.32.1
  • Pytorch 2.1.0
  • Datasets 2.12.0
  • Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
ElectraForSequenceClassification
Ревизия весов
ce630a9

0 моделей