/ Модель

Характеристики

Контекст
514 токенов
Параметры
454 млн
Лицензия
MIT
Архитектура
roberta · dense
Базовая модель
roberta-large
Опубликована
2 сен 2024

implicit-motives-power-roberta-large

Классификация текстаТекст → label3 профессии

Дообученная RoBERTa-large классифицирует английский текст для выявления неявных мотивов власти.

183скачиваний за 30 дней0лайковвеса обновлены2 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель классификации текста на базе RoBERTa-large, дообученная разработчиком theharmonylab на наборе GLUE SCHONE_POW. Она предназначена для определения неявных мотивов власти в тексте и может применяться для анализа высказываний и исследовательской оценки языковых данных. Модель содержит около 454,1 млн параметров, использует архитектуру RobertaForSequenceClassification и принимает последовательности длиной до 514 токенов. В README приведены результаты на оценочной выборке: loss 0,1556 и ROC AUC 0,9742.

Модель работает с английским текстом и распространяется в формате safetensors по лицензии MIT. Карточка не описывает схему меток, данные обучения подробнее или ограничения качества, поэтому результаты и применимость за пределами указанного набора данных требуют отдельной проверки.

Сценарии применения

  • выявление мотивов власти в высказываниях
  • классификация фрагментов текста по мотивам власти
  • анализ языковых данных в исследованиях социальных мотивов

Ограничения

Карточка не описывает набор меток и подробности обучающих данных; показатели оценки относятся только к указанной оценочной выборке. Перенос результатов на другие типы текстов не подтверждён.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

final

This model is a fine-tuned version of roberta-large on the GLUE SCHONE_POW dataset. It achieves the following results on the evaluation set:

  • Loss: 0.1556
  • Roc Auc: 0.9742

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 1e-05
  • train_batch_size: 128
  • eval_batch_size: 256
  • seed: 42
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 256
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 5.0

Training results

Training LossEpochStepValidation LossRoc Auc
0.29240.99853320.26050.9248
0.25532.06650.22340.9468
0.23172.99859970.18990.9620
0.20634.013300.16450.9715
0.18974.992516600.15560.9742

Framework versions

  • Transformers 4.44.0.dev0
  • Pytorch 2.0.1+cu118
  • Datasets 2.20.0
  • Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForSequenceClassification
Ревизия весов
5cd02b6

0 моделей