Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-uncased
Библиотека: transformers
Опубликована: 26 мар 2025

Ссылки

Hugging Face

bert-base-uncased-finetuned-rte-run_3

efeozdilek

Классификация текстаТекст → label

Дообученная модель BERT для классификации текстовых последовательностей.

106скачиваний за 30 дней0лайковвеса обновлены4 апр 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель классификации текста на базе BERT, дообученная efeozdilek на задаче RTE. Она предназначена для классификации текстовых последовательностей; карточка сообщает о точности 0,6426 и значении функции потерь 0,6940 на наборе оценки, но не описывает метки и набор данных. Модель содержит 136,7 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Доступна по лицензии Apache-2.0.

Сценарии применения

классификация текстовых последовательностей
оценка entailment между посылкой и гипотезой
эксперименты с классификацией на основе BERT

Ограничения

На наборе оценки указаны точность 0,6426 и loss 0,6940; README не раскрывает состав и метки набора данных, поэтому эти результаты трудно интерпретировать. Контекст ограничен 512 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-uncased-finetuned-rte-run_3

This model is a fine-tuned version of bert-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.6940
Accuracy: 0.6426

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 4.9142624783199696e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	1.0	39	0.6482	0.5993
No log	2.0	78	0.6614	0.6354
No log	3.0	117	0.6940	0.6426

Framework versions

Transformers 4.50.3
Pytorch 2.6.0+cu124
Datasets 3.5.0
Tokenizers 0.21.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 8dd30a1