/ Модель

Характеристики

Контекст
512 токенов
Параметры
434 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Базовая модель
bert-large-uncased
Библиотека
transformers
Опубликована
16 мар 2025

google-bert_bert-large-uncased

Классификация текстаТекст → label3 профессии

Дообученная англоязычная модель BERT Large для классификации текстовых последовательностей.

29скачиваний за 30 дней0лайковвеса обновлены3 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Sukanyan/google-bert_bert-large-uncased — дообученная англоязычная модель BERT Large для классификации текста. Она основана на google-bert/bert-large-uncased и использует архитектуру BertForSequenceClassification; размер составляет 433,9 млн параметров, а контекст ограничен 512 токенами. Модель можно применять для классификации текстовых последовательностей, например для определения тональности или отнесения текста к заданным категориям, если соответствующие классы предусмотрены обучением.

В карточке приведены результаты оценки: loss 1,0402 и accuracy 0,5820. Обучающий датасет и конкретная схема классов не описаны, поэтому эти результаты не позволяют определить пригодность модели для отдельной задачи без дополнительной проверки. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • классификация текста по заданным категориям
  • определение тональности текста при наличии соответствующих классов
  • отнесение коротких текстов к тематическим классам

Ограничения

В README не указаны обучающий датасет и набор классов; опубликованная точность 0,5820 ограничивает уверенность в качестве для конкретного применения. Контекст модели ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

google-bert_bert-large-uncased

This model is a fine-tuned version of google-bert/bert-large-uncased on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 1.0402
  • Accuracy: 0.5820

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: linear
  • num_epochs: 10

Training results

Training LossEpochStepValidation LossAccuracy
1.17851.02831.03160.6027
0.94672.05660.94840.6202
0.74593.08490.92610.6305

Framework versions

  • Transformers 4.49.0
  • Pytorch 2.6.0+cu118
  • Datasets 3.4.0
  • Tokenizers 0.21.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
659f0ad

0 моделей