/ Модель

Характеристики

Контекст
512 токенов
Параметры
136 млн
Лицензия
MIT
Архитектура
bert · dense
Базовая модель
bert-base-portuguese-cased
Библиотека
transformers
Опубликована
19 сен 2024

BERTimbauwithDropout

Классификация текстаТекст → label3 профессии

Дообученная BERT-модель для классификации текстов на бразильском португальском языке.

64скачиваний за 30 дней0лайковвеса обновлены2 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BERTimbauwithDropout — дообученная модель классификации текста на основе neuralmind/bert-base-portuguese-cased, разработанная leandroaraujodev. Она предназначена для отнесения текстовых последовательностей к классам; конкретный набор меток и целевая область не описаны. Модель построена на архитектуре BERT, содержит 136,1 млн параметров и поддерживает контекст до 512 токенов. Ориентирована на бразильский португальский язык.

На указанном в карточке наборе для оценки модель показала точность 0,7263 и значение функции потерь 0,7215. Датасет и подробности обучения не раскрыты, поэтому результаты нельзя переносить на другие данные без дополнительной проверки. Репозиторий распространяется по лицензии MIT.

Сценарии применения

  • классификация текстовых сообщений на португальском языке
  • отнесение бразильских текстов к заданным категориям
  • интеграция классификации португальского текста в приложение

Ограничения

Датасет, схема классов и целевая область не описаны. Указанная точность 0,7263 относится только к оценочному набору из карточки и не гарантирует качество на других данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BERTimbauwithDropout

This model is a fine-tuned version of neuralmind/bert-base-portuguese-cased on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.7215
  • Accuracy: 0.7263

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 3e-05
  • train_batch_size: 32
  • eval_batch_size: 32
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 3

Training results

Training LossEpochStepValidation LossAccuracy
0.72281.011010.68160.6840
0.60362.022020.68130.6996
0.51653.033030.72150.7263

Framework versions

  • Transformers 4.44.2
  • Pytorch 2.4.1+cu121
  • Datasets 3.0.0
  • Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
f95bda2

0 моделей