Характеристики

Контекст: 512 токенов
Лицензия: Apache 2.0
Архитектура: distilbert · dense
Базовая модель: distilbert-base-uncased
Библиотека: transformers
Опубликована: 30 окт 2024

Ссылки

Hugging Face

M365_h1_base

marklicata

Классификация текстаТекст → label

Дообученная версия DistilBERT для классификации текстовых последовательностей.

7скачиваний за 30 дней0лайковвеса обновлены7 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

M365v3 — модель классификации текста, созданная дообучением DistilBERT на наборе данных, который в карточке обозначен как None. Архитектура — DistilBertForSequenceClassification; модель распространяется в формате Safetensors и рассчитана на последовательности длиной до 512 токенов.

Модель предназначена для классификации текстовых последовательностей. Карточка сообщает значение функции потерь 0,0896 на оценочном наборе, но не описывает классы, обучающие данные или предполагаемые сценарии применения, поэтому оценить практическое качество и область применения нельзя. Базовая модель — distilbert/distilbert-base-uncased. Лицензия — Apache-2.0.

Сценарии применения

Классификация коротких текстовых сообщений
Отнесение текста к заданным категориям
Автоматическая разметка текстовых записей

Ограничения

Карточка не описывает набор данных, классы и предполагаемые сценарии, поэтому применимость и качество модели для конкретной задачи неясны. Указана только потеря 0,0896 на оценочном наборе без дополнительных метрик.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

M365_v3

This model is a fine-tuned version of distilbert-base-uncased on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.0896

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 3.0

Training results

Training Loss	Epoch	Step	Validation Loss
0.326	1.0	900	0.1093
0.059	2.0	1800	0.0841
0.0141	3.0	2700	0.0896

Framework versions

Transformers 4.46.1
Pytorch 2.4.1+cu121
Datasets 3.1.0
Tokenizers 0.20.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForSequenceClassification
Ревизия весов: 1bb5966