Характеристики

Контекст: 514 токенов
Параметры: 138 млн
Лицензия: MIT
Архитектура: camembert · dense
Опубликована: 29 апр 2022

Ссылки

Hugging Face

model

maxime7770

Классификация текстаТекст → label3 профессии

Дообученная CamemBERT-модель для классификации текста, назначение классов которой не раскрыто.

14скачиваний за 30 дней0лайковвеса обновлены30 апр 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель maxime7770/model — дообученная версия camembert-base для классификации текста. Она содержит около 137,8 млн параметров, использует архитектуру CamemBERT с головой классификации последовательностей и представлена в формате TensorFlow. Модель рассчитана на обработку текстовых последовательностей длиной до 514 токенов.

В карточке приведены значения потерь на обучающей и валидационной выборках после 49 эпох, однако назначение классов и состав данных не раскрыты. Модель может служить основой для классификационных сценариев, но пригодность для конкретной задачи требует проверки на соответствующих данных. Лицензия — MIT.

Сценарии применения

Классификация текстовых сообщений по заданным категориям
Разметка текстов для последующей аналитики
Построение прототипа классификатора на базе CamemBERT

Ограничения

Данные для дообучения и целевые классы не описаны, поэтому применимость к конкретной задаче не подтверждена. Указаны потери на обучающей и валидационной выборках, но нет сведений о метриках качества или тестировании на независимых данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

maxime7770/model

This model is a fine-tuned version of camembert-base on an unknown dataset. It achieves the following results on the evaluation set:

Train Loss: 0.1211
Validation Loss: 0.4812
Epoch: 49

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

optimizer: {'name': 'Adam', 'learning_rate': {'class_name': 'PolynomialDecay', 'config': {'initial_learning_rate': 2e-05, 'decay_steps': 650, 'end_learning_rate': 0.0, 'power': 1.0, 'cycle': False, 'name': None}}, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-08, 'amsgrad': False}
training_precision: float32

Training results

Train Loss	Validation Loss	Epoch
1.5966	1.5898	0
1.5577	1.5576	1
1.5034	1.4761	2
1.4034	1.3538	3
1.2864	1.2163	4
1.1502	1.0980	5
1.0085	0.9988	6
0.8828	0.9130	7
0.7863	0.8445	8
0.7036	0.7871	9
0.6322	0.7399	10
0.5731	0.7030	11
0.5180	0.6714	12
0.4757	0.6432	13
0.4366	0.6204	14
0.4057	0.6006	15
0.3743	0.5827	16
0.3475	0.5689	17
0.3221	0.5577	18
0.2971	0.5467	19
0.2815	0.5372	20
0.2700	0.5297	21
0.2521	0.5225	22
0.2343	0.5168	23
0.2265	0.5117	24
0.2143	0.5074	25
0.2063	0.5038	26
0.1941	0.5001	27
0.1843	0.4976	28
0.1782	0.4949	29
0.2012	0.4938	30
0.1691	0.4930	31
0.1626	0.4910	32
0.1884	0.4886	33
0.1547	0.4870	34
0.1492	0.4858	35
0.1445	0.4850	36
0.1415	0.4842	37
0.1383	0.4836	38
0.1374	0.4832	39
0.1336	0.4826	40
0.1322	0.4823	41
0.1295	0.4820	42
0.1268	0.4818	43
0.1261	0.4816	44
0.1253	0.4815	45
0.1275	0.4814	46
0.1247	0.4812	47
0.1256	0.4812	48
0.1211	0.4812	49

Framework versions

Transformers 4.18.0
TensorFlow 2.8.0
Datasets 2.1.0
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Класс архитектуры: CamembertForSequenceClassification
Ревизия весов: f40898c