Характеристики

Контекст: 512 токенов
Параметры: 305 млн
Архитектура: camembert · dense
Базовая модель: phayathaibert
Опубликована: 29 ноя 2023

Ссылки

Hugging Face

pos_thai_phayathai

lunarlist

Разметка токеновТекст → label

Дообученная на тайском тексте модель PhayaThaiBERT для классификации токенов, вероятно, разметки частей речи.

127скачиваний за 30 дней1лайквеса обновлены30 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

lunarlist/pos_thai_phayathai — дообученная модель Clicknext PhayaThaiBERT для разметки тайского текста по токенам. Она использует архитектуру CamemBERT, содержит 304,7 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для задач классификации токенов; по названию репозитория это может быть разметка частей речи, однако карточка не уточняет набор меток.

В README приведены результаты оценки: F1 0,9588, точность 0,9725, precision 0,9578 и recall 0,9598. Эти показатели относятся к указанному в карточке оценочному набору, состав которого не описан. Данные и подробные ограничения применения не раскрыты. Файлы модели опубликованы в формате safetensors; сведения о лицензии отсутствуют в предоставленных данных.

Сценарии применения

разметка частей речи в тайских предложениях
классификация токенов тайского текста
подготовка разметки для анализа тайского языка

Ограничения

Карточка не описывает набор меток, обучающие данные и ограничения применения; связь с разметкой частей речи предполагается по названию модели. Метрики приведены для оценочного набора, состав которого не раскрыт.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

pos_thai_phayathai

This model is a fine-tuned version of clicknext/phayathaibert on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0795
Precision: 0.9578
Recall: 0.9598
F1: 0.9588
Accuracy: 0.9725

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.0882	1.0	7344	0.0845	0.9585	0.9563	0.9574	0.9713
0.0709	2.0	14688	0.0795	0.9578	0.9598	0.9588	0.9725

Framework versions

Transformers 4.35.2
Pytorch 2.1.0+cu118
Datasets 2.15.0
Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: CamembertForTokenClassification
Ревизия весов: 0ecce87