Характеристики

Контекст: 16 384 токена
Параметры: 113 млн
Лицензия: Apache 2.0
Архитектура: canine · dense
Базовая модель: spellcorrector_20_02_050_qwerty_v7
Опубликована: 22 фев 2024

Ссылки

Hugging Face

spellcorrector_20_02_050_qwerty_v11

Buseak

Разметка токеновТекст → label4 профессии

Дообученная CANINE-модель для классификации токенов при исправлении орфографических ошибок и опечаток.

12скачиваний за 30 дней0лайковвеса обновлены22 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Buseak/spellcorrector_20_02_050_qwerty_v11 — дообученная модель семейства CANINE для классификации токенов, предназначенная для коррекции орфографических ошибок. По карточке, модель дообучена на базе Buseak/spellcorrector_20_02_050_qwerty_v7; указанный датасет обозначен как None. Архитектура CanineForTokenClassification содержит 113,2 млн параметров, формат весов — safetensors, длина контекста — до 16 384 токенов.

Модель может использоваться для разметки токенов при исправлении опечаток, в том числе в тексте с раскладкой QWERTY. В карточке приведены результаты оценки: precision 0,9989, recall 0,9984, F1 0,9987 и accuracy 1,0000; без сведений о составе и размере тестовой выборки эти показатели нельзя переносить на другие данные. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

исправление орфографических ошибок в тексте
обнаружение и разметка опечаток по токенам
коррекция текста с ошибками раскладки QWERTY

Ограничения

Карточка не описывает обучающие и оценочные данные, поэтому приведённые метрики не позволяют судить о качестве на других типах текста. Поддерживаемые языки и подробные сценарии применения не указаны.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

spellcorrector_20_02_050_qwerty_v11

This model is a fine-tuned version of Buseak/spellcorrector_20_02_050_qwerty_v7 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.0001
Precision: 0.9989
Recall: 0.9984
F1: 0.9987
Accuracy: 1.0000

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.0558	1.0	967	0.0281	0.9919	0.9909	0.9914	0.9917
0.0391	2.0	1934	0.0200	0.9941	0.9930	0.9936	0.9940
0.0295	3.0	2901	0.0141	0.9952	0.9941	0.9946	0.9957
0.0239	4.0	3868	0.0107	0.9957	0.9952	0.9954	0.9968
0.0201	5.0	4835	0.0075	0.9957	0.9962	0.9960	0.9977
0.0174	6.0	5802	0.0054	0.9984	0.9968	0.9976	0.9984
0.0138	7.0	6769	0.0042	0.9979	0.9973	0.9976	0.9988
0.0117	8.0	7736	0.0028	0.9984	0.9979	0.9981	0.9992
0.0098	9.0	8703	0.0021	0.9979	0.9979	0.9979	0.9994
0.0081	10.0	9670	0.0014	0.9984	0.9984	0.9984	0.9996
0.0073	11.0	10637	0.0011	0.9989	0.9984	0.9987	0.9997
0.006	12.0	11604	0.0009	0.9989	0.9984	0.9987	0.9998
0.0056	13.0	12571	0.0006	0.9989	0.9984	0.9987	0.9999
0.0045	14.0	13538	0.0004	0.9989	0.9984	0.9987	0.9999
0.0039	15.0	14505	0.0003	0.9989	0.9984	0.9987	0.9999
0.0033	16.0	15472	0.0003	0.9989	0.9984	0.9987	1.0000
0.0029	17.0	16439	0.0002	0.9989	0.9984	0.9987	1.0000
0.0026	18.0	17406	0.0002	0.9989	0.9984	0.9987	1.0000
0.0023	19.0	18373	0.0002	0.9989	0.9984	0.9987	1.0000
0.0021	20.0	19340	0.0001	0.9989	0.9984	0.9987	1.0000

Framework versions

Transformers 4.37.2
Pytorch 2.1.0+cu121
Datasets 2.17.1
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: CanineForTokenClassification
Ревизия весов: 9e68a64