Характеристики

Контекст: 16 384 токена
Параметры: 113 млн
Лицензия: Apache 2.0
Архитектура: canine · dense
Базовая модель: canine-s
Опубликована: 17 фев 2024

Ссылки

Hugging Face

spellcorrector_17_02_050_qwerty

Buseak

Разметка токеновТекст → label4 профессии

Дообученная символьная модель Canine-S для исправления орфографических ошибок методом классификации токенов.

7скачиваний за 30 дней0лайковвеса обновлены17 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Buseak разработал модель spellcorrector_17_02_050_qwerty как дообученную версию google/canine-s с архитектурой CanineForTokenClassification. Модель содержит 113,2 млн параметров, использует формат safetensors и имеет контекстное окно 16 384 токена. Она предназначена для исправления орфографических ошибок с помощью классификации токенов; README сообщает об оценках на наборе проверки: F1 0,9909 и accuracy 0,9952.

Базовая модель Google — многоязычная символьная модель для понимания текста. Конкретные поддерживаемые языки, состав обучающих данных и сценарии обработки ошибок в карточке не раскрыты. Модель опубликована по лицензии Apache-2.0.

Сценарии применения

исправление опечаток в тексте
проверка орфографии пользовательских сообщений
нормализация написания слов в текстовых данных

Ограничения

README не раскрывает обучающий набор данных и поддерживаемые языки; приведённые метрики относятся к неуказанному набору проверки.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

spellcorrector_17_02_050_qwerty

This model is a fine-tuned version of google/canine-s on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.0163
Precision: 0.9930
Recall: 0.9887
F1: 0.9909
Accuracy: 0.9952

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.4639	1.0	967	0.1649	0.9619	0.9624	0.9622	0.9608
0.1737	2.0	1934	0.1300	0.9620	0.9656	0.9638	0.9664
0.145	3.0	2901	0.1099	0.9678	0.9694	0.9686	0.9708
0.1222	4.0	3868	0.0906	0.9699	0.9699	0.9699	0.9752
0.105	5.0	4835	0.0736	0.9726	0.9699	0.9712	0.9792
0.0933	6.0	5802	0.0633	0.9758	0.9732	0.9745	0.9817
0.0807	7.0	6769	0.0531	0.9822	0.9780	0.9801	0.9844
0.0715	8.0	7736	0.0468	0.9839	0.9828	0.9834	0.9864
0.0643	9.0	8703	0.0404	0.9833	0.9823	0.9828	0.9880
0.0575	10.0	9670	0.0356	0.9903	0.9866	0.9884	0.9894
0.0525	11.0	10637	0.0317	0.9887	0.9866	0.9876	0.9905
0.0481	12.0	11604	0.0281	0.9908	0.9871	0.9890	0.9915
0.0444	13.0	12571	0.0255	0.9919	0.9871	0.9895	0.9923
0.0417	14.0	13538	0.0235	0.9924	0.9877	0.9900	0.9930
0.0382	15.0	14505	0.0211	0.9925	0.9882	0.9903	0.9937
0.0358	16.0	15472	0.0198	0.9930	0.9887	0.9909	0.9941
0.034	17.0	16439	0.0184	0.9930	0.9882	0.9906	0.9946
0.0323	18.0	17406	0.0173	0.9930	0.9882	0.9906	0.9949
0.0306	19.0	18373	0.0167	0.9930	0.9887	0.9909	0.9951
0.0304	20.0	19340	0.0163	0.9930	0.9887	0.9909	0.9952

Framework versions

Transformers 4.35.2
Pytorch 2.1.0+cu121
Datasets 2.17.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: CanineForTokenClassification
Ревизия весов: fee0370