Codebert (base) fine-tuned this dataset for NER
Eval metrics
eval_accuracy_score = 0.9430622955139325
eval_precision = 0.6047440699126092
eval_recall = 0.6100755667506297
eval_f1 = 0.607398119122257
Характеристики
- Контекст
- 514 токенов
- Параметры
- 152 млн
- Лицензия
- MIT
- Архитектура
- roberta · dense
- Опубликована
- 2 мар 2022
Ссылки
codebert-base-finetuned-stackoverflow-ner
Модель RoBERTa, дообученная для извлечения именованных сущностей из англоязычных публикаций Stack Overflow.
120скачиваний за 30 дней15лайковвеса обновлены17 окт 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
mrm8488/codebert-base-finetuned-stackoverflow-ner — модель семейства RoBERTa для распознавания именованных сущностей в тексте, дообученная для NER на данных Stack Overflow. Она принимает текст и классифицирует токены, что подходит для извлечения сущностей из вопросов и ответов о программировании. Модель содержит 151,8 млн параметров, имеет контекстное окно 514 токенов и доступна в форматах PyTorch и Flax.
В карточке приведены оценки на наборе проверки: accuracy 0,943, precision 0,605, recall 0,610 и F1 0,607. Лицензия — MIT. Язык карточки — английский; поддержка других языков не подтверждена.
Сценарии применения
- извлечение сущностей из вопросов Stack Overflow
- разметка токенов в сообщениях о программировании
- поиск именованных сущностей в ответах разработчиков
Ограничения
На проверочном наборе F1 составляет около 0,607, а precision и recall — около 0,605 и 0,610; качество на других данных не приведено. Поддержка языков, кроме английского, не подтверждена.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…
- Класс архитектуры
- RobertaForTokenClassification
- Ревизия весов
- f6fba1b