Компактная BERT-модель для классификации текстовых фрагментов как кода или естественного языка.
129скачиваний за 30 дней3лайкавеса обновлены7 авг 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
vishnun/codenlbert-tiny — небольшая модель классификации текста на базе BERT, дообученная разработчиком vishnun для различения фрагментов кода и естественного языка. Она рассчитана на автоматическую классификацию текстовых последовательностей, например при разборе смешанного содержимого или извлечении кода из текста и документов.
Модель содержит 4,4 млн параметров, использует архитектуру BertForSequenceClassification и принимает текст с контекстом до 512 токенов. В README приведены результаты обучения: точность на проверочной выборке около 99,7%; эти показатели относятся к указанному набору данных CodevsNL и не гарантируют такое же качество на других типах текстов. Модель распространяется в формате PyTorch по лицензии MIT.
Сценарии применения
различение кода и обычного текста
поиск блоков кода в смешанных документах
классификация извлечённых из скриншотов фрагментов
предварительная сортировка текстовых фрагментов для обработки
Ограничения
Показанная точность получена на проверочной выборке CodevsNL и может не переноситься на другие данные. Контекст ограничен 512 токенами.
Для каких профессий подходит8
Разделы каталога профессий, в задачах которых используется эта модель