Компактная дообученная модель BERT для классификации текста как кода или естественного языка.
23 347скачиваний за 30 дней0лайковвеса обновлены3 авг 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
vishnun/codenlbert-sm — компактная модель классификации текста на основе BERT, дообученная разработчиком для различения кода и естественного языка. Она рассчитана на классификацию входного текста как кода или обычного языка, например при анализе смешанных текстовых данных. Модель содержит 32,4 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов.
В карточке приведены метрики обучения на трёх эпохах, включая точность около 99,7%; эти значения относятся к указанной разработчиком оценке и не гарантируют такой же результат на других данных. Для модели указаны английский язык и набор данных CodevsNL. Условия лицензирования в предоставленных материалах не описаны.
Сценарии применения
определение, содержит ли фрагмент программный код
разделение кода и обычного текста в корпусе
классификация извлечённых из документов или данных фрагментов как кода либо текста
Ограничения
Заявленные метрики получены на обучении и валидации и могут не переноситься на другие данные; максимальная длина входа — 512 токенов. Лицензия в предоставленных материалах не описана.
Для каких профессий подходит7
Разделы каталога профессий, в задачах которых используется эта модель