Дообученная модель CodeBERT определяет язык программирования по тексту фрагмента кода.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
addy88/programming-lang-identifier — дообученная на CodeSearchNet модель для классификации фрагментов кода по языку программирования. Она основана на CodeBERT с архитектурой RoBERTa и использует классификационную голову RobertaForSequenceClassification. Модель принимает текстовый фрагмент кода и выдаёт оценку для каждого класса; наиболее вероятный класс можно выбрать по максимальному логиту.
Размер модели — 96,6 млн параметров, контекст — до 514 токенов. В карточке указана загрузка через Transformers с весами PyTorch. Лицензия в предоставленных данных не указана.
Карточка не сообщает перечень поддерживаемых языков программирования и метки классов, поэтому охват классификации по ней определить нельзя. Контекст ограничен 514 токенами.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is funetune version of Codebert in roberta. On CodeSearchNet.
Quick start:
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("addy88/programming-lang-identifier")
model = AutoModelForSequenceClassification.from_pretrained("addy88/programming-lang-identifier")
input_ids = tokenizer.encode(CODE_TO_IDENTIFY) logits = model(input_ids)[0]
language_idx = logits.argmax() # index for the resulting label
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…