Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Архитектура: roberta · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face arXiv 2009.08366

graphcodebert-base

Заполнение пропусковТекст → текст4 профессии

Предварительно обученная Microsoft модель для понимания кода с учётом последовательности токенов и потока данных, применимая для заполнения масок и адаптации к задачам анализа кода.

41 868скачиваний за 30 дней93лайкавеса обновлены26 сен 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GraphCodeBERT — предварительно обученная модель на архитектуре Transformer для работы с программным кодом, опубликованная Microsoft. В отличие от моделей, учитывающих только последовательность токенов, она использует также информацию о потоке данных в коде. Модель имеет 12 слоёв, размер скрытого состояния 768 и 12 голов внимания; в метаданных указано 151,8 млн параметров и контекст до 514 токенов.

Модель обучена на наборе CodeSearchNet, содержащем 2,3 млн функций с парами «код — документация» на шести языках программирования. В Hugging Face она представлена как masked language model для задачи fill-mask и доступна в форматах PyTorch, TensorFlow и Flax. Она подходит как предварительно обученная основа для задач понимания и анализа кода; карточка не описывает конкретные гарантии качества или ограничения применимости. Лицензия в предоставленных данных не указана.

Сценарии применения

предсказание пропущенных токенов в программном коде
заполнение масок в последовательностях кода
адаптация модели для поиска кода по описанию
адаптация для анализа связей данных в программном коде

Ограничения

Контекст ограничен 514 токенами. Карточка не сообщает метрики качества и не описывает ограничения по отдельным сценариям использования.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GraphCodeBERT model

GraphCodeBERT is a graph-based pre-trained model based on the Transformer architecture for programming language, which also considers data-flow information along with code sequences. GraphCodeBERT consists of 12 layers, 768 dimensional hidden states, and 12 attention heads. The maximum sequence length for the model is 512. The model is trained on the CodeSearchNet dataset, which includes 2.3M functions with document pairs for six programming languages.

More details can be found in the paper by Guo et. al.

Disclaimer: The team releasing BERT did not write a model card for this model so this model card has been written by the Hugging Face community members.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: 2b0488a