plbart-base

PLBART-base — базовая предварительно обученная модель UCLA NLP для совместного понимания и генерации кода и связанного с ним естественного языка. Это encoder-decoder Transformer семейства BART, обученный восстанавливать исходные последовательности после внесения шума; метаданные репозитория указывают 95 млн параметров и контекст до 1024 токенов. В исследовательской статье описано обучение на Java, Python и английских текстах из Stack Overflow; модель рассчитана на последующую настройку для задач разработки ПО, включая создание кратких описаний кода, генерацию и перевод кода, исправление программ и классификацию.

Для применения к конкретной задаче обычно требуется дообучение: репозиторий представляет базовый чекпойнт, а не готовую специализированную систему. Архитектура принимает и генерирует текстовые последовательности, включая код. Карточка Hugging Face не содержит подтверждённых сведений о лицензии, поэтому условия использования по доступным источникам установить нельзя. В статье отмечено, что для обнаружения уязвимостей графовые модели в проведённых сравнениях показывали лучшие результаты.