Характеристики

Контекст: 16 384 токена
Параметры: 33,5 млрд
Размер весов: 67,5 ГБ
Лицензия: OpenRAIL
Архитектура: llama · dense
Библиотека: transformers
Опубликована: 31 авг 2023

Ссылки

Hugging Face arXiv 2308.09895

MultiPL-T-CodeLlama_34b

nuprl

Генерация текстаТекст → текст6 профессий

Дообученная на MultiPL-T версия CodeLlama-34b для генерации кода и переноса знаний между языками программирования.

109скачиваний за 30 дней0лайковвеса обновлены24 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

nuprl/MultiPL-T-CodeLlama_34b — набор дообученных версий CodeLlama-34b, подготовленный авторами проекта MultiPL-T на данных MultiPL-T. Репозиторий содержит контрольные точки по эпохам; конкретный язык программирования и контрольную точку можно определить по сообщению коммита. Модель представляет собой плотную авторегрессионную Llama-архитектуру объёмом 33,5 млрд параметров и принимает текстовый ввод, выдавая текст.

Основное назначение — генерация кода с переносом знаний между языками программирования, включая языки с меньшим объёмом обучающих данных. Максимальный родной контекст — 16 384 токена; для запуска предусмотрена библиотека Transformers и формат PyTorch. Модель распространяется по лицензии OpenRAIL. Карточка не уточняет языковый вариант конкретной контрольной точки; перед использованием следует выбрать ревизию по коммиту и свериться с карточкой исходной CodeLlama-34b.

Сценарии применения

генерация кода по текстовому описанию
получение кода на языках программирования с ограниченными обучающими данными
эксперименты по переносу знаний между языками программирования
сравнение контрольных точек CodeLlama-34b по эпохам

Ограничения

Язык программирования и эпоха различаются между контрольными точками и определяются по сообщению коммита. Модель унаследовала ограничения исходной CodeLlama-34b; подробности следует сверить с её карточкой.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MultiPL-T CodeLlama-34b

This repository holds several CodeLlama-34b fine-tunes, all fine-tuned on MultiPL-T data. Examine the commit message to determine the language and checkpoint. We have a checkpoint for each epoch.

For more information the training process, see the MultiPL-T paper:

@misc{cassano:multipl-t,
      title={Knowledge Transfer from High-Resource to Low-Resource Programming Languages for Code LLMs}, 
      author={Federico Cassano and John Gouwar and Francesca Lucchetti and Claire Schlesinger and Anders Freeman and Carolyn Jane Anderson and Molly Q Feldman and Michael Greenberg and Abhinav Jangda and Arjun Guha},
      year={2024},
      eprint={2308.09895},
      archivePrefix={arXiv},
      primaryClass={cs.PL}
}

For usage instructions, see the model card for the original model. Replace the model name with the name of this repository, and set revision=COMMIT_HASH.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 8f912dc