Дообученная на инструкциях модель StarCoder2 для генерации и дополнения кода по запросу и контексту.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/starcoder2-15b-instruct-v0.1 — конвертированная в формат MLX версия модели bigcode/starcoder2-15b-instruct-v0.1. Это дообученная на инструкциях модель семейства StarCoder2 для генерации и дополнения кода, в том числе по контексту. Она подходит для генерации фрагментов кода и ответов на запросы о программировании; базовая модель StarCoder2 также поддерживает заполнение пропусков внутри кода.
Модель построена на архитектуре StarCoder2ForCausalLM, содержит 21,7 млрд параметров и имеет контекстное окно 16 384 токена. В README указана конверсия в MLX с помощью mlx-lm 0.12.1; метаданные репозитория указывают формат safetensors. Для запуска README предлагает mlx-lm. Модель предназначена для работы с кодом; конкретные языки программирования не перечислены. Модель распространяется по лицензии BigCode OpenRAIL-M.
Описание основано на карточке конвертированной модели и метаданных; подробности о возможностях и ограничениях следует сверять с карточкой исходной instruct-версии.
Карточка этой конвертированной версии не приводит подробных оценок качества и ограничений; для них следует обратиться к карточке исходной модели bigcode/starcoder2-15b-instruct-v0.1. Метаданные относят языки кода к карточке, но не перечисляют конкретные языки программирования.
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from bigcode/starcoder2-15b-instruct-v0.1 using mlx-lm version 0.12.1.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/starcoder2-15b-instruct-v0.1")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.