4-битная конверсия модели OpenCodeInterpreter на базе StarCoder2 для генерации кода и ответов на вопросы о программировании на устройствах Apple с MLX.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/OpenCodeInterpreter-SC2-3B-4bit — конвертированная для MLX 4-битная версия модели m-a-p/OpenCodeInterpreter-SC2-3B, подготовленная сообществом mlx-community для запуска на устройствах Apple с MLX. Это причинная языковая модель семейства StarCoder2 с 4,2 млрд параметров и контекстом до 16 384 токенов; она предназначена для генерации текста и кода. Её можно использовать для написания и дополнения кода, а также для ответов на вопросы о программировании.
Репозиторий содержит веса в формате safetensors. Модель ориентирована на английский язык; сведения об исходной модели доступны в её карточке. Лицензия — Apache-2.0.
Это 4-битная конверсия модели, а не исходный чекпойнт; качество и возможности зависят от исходной модели. Карточка конвертации не содержит сведений о специальных инструментах или среде выполнения кода.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from m-a-p/OpenCodeInterpreter-SC2-3B.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/OpenCodeInterpreter-SC2-3B-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.