Квантизированная 4-битная MLX-версия OpenCodeInterpreter-DS-33B для диалоговой генерации текста и помощи с программированием.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это 4-битная версия модели OpenCodeInterpreter-DS-33B, преобразованная сообществом mlx-community из m-a-p/OpenCodeInterpreter-DS-33B в формат MLX для запуска на устройствах Apple Silicon с помощью mlx-lm. Модель основана на плотной архитектуре Llama и содержит 33,1 млрд параметров; длина контекста — 16 384 токена.
Модель предназначена для диалоговой генерации текста и помощи с программированием на английском языке. Её можно использовать для написания, объяснения и отладки кода в сценариях общения с ассистентом. README отсылает к исходной карточке OpenCodeInterpreter-DS-33B за подробностями о возможностях.
Это преобразование и квантизация до 4 бит для MLX, что снижает требования к памяти при запуске, но может повлиять на точность относительно исходной модели. Модель распространяется по лицензии исходного репозитория; сведения о лицензии в предоставленных данных отсутствуют.
Качество и точные возможности модели зависят от исходного чекпойнта; описание README краткое и отсылает к оригинальной карточке. 4-битное преобразование может снижать точность по сравнению с исходной версией.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from m-a-p/OpenCodeInterpreter-DS-33B.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/OpenCodeInterpreter-DS-33B-hf-4bit-mlx")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.