Производная модели mlx-community/Qwen2.5-Coder-7B-Instruct-4bit. 4-битная модель Qwen2.5-Coder для генерации кода в диалоговом формате, преобразованная в MLX для запуска на устройствах Apple.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Карточка модели tbhrc/qwen2_5_coder_7b_instruct_4bit на Hugging Face совпадает с карточкой mlx-community/Qwen2.5-Coder-7B-Instruct-4bit, поэтому описание составлено по ней.
Qwen2.5-Coder-7B-Instruct-4bit — 4-битная версия модели для генерации кода из семейства Qwen2.5-Coder, подготовленная mlx-community. README указывает, что модель преобразована в формат MLX из Qwen/Qwen2.5-Coder-7B-Instruct с помощью mlx-lm 0.18.1; в метаданных базовой моделью указана Qwen/Qwen2.5-Coder-7B. Это плотная причинная языковая модель архитектуры Qwen2 с 7,1 млрд параметров и контекстом 32 768 токенов.
Модель предназначена для генерации кода в диалоговом формате и подходит для помощи при написании и анализе программ. Репозиторий распространяется по лицензии Apache-2.0. README описывает конвертацию в MLX, а метаданные указывают на дообучение базовой модели для кода; представленных сведений недостаточно, чтобы точно описать качество по языкам программирования или результаты оценок.
В предоставленных материалах нет результатов оценок качества и подробностей о поддерживаемых языках программирования. Это 4-битное представление модели, поэтому точность может отличаться от полной версии.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Qwen2.5-Coder-7B-Instruct-4bit was converted to MLX format from Qwen/Qwen2.5-Coder-7B-Instruct using mlx-lm version 0.18.1.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Qwen2.5-Coder-7B-Instruct-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.