7,1-миллиардная модель семейства Qwen2.5-Coder в формате MLX для генерации кода и диалоговой помощи при программировании.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/Qwen2.5-Coder-7B-8bit — версия модели Qwen2.5-Coder-7B, подготовленная сообществом mlx-community для запуска с MLX. README сообщает о конвертации из Qwen/Qwen2.5-Coder-7B с помощью mlx-lm 0.18.1; метаданные каталога связывают её с Qwen/Qwen2.5-7B как дообучение. Модель имеет плотную архитектуру Qwen2, около 7,1 млрд параметров и контекст до 32 768 токенов.
Модель предназначена для генерации текста и кода в диалоговом режиме, включая помощь при написании и объяснении программ. Метаданные указывают английский язык, поддержку чата и интерфейса вызова инструментов. Лицензия — Apache 2.0. README подтверждает конвертацию в формат MLX, но не уточняет способ 8-битного представления весов.
README не приводит оценок качества или результатов бенчмарков. Карточка подтверждает конвертацию для MLX, но не описывает точность квантования, поэтому характеристики 8-битной версии по этим данным оценить нельзя.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Qwen2.5-Coder-7B-8bit was converted to MLX format from Qwen/Qwen2.5-Coder-7B using mlx-lm version 0.18.1.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Qwen2.5-Coder-7B-8bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.