Преобразованная в формат MLX версия DeepSeek-Coder-V2-Instruct для диалоговой генерации текста и помощи с программированием.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
DeepSeek-Coder-V2-Instruct-AQ4_1 — преобразованная сообществом mlx-community в формат MLX версия модели deepseek-ai/DeepSeek-Coder-V2-Instruct. Она предназначена для генерации текста в диалоговом формате, прежде всего для задач программирования. Архитектура — DeepSeek V2; в метаданных указано 18,1 млрд параметров и контекст до 163 840 токенов.
Модель подходит для генерации и объяснения кода, ответов на вопросы о программировании и помощи при работе с длинными фрагментами текста или кода. Карточка указывает преобразование с помощью mlx-lm 0.16.0; репозиторий содержит веса safetensors и помечен тегом MLX. Лицензия указана как other, без дополнительных условий в предоставленных данных.
В предоставленных данных нет оценок качества или перечня поддерживаемых языков программирования. Лицензия обозначена как other, поэтому её конкретные условия следует сверить с оригинальной карточкой модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/DeepSeek-Coder-V2-Instruct-AQ4_1 was converted to MLX format from deepseek-ai/DeepSeek-Coder-V2-Instruct using mlx-lm version 0.16.0.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/DeepSeek-Coder-V2-Instruct-AQ4_1")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.