8-битная MLX-версия DeepSeek-Coder-V2-Lite-Instruct для генерации, дополнения и объяснения программного кода.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
DeepSeek-Coder-V2-Lite-Instruct-8bit — языковая модель для работы с программным кодом, подготовленная сообществом mlx-community. Модель была конвертирована из DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek AI, в формат MLX с использованием mlx-lm 0.18.1 и представлена в 8-битном варианте; размер модели составляет 2,5 млрд параметров.
Модель предназначена для генерации и дополнения кода, объяснения программных фрагментов и помощи в задачах разработки в диалоговом формате. Она относится к семейству DeepSeek V2 и поддерживает контекст длиной до 163 840 токенов, что позволяет работать с крупными файлами и связанными фрагментами кода. Для запуска используется библиотека mlx-lm.
Модель оптимизирована для локального запуска в экосистеме MLX, а 8-битное представление снижает требования к памяти по сравнению с полноразмерными вариантами. Языки программирования и точный перечень поддерживаемых естественных языков в предоставленных данных не указаны. Условия использования определяются лицензией DeepSeek License, обозначенной в карточке как other.
Модель ориентирована на задачи программирования, а не на универсальные сценарии работы с текстом. Поддерживаемые языки программирования и естественные языки в предоставленных данных не перечислены; для запуска требуется библиотека mlx-lm и формат MLX.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/DeepSeek-Coder-V2-Lite-Instruct-8bit was converted to MLX format from deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct using mlx-lm version 0.18.1.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/DeepSeek-Coder-V2-Lite-Instruct-8bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.