Характеристики

Контекст: 163 840 токенов
Параметры: 2,5 млрд
Размер весов: 8,9 ГБ
Лицензия: Своя лицензия
Архитектура: deepseek_v2 · dense
Базовая модель: DeepSeek-Coder-V2-Lite-Instruct
Библиотека: mlx
Опубликована: 26 июн 2025

Ссылки

DeepSeek-Coder-V2-Lite-Instruct-4bit-AWQ

Генерация текстаТекст → текст8 профессий

4-битная версия DeepSeek-Coder-V2-Lite-Instruct в формате MLX для генерации и дополнения кода и ответов на вопросы по программированию.

274скачиваний за 30 дней1лайквеса обновлены27 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это 4-битная версия модели DeepSeek-Coder-V2-Lite-Instruct, подготовленная сообществом mlx-community и преобразованная в формат MLX из deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct с помощью mlx-lm 0.25.2. Модель предназначена для генерации и дополнения кода, а также диалоговых ответов по программированию.

В метаданных указаны архитектура DeepSeek V2, 2,5 млрд параметров и контекст до 163 840 токенов. Веса квантизованы методом AWQ с параметрами 4 бита; README также приводит параметры квантизации и отмечает использование собственного калибровочного набора. Репозиторий рассчитан на запуск в MLX.

Лицензия указана как other; конкретные условия следует сверить с лицензией базовой модели и репозитория. Карточка описывает преобразование весов и квантизацию, поэтому выводы о качестве кода стоит проверять на целевых задачах.

Сценарии применения

генерация кода по описанию задачи
дополнение фрагментов кода
ответы на вопросы по программированию в диалоге

Ограничения

Условия лицензии обозначены как other, поэтому перед использованием нужно проверить лицензионные условия базовой модели и этого репозитория. Качество кода и влияние 4-битной квантизации следует оценить на целевых задачах.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/deepseek-coder-v2-lite-instruct-4bit-awq

This model mlx-community/deepseek-coder-v2-lite-instruct-4bit-awq was converted to MLX format from deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct using mlx-lm version 0.25.2.

AWQ Parameters: --bits 4 --group-size 64 --embed-bits 4 --embed-group-size 32 --num-samples 128 --sequence-length 1024 --n-grid 50 with a customized calibration dataset

Use with mlx

pip install mlx-lm

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/deepseek-coder-v2-lite-instruct-4bit-awq")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: DeepseekV2ForCausalLM
Ревизия весов: 453e166