Характеристики

Контекст: 1 048 576 токенов
Параметры: 10,7 млрд
Архитектура: deepseek_v4 · dense
Базовая модель: DeepSeek-V4-Flash-0731
Библиотека: mlx
Опубликована: 31 авг 2026

Ссылки

DeepSeek-V4-Flash-0731-MLX-Q3i

Генерация текстаТекст → текст11 профессий

inferencerlabs/DeepSeek-V4-Flash-0731-MLX-Q3i — квантованная версия модели DeepSeek-V4-Flash-0731, разработанной deepseek-ai, подготовленная для выполнения на устройствах Apple с использованием библиотеки MLX и её модифицированной версии.

310скачиваний за 30 дней0лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и локального текстового инференса, в том числе в сценариях, где требуется запуск крупной языковой модели при ограниченном объёме оперативной памяти.

Сборка использует метод сжатия INF, не зависящий от обучающих данных, и формат MLX. Согласно README, она рассчитана на работу в системе с 128 ГиБ RAM при сохранении связности ответов. На M3 Ultra с 512 ГиБ RAM заявлена скорость около 39,7 токена в секунду при генерации примерно 500 токенов; потребление памяти в этом тесте составляло около 104,6 ГиБ. Архитектура, точный размер модели, поддерживаемые языки, контекстное окно и модальности в README не указаны; по назначению это текстовая модель.

К сильным сторонам относятся возможность локального запуска на совместимом оборудовании Apple, уменьшенные требования к памяти благодаря квантованию и сохранение приемлемой связности генерации. Ограничения включают зависимость от MLX и аппаратной конфигурации, возможное снижение качества по сравнению с исходной моделью из-за квантования, а также отсутствие подробных данных о точности и поддерживаемых сценариях. Лицензия в README не указана; условия использования следует уточнять для исходной модели и данной квантованной сборки отдельно.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

See DeepSeek-V4-Flash-0731 MLX in action - demonstration videos

Tested with an M3 Ultra 512 GiB using Inferencer app

Text inference: ~39.7 tokens/s @ 500 tokens ~104.6 GiB

Consider increasing the available RAM for inferencing with:

sudo sysctl iogpu.wired_limit_mb=118000

Screenshot

Quantized with a modified version of MLX

For more details see our demonstration videos or visit DeepSeek-V4-0731.

Disclaimer

We are not the creator, originator, or owner of any model listed. Each model is created and provided by third parties. Models may not always be accurate or contextually appropriate. You are responsible for verifying the information before making important decisions. We are not liable for any damages, losses, or issues arising from its use, including data loss or inaccuracies in AI-generated content.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры: DeepseekV4ForCausalLM
Ревизия весов: b502e24