Характеристики

Базовая модель: DeepSeek-V4-Flash
Библиотека: mlx
Опубликована: 28 апр 2026

Ссылки

DeepSeek-V4-Flash-MLX-Q2.8-INF

Генерация текста8 профессий

inferencerlabs/DeepSeek-V4-Flash-MLX-Q2.8-INF — квантизированная версия модели DeepSeek-V4-Flash, разработанная inferencerlabs на базе исходной модели DeepSeek.

1 546скачиваний за 30 дней11лайковвеса обновлены22 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Сборка предназначена для генерации текста и запуска локального вывода на системах Apple с использованием библиотеки MLX и модифицированного варианта MLX.

Модель сжата методом Q2.8-INF — data-agnostic подходом, настроенным на общую точность при ограничении памяти до 128 ГиБ. В README указано, что на M3 Ultra с 512 ГиБ памяти и приложением Inferencer скорость текстового вывода составляла около 30 токенов в секунду при последовательности длиной примерно 2000 токенов; потребление памяти достигало около 95,49 ГиБ. Ключевое преимущество сборки — возможность запуска в пределах 128 ГиБ RAM при сохранении связности ответов.

Из-за сильного уровня сжатия общая точность модели снижена. README не содержит достоверных сведений об архитектуре, количестве параметров, поддерживаемых языках, максимальном контексте и мультимодальных возможностях. Лицензия также не указана, поэтому условия распространения и коммерческого использования необходимо уточнять отдельно для данной сборки и базовой модели.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

See DeepSeek-V4-Flash MLX in action - demonstration videos

Tested with an M3 Ultra 512 GiB using Inferencer app v1.11.1

Text inference: ~30 tokens/s @ 2000 tokens ~95.49 GiB (debug build)

This build compresses the model to operate within the memory constraints of a 128 GiB RAM system while maintaining response coherence. However, overall accuracy is degraded due to the level of compression.

Screenshot

Quantized with a modified version of MLX

For more details see our demonstration videos or visit DeepSeek-V4-Flash.

Disclaimer

We are not the creator, originator, or owner of any model listed. Each model is created and provided by third parties. Models may not always be accurate or contextually appropriate. You are responsible for verifying the information before making important decisions. We are not liable for any damages, losses, or issues arising from its use, including data loss or inaccuracies in AI-generated content.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Ревизия весов: 1d2ae77