/ Модель
Каталог

Характеристики

Лицензия
MIT
Базовая модель
DeepSeek-V4-Flash-162B
Библиотека
gguf
Опубликована
28 мая 2026

Ссылки

Hugging FacearXiv 2510.13999

DeepSeek-V4-Flash-162B-GGUF

0xSero
Генерация текстаТекст → текст13 профессий

DeepSeek-V4-Flash-162B-GGUF — это квантизированная версия модели DeepSeek-V4-Flash-162B в формате GGUF, опубликованная пользователем 0xSero.

858скачиваний за 30 дней31лайквеса обновлены30 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для текстовой генерации и локального запуска в совместимых средах, включая сценарии развёртывания на NVIDIA DGX Spark. Репозиторий содержит профиль Q2-REAP-ds4, созданный на основе checkpoint с применением метода REAP для сжатия MoE-модели.

Модель содержит 162 млрд параметров, занимает около 149 ГБ на диске и использует специализированную схему квантизации: IQ2_XXS для маршрутизируемых gate/up-экспертов, Q2_K для маршрутизируемых down-экспертов и Q8_0 для общих, выходных и attention-проекций. Заявлена поддержка контекста до 200 000 токенов; валидация проводилась на DGX Spark. Данные о количестве слоёв, размере скрытого представления, активных параметрах, языках и мультимодальности в README не указаны.

Сильными сторонами являются существенно уменьшенный размер относительно полноточной версии, поддержка длинного контекста и наличие опубликованных измерений производительности. Ограничение заключается в том, что эти GGUF-файлы используют специфическую структуру тензоров и метаданные DeepSeek-V4 Flash и не предназначены для generic llama.cpp без поддержки соответствующего формата. В README указана лицензия MIT, унаследованная от базовой модели.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[!TIP] Support this work → · X · GitHub · REAP paper · Cerebras REAP

DeepSeek-V4-Flash-162B-GGUF

GGUF quantization of 0xSero/DeepSeek-V4-Flash-162B.

At a glance

Base model0xSero/DeepSeek-V4-Flash-162B
FormatGGUF
Total params162B
Active / token—
Experts / layer—
Layers—
Hidden size—
Context—
On-disk size149 GB

Which variant should I pick?

VariantFormatLink
DeepSeek-V4-Flash-162BBF16link
DeepSeek-V4-Flash-162B-GGUF (this)GGUFlink
DeepSeek-V4-Flash-180BBF16link
DeepSeek-V4-Flash-180B-GGUFGGUFlink
DeepSeek-V4-Flash-213BBF16link

This repository contains DS4/DwarfStar GGUF conversions of DeepSeek-V4-Flash-Spark-Mini.

The GGUFs point back to the original Spark Hugging Face model:

Files

FileSizeSHA256
DeepSeek-V4-Flash-Spark-Mini-Q2-REAP-ds4.gguf48.98 GiBe917278028d7a9e25dfc9d04bf5848375dad7573c5aeab1720d6a83714352406

Quantization

  • Q2-REAP-ds4: compact DS4 profile using IQ2_XXS routed gate/up experts, Q2_K routed down experts, and Q8_0 shared/output/attention projections.

These are DS4/DwarfStar-specific GGUF files for DeepSeek-V4 Flash REAP checkpoints. They are not generic llama.cpp files unless your runtime supports the same DeepSeek-V4 Flash tensor layout and DS4 metadata.

Validation

Validation summaries are uploaded in this repo under:

  • validation/20260528T160633Z/SUMMARY.md
  • validation/20260528T160633Z/summary.json

The Mini Q2 GGUF completed the DS4 context sweep through 200000 context on one DGX Spark:

ContextPrefill tok/sDecode tok/sKV bytes
2,048348.1912.7552,184,460
4,096358.5113.5080,373,132
8,192352.2913.32136,750,476
16,384348.2513.24249,505,164
32,768322.0712.40475,014,540
65,536287.2611.49926,033,292
131,072241.579.811,828,070,796
200,000194.249.172,776,775,308

API probes completed through at least the 131072 window before spark-2822 became unreachable during the tail of the 200000 validation step:

ContextPrompt tokensTTFT secondsPrefill tok/sDecode tok/sMarker visible
65,53659,867176.54339.1213.01true
131,072119,696390.59306.4511.70true

This repo publishes the validated Q2 long-context profile only.

License & citation

License inherited from the base model.

@misc{lasby2025reap,
  title  = {REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression},
  author = {Mike Lasby and Ivan Lazarevich and Nish Sinnadurai and Sean Lie and Yani Ioannou and Vithursan Thangarasa},
  year   = {2025}, eprint = {2510.13999}, archivePrefix = {arXiv}
}

Sponsors

Made possible by NVIDIA · TNG Technology · Lambda · Prime Intellect · Hot Aisle.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
57aec70

0 моделей

    Создать бенчмарк