Характеристики

Лицензия: Apache 2.0
Базовая модель: Nanbeige4.2-3B
Библиотека: gguf
Опубликована: 24 июл 2026

Ссылки

Nanbeige4.2-3B-GGUF

Генерация текстаТекст → текст3 профессии

Nanbeige4.2-3B-GGUF — неофициальная GGUF-конверсия модели Nanbeige/Nanbeige4.2-3B, опубликованная пользователем Tdamre и зафиксированная на определённой ревизии исходной модели.

1 987скачиваний за 30 дней1лайквеса обновлены24 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она предназначена для генерации текста и локального запуска через llama.cpp, включая интерактивные сценарии и CPU-инференс. Информация о разработчике исходной модели, поддерживаемых языках и специализированных сценариях применения в карточке не указана.

Модель содержит около 4,17 млрд физических параметров и использует нестандартную архитектуру nanbeige: 22 физических decoder-слоя выполняются в двух циклах, на границе цикла применяется общая финальная RMSNorm, а для KV-кэша требуется 44 логических слота. Доступны варианты Q4_K_M размером около 2,57 ГБ и Q8_0 размером около 4,43 ГБ. Исходная модель заявляет контекст до 262 144 токенов, однако локальная проверка проводилась на коротком контексте 512 токенов.

Сильной стороной является возможность относительно компактного локального запуска в GGUF-формате с двумя уровнями квантования. Вариант Q4_K_M обеспечивает меньший размер и более высокую производительность, тогда как Q8_0 сохраняет более высокую точность представления весов. Ограничения связаны с нестандартной архитектурой: модель не работает со стандартной сборкой llama.cpp и требует применения специального патча к конкретной проверенной ревизии. Приведённые показатели производительности являются CPU-тестами загрузки и пропускной способности, а не оценкой качества генерации. Базовая модель распространяется по лицензии Apache-2.0; для полного перечня условий рекомендуется обратиться к карточке исходной модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Nanbeige4.2-3B GGUF

Unofficial GGUF conversions of Nanbeige/Nanbeige4.2-3B, pinned to source revision 451ed48c3273ecef7ea8faaa43c31ce529763bb1.

Nanbeige4.2-3B is not an ordinary Llama stack. It reuses 22 physical decoder layers for two loops, applies the shared final RMSNorm at the loop boundary, and needs 44 logical KV-cache slots. These files therefore use the custom GGUF architecture name nanbeige and require the included llama.cpp patch.

Files

File	Size	SHA-256
`Nanbeige4.2-3B-Q4_K_M.gguf`	2,574,807,840 bytes	`99c7bfb88907f7eee0a04c4314f1c46bca391819478d8cb90b3e164f09576489`
`Nanbeige4.2-3B-Q8_0.gguf`	4,434,787,104 bytes	`32b60cd0fb3da4d8a3c01d0ca7d0461818c29c81ffb42f8fc71a94141bd803c6`
`llama.cpp-nanbeige.patch`	10,137 bytes	`1177badb8f8f6228052d2f67a9eabe81f2ce69f3ea0b92cf7b1ea2352204284a`

The source checkpoint contains 4,169,800,704 physical parameters. The Q4_K_M file is about 4.93 bits per weight; Q8_0 is about 8.51 bits per weight.

Runtime

Apply the patch to the exact tested llama.cpp revision:

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git checkout cf512566dc89d7a2bdefd43f6d4b85a1c18e93a7
git apply /path/to/llama.cpp-nanbeige.patch
cmake -B build
cmake --build build --config Release

Then run either quant:

./build/bin/llama-cli \
  -m Nanbeige4.2-3B-Q4_K_M.gguf \
  -c 4096 -n 256 \
  -p "Hello"

Stock llama.cpp builds that do not include Nanbeige support will reject the nanbeige architecture. The patch adds conversion metadata, tensor loading, loop-boundary normalization, and 44-layer cache handling; it does not replace model weights.

Validation

Built and tested on Windows with llama.cpp cf512566dc89d7a2bdefd43f6d4b85a1c18e93a7 and an AMD Ryzen 9 7950X3D.

Both files loaded as architecture nanbeige, block count 44, loop count 2.
Q4_K_M: prompt benchmark 92.77 tok/s; generation benchmark 15.67 tok/s.
Q8_0: prompt benchmark 53.95 tok/s; generation benchmark 9.37 tok/s.
Deterministic eight-token generation completed for both files.
Interactive Q8_0 sample measured 68.6 tok/s prompt and 10.2 tok/s generation.

These are CPU smoke/throughput tests, not quality benchmarks. The original model advertises a 262,144-token context, but local validation used a short 512-token context.

License

The base model is Apache-2.0 licensed. Review the upstream model card for its full terms and intended-use information.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 128d8e8