/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Базовая модель
MiniCPM5-1B
Библиотека
gguf
Опубликована
12 авг 2026

Ссылки

Hugging Face

MiniCPM5-1B-GGUF

NANI-Nithin
Генерация текстаТекст → текст4 профессии

MiniCPM5-1B-GGUF — набор GGUF-квантизаций базовой языковой модели MiniCPM5-1B, разработанной командой OpenBMB.

5 458скачиваний за 30 дней2лайкавеса обновлены4 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий подготовлен пользователем NANI-Nithin и предназначен для запуска модели через совместимые среды, включая llama.cpp. Модель относится к задачам генерации текста и может использоваться локально на устройствах с ограниченными ресурсами; конкретные языки, размер контекста и дополнительные модальности в README не указаны.

Набор включает 30 файлов объёмом от 0,27 до 2,02 ГБ: исходную версию BF16 и варианты с разной степенью квантизации от Q8_0 до IQ1_M и Q1_0. Более крупные варианты обеспечивают качество, близкое к исходному, тогда как агрессивная квантизация существенно уменьшает требования к памяти, но приводит к заметному или существенному ухудшению качества. Для большинства пользователей в README рекомендуется Q4_K_M как компромисс между качеством и размером; выбор зависит от доступной RAM или VRAM. Лицензия в предоставленных данных не указана.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MiniCPM5-1B GGUF

GGUF quantizations of openbmb/MiniCPM5-1B, covering 30 files (18.1 GB total).

Files

FileQuantSizeNotes
MiniCPM5-1B-BF16.ggufBF162.02 GBFull precision source. Every quant below is cut from this file.
MiniCPM5-1B-Q8_0.ggufQ8_01.07 GBEffectively lossless. Use when disk and RAM are not the constraint.
MiniCPM5-1B-Q6_K.ggufQ6_K0.83 GBNear-lossless; the last stop before quality becomes measurable.
MiniCPM5-1B-Q5_K_M.ggufQ5_K_M0.73 GBVery good quality, noticeably smaller than Q6_K.
MiniCPM5-1B-Q5_K_S.ggufQ5_K_S0.72 GBSlightly smaller than Q5_K_M for a slight quality cost.
MiniCPM5-1B-Q5_1.ggufQ5_10.77 GBLegacy. Prefer Q5_K_M.
MiniCPM5-1B-Q5_0.ggufQ5_00.72 GBLegacy. Prefer Q5_K_M.
MiniCPM5-1B-Q4_K_M.ggufQ4_K_M0.64 GBThe usual default. Best quality-per-byte for most people.
MiniCPM5-1B-Q4_K_S.ggufQ4_K_S0.62 GBA little smaller than Q4_K_M, a little worse.
MiniCPM5-1B-IQ4_NL.ggufIQ4_NL0.62 GBNon-linear 4-bit; good on hardware without fast K-quant kernels.
MiniCPM5-1B-IQ4_XS.ggufIQ4_XS0.60 GBBest sub-4.5bpw option; usually beats Q4_K_S at a smaller size.
MiniCPM5-1B-Q4_1.ggufQ4_10.67 GBLegacy. Prefer Q4_K_M.
MiniCPM5-1B-Q4_0.ggufQ4_00.62 GBLegacy round-to-nearest. Prefer Q4_K_M unless a runtime needs this.
MiniCPM5-1B-Q3_K_L.ggufQ3_K_L0.57 GBSmall, with real quality loss. Usable when RAM is tight.
MiniCPM5-1B-Q3_K_M.ggufQ3_K_M0.54 GBSmaller again; noticeable degradation.
MiniCPM5-1B-IQ3_M.ggufIQ3_M0.52 GBStrong at ~3.7bpw, clearly better than Q3_K_M.
MiniCPM5-1B-IQ3_S.ggufIQ3_S0.51 GBSlightly smaller than IQ3_M.
MiniCPM5-1B-Q3_K_S.ggufQ3_K_S0.51 GBAggressive. Prefer IQ3_M at a similar size.
MiniCPM5-1B-IQ3_XS.ggufIQ3_XS0.50 GBAggressive but coherent.
MiniCPM5-1B-IQ3_XXS.ggufIQ3_XXS0.46 GBVery aggressive; imatrix carries it.
MiniCPM5-1B-Q2_K.ggufQ2_K0.45 GBVery small, heavily degraded. For experimentation.
MiniCPM5-1B-IQ2_M.ggufIQ2_M0.43 GBThe smallest size most people find usable.
MiniCPM5-1B-Q2_K_S.ggufQ2_K_S0.43 GBSmaller than Q2_K, requires the imatrix.
MiniCPM5-1B-IQ2_S.ggufIQ2_S0.41 GBBelow the usual usability line.
MiniCPM5-1B-IQ2_XS.ggufIQ2_XS0.38 GBExperimental.
MiniCPM5-1B-IQ2_XXS.ggufIQ2_XXS0.36 GBExperimental.
MiniCPM5-1B-Q2_0.ggufQ2_00.44 GBExtreme, group-64. Included for completeness.
MiniCPM5-1B-IQ1_M.ggufIQ1_M0.34 GBExtreme. Expect substantial degradation.
MiniCPM5-1B-IQ1_S.ggufIQ1_S0.33 GBExtreme. Expect substantial degradation.
MiniCPM5-1B-Q1_0.ggufQ1_00.27 GBExtreme. Included for completeness.

Which one should I download?

Pick the largest file that leaves a couple of gigabytes of headroom on the device you will run it on — the model has to fit in RAM (or VRAM, if you are offloading) alongside the KV cache and the OS.

  • Plenty of memory: Q6_K or Q8_0.
  • The usual choice: Q4_K_M.
  • Tight on memory: IQ4_XS, then IQ3_M, then IQ2_M.
  • The IQ* files are imatrix-guided and generally beat a Q* file of similar size, at the cost of slightly slower inference on some hardware.

Quantization details

  • Importance matrix computed with llama-imatrix over 500 rows of Salesforce/wikitext (wikitext-2-raw-v1).
  • The matrix was computed on the BF16 weights.
  • K-quants below 6 bit and the whole IQ set are imatrix-guided. Q4_0/Q4_1/Q5_0/Q5_1 are legacy round-to-nearest and ignore it; Q6_K/Q8_0 are near-lossless and do not need it.
  • All files are cut from the same BF16 GGUF, so differences between them are quantization only.

Usage

llama-cli -hf NANI-Nithin/MiniCPM5-1B-GGUF:Q4_K_M -p "Hello"

Or download one file and point at it directly:

huggingface-cli download NANI-Nithin/MiniCPM5-1B-GGUF MiniCPM5-1B-Q4_K_M.gguf --local-dir .
llama-cli -m MiniCPM5-1B-Q4_K_M.gguf -p "Hello"

Quantized with llama.cpp by AgentQuantix on 2026-09-04. Licensing follows the base model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
593c362

0 моделей

    Создать бенчмарк