/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Опубликована
11 авг 2026

Ссылки

Hugging Face

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

NANI-Nithin
Генерация текстаТекст → текст11 профессий

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это набор квантованных GGUF-версий языковой модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, разработанной NVIDIA.

2 910скачиваний за 30 дней1лайквеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Квантование выполнил NANI-Nithin с использованием инструментов llama.cpp и автоматизированного конвейера на Modal.

Модель предназначена для генерации текста и локального инференса на CPU или GPU. Она использует архитектуру Mixture-of-Experts (MoE) с конфигурацией A3B и поддерживает английский язык. Доступны варианты F16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, Q4_0, Q3_K_L, Q3_K_M, Q3_K_S и Q2_K с разным соотношением качества, размера и требований к памяти. В README размер контекста и точные требования к RAM или VRAM не указаны.

Сильная сторона модели — возможность запуска в популярных GGUF-совместимых средах, включая llama.cpp, Ollama и LM Studio, а также выбор уровня квантования. Q4_K_M рекомендуется как наиболее сбалансированный вариант по скорости, размеру и качеству. Более сильное сжатие уменьшает требования к памяти, но приводит к заметному снижению качества; для MoE-модели необходимо заранее проверить доступные RAM и VRAM. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

GGUF quantizations of nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, converted with llama.cpp for fast local inference on CPU/GPU.

Files

QuantUse case
F16Full precision, reference quality
Q8_0Near-lossless, largest quant size
Q6_KVery high quality, minimal loss
Q5_K_M / Q5_K_SHigh quality, good balance
Q4_K_M / Q4_K_SRecommended default — best speed/quality tradeoff
Q4_0Legacy 4-bit, faster on some hardware
Q3_K_L / Q3_K_M / Q3_K_SLower RAM, noticeable quality drop
Q2_KSmallest, most compressed, quality degrades

Usage

Run with llama.cpp, Ollama, LM Studio, or any GGUF-compatible runtime:

./llama-cli -m NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Q4_K_M.gguf -p "Your prompt here"

Notes

  • This is a Mixture-of-Experts (A3B) architecture — check RAM/VRAM requirements before choosing a quant.
  • For most users, Q4_K_M offers the best balance of speed, size, and output quality.
  • Quantized using automated pipeline on Modal with llama.cpp's conversion and quantization tools.

Credits

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
2073692

0 моделей

    Создать бенчмарк