Характеристики

Лицензия: Своя лицензия
Базовая модель: NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16
Опубликована: 16 авг 2026

Ссылки

Nemotron-3.5-Lightning-30B-A3B-Heretic-Uncensored-Q4_K_M-GGUF

Генерация текстаТекст → текст7 профессий

Nemotron-3.5-Lightning-30B-A3B Heretic-Uncensored Q4_K_M GGUF — квантизированная версия модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA и дополнительно обработанной mlasli.

1 428скачиваний за 30 дней2лайкавеса обновлены17 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель построена на гибридной архитектуре Mamba-MoE nemotron_h_moe: общий объём составляет 31,6 млрд параметров, из которых активно используется около 3 млрд. Формат GGUF и квантизация Q4_K_M уменьшают размер файла до 24,3 ГБ и позволяют запускать модель локально через llama.cpp. В карточке заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков; размер контекста не указан.

Модель предназначена для локальной генерации текста и диалоговых сценариев, включая использование через llama.cpp и Ollama. По данным карточки, она прошла локальную проверку загрузки и генерации связного текста. Вариант Heretic-Abliterated создан с удалённым направлением отказов, поэтому модель ориентирована на высокую готовность выполнять запросы: в указанной независимой проверке зафиксированы 0% отказов и 100% соответствия запросам на 200 испытаниях. Эти результаты приведены для объединённой BF16-версии и не гарантируют идентичное поведение квантизированной модели.

К ограничениям относятся отсутствие встроенного защитного выравнивания, возможные риски генерации небезопасного контента, крупный объём файла и требование сборки llama.cpp b10326 или новее. Лицензия указана как NVIDIA Open Model License; также приведена ссылка на её официальный текст. Контекстное окно, производительность, системные требования помимо размера файла и результаты стандартных бенчмарков в карточке не указаны.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Nemotron-3.5-Lightning-30B-A3B Heretic-Abliterated (Q4_K_M GGUF)

GGUF quantization of mlasli/Nemotron-3.5-Lightning-30B-A3B-Heretic-Uncensored-BF16 — NVIDIA-Nemotron-3.5-Lightning-30B-A3B (31.6B total / 3B active) with its refusal direction removed via Heretic.

What this is for: the same abliterated hybrid Mamba-MoE model, quantized to 24.3 GB so it runs locally via llama.cpp.

Architecture: nemotron_h_moe (requires llama.cpp build b10326+)
Quantization: Q4_K_M
File size: 24.3 GB
Smoke-tested locally before upload (loads + coherent output on llama-cli).

Results

Refusals	Compliance	KL Divergence	Trials
0%	100%	0.0397	200

Independent eval of the merged BF16 model (50 harmful-behavior prompts). The automated Zou keyword detector false-positives on words like "illegal"/"unethical" appearing inside compliant answers; manual review found 0 genuine refusals.

Usage

llama-cli -m Nemotron-3.5-Lightning-30B-A3B-Heretic-Uncensored-Q4_K_M-GGUF.gguf \
  -cnv -st -p "What is 2+2?"

Ollama

Create a Modelfile:

FROM ./Nemotron-3.5-Lightning-30B-A3B-Heretic-Uncensored-Q4_K_M-GGUF.gguf

Then:

ollama create nemotron-3.5-30b-heretic-q4_k_m
ollama run nemotron-3.5-30b-heretic-q4_k_m

Abliteration removes safety alignment. Use responsibly and in accordance with your local laws and the upstream NVIDIA Open Model License.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 56497f5