Характеристики

Базовая модель: GRM-3.2-Sky
Опубликована: 3 авг 2026

Ссылки

Hugging Face

GRM-3.2-Sky-ONYX-GGUF

el4

Генерация текстаТекст → текст15 профессий

GRM-3.2-Sky-ONYX-GGUF — это квантованная GGUF-версия модели OrionLLM/GRM-3.2-Sky, подготовленная разработчиком el4.

1 135скачиваний за 30 дней18лайковвеса обновлены13 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для текстовой генерации, рассуждений, программирования и агентских сценариев с использованием llama.cpp или Ollama. В README она описывается как MoE-модель примерно на 35 млрд параметров, ориентированная на запуск на потребительском GPU; размер варианта ONYX-mini составляет около 11 ГБ.

Ключевая особенность ONYX — адаптивное квантование с динамическим выявлением чувствительных слоёв и использованием Router-Weighted Imatrix, учитывающего вероятности маршрутизации экспертов MoE. Подход должен помогать сохранять качество наиболее важных экспертов и слоёв при сильном уменьшении размера модели. Заявлены возможности генерации кода, многошагового рассуждения и работы с несколькими языками, включая японский, испанский и египетский арабский, однако точный набор поддерживаемых языков и размер контекста в README не указаны.

В качестве сильных сторон заявляются компактность, пригодность для локального запуска и сохранение качества в задачах программирования, отладки и многоязычного переключения. При этом приведённые результаты основаны на демонстрационном стресс-тесте, поэтому они не заменяют независимое сравнение с исходной моделью. Степень потери качества из-за квантования, требования к памяти и производительность могут зависеть от конкретного варианта ONYX и оборудования. Лицензия в представленном README не указана.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ollama run hf.co/el4/GRM-3.2-Sky-ONYX-GGUF:GRM-3.2-Sky-ONYX-mini.gguf

To prove this extreme compression didn't lobotomize the model, we subjected the ~11GB ONYX-mini quant to a grueling 20-minute agentic stress test designed to break long-horizon reasoning. We tasked the model with writing a compilable Rust program to calculate quantum harmonic oscillator eigenvalues via nalgebra matrix diagonalization, forcing it to execute the code via bash, read the compiler errors, and autonomously debug its own Unicode and eigenvalue-sorting bugs. After successfully patching the math to achieve <0.05% analytical error, the model seamlessly passed the entire technical explanation through a three-step translation gauntlet into formal Japanese, Spanish, and colloquial Egyptian Arabic. The fact that a heavily crushed 35B MoE running on a consumer laptop GPU can hold the working memory required to write physics code, run cargo build, fix its own mistakes, and perfectly execute multilingual code-switching in just 20 minutes proves that ONYX doesn't just shrink the weights—it preserves the model's agentic soul.

recommended sampling parameters:

--temp 0.85 --top-p 0.95 --top-k 40 --min-p 0.05 --repeat-penalty 1.1 --presence-penalty 0.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: c6ae385