/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Muse-Glimmer-30B
Библиотека
llama.cpp
Опубликована
10 авг 2026

Muse-Glimmer-30B-GGUF

Изображение и текст → текст10 профессий

Abiray/Muse-Glimmer-30B-GGUF — набор GGUF-квантов мультимодальной модели Muse-Glimmer-30B, разработанной meta-models и дистиллированной из Muse Spark.

920скачиваний за 30 дней11лайковвеса обновлены10 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий подготовлен с использованием llama.cpp и предназначен для локального запуска модели, включая сценарии на потребительском оборудовании.

Модель ориентирована на автономные агентные рабочие процессы, многошаговое рассуждение с длинным горизонтом, задачи программирования, включая SWE-bench, и надёжный вызов функций. Поддерживается обработка изображений через отдельный мультимодальный vision projector в формате GGUF; базовая модель и проектор загружаются раздельно. Заявлены 30 млрд параметров, контекст до 131 072 токенов и архитектура с визуальным проектором на основе ViT размером около 1,8 млрд параметров. Сведения о поддерживаемых языках в README не указаны.

Доступны варианты квантования от Q8_0 до IQ3_XXS размером примерно от 29,6 до 11,5 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Вариант Q4_K_M обозначен как оптимальный компромисс и рассчитан примерно на 20–24 ГБ памяти, а Q8_0 обеспечивает качество, близкое к BF16, но требует 32–48 ГБ. Более сильное сжатие уменьшает требования к памяти, однако может снижать точность рассуждений и восприятия. Лицензия — Apache-2.0.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Muse-Glimmer-30B - GGUF Quants

This repository contains GGUF quants for meta-models/Muse-Glimmer-30B, created using llama.cpp. Muse Glimmer is a 30-billion-parameter multimodal model distilled from Muse Spark, purpose-built for autonomous agentic workflows, long-horizon multi-step reasoning, SWE-bench coding tasks, and reliable function calling on consumer hardware.


File Availability & Recommended Hardware

To run vision inputs, download one core model file (.gguf) along with one multimodal vision projector (mmproj-*.gguf).

Core Model Files

File NameSizeQuantizationRec. Memory / VRAMDescription
Muse-Glimmer-30B-Q8_0.gguf29.6 GBQ8_032 GB - 48 GBMaximum precision. Virtually lossless retention compared to BF16.
Muse-Glimmer-30B-Q6_K.gguf22.9 GBQ6_K28 GB - 32 GBNear-lossless output precision. Great for 32GB system/VRAM setup.
Muse-Glimmer-30B-Q5_K_M.gguf19.8 GBQ5_K_M24 GBHigh Quality balance. Ideal fit for GPUs with 24GB VRAM (e.g., RTX 3090/4090/5090).
Muse-Glimmer-30B-Q4_K_M.gguf16.9 GBQ4_K_M20 GB - 24 GBRecommended Sweet Spot. Optimal trade-off between speed, memory, and reasoning capacity.
Muse-Glimmer-30B-IQ4_NL.gguf16.1 GBIQ4_NL20 GBNon-Linear 4-bit importance matrix quantization. Strong performance under 17GB.
Muse-Glimmer-30B-IQ4_XS.gguf15.3 GBIQ4_XS18 GB - 20 GBExtra-small 4-bit iQuant for constrained VRAM environments.
Muse-Glimmer-30B-Q3_K_M.gguf14.0 GBQ3_K_M16 GB - 18 GBStandard 3-bit K-quant. Good option for 16GB VRAM cards.
Muse-Glimmer-30B-IQ3_M.gguf13.1 GBIQ3_M16 GB3-bit medium importance quant with better reasoning recovery than baseline Q3.
Muse-Glimmer-30B-IQ3_XS.gguf12.3 GBIQ3_XS14 GB - 16 GB3-bit extra-small iQuant for lower memory targets.
Muse-Glimmer-30B-IQ3_XXS.gguf11.5 GBIQ3_XXS12 GB - 16 GBHighly compressed 3-bit iQuant. Fits tight memory budgets.

Vision Projector Files (mmproj)

File NameSizePrecisionUsage
mmproj-Muse-Glimmer-30B-BF16.gguf3.85 GBBF16Full-precision ~1.8B ViT perception projector for maximum image fidelity.
mmproj-Muse-Glimmer-30B-Q8_0.gguf2.05 GBQ8_0Recommended. 8-bit quantized vision projector preserving high image understanding at nearly half the RAM.

Quickstart & Usage

1. llama.cpp CLI (With Vision Support)

To run the model with multimodal vision capability:

# Start server with vision support
llama-server \
  -m Muse-Glimmer-30B-Q4_K_M.gguf \
  --mmproj mmproj-Muse-Glimmer-30B-Q8_0.gguf \
  -c 131072 \
  --port 8080

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · llama.cpp

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
35308ff

0 моделей