/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Holo-3.1-35B-A3B
Опубликована
3 июн 2026

Holo-3.1-35B-A3B-GGUF

Изображение и текст → текст7 профессий

Holo-3.1-35B-A3B-GGUF — набор квантизированных версий модели Hcompany/Holo-3.1-35B-A3B, подготовленный пользователем barozp для запуска через llama.cpp.

1 010скачиваний за 30 дней1лайквеса обновлены3 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это мультимодальная vision-language модель на архитектуре Qwen3.5 MoE, предназначенная прежде всего для computer-use агентов, работы со скриншотами и сценариев, где требуется анализ изображений вместе с текстом. Заявлена поддержка английского языка и обработка входов в формате «изображение-текст». Контекстное окно составляет до 262 144 токенов.

Модель содержит 35 млрд параметров суммарно, при этом в вычислениях активно используется около 3 млрд параметров благодаря архитектуре MoE. Репозиторий предлагает варианты квантизации от 2 до 8 бит с примерным размером файлов от 12 до 39 ГБ, а также отдельный F16-файл mmproj размером около 0,9 ГБ для мультимодальной обработки. Доступна и BF16-версия размером около 69,4 ГБ в исходном репозитории. Квантизация выполнена с помощью llama-quantize, при этом использована предварительно рассчитанная imatrix.

Сильными сторонами являются сочетание мультимодального ввода, специализация на компьютерном управлении, большой контекст и возможность выбрать компромисс между качеством и требованиями к памяти. Ограничения связаны с необходимостью совместимого окружения llama.cpp, отдельного vision-проектора для работы с изображениями и значительными требованиями к дисковому пространству и памяти, зависящими от выбранной квантизации. Модель распространяется по лицензии Apache 2.0.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Holo-3.1-35B-A3B — GGUF Quantizations

GGUF quantizations of Hcompany/Holo-3.1-35B-A3B for use with llama.cpp.

About the Model

  • Architecture: Qwen3.5 MoE (35B total, ~3B active parameters)
  • Type: Vision-Language Model (VLM) for computer use agents
  • Context: 262,144 tokens
  • License: Apache 2.0

Note: BF16 GGUF and imatrix sourced from Hcompany/Holo-3.1-35B-A3B-GGUF.

Available Files

FilenameQuantBitsSize (est.)
Holo-3.1-35B-A3B-Q2_K.ggufQ2_K2~12 GB
Holo-3.1-35B-A3B-Q3_K_S.ggufQ3_K_S3~15 GB
Holo-3.1-35B-A3B-Q3_K_M.ggufQ3_K_M3~17 GB
Holo-3.1-35B-A3B-Q3_K_L.ggufQ3_K_L3~18 GB
Holo-3.1-35B-A3B-IQ3_XXS.ggufIQ3_XXS3~14 GB
Holo-3.1-35B-A3B-IQ3_S.ggufIQ3_S3~15 GB
Holo-3.1-35B-A3B-Q4_K_S.ggufQ4_K_S4~20 GB
Holo-3.1-35B-A3B-Q4_K_M.ggufQ4_K_M4~22 GB
Holo-3.1-35B-A3B-Q5_K_S.ggufQ5_K_S5~24 GB
Holo-3.1-35B-A3B-Q5_K_M.ggufQ5_K_M5~26 GB
Holo-3.1-35B-A3B-Q6_K.ggufQ6_K6~30 GB
Holo-3.1-35B-A3B-Q8_0.ggufQ8_08~39 GB
mmproj-Holo-3.1-35B-A3B-F16.ggufF1616~0.9 GB

BF16 GGUF (69.4 GB) available at source repo.

Usage

# Text + Vision inference
huggingface-cli download barozp/Holo-3.1-35B-A3B-GGUF Holo-3.1-35B-A3B-Q4_K_M.gguf --local-dir ./
huggingface-cli download barozp/Holo-3.1-35B-A3B-GGUF mmproj-Holo-3.1-35B-A3B-F16.gguf --local-dir ./

llama-cli \
  -m Holo-3.1-35B-A3B-Q4_K_M.gguf \
  --mmproj mmproj-Holo-3.1-35B-A3B-F16.gguf \
  --jinja \
  -ngl 99 \
  -c 32768 \
  --image screenshot.png

Quantization Details

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
346b23f

0 моделей