Характеристики

Контекст: 262 144 токена
Размер весов: 18,7 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_5 · dense
Библиотека: transformers
Опубликована: 11 июл 2026

Ссылки

Ternary-Bonsai-27B-AWQ-4bit

Изображение и текст → текст6 профессий

Ternary-Bonsai-27B-AWQ-4bit — квантованная 4-битная версия модели Ternary-Bonsai-27B, опубликованная разработчиком prism-ml.

1 607скачиваний за 30 дней33лайкавеса обновлены14 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для диалоговых сценариев и задач image-text-to-text, то есть может использовать текстовые и, вероятно, визуальные входные данные для генерации текстовых ответов.

Модель содержит 27 млрд параметров и представлена в формате AWQ 4-bit, что снижает требования к памяти по сравнению с полноразмерной версией. Для запуска рекомендуется библиотека Transformers и сервер sglang; README также указывает поддержку распределённого запуска на нескольких GPU. Конкретная архитектура, максимальная длина контекста, список поддерживаемых языков и точные возможности работы с изображениями не указаны.

К сильным сторонам относятся крупный размер модели, 4-битная оптимизация и возможность эффективного развёртывания для диалоговых приложений. Ограничения и результаты бенчмарков в предоставленных данных не описаны, поэтому качество на конкретных задачах оценить нельзя. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Ternary-Bonsai-27B — AWQ 4-bit

Serve (sglang)

pip install sglang

python -m sglang.launch_server \
    --model prism-ml/Ternary-Bonsai-27B-AWQ-4bit \
    --port 8000 \
    --dtype bfloat16

Use

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"prism-ml/Ternary-Bonsai-27B-AWQ-4bit","messages":[{"role":"user","content":"Who are you?"}],"max_tokens":100}'

Multi-GPU (8× H100)

# TP=2 DP=4 — 4 replicas, each split across 2 GPUs (throughput sweet spot)
python -m sglang.launch_server \
    --model prism-ml/Ternary-Bonsai-27B-AWQ-4bit \
    --tp-size 2 --dp-size 4 \
    --load-balance-method total_tokens \
    --port 8000 --dtype bfloat16

# TP=2 — single replica split across 2 GPUs
python -m sglang.launch_server \
    --model prism-ml/Ternary-Bonsai-27B-AWQ-4bit \
    --tp-size 2 \
    --port 8000 --dtype bfloat16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Готовая квантизация поддерживается только для текстовых LLM (vLLM).

Класс архитектуры: Qwen3_5ForConditionalGeneration
Ревизия весов: 86ef694