Характеристики

Контекст: 262 144 токена
Размер весов: 53,8 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_5 · dense
Базовая модель: Bonsai-27B-gguf
Библиотека: mlx
Опубликована: 19 июл 2026

Ссылки

Hugging Face

Bonsai-27B-MLX-BF16-Config-Repaired

TiGa-RCE

Генерация текстаТекст → текст3 профессии

Архивная MLX-версия Bonsai 27B в BF16 для воспроизводимых исследований квантования на Apple Silicon.

173скачиваний за 30 дней0лайковвеса обновлены27 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TiGa-RCE/Bonsai-27B-MLX-BF16-Config-Repaired — архивный базовый чекпойнт для эксперимента по преобразованию и квантованию Bonsai 27B на Apple Silicon. Его подготовила Technologies Brewster Jennings du Canada на основе prism-ml/Bonsai-27B-gguf; модель относится к семейству Qwen3.6-27B и использует плотную архитектуру Qwen3_5ForConditionalGeneration. Тензоры были механически преобразованы в формат MLX safetensors: 11 частей и 851 индексированный тензор. В конфигурации исправлен параметр числа скрытых MTP-слоёв: он установлен в 0, поскольку исходная конфигурация заявляла один слой, но в весах не было соответствующих тензоров.

Репозиторий предназначен для воспроизводимых локальных исследований квантования и служит исходной точкой для последующих сборок Q4, Q8, oQ4 и oQ8. Это не рекомендуемый чекпойнт для инференса: его размер в BF16 составляет около 50 ГБ, поэтому он не помещался на 32-гигабайтном Apple Silicon компьютере, использованном при подготовке. Эксперимент остаётся незавершённым, а один общий эксперимент с 2-битным квантованием не прошёл проверки детерминированного вывода. Лицензия — Apache-2.0.

Сценарии применения

подготовка базы для локального эксперимента по квантованию Bonsai 27B
воспроизведение преобразования GGUF-модели в MLX safetensors
проверка структуры и происхождения контрольной точки перед созданием сборок Q4 или Q8

Ограничения

Это незавершённая экспериментальная базовая версия, не рекомендованная для инференса; её объём около 50 ГБ превышает память 32-гигабайтного Apple Silicon хоста, на котором она была создана. Эксперимент с общей 2-битной квантизацией не прошёл проверки детерминированного вывода.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Bonsai 27B MLX BF16 Config-Repaired

Experiment family and current status

This is the archival baseline for one unfinished MLX/oMLX compatibility and quantization experiment:

BF16 baseline — this repository
oQ2e S32 calibration smoke
oQ4e S32 calibration smoke

These public repositories are reproducible checkpoints, not the conclusion of the experiment. The experiment remains incomplete until maintained MLX/MLX-LM/oMLX support can load and generate through the relevant Bonsai paths without the current local compatibility patches, explicit calibration proxies, or imatrix-boundary workarounds. The larger predeclared evaluations follow that runtime gate.

This is a mechanically converted MLX BF16 archival baseline for the Bonsai 27B quantization experiment on Apple Silicon. It exists to make later Q4, Q8, oQ4, and oQ8 builds reproducible without treating an opaque local directory as the source of truth.

It is not a recommended inference checkpoint. The 50 GB BF16 footprint cannot be run on the 32 GB Apple Silicon host used to create it, so this upload establishes structure and provenance, not runtime quality.

Provenance

Upstream source: prism-ml/Bonsai-27B-gguf
Source revision: 0cf7e3d21581b169b4df1de8bf01316000e2fbb7
Source file: Bonsai-27B-F16.gguf
Source SHA-256: d4a381a6d07131c34af888607bdbda49fc885c97673a0d22aa3e0f0284bba566
Base architecture: Qwen/Qwen3.6-27B through Bonsai 27B
Conversion output: MLX-compatible safetensors, 11 shards, 851 indexed tensors
License: Apache-2.0. Upstream LICENSE.txt and NOTICE.txt are retained.

The conversion preserved tensor values. One configuration-only repair was made: the source declares one MTP layer but includes no mtp.* tensor. The derived config.json sets text_config.mtp_num_hidden_layers to 0; the untouched configuration is retained as config.pre-mtp-repair.json. See MTP_CONFIGURATION_REPAIR.md.

Integrity

output-sha256.txt records SHA-256 hashes for every model shard and core metadata file. PROVENANCE.json records the source, structural checks, and local artifact hashes. The current derived config.json hash is 4dd1fd34daa8916c5eecc8e6a9ca9ce3564226518704768efe9b76d4deb34b2f.

Intended Use

Use this only as a reproducible conversion baseline for a controlled local quantization study. Follow-on releases should publish their conversion recipe, calibration settings, evaluation results, and exact artifact hashes. A generic 2-bit affine experiment from this study failed deterministic output screens and is intentionally not distributed as a usable model.

Attribution

Created by Technologies Brewster Jennings du Canada for the Bonsai MLX quantization experiment. Bonsai is created by Prism ML and derived from Qwen3.6-27B. Please consult the upstream Bonsai card for original model limitations, benchmarks, and citations.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: Qwen3_5ForConditionalGeneration
Ревизия весов: 1a760b1