/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
19,5 ГБ
Лицензия
MIT
Архитектура
qwen3_5_moe · dense
Базовая модель
Ornith-1.5-35B-A3B
Библиотека
mlx
Опубликована
24 авг 2026

Ornith-1.5-35B-A3B-MTPLX-4bit

Генерация текстаТекст → текст8 профессий

Ornith-1.5-35B-A3B-MTPLX-4bit — это 4-битная MLX-квантизация модели Ornith-1.5-35B-A3B, разработанной ornith-ai.

360скачиваний за 30 дней2лайкавеса обновлены24 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и может использоваться в MLX-LM для авторегрессионной генерации, а также с MTPLX для ускоренного многошагового предсказания токенов и speculative decoding на компьютерах Apple Silicon.

В основе лежит разреженная mixture-of-experts-архитектура на 35 млрд параметров, из которых для каждого токена активируется примерно 3 млрд. Используется архитектура Qwen3_5MoeForConditionalGeneration, сохранена встроенная односегментная MTP-голова, а также включена vision tower, поэтому модель поддерживает текстовые и визуальные компоненты. В метаданных указан английский язык. Размер контекстного окна и точные мультимодальные сценарии не указаны.

Основные характеристики релиза — 4-битная affine-квантизация с размером группы 64 для основной модели и MTP-компонента; нормализационные слои MTP и vision tower сохранены в формате BF16. Такая конфигурация снижает требования к памяти и ориентирована на эффективный запуск, однако квантизация может влиять на качество по сравнению с полной версией модели. Использование MTPLX требует соответствующего окружения и ориентировано на Apple Silicon; без speculative decoding модель также запускается через MLX-LM. Данные о результатах тестирования, производительности, ограничениях контекста и качестве vision-функций отсутствуют.

Производная модель распространяется по лицензии MIT, унаследованной от базовой модели. При поставке продукта или сервиса на базе MTPLX необходимо соблюдать лицензию Apache-2.0 этого runtime и указывать атрибуцию MTPLX.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Ornith-1.5-35B-A3B-MTPLX

A 4-bit MLX quantization of ornith-ai/Ornith-1.5-35B-A3B, packaged for MTPLX native multi-token speculative decoding on Apple Silicon.

Ornith-1.5-35B-A3B is a 35B-parameter mixture-of-experts model activating approximately 3B parameters per token. This release preserves its native one-layer MTP head and includes the vision tower.

Quantization

  • Main model: 4-bit affine, group size 64
  • MTP sidecar: 4-bit affine, group size 64 (mtp.safetensors)
  • MTP norms: BF16 (non-quantized 1-D tensors)
  • Vision tower: BF16 (model-vision.safetensors)
  • Architecture: Qwen3_5MoeForConditionalGeneration
  • MTP contract: Qwen3-Next / delta norm encoding

The MTP sidecar contains 778 quantized matrix weights and 7 BF16 normalization tensors. It is discovered automatically from the model directory.

Usage with MTPLX

mtplx start cli \
  --model <path-to-this-model>

# Optional: benchmark/tune the MTP draft depth
mtplx tune --model <path-to-this-model> --retune

The model can also be loaded by MLX-LM for autoregressive text generation, without MTPLX speculative decoding.

Provenance and licensing

This repository contains a quantized derivative of the base model. Please follow the upstream model license and usage conditions. MTPLX attribution is required when shipping a product or service built on MTPLX:

Powered by MTPLX
https://github.com/youssofal/MTPLX

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры
Qwen3_5MoeForConditionalGeneration
Ревизия весов
44d09b7

0 моделей