Характеристики

Лицензия: MIT
Базовая модель: Ornith-1.5-35B-A3B
Опубликована: 2 окт 2026

Ссылки

Hugging Face

Ornith-1.5-Reap50-12Gcard_mixQuant

TSalpha

Генерация текстаТекст → текст9 профессий

Квантованный вариант MoE-модели Ornith-1.5-35B-A3B для генерации текста и диалогов на видеокартах с 12 ГБ памяти.

604скачиваний за 30 дней2лайкавеса обновлены2 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TSalpha выпустил квантованный вариант Ornith-1.5-35B-A3B с миксом уровней квантования и методом REAP-50, рассчитанный на запуск на видеокартах с 12 ГБ памяти. Это MoE-модель для генерации текста и диалогов; исходная модель — ornith-ai/Ornith-1.5-35B-A3B, а в README также указан вариант Ttimms/Ornith-1.5-35B-A3B-REAP-50-bf16. Репозиторий содержит веса в формате GGUF для llama.cpp.

В README заявлена работа с контекстом до 256K токенов при соответствующих параметрах запуска и приведены результаты сравнения perplexity с исходной моделью и другими вариантами квантования. По данным автора, файл IQ4_XS занимает 7,39 ГиБ; тестирование проводилось на ноутбучной RTX 5070 Ti с 12 ГБ памяти. Модель подходит для диалогов и агентного программирования, однако скорость и качество зависят от оборудования и выбранных параметров. Лицензия — MIT.

Сценарии применения

диалоги с языковой моделью локально
генерация текста через llama.cpp
агентное программирование
запуск большой MoE-модели на видеокарте с 12 ГБ памяти

Ограничения

Результаты и скорость зависят от оборудования и параметров запуска; указанные в README тесты проводились на ноутбучной RTX 5070 Ti. Контекст до 256K токенов заявлен при настройке параметров llama.cpp и не гарантирует одинаковую производительность на других системах.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

A fine mix-quantified and REAP-50 version for Ornith-1.5 that is specially designed for 12GB cards.

Model Details

Model Description

**Base model: Ornith-1.5-35B-A3B Ttimms/Ornith-1.5-35B-A3B-REAP-50-bf16
**Quantized by :TSalpha
**License: mit
**Model type: MoE

quantify methods

**layer0-14: IQ2_XXS
**layer15-30: IQ3_XXS
**layer31: IQ3_S
**layer32-39: IQ4_XS
**Shared experts(40layers): IQ4_XS
**attn_qkv / attn_gate、attn_q/k/v/o:Q8_0
**ssm_alpha / ssm_beta / ssm_out:Q8_0
**token_embd / output IQ4_XS
**all norm、ssm_a、ssm_conv1d、ssm_dt.bias、ffn_gate_inp(_shexp)、output_norm F32

Uses

**The model runs well inside a llama.cpp. And maximum context of 256K can be reached with params below on 12G card.
**Suggested params: -c 262144 -ngl 99 -ctk q5_1 -ctv q5_0 -fa on --jinja -np 1 --temp 1 --top-k 20 --top-p 0.95 --min-p 0.10

Evaluation

-*10 chunk ppl comparison with original f16(lower means better performance)

**model-----------------size--------ppl
**f16--------------------- 34.57 GiB 2.3849
**IQ4_XS(this model)7.39 GiB 2.4425
**Q3_K------------------ 9.35 GiB 2.4958
**q2-60pct + imatrix- 8.03 GiB 2.5112
**Q4 swich to MXFP4 7.39 GiB 2.5335
**24IQ2+16IQ4-------- 7.40 GiB 2.5537
the other 5 files are not here.

Hardware

Test runs on RTX5070ti laptop GPU(12G) with 90token/s of max speed. Real agent coding have an output approxly 50t/s tested on Kimicode.

License & Credits

 MIT (inherited from `ornith-ai/Ornith-1.5-35B-A3B`).

 - Base model: [ornith-ai/Ornith-1.5-35B-A3B](https://huggingface.co/ornith-ai/Ornith-1.5-35B-A3B)
 - Pruned checkpoint:
        [Ttimms/Ornith-1.5-35B-A3B-REAP-50-bf16](https://huggingface.co/Ttimms/Ornith-1.5-35B-A3B-REAP-50-bf16)
   (REAP method: [CerebrasResearch/reap](https://github.com/CerebrasResearch/reap))
 - Quantization & imatrix: TSalpha (local llama.cpp)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Можно запустить

Подбираем GPU…

Ревизия весов: 6d5fac5