Характеристики

Лицензия: MIT
Базовая модель: Ornith-1.5-9B
Библиотека: transformers
Опубликована: 20 авг 2026

Ссылки

Ornith-1.5-9B-IQ-Hybrid

Генерация текстаТекст → текст9 профессий

Квантованная в GGUF сборка Ornith-1.5-9B для генерации текста и диалогов на потребительских видеокартах с 8 ГБ видеопамяти.

796скачиваний за 30 дней0лайковвеса обновлены30 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

JASouth публикует квантованную сборку языковой модели Ornith-1.5-9B от Ornith AI. Это вариант IQ-Hybrid в формате GGUF с калибровкой по importance matrix и смешанной точностью слоёв, рассчитанный на запуск на потребительских видеокартах с 8 ГБ видеопамяти. Модель предназначена для генерации текста и диалогового использования; исходная модель описана как подходящая для программирования, агентных задач и работы с инструментами в длинном контексте.

В репозитории приведены варианты размером 5,38 и 6,55 ГБ и результаты сравнения perplexity на Wikitext-2. Автор сообщает, что вариант 5,38 ГБ показывает perplexity 9,2262 против 9,4833 у официального Q6_K и помещается в ограничения 8 ГБ VRAM; также заявлена поддержка длинного контекста, однако точная длина контекста исходной модели в доступных данных не приведена. Лицензия — MIT. Результаты производительности и качества являются заявлениями автора и зависят от конфигурации запуска.

Сценарии применения

диалоговое общение с локальной языковой моделью
генерация и продолжение текста
написание и объяснение кода
выполнение агентных задач и запросов к инструментам
запуск языковой модели на видеокарте с 8 ГБ видеопамяти

Ограничения

Сборка заявлена для запуска на 8 ГБ VRAM, но доступная видеопамять и максимальная длина контекста зависят от выбранного файла и конфигурации. Результаты perplexity приведены автором на Wikitext-2 и сами по себе не гарантируют качество на других задачах.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Update: If I get enought tips I will release the framework, my experiments and my conclusions about quantizations. If you want information for free, start a discussion

🦅 Ornith-1.5-9B IQ-Hybrid Quantization (8GB VRAM Optimized)

This repository provides a custom IQ-Hybrid quantization engineered to maximize response coherence and perplexity while fitting comfortably within 8 GB VRAM consumer GPUs.

By using an importance-matrix (imatrix) driven greedy allocation pipeline with class-specific quantization ladders, this build achieves better perplexity than the official Q6_K quantization while saving over 1.47 GB of disk and VRAM footprint.

📊 Perplexity & VRAM Benchmark

Evaluated using llama-perplexity on standard wikitext-2-raw (512 context chunks):

File	Size	BPW	PPL (Wikitext-2)	8GB VRAM Usability
Ornith-1.5-9B-SHQ-6.5GB	6.55 GB	~6.1	8.9089	Full GPU Offload (up to 16k context)
Ornith-1.5-9B-SHQ-5.4GB	5.38 GB	~5.0	9.2262	Full GPU Offload (Long context 32k+)
Official Q6_K	6.85 GB	6.56	9.4833	Tight (Risk of OOM on 8GB VRAM)
Official Q5_K_M	6.40 GB	5.50	~9.70+	Fits in 8GB

⚡ Key Highlights

Outperforms Official Q6_K with 21% Less Memory: Achieves superior language modeling accuracy (lower PPL) than the official 6.85 GB build while reducing file size down to 5.38 GB.
Engineered for 8GB GPUs: Leaves ~1.8–2.0 GB of VRAM headroom on 8GB hardware (RTX 3060/4060, Intel Arc A750, RX 6600/7600), allowing full layer offloading and extended context lengths (32k+ tokens) without CPU/RAM spillover.
Non-Linear Vocabulary Retention: The large token-embedding and output matrices are preserved using Gaussian-mapped IQ4_NL, capturing semantic fidelity far better than traditional linear block quantizers.
Protected Attention & SSM States: Critical attention projections, Mamba/SSM recurrent parameters, and layer norms are shielded in high-precision formats (Q6_K, Q8_0, and F32), channeling aggressive compression only into less sensitive feed-forward layers.

This project was developed to push the limits of modern architectures on consumer 8GB hardware. If you found this optimization useful and would like to support future quantizations and hardware upgrades, you can support me here:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

Репозиторий недоступен на Hugging Face.

Ревизия весов: e9a3bbc