/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Ornith-1.5-35B-A3B-Abliterated
Библиотека
gguf
Опубликована
20 авг 2026

Ornith-1.5-35B-A3B-Abliterated-GGUF

Генерация текстаТекст → текст4 профессии

Ornith-1.5-35B-A3B-Abliterated-GGUF — набор динамически квантованных GGUF-версий языковой модели Ornith-1.5-35B-A3B-Abliterated.

5 287скачиваний за 30 дней6лайковвеса обновлены20 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Набор подготовлен пользователем alztrk на основе модели Ornith-1.5-35B-A3B от ornith-ai и предназначен для локальной генерации текста в Ollama, LM Studio и llama.cpp.

Базовая модель имеет гибридную архитектуру с 40 слоями и конфигурацию MoE на 35 млрд параметров, из которых около 3 млрд активируются на токен. Вариант Abliterated создан с помощью направленной абляции: из матриц attention и MLP down-projection удалены направления, связанные с отказами в ответах. Заявлены языки English, Turkish и Chinese; модель относится к категории text-generation. Контекст в README явно не указан, но пример запуска использует 8192 токена.

Доступны варианты Dynamic Q3_K_M размером около 15,61 ГБ, Q4_K_M около 19,71 ГБ, Q5_K_M около 23,03 ГБ и Q8_0 около 34,37 ГБ. Q4_K_M описан как сбалансированный вариант для GPU с 12–16 ГБ VRAM, Q3_K_M требует меньше памяти, а Q8_0 обеспечивает более высокую точность. Ограничениями являются необходимость локального оборудования и отсутствие подробных данных о качестве, производительности и поддерживаемых модальностях; указанный вариант ориентирован на текст и не заявляет мультимодальные возможности. Производный исходный проект распространяется по лицензии Apache 2.0 / MIT.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Ornith-1.5-35B-A3B-Abliterated-GGUF

Official Dynamic GGUF quantization suite of alztrk/Ornith-1.5-35B-A3B-Abliterated (derived from ornith-ai/Ornith-1.5-35B-A3B).

Overview

Ornith-1.5-35B-A3B-Abliterated is created through directional ablation surgery across all 40 hybrid layers, orthogonally projecting refusal directions out from attention and MLP down-projection matrices.

This dedicated repository provides optimized Dynamic GGUF quantizations for local inference in Ollama, LM Studio, and Llama.cpp.


Quantization Details

File NameFormatSizeDescription
Ornith-1.5-35B-Abliterated-Dynamic-Q4_K_M.ggufQ4_K_M (Dynamic)~19.71 GBBalanced performance for 12GB - 16GB VRAM GPUs.
Ornith-1.5-35B-Abliterated-Dynamic-Q5_K_M.ggufQ5_K_M (Dynamic)~23.03 GBHigher precision retention.
Ornith-1.5-35B-Abliterated-Dynamic-Q3_K_M.ggufQ3_K_M (Dynamic)~15.61 GBLower memory footprint.
Ornith-1.5-35B-Abliterated-Q8_0.ggufQ8_0~34.37 GBHigh precision reference quantization.

How to Run

1. Using Ollama

ollama run hf.co/alztrk/Ornith-1.5-35B-A3B-Abliterated-GGUF:Ornith-1.5-35B-Abliterated-Dynamic-Q4_K_M.gguf

2. Using LM Studio / Llama.cpp

llama-cli.exe -hf alztrk/Ornith-1.5-35B-A3B-Abliterated-GGUF -hff Ornith-1.5-35B-Abliterated-Dynamic-Q4_K_M.gguf -p "<|im_start|>user\nHello!<|im_end|>\n<|im_start|>assistant\n" -ngl 24 -c 8192

License & Attribution

Derived from ornith-ai/Ornith-1.5-35B-A3B, licensed under the Apache 2.0 / MIT License.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
72795cc

0 моделей