/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
carnice-v1-9b-hermes-agent-stage2-merged
Библиотека
llama.cpp
Опубликована
4 апр 2026

Carnice-9b-GGUF

Генерация текстаТекст → текст6 профессий

Carnice-9b-GGUF — набор GGUF-сборок модели Carnice-9b, разработанной kai-os на основе Qwen/Qwen3.5-9B и специально дообученной для работы с Hermes-Agent.

1 574скачиваний за 30 дней61лайквеса обновлены4 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена прежде всего для локальных агентных сценариев, в которых требуется многошаговое взаимодействие с инструментами, включая терминал, файловую систему и браузер, а также корректное формирование действий в формате, ожидаемом Hermes-Agent.

Обучение было ориентировано не на обычный диалоговый стиль, а на tool-use и поведение автономного агента в многоходовых задачах. В обучающие данные входили Hermes-совместимые траектории, примеры восстановления общего reasoning после специализированного дообучения и дополнительный этап настройки под формат действий и использование инструментов в Hermes-Agent. Модель имеет размер 9B и поддерживает текстовую генерацию; сведения о языках, максимальном контексте и мультимодальных возможностях в README не указаны.

Репозиторий содержит три варианта квантизации: Q4_K_M размером около 5,3 ГБ для наиболее быстрого локального тестирования, Q6_K размером около 6,9 ГБ как компромисс между качеством и размером и Q8_0 размером около 8,9 ГБ для максимального качества среди GGUF-вариантов. Сборки предназначены для запуска через llama.cpp и являются самостоятельными объединёнными моделями, а не PEFT-адаптерами. Ограничения включают зависимость качества и скорости от выбранной квантизации и оборудования, а также специализированную ориентацию на Hermes-Agent, из-за которой поведение в универсальных чат-сценариях может не быть основной целью модели. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

banner

Carnice-9b-GGUF

GGUF builds of Carnice-9b, a Hermes-Agent-specialized model built from Qwen/Qwen3.5-9B and trained specifically for the Hermes-Agent harness.

This repo contains three quantized variants:

  • Carnice-9b-Q4_K_M.gguf
  • Carnice-9b-Q6_K.gguf
  • Carnice-9b-Q8_0.gguf

Quantizations

FileQuantSizeRecommended use
Carnice-9b-Q4_K_M.gguf4-bit5.3 GBfastest local testing
Carnice-9b-Q6_K.gguf6-bit6.9 GBbest quality/size balance
Carnice-9b-Q8_0.gguf8-bit8.9 GBhighest quality GGUF option

Source model

Merged source model:

What it was trained for

Carnice-9b was trained specifically around Hermes-Agent behavior rather than generic chat polish. The training mixture emphasized:

  • Hermes-native terminal/file/browser trajectories
  • tool-oriented multi-turn agent behavior
  • reasoning-repair data to recover general reasoning after the first Hermes-specific tuning pass
  • a second Hermes refresh stage to pull the model back toward harness-native action formatting and tool usage

llama.cpp

llama-cli -m Carnice-9b-Q6_K.gguf -p "Reply with exactly READY." -n 16

Notes

These are GGUF exports of the merged standalone Carnice model, not PEFT adapters.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
15925f8

0 моделей