Katarau-9B — GGUF
GGUF quantizations of katafiek/Katarau-9B-ru-RP-nsfw.
| Quant | Bits |
|---|---|
| Q4_K_M | ~4.8 |
| Q5_K_M | ~5.8 |
| Q6_K | ~6.6 |
| Q8_0 | ~8.5 |
Katarau-9B-ru-RP-nsfw-GGUF — это квантизированная GGUF-версия модели Katarau-9B-ru-RP-nsfw, разработанной katafiek.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста, включая ролевые сценарии и диалоги на русском и английском языках. По указанным тегам она ориентирована на менее ограниченную генерацию контента для roleplay-сценариев, однако конкретные поведенческие особенности базовой модели в README не раскрыты.
Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0 с приблизительной разрядностью от 4,8 до 8,5 бит. Формат GGUF предназначен для локального запуска совместимыми инструментами, но требования к памяти, архитектура, размер контекста, точное число параметров и поддерживаемые модальности в README не указаны. Модель является текстовой и относится к задаче генерации текста.
Модель поддерживает Apache License 2.0. Основные ограничения связаны с отсутствием в README подробностей о качестве, точности, безопасных сценариях применения, контекстном окне и рекомендуемых параметрах запуска; выбор варианта квантизации, вероятно, влияет на баланс между размером, требованиями к ресурсам и качеством генерации.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
GGUF quantizations of katafiek/Katarau-9B-ru-RP-nsfw.
| Quant | Bits |
|---|---|
| Q4_K_M | ~4.8 |
| Q5_K_M | ~5.8 |
| Q6_K | ~6.6 |
| Q8_0 | ~8.5 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.