duyntnet/llama-3-cat-8b-instruct-v1-imatrix-GGUF — набор квантизированных GGUF-версий модели Cat-llama3-instruct, разработанной на основе Llama 3 8B и дообученной TheSkullery.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Репозиторий содержит quantization модели TheSkullery/llama-3-cat-8b-instruct-v1 с использованием imatrix.
Модель предназначена для генерации текста в формате instruction-following, включая сценарии, где важны точное соблюдение системного промпта, полезность ответов и вовлечённость в заданный персонаж или сцену. Она ориентирована на ролевые диалоги и максимальное погружение в образ. Известный язык модели — английский; заявленная модальность — текстовая. Архитектура, размер базовой модели Llama 3 8B, формат GGUF и наличие квантизированных вариантов указаны в README, однако конкретные уровни квантизации и требования к ресурсам не приведены.
Сильными сторонами заявлены высокая приверженность системным инструкциям, стремление предоставлять полезную информацию и выразительное ролевое взаимодействие. Ограничения, результаты тестирования и точные параметры контекста не указаны. Лицензия обозначена как other, без дополнительных условий в представленном README.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Quantizations of https://huggingface.co/TheSkullery/llama-3-cat-8b-instruct-v1
Cat-llama3-instruct is a llama 3 8b finetuned model focusing on system prompt fidelity, helpfulness and character engagement. The model aims to respect system prompt to an extreme degree, provide helpful information regardless of situations, and offer maximum character immersion (Role Play) in given scenes.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.