Характеристики

Базовая модель: Kunoichi-DPO-v2-7B
Библиотека: transformers
Опубликована: 25 фев 2024

Ссылки

Kunocchini-7b-128k-test-GGUF-Imatrix

Генерация текстаТекст → текст3 профессии

Kunocchini-7b-128k-test — это объединённая текстовая causal language model, разработанная на основе SanjiWatsuki/Kunoichi-DPO-v2-7B и Epiculous/Fett-uccine-Long-Noodle-7B-120k-Context.

1 565скачиваний за 30 дней28лайковвеса обновлены4 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Автором публикации GGUF-квантизаций является Lewdiculous, при этом исходная объединённая модель создана Test157t. Модель предназначена прежде всего для генерации текста и ролевых сценариев; в README она описана как персональная модель для role-play и ежедневного использования.

Модель имеет размер около 7B параметров, архитектурно относится к семейству Mistral и объединяет исходные модели методом slerp с использованием mergekit. Заявлена поддержка контекста до 128k токенов, унаследованная от варианта Long Noodle с контекстом 120k, однако точные характеристики исходной архитектуры и языков в README не указаны. Представлены версии в формате GGUF с различными уровнями квантования и использованием Importance Matrix (Imatrix), что должно помогать сохранять качество при уменьшении размера; для запуска упоминаются llama.cpp и KoboldCpp, а IQ3_S требует KoboldCpp 1.59.1 или новее.

Сильными сторонами модели являются ориентация на ролевую генерацию, большой заявленный контекст и наличие оптимизированных GGUF-версий для локального запуска. Ограничения включают отсутствие подробных результатов оценки, точных данных о языковой поддержке и гарантий качества на всём контексте. Лицензия в README не указана, поэтому условия использования необходимо уточнять на страницах исходных моделей и публикации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[!TIP] Support: My upload speeds have been cooked and unstable lately. Realistically I'd need to move to get a better provider. If you want and you are able to... You can support my various endeavors here (Ko-fi). I apologize for disrupting your experience.

GGUF-Imatrix quantizations for Kunocchini-7b-128k-test.

UPDATED: Please download the v2 files that are now available. The new IQ4_NL and IQ4_XS quants were also added.

What does "Imatrix" mean?

It stands for Importance Matrix, a technique used to improve the quality of quantized models.

The Imatrix is calculated based on calibration data, and it helps determine the importance of different model activations during the quantization process. The idea is to preserve the most important information during quantization, which can help reduce the loss of model performance.

One of the benefits of using an Imatrix is that it can lead to better model performance, especially when the calibration data is diverse.

More information: [1] [2]

This has been my personal favourite and daily-driver role-play model for a while, so I decided to make new quantizations for it using the full F16-Imatrix data.

SillyTavern preset files are located here.

If you want any specific quantization to be added, feel free to ask.

All credits belong to the creator.

Base⇢ GGUF(F16)⇢ GGUF(Quants)

The new IQ3_S merged today has shown to be better than the old Q3_K_S, so I added that instead of the later. Only supported in koboldcpp-1.59.1 or higher.

Using llama.cpp-b2254.

For --imatrix data, imatrix-Kunocchini-7b-128k-test-F16.dat was used.

Original model information:

Thanks to @Epiculous for the dope model/ help with llm backends and support overall.

Id like to also thank @kalomaze for the dope sampler additions to ST.

@SanjiWatsuki Thank you very much for the help, and the model!

ST users can find the TextGenPreset in the folder labeled so.

image/jpeg

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

slices:
  - sources:
      - model: SanjiWatsuki/Kunoichi-DPO-v2-7B
        layer_range: [0, 32]
      - model: Epiculous/Fett-uccine-Long-Noodle-7B-120k-Context
        layer_range: [0, 32]
merge_method: slerp
base_model: SanjiWatsuki/Kunoichi-DPO-v2-7B
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: f77ff6b