Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 14,5 ГБ
Лицензия: Apache 2.0
Архитектура: mistral · dense
Базовая модель: kainaticulous-rp-7b-v0.2
Библиотека: transformers
Опубликована: 11 дек 2024

Ссылки

KPT-7B

Генерация текстаТекст → текст

KPT-7B — объединённая 7,1-миллиардная модель Mistral для генерации текста и ролевого общения с контекстом до 32 768 токенов.

19скачиваний за 30 дней2лайкавеса обновлены13 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KPT-7B — объединённая модель для генерации текста на базе Mistral, созданная автором kainatq с помощью mergekit. В слиянии TIES использована kainatq/kainaticulous-rp-7b-v0.2 как базовая модель, а также ResplendentAI/DaturaCookie_7B, ResplendentAI/Asherah_7B, ResplendentAI/Aura_v3_7B и ResplendentAI/Persephone_7B. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов.

Модель предназначена для текстовой генерации в сценариях ролевого общения и RPG, включая диалоги персонажей и интерактивные сюжетные сцены. В метаданных отмечена ориентация на NSFW-контент. Репозиторий использует формат safetensors и библиотеку Transformers; автор также указывает на отдельные GGUF-варианты, размещённые в другом репозитории. Лицензия — Apache-2.0.

Сценарии применения

ролевые диалоги с персонажами
генерация сцен для RPG
интерактивное продолжение сюжетов
создание диалогов для SillyTavern
генерация откровенного ролевого текста

Ограничения

Модель ориентирована на ролевую генерацию и может выдавать откровенный контент; она не предназначена для гарантированно точных фактических ответов. GGUF-варианты находятся в отдельном репозитории.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

careful,this model is prone to output nsfw contents.

gguf by wonderful user @mradermacher

thanks to mradermacher for creating gguf variants of my model. get it here mradermacher/KPT-7B-GGUF

merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the TIES merge method using kainatq/kainaticulous-rp-7b-v0.2 as a base.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

models:
  - model: kainatq/kainaticulous-rp-7b-v0.2
    #no parameters necessary for base model
  - model: ResplendentAI/Aura_v3_7B
    parameters:
      density: 0.6
      weight: 0.25
  - model: ResplendentAI/DaturaCookie_7B
    parameters:
      density: 0.6
      weight: 0.25
  - model: ResplendentAI/Asherah_7B
    parameters:
      density: 0.6
      weight: 0.25
  - model: ResplendentAI/Persephone_7B
    parameters:
      density: 0.6
      weight: 0.25
merge_method: ties
base_model: kainatq/kainaticulous-rp-7b-v0.2
parameters:
  normalize: false
  int8_mask: true
dtype: float16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: 6983834