Характеристики

Лицензия: Apache 2.0
Базовая модель: Blue-Orchid-2x7b
Опубликована: 24 июн 2024

Ссылки

Blue-Orchid-2x7b-GGUF

Генерация текстаТекст → текст3 профессии

QuantFactory/Blue-Orchid-2x7b-GGUF — квантизированная версия модели nakodanei/Blue-Orchid-2x7b, созданная QuantFactory с использованием llama.cpp.

1 278скачиваний за 30 дней1лайквеса обновлены24 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это MoE-модель на архитектуре Mistral, ориентированная прежде всего на ролевое взаимодействие и генерацию художественного текста. Базовой моделью указана SanjiWatsuki/Kunoichi-DPO-v2-7B.

Модель использует двухэкспертную структуру: один эксперт объединяет преимущественно модели для roleplay, включая LimaRP, Limamono, Noromaid 0.4 DPO и good-robot, а второй — модели для написания историй, включая Erebus, Holodeck, Dans-AdventurousWinds-Mk2, Opus, Ashhwriter и good-robot. Поэтому она предназначена для диалогов от лица персонажей, ролевых сценариев и творческого повествования. В README не указаны поддерживаемые языки, размер контекста, точный формат квантизации и модальности; по назначению это текстовая модель. Рекомендуется шаблон LimaRP, также должен работать шаблон Alpaca. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

QuantFactory/Blue-Orchid-2x7b-GGUF

This is quantized version of nakodanei/Blue-Orchid-2x7b created using llama.cpp

Model Description

Roleplaying focused MoE Mistral model.

One expert is a merge of mostly RP models, the other is a merge of mostly storywriting models. So it should be good at both. The base model is SanjiWatsuki/Kunoichi-DPO-v2-7B.

Expert 1 is a merge of LimaRP, Limamono, Noromaid 0.4 DPO and good-robot.
Expert 2 is a merge of Erebus, Holodeck, Dans-AdventurousWinds-Mk2, Opus, Ashhwriter and good-robot.

Prompt template (LimaRP):

### Instruction:
{system prompt}

### Input:
User: {prompt}

### Response:
Character:

Alpaca prompt template should work fine too.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 0b0fba3