Характеристики

Контекст: 131 072 токена
Параметры: 22 млрд
Размер весов: 44,5 ГБ
Лицензия: Своя лицензия
Архитектура: mistral · dense
Базовая модель: Cydonia-22B-v1.1
Библиотека: transformers
Опубликована: 29 сен 2024

Ссылки

Lite-Cydonia-22B-v1.1-75-25

Генерация текстаТекст → текст6 профессий

Слитая 22-миллиардная модель Mistral для диалогов и творческой генерации текста с более сбалансированным поведением по сравнению с Cydonia.

41скачиваний за 30 дней0лайковвеса обновлены30 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Lite-Cydonia-22B-v1.1-75-25 — это слитая модель для генерации текста и диалогов, созданная автором knifeayumu с помощью mergekit. В слиянии использованы TheDrummer/Cydonia-22B-v1.1 с весом 75% и mistralai/Mistral-Small-Instruct-2409 с весом 25%; метод — task arithmetic. Модель имеет плотную архитектуру Mistral, 22 млрд параметров и контекст до 131 072 токенов.

Модель предназначена для диалогов и творческой генерации с менее выраженным уклоном в «злые» ответы по сравнению с исходной Cydonia. По словам автора, начальные проверки показали, что модель реже отвечает на провокационные вопросы без дополнительного убеждения, но автор также отмечает, что она может быть недостаточно умной и генерации могут оставаться предсказуемыми. Репозиторий содержит веса Safetensors; лицензия указана как other, поэтому условия использования следует уточнить в карточке модели и у авторов базовых моделей.

Сценарии применения

ведение диалогов с языковой моделью
творческое написание историй и сцен
генерация разнообразных вариантов ответа
ответы на вопросы в разговорном формате

Ограничения

Автор отмечает, что модель может быть недостаточно умной и что без дополнительного убеждения она обычно не отвечает на провокационные «злые» вопросы; поведение и разнообразие ответов требуют проверки под конкретный сценарий. Указана лицензия other, поэтому условия использования нужно уточнить по исходным моделям и карточке репозитория.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

The Drummer turns into a Joshi Youchien "A balancing act between smart do-gooders and creative evil-doers."

The Drummer turns into a Joshi Youchien

This is a merge of pre-trained language models created using mergekit.

GGUF quants : knifeayumu/Lite-Cydonia-22B-v1.1-75-25-GGUF

Inspiration

I thought both BeaverAI/Cydonia-22B-v1f-GGUF and BeaverAI/Cydonia-22B-v1e-GGUF versions were a bit too evil. The sense of morality was too screwed up, and it was quite deterministic (swipes didn't offer much variety) compared to the base model. Then an idea popped into my mind — why not merge it back with the base model? That way, we could give it a sense of "good" again, at least a little. Maybe this would also fix some of the deterministic generations.

Quick testing shows... it works? Zero-shot evil Q&A no longer works, but with a bit of persuasion, it did answer. But I think the model is a bit too dumb for my liking.

Credits to TheDrummer and BeaverAI who makes such finetunes. "Lightly decensored" is a heavy understatement in this case.

Merge Details

Merge Method

This model was merged using the task arithmetic merge method using TheDrummer/Cydonia-22B-v1.1 as a base.

Models Merged

The following models were included in the merge:

mistralai/Mistral-Small-Instruct-2409

Configuration

The following YAML configuration was used to produce this model:

models:
  - model: TheDrummer/Cydonia-22B-v1.1
    parameters:
      weight: 0.75
  - model: mistralai/Mistral-Small-Instruct-2409
    parameters:
      weight: 0.25
merge_method: task_arithmetic
base_model: TheDrummer/Cydonia-22B-v1.1
dtype: float16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: cc4610a