/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Лицензия
CC BY-NC 4.0
Архитектура
mixtral · MoE
Опубликована
14 мар 2024

CybersurferNyandroidLexicat-8x7B

Генерация текстаТекст → текст3 профессии

Слитая модель Mixtral для разговорной генерации текста, ассистентских ответов и кратких ролевых сценариев.

19скачиваний за 30 дней1лайквеса обновлены14 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CybersurferNyandroidLexicat-8x7B — разговорная языковая модель на архитектуре Mixtral, созданная автором карточки линейным слиянием Verdict-DADA-8x7B (60%), crestf411/daybreak-mixtral-8x7b-v1.0-hf (30%) и экспериментальной неопубликованной модели (10%). В метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors; модель предназначена для генерации текста в режиме ассистента.

Автор отмечает менее сухой стиль ответов, разнообразный словарь и внимание к контексту, а также положительные результаты кратких ролевых проверок. Модель предпочитает формат запросов с маркерами [INST] и [/INST]. Карточка предупреждает, что при генерации могут требоваться повторные попытки и качество на длинном контексте не проверено. Лицензия — CC BY-NC 4.0, разрешено использование с указанием авторства, но не в коммерческих целях.

Сценарии применения

  • генерация ответов в стиле разговорного ассистента
  • краткие ролевые диалоги
  • создание выразительного текста с разнообразной лексикой

Ограничения

Автор отмечает, что для удачных ответов могут понадобиться повторные генерации; поведение при заполнении длинного контекста не проверено.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Warning: This model is experimental and unpredictable

CybersurferNyandroidLexicat-8x7B (I was in a silly mood when I made this edition)

Is a linear merge of the following models:

Verdict-DADA-8x7B 60%

crestf411/daybreak-mixtral-8x7b-v1.0-hf 30%

Experimental unreleased merge 10%

I find its output as an assistant to be less dry and it is stable and imaginative in brief roleplay testing. Tested with simple sampling, requires rerolls but when it's good it's good. I can't say how well it will be when the context fills up but I was pleasantly surprised.

It definitely has one of the most varied lexicons out of any Mixtral Instruct based model I've tested so far with excellent attention to detail with respect to context.

It likes Libra styled prompt formats with [INST] context [/INST] formatting

Which can easily be adapted from the format specified in the Libra32B repo by replacing alpaca formatting with mixtruct formatting

As always tested in Q8 (not included)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
MixtralForCausalLM
Ревизия весов
a9016b7

0 моделей