Характеристики

Контекст: 8 192 токена
Параметры: 7,5 млрд
Размер весов: 49,9 ГБ
Лицензия: Llama 3
Архитектура: mixtral · MoE
Опубликована: 23 апр 2024

Ссылки

Hugging Face

ChaoticSoliloquy-4x8B

xxx777xxxASD

Генерация текстаТекст → текст3 профессии

Экспериментальная MoE-модель на базе Llama 3 для генерации ролевых диалогов, включая ERP-сценарии.

96скачиваний за 30 дней24лайкавеса обновлены3 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ChaoticSoliloquy-4x8B — экспериментальная MoE-модель для ролевых диалогов, включая ERP-сценарии. Автор собрал её из четырёх моделей на базе Llama 3: ChaoticNeutrals/Poppy_Porpoise-v0.6-L3-8B, jeiku/Chaos_RP_l3_8B, openlynn/Llama-3-Soliloquy-8B и Sao10K/L3-Solana-8B-v1. В README указаны случайный режим маршрутизации экспертов, два эксперта на токен и формат bfloat16; метаданные описывают архитектуру как MixtralForCausalLM с 7,5 млрд параметров и контекстом 8192 токена.

Модель предназначена для генерации текста в ролевых беседах и ERP. Карточка также упоминает варианты GGUF и Exl2 и файл llama3_mmproj для vision, однако метаданные классифицируют опубликованную модель как text-generation, поэтому поддержку обработки изображений нельзя уверенно подтвердить. Метаданные указывают английский язык и лицензию Llama 3. Автор называет проект экспериментальным и ставит целью сравняться с Mixtral 8x7B и его дообучениями в ролевых задачах, но не приводит результатов оценки.

Сценарии применения

генерация реплик для ролевого персонажа
ведение текстовой ролевой беседы
создание эротических ролевых диалогов для взрослых

Ограничения

Автор обозначает модель как экспериментальную; в README не приведены результаты сравнительной оценки. Упоминание llama3_mmproj не подтверждает поддержку изображений в опубликованной модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

[!IMPORTANT]
Check for ChaoticSoliloquy-v1.5-4x8B

Experimental RP-oriented MoE, the idea was to get a model that would be equal to or better than the Mixtral 8x7B and it's finetunes in RP/ERP tasks.

GGUF, Exl2

Llama 3 ChaoticSoliloquy-4x8B

base_model: jeiku_Chaos_RP_l3_8B
gate_mode: random
dtype: bfloat16
experts_per_token: 2
experts:
  - source_model: ChaoticNeutrals_Poppy_Porpoise-v0.6-L3-8B
  - source_model: jeiku_Chaos_RP_l3_8B
  - source_model: openlynn_Llama-3-Soliloquy-8B
  - source_model: Sao10K_L3-Solana-8B-v1

Models used

Vision

llama3_mmproj

image/png

Prompt format: Llama 3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MixtralForCausalLM
Ревизия весов: 3780e13