Характеристики

Контекст: 8 192 токена
Параметры: 7,5 млрд
Размер весов: 49,9 ГБ
Лицензия: Llama 3
Архитектура: mixtral · MoE
Опубликована: 2 мая 2024

Ссылки

Hugging Face

L3-ChaoticSoliloquy-v1.5-4x8B

xxx777xxxASD

Генерация текстаТекст → текст3 профессии

Экспериментальная MoE-модель на основе Llama 3 для генерации ролевых диалогов и ERP-сценариев.

48скачиваний за 30 дней8лайковвеса обновлены3 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

L3-ChaoticSoliloquy-v1.5-4x8B — экспериментальная разговорная MoE-модель для ролевого общения, созданная на основе Llama 3. В README указаны четыре экспертные модели: Poppy Porpoise, Llama-3-Lumimaid, Llama-3-Soliloquy и L3-Solana; для выбора экспертов используется случайный gate, а на токен активируются два эксперта. Метаданные указывают архитектуру MixtralForCausalLM, 7,5 млрд параметров и контекст 8192 токена.

Модель предназначена прежде всего для ролевых диалогов и ERP-сценариев. Карточка также упоминает файл llama3_mmproj, но не описывает его применение; метаданные классифицируют модель как генерацию текста. Репозиторий содержит веса safetensors, а лицензия указана как Llama 3 Community License (llama3).

Сценарии применения

ведение ролевого диалога с персонажем
генерация художественных ответов от лица персонажа
создание диалоговых сцен для ролевой игры

Ограничения

Автор характеризует модель как экспериментальную и не приводит результатов сравнительных оценок. Заявление о возможном превосходстве над Mixtral 8x7B сформулировано как цель, а не подтверждённый результат.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

[!IMPORTANT]
GGUF / Exl2 quants

Experimental RP-oriented MoE, the idea was to get a model that would be equal to or better than the Mixtral 8x7B and it's finetunes in RP/ERP tasks. Im not sure but it should be better than the first version

Llama 3 ChaoticSoliloquy-v1.5-4x8B

base_model: NeverSleep_Llama-3-Lumimaid-8B-v0.1
gate_mode: random
dtype: bfloat16
experts_per_token: 2
experts:
  - source_model: ChaoticNeutrals_Poppy_Porpoise-v0.7-L3-8B
  - source_model: NeverSleep_Llama-3-Lumimaid-8B-v0.1
  - source_model: openlynn_Llama-3-Soliloquy-8B
  - source_model: Sao10K_L3-Solana-8B-v1

Models used

Difference

Update from ChaoticNeutrals/Poppy_Porpoise-v0.6-L3-8B to ChaoticNeutrals/Poppy_Porpoise-v0.7-L3-8B
Change jeiku/Chaos_RP_l3_8B to NeverSleep/Llama-3-Lumimaid-8B-v0.1

Vision

llama3_mmproj

image/png

Prompt format: Llama 3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MixtralForCausalLM
Ревизия весов: 1f483f3