Характеристики

Контекст: 8 192 токена
Параметры: 7,5 млрд
Размер весов: 49,9 ГБ
Лицензия: Llama 3
Архитектура: mixtral · MoE
Опубликована: 20 мая 2024

Ссылки

Hugging Face

L3_SnowStorm_4x8B

xxx777xxxASD

Генерация текстаТекст → текст3 профессии

Экспериментальная MoE-модель семейства Llama 3 для ролевых диалогов и ERP-сценариев.

95скачиваний за 30 дней11лайковвеса обновлены28 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

L3 SnowStorm 4x8B — экспериментальная MoE языковая модель для ролевых диалогов, созданная автором репозитория на основе четырёх моделей семейства Llama 3: Poppy Porpoise, Llama-3-Lumimaid, Llama-3-Soliloquy и L3-8B-Stheno. В конфигурации указаны четыре эксперта, маршрутизация двух экспертов на токен и случайный режим шлюза. Модель предназначена для RP-диалогов, в том числе сценариев с эротическим содержанием.

Модель принимает текст и генерирует текст; заявленная архитектура — MixtralForCausalLM с MoE. Метаданные указывают 7,5 млрд параметров и контекст 8192 токена, а язык карточки — английский. Автор называет проект экспериментальным и ориентирует его на RP/ERP; лицензия в метаданных — llama3. В README также упоминается vision-компонент llama3_mmproj, но его наличие и возможности не подтверждены метаданными.

Сценарии применения

ролевые диалоги с персонажами
создание ответов для RP-сценариев
диалоги с эротическим содержанием для взрослых

Ограничения

Автор характеризует модель как экспериментальную и сообщает, что она ориентирована на RP/ERP; качество в других задачах не заявлено. Указание на llama3_mmproj в README само по себе не подтверждает поддержку обработки изображений.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

(Maybe i'll change the waifu picture later)

[!NOTE] GGUF/Exl2 quants

[!NOTE] Check for v1.15A and v1.15B

Experimental RP-oriented MoE, the idea was to get a model that would be equal to or better than Mixtral 8x7B and it's finetunes in RP/ERP tasks.

Llama 3 SnowStorm v1.0 4x8B

base_model: NeverSleep_Llama-3-Lumimaid-8B-v0.1-OAS
gate_mode: random
dtype: bfloat16
experts_per_token: 2
experts:
  - source_model: ChaoticNeutrals_Poppy_Porpoise-v0.7-L3-8B
  - source_model: NeverSleep_Llama-3-Lumimaid-8B-v0.1-OAS
  - source_model: openlynn_Llama-3-Soliloquy-8B-v2
  - source_model: Sao10K_L3-8B-Stheno-v3.1

Models used

Difference(from ChaoticSoliloquy v1.5)

Update from NeverSleep/Llama-3-Lumimaid-8B-v0.1 to NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
Update from openlynn/Llama-3-Soliloquy-8B-v1 to openlynn/Llama-3-Soliloquy-8B-v2
Update from Sao10K/L3-Solana-8B-v1 to Sao10K/L3-8B-Stheno-v3.1

Vision

llama3_mmproj

image/png

Prompt format: Llama 3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MixtralForCausalLM
Ревизия весов: 152210f