Характеристики

Контекст: 4 096 токенов
Параметры: 12,9 млрд
Размер весов: 26 ГБ
Лицензия: Своя лицензия
Архитектура: llama · dense
Опубликована: 26 ноя 2023

Ссылки

MergeMonster-13b-20231124

Генерация текстаТекст → текст3 профессии

Слитая модель Gryphe на 12,9 млрд параметров для генерации английского текста и ролевых диалогов с уменьшенным количеством шаблонных фраз ChatGPT.

22скачиваний за 30 дней7лайковвеса обновлены26 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MergeMonster-13b-20231124 — языковая модель, созданная Gryphe путём слияния нескольких моделей семейства LLaMA 2. Версия FP16 предназначена для генерации текста и диалогов; автор отмечает, что при настройке слияния стремился уменьшить повторяющиеся фразы ChatGPT в ролевых ответах. Рекомендуемый формат запросов — Alpaca.

Модель имеет плотную архитектуру LlamaForCausalLM и 12,9 млрд параметров. В состав слияния вошли LLaMA2-13B-Tiefighter, Emerhyst-13B, Orca-2-13b, Stheno-1.8-L2-13B, MythoMax-L2-13b и Athena-v4; автор предупреждает, что итоговая композиция включает множество фрагментов моделей и не обязательно соответствует простой интерпретации их долей. Контекст составляет 4096 токенов. Репозиторий содержит веса safetensors в FP16, лицензия указана как other.

Модель подходит для текстовой генерации и ролевых диалогов на английском языке. Карточка не приводит количественных оценок качества или подробных ограничений по использованию; результат может зависеть от формата Alpaca и параметров генерации.

Сценарии применения

ведение ролевых диалогов на английском языке
генерация художественного текста
создание ответов в формате Alpaca
снижение повторяющихся шаблонных фраз в ролевых ответах

Ограничения

Контекст ограничен 4096 токенами. Автор отмечает, что итоговое слияние сложно интерпретировать как простую комбинацию исходных моделей; подробные оценки качества в карточке не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

I received a request to upload the FP16 version of my first MergeMonster 13b merge, which had the sole focus of reducing overused ChatGPT roleplaying phrases. Many ministrations were murdered throughout this process.

GGUF quantizations can be found in my main MergeMonster repo.

Merge Composition

Unsurprisingly, not much remained of MythoMax. I'm (obviously!) very fond of it, but it's not perfect.

Reminder: MergeMonster works with hundreds of pieces scattered throughout the final merge. If a model takes a large part of the composition this does not mean it is merged in a manner that might be logical to humans.

Base model: MythoMax-L2-13b

------ FINAL MERGE COMPOSITION ------
LLaMA2-13B-Tiefighter: 0.27
Emerhyst-13B: 0.26
Orca-2-13b: 0.24
Stheno-1.8-L2-13B: 0.09
MythoMax-L2-13b: 0.09
Athena-v4: 0.04

Prompt Format

As always, I suggest sticking to the Alpaca format.

### Instruction:
Your instruction or question here.

### Response:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: da1efdc