/ Модель

Характеристики

Контекст
131 072 токена
Параметры
122 млрд
Размер весов
245 ГБ
Лицензия
Своя лицензия
Архитектура
mistral · dense
Библиотека
transformers
Опубликована
23 окт 2024

Monstral-123B

Генерация текстаТекст → текст4 профессии

Слитая чат-модель Mistral на 122,2 млрд параметров для диалогов и ролевых сценариев с длинным контекстом.

110скачиваний за 30 дней29лайковвеса обновлены17 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Monstral 123B — чат-модель, созданная MarsupialAI слиянием методом SLERP моделей Behemoth-123B-v1 и Magnum-v4-123b. Она предназначена для диалогов и ролевых сценариев; автор описывает её как сочетание стиля Behemoth и некоторых особенностей Claude с меньшей склонностью к NSFW-ответам, чем у Magnum V4. Модель имеет плотную архитектуру Mistral, около 122,2 млрд параметров и контекстное окно до 131 072 токенов. README предлагает форматы промптов Mistral и Metharme; метаданные также отмечают интерфейс вызова инструментов.

Модель заявлена как uncensored и предназначена автором для развлечения. Она может генерировать нежелательный контент и в некоторых ролевых сценариях проявлять токсичное или агрессивное поведение; фактические утверждения требуют проверки. Репозиторий содержит веса Safetensors. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в карточке модели и связанных файлах.

Сценарии применения

  • ведение диалогов с чат-моделью
  • генерация реплик для ролевых сценариев
  • создание художественных текстов в разговорном стиле
  • эксперименты с длинным контекстом
  • вызов инструментов через интерфейс модели

Ограничения

Модель может выдавать нежелательный контент и демонстрировать токсичное или агрессивное поведение в некоторых ролевых сценариях; её фактическим утверждениям нельзя доверять без проверки. Автор указывает, что модель предназначена для развлечения.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Monstral 123B

A Mistral-Large merge image/png

This model is a slerp merge of Behemoth and Magnum V4. The intention was to moisten up Behemoth a bit and give it some of that Claude flavor, but without being nearly as thirsty as Magnum. I feel it succeeds in both areas.

Mergefuel:

  • TheDrummer/Behemoth-123B-v1
  • anthracite-org/magnum-v4-123b

See recipe.txt for full details.

This model is uncensored and perfectly capable of generating objectionable material. It is far less likely to return NSFW content for SFW prompts than Magnum V4, but you should still exercise caution. This model has been observed exhibiting toxic/aggressive behavior in certain RP scenarios, even when the character card isn't explicitely demanding it. As with any LLM, no factual claims made by the model should be taken at face value. You know that boilerplate safety disclaimer that most professional models have? Assume this has it too. This model is for entertainment purposes only.

GGUFs: https://huggingface.co/MarsupialAI/Monstral-123B_iMat_GGUF

EXL2: https://huggingface.co/MarsupialAI/Monstral-123B_4.0bpw_EXL2

Prompt Format

Mistral or Metharme

Gross Groveling

If you like this merge, Drummer would like me to beg you for donations on his behalf. Personally I think he just spends it all on drugs and extremely weird pornography, but on the off chance some of it goes to finetuning costs, this is the link: https://ko-fi.com/thedrummer

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
5375545

0 моделей