Характеристики

Контекст: 32 768 токенов
Параметры: 10,6 млрд
Лицензия: Apache 2.0
Архитектура: mixtral · MoE
Опубликована: 16 мар 2024

Ссылки

Hugging Face

PrimaMonarch-EroSumika-2x10.7B-128k

xxx777xxxASD

Генерация текстаТекст → текст

Экспериментальная разговорная MoE-модель на основе слияния Mistral для генерации ответов и другого текста.

14скачиваний за 30 дней6лайковвеса обновлены18 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PrimaMonarch-EroSumika-2x10.7B-128k — экспериментальная разговорная MoE-модель, созданная xxx777xxxASD на основе объединения моделей семейства Mistral. В README указано около 19,2 млрд параметров; метаданные Hugging Face описывают архитектуру как MixtralForCausalLM и приводят 10,6 млрд параметров. Модель предназначена для генерации текста в диалогах. В качестве вариантов распространения README упоминает ExL2 с настройками 4,0 и 6,0 bpw, а также GGUF; в метаданных репозитория указан формат safetensors.

Основа модели сформирована методом passthrough из слоёв MistralInstruct-v0.2-128k, а эксперты получены слиянием моделей, включая PrimaSumika-10.7B-128k и несколько вариантов Mistral-7B. README также описывает использование моделей длинного контекста, однако заявленные в нём 128k не совпадают с native_context_tokens в метаданных, где указано 32 768 токенов. Лицензия — Apache-2.0. Модель помечена автором как экспериментальная; качество и фактическая поддержка длинного контекста требуют проверки в целевой конфигурации.

Сценарии применения

генерация ответов в диалоге
написание художественных текстов
продолжение пользовательского текста
локальный запуск разговорной модели в формате GGUF
эксперименты с MoE и слиянием моделей Mistral

Ограничения

Модель экспериментальная; README заявляет контекст 128k, тогда как метаданные указывают native context 32 768 токенов. В README и метаданных расходится число параметров: около 19,2 млрд против 10,6 млрд.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png (Maybe i'll change the icon picture later.)

Experimental MoE, the idea is to have more active parameters than 7xX model would have and keep it's size lower than 20B.

This model has ~19.2B parameters.

Exl2, 4.0 bpw (Fits in 12GB VRAM/16k context/4-bit cache)

Exl2, 6.0 bpw

GGUF

Base model (self merge)

slices:
  - sources:
    - model: MistralInstruct-v0.2-128k
      layer_range: [0, 24]
  - sources:
    - model: MistralInstruct-v0.2-128k
      layer_range: [8, 24]
  - sources:
    - model: MistralInstruct-v0.2-128k
      layer_range: [24, 32]
merge_method: passthrough
dtype: bfloat16

First expert ("sandwich" merge)

xxx777xxxASD/PrimaSumika-10.7B-128k

slices:
  - sources:
    - model: EroSumika-128k
      layer_range: [0, 24]
  - sources:
    - model: Prima-Lelantacles-128k
      layer_range: [8, 24]
  - sources:
    - model: EroSumika-128k
      layer_range: [24, 32]
merge_method: passthrough
dtype: bfloat16

Second expert ("sandwich" merge)

slices:
  - sources:
    - model: AlphaMonarch-7B-128k
      layer_range: [0, 24]
  - sources:
    - model: NeuralHuman-128k
      layer_range: [8, 24]
  - sources:
    - model: AlphaMonarch-7B-128k
      layer_range: [24, 32]
merge_method: passthrough
dtype: bfloat16

Each 128k model is a slerp merge with Epiculous/Fett-uccine-Long-Noodle-7B-120k-Context

Models used

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MixtralForCausalLM
Ревизия весов: 1cdd6f9