Характеристики

Контекст: 131 072 токена
Параметры: 12,7 млрд
Размер весов: 25,8 ГБ
Архитектура: mistral · dense
Базовая модель: Pantheon-RP-Pure-1.6.2-22b-Small
Библиотека: transformers
Опубликована: 12 ноя 2024

Ссылки

Hugging Face arXiv 2203.05482

Chunky-Merge-22B

Edens-Gate

Генерация текстаТекст → текст

Слитая языковая модель Mistral для генерации текста и диалогов с длинным контекстом.

19скачиваний за 30 дней0лайковвеса обновлены12 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Edens-Gate/Chunky-Merge-22B — слитая с помощью mergekit языковая модель на архитектуре Mistral, созданная из Gryphe/Pantheon-RP-Pure-1.6.2-22b-Small и TheDrummer/UnslopSmall-22B-v1. Она предназначена для генерации текста и диалогов; базовая модель ориентирована на ролевые беседы с персонажами, а также может помогать с кодом и краткими пересказами. Модель имеет 12,7 млрд параметров и контекстное окно 131 072 токена; опубликована в формате Safetensors и рассчитана на использование через Transformers.

Поддерживает чатовый интерфейс и интерфейс вызова инструментов. Веса объединены линейным методом с разными коэффициентами для слоёв self-attention и MLP. Лицензия и конкретные ограничения качества в предоставленных данных не описаны.

Сценарии применения

ролевые диалоги с персонажами
генерация ответов в чате
помощь с программированием
краткие пересказы текста
генерация текста с длинным контекстом

Ограничения

Лицензия и подробные оценки качества модели в доступных материалах не указаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the linear merge method using Gryphe/Pantheon-RP-Pure-1.6.2-22b-Small as a base.

Models Merged

The following models were included in the merge:

TheDrummer/UnslopSmall-22B-v1

Configuration

The following YAML configuration was used to produce this model:

slices:
  - sources:
      - model: TheDrummer/UnslopSmall-22B-v1
        layer_range: [0, 32]
      - model: Gryphe/Pantheon-RP-Pure-1.6.2-22b-Small
        layer_range: [0, 32]
merge_method: linear
base_model: Gryphe/Pantheon-RP-Pure-1.6.2-22b-Small
parameters:
  weight:
    - filter: self_attn
      value: [0.2, 0.8]
    - filter: mlp
      value: [0.8, 0.2]
    - value: 0.5
dtype: bfloat16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: fd8b92c