Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 14,5 ГБ
Архитектура: mistral · dense
Базовая модель: flammen15-gutenberg-DPO-v1-7B
Библиотека: transformers
Опубликована: 12 июл 2024

Ссылки

Hugging Face arXiv 2306.01708

LayleleFlamPi

Stark2008

Генерация текстаТекст → текст

Объединённая модель Mistral на 7,1 млрд параметров для диалогов и генерации текста с контекстом до 32 768 токенов.

23скачиваний за 30 дней0лайковвеса обновлены12 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,3093
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,0665
Open LLM v2 · архив
Публичная таблицаревизия совпадает
IFEval
IFEval Raw · выше — лучше
Результат
0,4284
Open LLM v2 · архив
Публичная таблицаревизия совпадает
GPQA
GPQA Raw · выше — лучше
Результат
0,2852
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MUSR
MUSR Raw · выше — лучше
Результат
0,4608
Open LLM v2 · архив
Публичная таблицаревизия совпадает
BBH
BBH Raw · выше — лучше
Результат
0,5116
Open LLM v2 · архив
Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Stark2008/LayleleFlamPi — объединённая модель для генерации текста, созданная с помощью mergekit методом TIES на основе flammenai/flammen15-gutenberg-DPO-v1-7B и с участием Nitral-AI/Visual-LaylelemonMaidRP-7B и Eric111/CatunaLaserPi. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов, доступная в формате safetensors для Transformers.

Она подходит для диалогов и генерации текста; один из компонентов связан с RP-сценариями, а другой — с текстами в стиле Gutenberg DPO. Поддерживаемые языки и отдельные специализированные области в карточке не описаны. Лицензия в предоставленных данных не указана.

Сценарии применения

генерация художественного текста
ведение текстовых диалогов
создание ролевых ответов
продолжение заданного текста

Ограничения

Языки модели не определены по предоставленным данным. Качество и поведение могут зависеть от сценария использования и объединённых компонентов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the TIES merge method using flammenai/flammen15-gutenberg-DPO-v1-7B as a base.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:


models:
  - model: Nitral-AI/Visual-LaylelemonMaidRP-7B
    parameters:
      density: 0.5
      weight: 0.8
  - model: flammenai/flammen15-gutenberg-DPO-v1-7B
    parameters:
      density: 0.5
      weight: 1.02272727255
  - model: Eric111/CatunaLaserPi
    parameters:
      density: 0.5
      weight: 0.875

merge_method: ties
base_model: flammenai/flammen15-gutenberg-DPO-v1-7B
parameters:
  normalize: true
  int8_mask: true
dtype: bfloat16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: b2897d1