Mayoroya — слитая диалоговая модель Mistral на 7,1 млрд параметров для генерации текста и ответов на инструкции.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Mayoroya — объединённая диалоговая языковая модель, созданная Eric111 с помощью mergekit на основе Eric111/Mayo и Eric111/Roya. Она предназначена для генерации текста в формате диалога и ответов на инструкции. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов.
В README указан метод слияния SLERP с настройками, различающимися для слоёв self-attention и MLP. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка не описывает отдельные специализированные области применения или подтверждённые языки.
Карточка не приводит оценок качества или результатов тестирования, поэтому пригодность для конкретных задач не подтверждена. Поддерживаемые языки отдельно не перечислены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Mayoroya is a merge of the following models using mergekit:
slices:
- sources:
- model: Eric111/Mayo
layer_range: [0, 32]
- model: Eric111/Roya
layer_range: [0, 32]
merge_method: slerp
base_model: Eric111/Mayo
parameters:
t:
- filter: self_attn
value: [0, 0.5, 0.3, 0.7, 1]
- filter: mlp
value: [1, 0.5, 0.7, 0.3, 0]
- value: 0.5
dtype: bfloat16
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…