/ Модель
Каталог

Характеристики

Контекст
131 072 токена
Параметры
7,5 млрд
Размер весов
49,9 ГБ
Лицензия
Llama 3.1
Архитектура
mixtral · MoE
Базовая модель
Llama-3.1-8B-MagPie-Ultra
Библиотека
transformers
Опубликована
23 окт 2024

Ссылки

Hugging Face

L3.1-Moe-4x8B-v0.1

moeru-ai
Генерация текстаТекст → текст14 профессий

MoE-модель на базе Llama 3.1 для диалогов и генерации текста, объединяющая модели для ролевого общения, кода и математики.

47скачиваний за 30 дней4лайкавеса обновлены25 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,1299

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,4332

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,4939

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3609

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2592

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3454

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

L3.1-Moe-4x8B-v0.1 — языковая модель с архитектурой Mixture of Experts, собранная разработчиком moeru-ai с помощью mergekit-moe. Она объединяет четыре модели на базе Llama 3.1, предназначенные для диалогов, творческого письма, работы с кодом и математикой. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; файлы опубликованы в формате safetensors. Для работы используется библиотека Transformers.

Модель предназначена для генерации текста и диалогового общения, включая ролевые сценарии, а также для задач с кодом и математикой. В README приведены результаты оценки на Open LLM Leaderboard, в том числе средняя оценка 19,15 и результат IFEval 43,47. Модель распространяется по лицензии Llama 3.1; следует соблюдать её условия.

Сценарии применения

  • ведение ролевых диалогов и творческое письмо
  • генерация ответов в чате
  • написание и объяснение кода
  • решение математических задач
  • генерация текста с длинным контекстом

Ограничения

README содержит ограниченный набор результатов оценки, поэтому он не позволяет судить о качестве на широком спектре задач. Для коммерческого и иного использования необходимо соблюдать условия лицензии Llama 3.1.

Для каких профессий подходит14

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

L3.1-Moe-4x8B-v0.1

cover

This model is a Mixture of Experts (MoE) made with mergekit-moe. It uses the following base models:

Heavily inspired by mlabonne/Beyonder-4x7B-v3.

Quantized models

GGUF by mradermacher

Configuration

base_model: argilla-warehouse/Llama-3.1-8B-MagPie-Ultra
gate_mode: hidden
dtype: bfloat16
experts:
  - source_model: argilla-warehouse/Llama-3.1-8B-MagPie-Ultra
    positive_prompts:
      - "chat"
      - "assistant"
      - "tell me"
      - "explain"
      - "I want"
  - source_model: sequelbox/Llama3.1-8B-PlumCode
    positive_prompts:
      - "code"
      - "python"
      - "javascript"
      - "programming"
      - "algorithm"
  - source_model: sequelbox/Llama3.1-8B-PlumMath
    positive_prompts:
      - "reason"
      - "math"
      - "mathematics"
      - "solve"
      - "count"
  - source_model: ArliAI/Llama-3.1-8B-ArliAI-RPMax-v1.2
    positive_prompts:
      - "storywriting"
      - "write"
      - "scene"
      - "story"
      - "character"

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.19.15
IFEval (0-Shot)43.47
BBH (3-Shot)27.86
MATH Lvl 5 (4-Shot)11.10
GPQA (0-shot)1.23
MuSR (0-shot)3.98
MMLU-PRO (5-shot)27.27

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MixtralForCausalLM
Ревизия весов
95d18cd

0 моделей

    Создать бенчмарк