/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
CreativeML OpenRAIL-M
Архитектура
llama · dense
Опубликована
1 июл 2024

EnnoAi-Pro-Llama-3-8B

Генерация текстаТекст → текст6 профессий

Чат-модель Llama с 7,5 млрд параметров, дообученная для профессиональных запросов и RAG-сценариев на французском и английском языках.

30скачиваний за 30 дней0лайковвеса обновлены22 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2617

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0219

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,2151

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,4152

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,3195

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,4071

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

EnnoAi-Pro-Llama-3-8B — чат-модель семейства Llama, разработанная Enno-Ai и дообученная для профессиональных задач на французском языке. По карточке, обучение проводилось на примерно 275 тысячах франкоязычных примеров по профессиональным и общим стратегическим темам; заявлена также поддержка английского языка. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров, работает с контекстом до 8192 токенов и принимает диалоги в формате ChatML с поддержкой системных сообщений.

Модель предназначена для генерации ответов, анализа и использования в сценариях RAG, в том числе для профессиональных запросов на французском и английском языках. README сообщает о применении QLoRA при дообучении, но метаданные не указывают базовую модель, поэтому её идентификатор установить нельзя. Разработчик отмечает, что модель находится в разработке; приведённые в карточке результаты отдельных тестов не описывают её качество во всех сценариях. Лицензия — CreativeML OpenRAIL-M.

Сценарии применения

  • ответы на профессиональные вопросы по-французски
  • анализ стратегических тем на французском языке
  • генерация ответов в диалоговом формате ChatML
  • подготовка ответов на английском языке
  • использование языковой модели в RAG-сценариях

Ограничения

В README указано, что модель находится в разработке; опубликованные результаты тестов ограничены несколькими метриками и не гарантируют качество в других сценариях.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

French Pro model

This version aims to be a multilingual model (EN 🇺🇸 + FR 🇫🇷) to refine the specific professional tasks in French.

Dataset

EnnoAi-Pro has been trained on a French dataset to enhance its analysis and response quality. The dataset contains ~275K high-quality training samples of professional and general strategic themes.

Tuning

We use specific recipes with QLora methods to increase accuracy in advanced RAG contexts.

Prompt Format

We use the default ChatML format with system role support.

<|begin_of_text|><|im_start|>system
{SYSTEM_CONTEXT}<|im_end|>
<|im_start|>user
{USER_ENTRY}<|im_end|>
<|im_start|>assistant
{ASSISTANT_ENTRY}<|im_end|>

This model is under construction

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.12.17
IFEval (0-Shot)31.95
BBH (3-Shot)17.51
MATH Lvl 5 (4-Shot)0.15
GPQA (0-shot)1.57
MuSR (0-shot)9.08
MMLU-PRO (5-shot)12.79

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
579bc2b

0 моделей