/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Llama 3
Архитектура
llama · dense
Библиотека
transformers
Опубликована
2 июн 2024

Al_Dente_v1_8b

Генерация текстаТекст → текст5 профессий

Дообученная разговорная модель на базе Llama 3 для диалога и ответов на запросы на английском языке.

26скачиваний за 30 дней1лайквеса обновлены29 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,3694

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,4835

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3987

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2995

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,286

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0408

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Al_Dente_v1_8b — разговорная языковая модель на архитектуре Llama 3, разработанная Pankaj Mathur и дообученная на наборах данных для supervised fine-tuning (SFT). Она предназначена для общего диалога и ответов на запросы в формате ChatML, например для создания универсального помощника и дальнейшей адаптации под конкретные задачи.

Модель содержит 7,5 млрд параметров, принимает и генерирует текст на английском языке и поддерживает контекст длиной до 8192 токенов. В карточке приведены отдельные результаты Open LLM Leaderboard, но полная оценка качества ещё не опубликована. Для использования указана лицензия Llama 3; автор разрешает дообучение и слияние при указании авторства.

Сценарии применения

  • создание англоязычного чат-помощника
  • ответы на вопросы в диалоге
  • генерация текстовых ответов на пользовательские запросы
  • дальнейшее дообучение универсального помощника
  • слияние с другими моделями при указании авторства

Ограничения

Оценка качества в карточке неполная: автор указывает, что дополнительные результаты появятся позднее. Опубликованные показатели ограничены отдельными бенчмарками и сами по себе не характеризуют надёжность во всех сценариях.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Name: Llama 3 Al_Dente_v1_8b

Llama 3 Al_Dente_v1_8b is trained on various SFT Datasets

NOTICE

By providing proper credit and attribution, you are granted permission to use this model as a foundational base for further Full fine tuning, DPO, PPO or ORPO tuning and any kind of Merges. I actively encourage users to customize and enhance the model according to their specific needs, as this version is designed to be a comprehensive general model. Dive in and innovate!

Evaluation

Coming Soon..

Example Usage

Here is the ChatML prompt format

<|im_start|>system
You are Al Dente, a helpful AI assistant.<|im_end|>
<|im_start|>user
Hello Al Dente, what can you do for me?<|im_end|>
<|im_start|>assistant

Below shows a code example on how to use this model

from transformers import AutoModel, AutoTokenizer
model_slug = "pankajmathur/Al_Dente_v1_8b"
model = AutoModel.from_pretrained(model_slug)
tokenizer = AutoTokenizer.from_pretrained(model_slug)

messages = [
    {"role": "system", "content": "You are Al Dente, a helpful AI assistant."},
    {"role": "user", "content": "Hello Al Dente, what can you do for me?"}
]

gen_input = tokenizer.apply_chat_template(messages, return_tensors="pt")
model.generate(**gen_input)

This model is governed by META LLAMA 3 COMMUNITY LICENSE AGREEMENT

Quants

GGUF : Coming Soon

AWQ: Coming Soon

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.17.12
IFEval (0-Shot)36.94
BBH (3-Shot)27.25
MATH Lvl 5 (4-Shot)3.02
GPQA (0-shot)6.60
MuSR (0-shot)8.27
MMLU-PRO (5-shot)20.67

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
77a9bdc

0 моделей