/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
meta-llama-3.1-8b-instruct-bnb-4bit
Опубликована
14 сен 2024

Fireball-Alpaca-Llama3.1.08-8B-Philos-C-R2

Генерация текстаТекст → текст

Дообученная на базе Llama 3.1 8B Instruct разговорная модель для генерации текста и ответов на английском языке.

0скачиваний за 30 дней0лайковвеса обновлены19 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,4932

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,1239

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2861

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3352

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,4624

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,4673

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Fireball-Alpaca-Llama3.1.08-8B-Philos-C-R2 — текстовая разговорная модель, дообученная EpistemeAI2 на базе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit с использованием Unsloth и библиотеки TRL от Hugging Face. Она предназначена для генерации ответов в диалоге и других задач генерации текста. В карточке приведены результаты оценки Open LLM Leaderboard: среднее значение 22,32, IFEval — 46,73, BBH — 28,25.

Модель доступна под лицензией Apache-2.0; в репозитории указаны форматы PyTorch, Safetensors и GGUF F16. Метаданные указывают английский язык. Приведённые оценки относятся к отдельным тестам и сами по себе не гарантируют качество на конкретных запросах.

Сценарии применения

  • ответы на вопросы в текстовом диалоге
  • генерация английского текста по запросу
  • выполнение инструкций на английском языке

Ограничения

В карточке приведены результаты лишь для отдельных тестов Open LLM Leaderboard; они не характеризуют качество во всех сценариях. Другие ограничения модели в доступном описании не указаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Uploaded model

  • Developed by: EpistemeAI2
  • License: apache-2.0
  • Finetuned from model : unsloth/meta-llama-3.1-8b-instruct-bnb-4bit

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.22.32
IFEval (0-Shot)46.73
BBH (3-Shot)28.25
MATH Lvl 5 (4-Shot)11.03
GPQA (0-shot)4.81
MuSR (0-shot)17.00
MMLU-PRO (5-shot)26.13

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов
b5f505b

0 моделей