/ Модель
Каталог

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Базовая модель
llama-3-8b-bnb-4bit
Опубликована
25 апр 2024

Ссылки

Hugging Face

Alpaca-Llama-3-8B

akumaburn
Генерация текстаТекст → текст9 профессий

Дообученная на инструкциях англоязычная модель семейства Llama для генерации текста и ответов на запросы.

18скачиваний за 30 дней0лайковвеса обновлены25 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Alpaca-Llama-3-8B — текстовая генеративная модель, созданная akumaburn путём дообучения unsloth/llama-3-8b-bnb-4bit на наборе yahma/alpaca-cleaned. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, представленная в формате safetensors и рассчитанная на контекст до 8192 токенов. Для запросов используется формат Alpaca.

Модель предназначена для генерации ответов и выполнения инструкций на естественном языке. Её можно применять для диалогов, ответов на вопросы, объяснений и черновиков текста. В карточке приведены результаты тестов на нескольких бенчмарках, однако они не гарантируют качество в конкретных сценариях; обучение описано как один проход по 51 760 примерам. Основной язык в метаданных — английский.

Лицензия модели — Apache-2.0. Карточка не описывает специальных механизмов безопасности или гарантии качества, поэтому результаты следует проверять перед использованием в критичных задачах.

Сценарии применения

  • генерация ответов на инструкции на английском языке
  • создание черновиков и продолжение текста
  • ответы на общие вопросы
  • диалог с текстовым ассистентом
  • объяснение понятий в свободной форме

Ограничения

В карточке указано обучение на одном проходе по 51 760 примерам, а опубликованные бенчмарки не гарантируют качество для конкретных задач. Карточка не описывает специальные механизмы безопасности или проверки фактической точности ответов.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейIII.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модельI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельIII.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Alpaca-Llama-3-8B

Some GGUF quantizations can be found in https://huggingface.co/akumaburn/Alpaca-Llama-3-8B-GGUF

mistral-7b-openorca.Q8_0.gguf:

  • MMLU-Test: Final result: 41.5836 +/- 0.4174
  • Arc-Easy: Final result: 72.6316 +/- 1.8691
  • Truthful QA: Final result: 32.0685 +/- 1.6339
  • Arc-Challenge: Final result: 48.8294 +/- 2.8956

llama-3-8b-bnb-4bit.Q8_0.gguf:

  • MMLU-Test: Final result: 40.4074 +/- 0.4156
  • Arc-Easy: Final result: 73.8596 +/- 1.8421
  • Truthful QA: Final result: 26.6830 +/- 1.5484
  • Arc-Challenge: Final result: 46.8227 +/- 2.8906

Open_Orca_Llama-3-8B-unsloth.Q8_0.gguf:

  • MMLU-Test: Final result: 39.3818 +/- 0.4138
  • Arc-Easy: Final result: 67.3684 +/- 1.9656
  • Truthful QA: Final result: 29.0086 +/- 1.5886
  • Arc-Challenge: Final result: 42.1405 +/- 2.8604

Alpaca-Llama-3-8B-GGUF-unsloth.Q8_0.gguf:

  • MMLU-Test: Final result: 40.6441 +/- 0.4160
  • Arc-Easy: Final result: 77.5439 +/- 1.7494
  • Truthful QA: Final result: 29.7430 +/- 1.6003
  • Arc-Challenge: Final result: 50.5017 +/- 2.8963

Meta-Llama-3-8B.Q8_0.gguf:

  • MMLU-Test: Final result: 40.8664 +/- 0.4163
  • Arc-Easy: Final result: 74.3860 +/- 1.8299
  • Truthful QA: Final result: 28.6414 +/- 1.5826
  • Arc-Challenge: Final result: 47.1572 +/- 2.8917

Llama.cpp Options For Testing: --samplers "tfs;typical;temp" --draft 32 --ctx-size 8192 --temp 0.82 --tfs 0.8 --typical 1.1 --repeat-last-n 512 --batch-size 8192 --repeat-penalty 1.0 --n-gpu-layers 100 --threads 12

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
7703ce4

0 моделей

    Создать бенчмарк