/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Llama 3
Архитектура
llama · dense
Библиотека
transformers
Опубликована
18 апр 2024

llama-3-8b-Instruct

Генерация текстаТекст → текст8 профессий

Разговорная 4-битная модель Llama 3 примерно на 7,5 млрд параметров для генерации текста и ответов в диалоге.

36 261скачиваний за 30 дней67лайковвеса обновлены3 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это разговорная модель семейства Llama 3 с плотной архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Репозиторий опубликован Unsloth; веса представлены в формате safetensors и напрямую квантованы до 4 бит с помощью bitsandbytes. Модель предназначена для генерации текста и диалогового общения, в том числе для использования с шаблонами ShareGPT ChatML и Vicuna.

Модель может служить основой для ответов на вопросы, ведения диалога и продолжения текста. README также описывает сценарии дообучения Llama 3 8B с использованием ноутбуков Unsloth, но не сообщает, что этот чекпойнт сам был дообучен на конкретном наборе данных. В метаданных указан контекст 8192 токена и английский язык. Лицензия — llama3; применимость конкретных условий следует сверять с лицензией Llama 3.

Сценарии применения

  • ответы на вопросы в текстовом чате
  • ведение диалога по шаблонам ChatML или Vicuna
  • продолжение и генерация текста
  • создание прототипа чат-бота
  • эксперименты с дообучением Llama 3 8B

Ограничения

Контекст ограничен 8192 токенами. README не приводит результатов оценки качества или подробностей о данных обучения; английский указан как язык карточки модели.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Finetune Mistral, Gemma, Llama 2-5x faster with 70% less memory via Unsloth!

Directly quantized 4bit model with bitsandbytes.

We have a Google Colab Tesla T4 notebook for Llama-3 8b here: https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp?usp=sharing

✨ Finetune for Free

All notebooks are beginner friendly! Add your dataset, click "Run All", and you'll get a 2x faster finetuned model which can be exported to GGUF, vLLM or uploaded to Hugging Face.

Unsloth supportsFree NotebooksPerformanceMemory use
Llama-3 8b▶️ Start on Colab2.4x faster58% less
Gemma 7b▶️ Start on Colab2.4x faster58% less
Mistral 7b▶️ Start on Colab2.2x faster62% less
Llama-2 7b▶️ Start on Colab2.2x faster43% less
TinyLlama▶️ Start on Colab3.9x faster74% less
CodeLlama 34b A100▶️ Start on Colab1.9x faster27% less
Mistral 7b 1xT4▶️ Start on Kaggle5x faster*62% less
DPO - Zephyr▶️ Start on Colab1.9x faster19% less

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
f371096

0 моделей