Характеристики

Контекст: 8 192 токена
Параметры: 7,5 млрд
Размер весов: 16,1 ГБ
Лицензия: Llama 3
Архитектура: llama · dense
Библиотека: transformers
Опубликована: 18 апр 2024

Ссылки

llama-3-8b

Генерация текстаТекст → текст13 профессий

Базовая текстовая модель Meta семейства Llama 3 на 7,5 млрд параметров для генерации текста и диалогов с контекстом до 8192 токенов.

6 938скачиваний за 30 дней54лайкавеса обновлены3 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

unsloth/llama-3-8b — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta и представленная в репозитории Unsloth. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. В метаданных указан английский язык. Репозиторий содержит веса в формате Safetensors.

Модель подходит для генерации продолжений текста и диалоговых сценариев. README Unsloth также предлагает ноутбуки для дообучения Llama 3 8B, включая разговорный формат ShareGPT ChatML/Vicuna и завершение произвольного текста; сам README описывает инструменты и примеры настройки обучения, а не отдельную специализацию чекпойнта. Репозиторий указывает лицензию Llama 3 (llama3); условия использования определяются лицензией Meta Llama 3.

Сценарии применения

генерация продолжения текста
создание ответов в текстовом диалоге
подготовка основы для дообучения на собственных данных

Ограничения

README не сообщает о специализированных областях применения или результатах оценки качества. Модель унаследовала ограничения базовой Llama 3; для использования необходимо соблюдать условия лицензии Meta Llama 3.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Finetune Mistral, Gemma, Llama 2-5x faster with 70% less memory via Unsloth!

We have a Google Colab Tesla T4 notebook for Llama-3 8b here: https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp?usp=sharing Built with Meta Llama 3

✨ Finetune for Free

All notebooks are beginner friendly! Add your dataset, click "Run All", and you'll get a 2x faster finetuned model which can be exported to GGUF, vLLM or uploaded to Hugging Face.

Unsloth supports	Free Notebooks	Performance	Memory use
Llama-3 8b	▶️ Start on Colab	2.4x faster	58% less
Gemma 7b	▶️ Start on Colab	2.4x faster	58% less
Mistral 7b	▶️ Start on Colab	2.2x faster	62% less
Llama-2 7b	▶️ Start on Colab	2.2x faster	43% less
TinyLlama	▶️ Start on Colab	3.9x faster	74% less
CodeLlama 34b A100	▶️ Start on Colab	1.9x faster	27% less
Mistral 7b 1xT4	▶️ Start on Kaggle	5x faster*	62% less
DPO - Zephyr	▶️ Start on Colab	1.9x faster	19% less

This conversational notebook is useful for ShareGPT ChatML / Vicuna templates.
This text completion notebook is for raw text. This DPO notebook replicates Zephyr.
* Kaggle has 2x T4s, but we use 1. Due to overhead, 1x T4 is 5x faster.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: b0c09b8