/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Своя лицензия
Архитектура
llama · dense
Базовая модель
llama-3-8b-Instruct-bnb-4bit
Опубликована
22 апр 2024

llama-3-8b-Instruct-OpenHermes-2.5-QLoRA

Генерация текстаТекст → текст11 профессий

Дообученная на OpenHermes 2.5 модель Llama 3 8B для диалоговой генерации текста и ответов на запросы.

27скачиваний за 30 дней2лайкавеса обновлены22 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это диалоговая языковая модель с архитектурой Llama 3, дообученная автором yaystevek на наборе OpenHermes 2.5. В основе лежит 4-битная instruct-версия Llama 3 8B от Unsloth; модель содержит около 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. В карточке также упомянуты варианты GGUF в форматах F16 и Q4_K_M.

Модель предназначена для генерации текста в диалогах и ответов на запросы пользователя. Автор отмечает, что при дообучении уделил внимание сохранению и усилению корректной структуры токенов конца последовательности. В метаданных указан английский язык. Лицензия обозначена как other, а README указывает на условия Meta Llama 3 Community License Agreement; перед применением следует ознакомиться с её условиями.

Сценарии применения

  • ответы на вопросы в диалоговом интерфейсе
  • генерация текста по инструкции
  • создание и продолжение текстовых черновиков

Ограничения

Контекст ограничен 8192 токенами. Карточка не приводит результаты оценки качества или подробные ограничения поведения модели.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

QLoRA Finetune Llama 3 Instruct 8B + OpenHermes 2.5

This model is based on Llama-3-8b, and is governed by META LLAMA 3 COMMUNITY LICENSE AGREEMENT

Llama 3 Instruct 8B 4-bit from unsloth, finetuned with the OpenHermes 2.5 dataset on my home PC on one 24GB 4090.

Special care was taken to preserve and reinforce proper eos token structure.

GGUF (f16 and Q4_K_M) available

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
c54f859

0 моделей