/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Своя лицензия
Архитектура
llama · dense
Базовая модель
Meta-Llama-3-8B
Библиотека
transformers
Опубликована
20 апр 2024

llama-3-neural-chat-v1-8b

Генерация текстаТекст → текст15 профессий

Диалоговая модель на базе Llama 3 8B для генерации текстов, помощи с программированием и решения математических задач.

48скачиваний за 30 дней18лайковвеса обновлены21 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Locutusque/llama-3-neural-chat-v1-8b — диалоговая языковая модель Locutusque, дообученная на базе Meta Llama 3 8B. Для обучения использовались SFT и DPO, а данные были подобраны с усилением навыков программирования, математики и письма.

Модель предназначена для разговорного взаимодействия и генерации текста, включая помощь с кодом, решение математических задач и написание текстов. Это плотная архитектура Llama с 7,5 млрд параметров и контекстом до 8192 токенов; репозиторий содержит веса Safetensors и рассчитан на использование с Transformers. Карточка указывает на широкую языковую поддержку, но не перечисляет конкретные языки.

В README приведены результаты нескольких оценок, включая TruthfulQA и GSM8K. Модель унаследовала условия лицензии Llama 3; в метаданных лицензия обозначена как other.

Сценарии применения

  • ответы в диалоговом помощнике
  • написание и редактирование текстов
  • генерация и объяснение кода
  • решение математических задач
  • ответы на вопросы общего характера

Ограничения

Конкретные поддерживаемые языки в карточке не перечислены. Приведённые оценки охватывают лишь часть задач и не гарантируют качество на всех запросах.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

llama-3-neural-chat-v1-8b

image/png

Model Details

Model Description

I fine-tuned llama-3 8B on an approach similar to Intel's neural chat language model. I have slightly modified the data sources so it is stronger in coding, math, and writing. I use both SFT and DPO.

Quants

EXL2 @bartowski

GGUF @bartowski

Uses

This model has great performance in writing and coding.

Training Data

  • Open-Orca/SlimOrca-Dedup
  • jondurbin/airoboros-3.2
  • microsoft/orca-math-word-problems-200k
  • m-a-p/Code-Feedback
  • MaziyarPanahi/WizardLM_evol_instruct_V2_196k
  • mlabonne/orpo-dpo-mix-40k

Direct Use

Conversational AI.

Evaluations

TasksVersionFiltern-shotMetricValueStderr
truthfulqa_mc22none0acc0.5627±0.0154
gsm8k3strict-match5exact_match0.5481±0.0137
flexible-extract5exact_match0.5557±0.0137
agieval_nousN/Anone0acc0.3763±0.0093
none0acc_norm0.3665±0.0093
- agieval_aqua_rat1none0acc0.2087±0.0255
none0acc_norm0.2047±0.0254
- agieval_logiqa_en1none0acc0.3456±0.0187
none0acc_norm0.3594±0.0188
- agieval_lsat_ar1none0acc0.1826±0.0255
none0acc_norm0.1783±0.0253
- agieval_lsat_lr1none0acc0.3549±0.0212
none0acc_norm0.3451±0.0211
- agieval_lsat_rc1none0acc0.5242±0.0305
none0acc_norm0.5130±0.0305
- agieval_sat_en1none0acc0.6650±0.0330
none0acc_norm0.6505±0.0333
- agieval_sat_en_without_passage1none0acc0.4175±0.0344
none0acc_norm0.3738±0.0338
- agieval_sat_math1none0acc0.4227±0.0334
none0acc_norm0.3682±0.0326

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.66.50
AI2 Reasoning Challenge (25-Shot)60.84
HellaSwag (10-Shot)84.13
MMLU (5-Shot)64.69
TruthfulQA (0-shot)56.34
Winogrande (5-shot)78.22
GSM8k (5-shot)54.81

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
d0d69a6

0 моделей