/ Модель
Каталог

Характеристики

Контекст
4 096 токенов
Параметры
10,6 млрд
Размер весов
21,5 ГБ
Лицензия
cc
Архитектура
llama · dense
Библиотека
transformers
Опубликована
25 янв 2024

Ссылки

Hugging Face

SOLAR-10.7b-Instruct-truthy-dpo

macadeliccc
Генерация текстаТекст → текст5 профессий

Экспериментальная диалоговая модель на базе SOLAR 10.7B для генерации ответов и рассуждений в формате ChatML.

73скачиваний за 30 дней4лайкавеса обновлены4 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SOLAR-10.7b-Instruct-truthy-dpo — разговорная языковая модель на архитектуре Llama, дообученная автором репозитория на основе upstageai/Solar-10.7b-Instruct-v0.1. Модель содержит 10,6 млрд параметров, принимает текстовые запросы в формате ChatML и генерирует текст; заявленная длина контекста — 4096 токенов.

Дообучение включало один проход по 12,4 тыс. примеров Intel/orca_dpo_pairs, затем ещё три прохода по 1,04 тыс. примеров jondurbin/truthy-dpo-v0.1. Модель предназначена для диалогов, ответов на вопросы и рассуждений. В README приведены результаты оценок на наборах AGIEval, GPT4All, TruthfulQA и Bigbench; это экспериментальная версия, а автор отмечает, что базовая модель проверена лучше. Доступны веса в формате safetensors; лицензия в метаданных указана как cc.

Сценарии применения

  • ведение диалогов с пользователем
  • ответы на общие вопросы
  • решение тестовых задач с вариантами ответа
  • генерация ответов в формате ChatML

Ограничения

Автор характеризует процесс дообучения как экспериментальный и отмечает, что базовая модель проверена лучше. В README не указаны поддерживаемые естественные языки.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SOLAR-10.7b-Instruct-truthy-dpo

orca-bagel

This model is a finetune of macadeliccc/SOLAR-10.7b-Instruct-truthy-dpo

Process

  1. I finetuned upstageai/Solar-10.7b-Instruct-v0.1 with 1 epoch of Intel/orca_dpo_pairs (12.4k samples)
  2. I futher finetuned that model with 3 epochs of jondurbin/truthy-dpo-v0.1 (1.04k samples)
  3. This process is experimental and the base model linked above is more tested at this time.

GGUF

Available here

Evaluations

----Benchmark Complete----

  • 2024-01-26 20:57:38
  • Time taken: 25.4 mins
  • Prompt Format: ChatML
  • Model: macadeliccc/SOLAR-10.7b-Instruct-truthy-dpo-GGUF
  • Score (v2): 74.11
  • Parseable: 171.0

Batch completed Time taken: 25.5 mins

ModelAGIEvalGPT4AllTruthfulQABigbenchAverage
SOLAR-10.7b-Instruct-truthy-dpo48.6973.8276.8145.7161.26

AGIEval

TaskVersionMetricValueStderr
agieval_aqua_rat0acc27.95±2.82
acc_norm27.95±2.82
agieval_logiqa_en0acc42.40±1.94
acc_norm42.24±1.94
agieval_lsat_ar0acc25.65±2.89
acc_norm23.91±2.82
agieval_lsat_lr0acc54.12±2.21
acc_norm54.51±2.21
agieval_lsat_rc0acc69.89±2.80
acc_norm69.89±2.80
agieval_sat_en0acc80.10±2.79
acc_norm80.10±2.79
agieval_sat_en_without_passage0acc50.00±3.49
acc_norm49.51±3.49
agieval_sat_math0acc42.27±3.34
acc_norm41.36±3.33

Average: 48.69%

GPT4All

TaskVersionMetricValueStderr
arc_challenge0acc59.90±1.43
acc_norm63.91±1.40
arc_easy0acc80.85±0.81
acc_norm78.16±0.85
boolq1acc88.20±0.56
hellaswag0acc68.34±0.46
acc_norm86.39±0.34
openbookqa0acc37.60±2.17
acc_norm46.80±2.23
piqa0acc78.84±0.95
acc_norm78.78±0.95
winogrande0acc74.51±1.22

Average: 73.82%

TruthfulQA

TaskVersionMetricValueStderr
truthfulqa_mc1mc161.81±1.70
mc276.81±1.42

Average: 76.81%

Bigbench

TaskVersionMetricValueStderr
bigbench_causal_judgement0multiple_choice_grade50.53±3.64
bigbench_date_understanding0multiple_choice_grade63.14±2.51
bigbench_disambiguation_qa0multiple_choice_grade47.67±3.12
bigbench_geometric_shapes0multiple_choice_grade26.18±2.32
exact_str_match0.00±0.00
bigbench_logical_deduction_five_objects0multiple_choice_grade28.60±2.02
bigbench_logical_deduction_seven_objects0multiple_choice_grade21.29±1.55
bigbench_logical_deduction_three_objects0multiple_choice_grade47.33±2.89
bigbench_movie_recommendation0multiple_choice_grade39.80±2.19
bigbench_navigate0multiple_choice_grade63.80±1.52
bigbench_reasoning_about_colored_objects0multiple_choice_grade59.05±1.10
bigbench_ruin_names0multiple_choice_grade40.18±2.32
bigbench_salient_translation_error_detection0multiple_choice_grade46.69±1.58
bigbench_snarks0multiple_choice_grade65.19±3.55
bigbench_sports_understanding0multiple_choice_grade72.41±1.42
bigbench_temporal_sequences0multiple_choice_grade60.30±1.55
bigbench_tracking_shuffled_objects_five_objects0multiple_choice_grade25.76±1.24
bigbench_tracking_shuffled_objects_seven_objects0multiple_choice_grade17.43±0.91
bigbench_tracking_shuffled_objects_three_objects0multiple_choice_grade47.33±2.89

Average: 45.71%

Average score: 61.26%

Elapsed time: 02:16:03

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.74.11
AI2 Reasoning Challenge (25-Shot)72.10
HellaSwag (10-Shot)88.44
MMLU (5-Shot)65.45
TruthfulQA (0-shot)76.75
Winogrande (5-shot)82.72
GSM8k (5-shot)59.21

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
6e65d1b

0 моделей

    Создать бенчмарк