/ Модель
Каталог

Характеристики

Контекст
4 096 токенов
Параметры
10,6 млрд
Размер весов
42,9 ГБ
Лицензия
cc-by-nc-2.0
Архитектура
llama · dense
Опубликована
9 фев 2024

Ссылки

Hugging Face

SOLAR-10.7B-Instruct-v1.0-laser

macadeliccc
Генерация текстаТекст → текст7 профессий

Разговорная модель SOLAR на 10,6 млрд параметров для генерации текста, ответов на вопросы и следования инструкциям.

26скачиваний за 30 дней2лайкавеса обновлены5 мая 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

macadeliccc/SOLAR-10.7B-Instruct-v1.0-laser — разговорная языковая модель на архитектуре Llama с 10,6 млрд параметров. По README, к версии SOLAR-10.7B-Instruct-v1.0 применён процесс LASER; карточка приводит оценку перплексии на GSM8K и результаты бенчмарков AGIEval, GPT4All, TruthfulQA и Bigbench. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и выполнение инструкций на естественном языке. Контекст — до 4096 токенов; модель принимает текст и генерирует текст.

В README сообщается о снижении перплексии на 2,41% после LASER и среднем результате 59,07% по указанным бенчмаркам. Язык модели и её качество в конкретных языках или прикладных областях в предоставленных данных не описаны. Лицензия CC BY-NC 2.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Сценарии применения

  • генерация ответов в диалоговом интерфейсе
  • ответы на вопросы на естественном языке
  • создание черновиков и продолжение текста
  • выполнение текстовых инструкций
  • экспериментальная оценка языковой модели на бенчмарках

Ограничения

В предоставленных данных не указаны языковое покрытие и оценки для отдельных языков; опубликованные бенчмарки не гарантируют качество в конкретных пользовательских сценариях. Лицензия CC BY-NC 2.0 ограничивает коммерческое использование.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SOLAR-10.7B-Instruct-v1.0-laser

This version of Solar-10.7B was lasered and perplexity was calculated against gsm8k.

  • Initial Model Perplexity: 12.865185737609863
  • New baseline perplexity: 12.554274559020996

The laser process decreased perplexity by 2.41%

ModelAGIEvalGPT4AllTruthfulQABigbenchAverage
SOLAR-10.7B-Instruct-v1.0-laser46.974.9970.6443.7459.07

AGIEval

TaskVersionMetricValueStderr
agieval_aqua_rat0acc29.53±2.87
acc_norm28.35±2.83
agieval_logiqa_en0acc39.78±1.92
acc_norm40.55±1.93
agieval_lsat_ar0acc23.04±2.78
acc_norm21.30±2.71
agieval_lsat_lr0acc51.18±2.22
acc_norm51.76±2.21
agieval_lsat_rc0acc66.54±2.88
acc_norm66.91±2.87
agieval_sat_en0acc78.16±2.89
acc_norm78.16±2.89
agieval_sat_en_without_passage0acc50.97±3.49
acc_norm50.00±3.49
agieval_sat_math0acc42.73±3.34
acc_norm38.18±3.28

Average: 46.9%

GPT4All

TaskVersionMetricValueStderr
arc_challenge0acc60.84±1.43
acc_norm63.99±1.40
arc_easy0acc83.59±0.76
acc_norm81.44±0.80
boolq1acc87.58±0.58
hellaswag0acc68.11±0.47
acc_norm85.77±0.35
openbookqa0acc35.40±2.14
acc_norm48.40±2.24
piqa0acc80.58±0.92
acc_norm80.74±0.92
winogrande0acc77.03±1.18

Average: 74.99%

TruthfulQA

TaskVersionMetricValueStderr
truthfulqa_mc1mc155.45±1.74
mc270.64±1.49

Average: 70.64%

Bigbench

TaskVersionMetricValueStderr
bigbench_causal_judgement0multiple_choice_grade57.37±3.60
bigbench_date_understanding0multiple_choice_grade62.87±2.52
bigbench_disambiguation_qa0multiple_choice_grade35.66±2.99
bigbench_geometric_shapes0multiple_choice_grade33.15±2.49
exact_str_match0.00±0.00
bigbench_logical_deduction_five_objects0multiple_choice_grade26.20±1.97
bigbench_logical_deduction_seven_objects0multiple_choice_grade19.71±1.50
bigbench_logical_deduction_three_objects0multiple_choice_grade45.00±2.88
bigbench_movie_recommendation0multiple_choice_grade39.00±2.18
bigbench_navigate0multiple_choice_grade51.20±1.58
bigbench_reasoning_about_colored_objects0multiple_choice_grade53.90±1.11
bigbench_ruin_names0multiple_choice_grade40.18±2.32
bigbench_salient_translation_error_detection0multiple_choice_grade39.98±1.55
bigbench_snarks0multiple_choice_grade63.54±3.59
bigbench_sports_understanding0multiple_choice_grade68.36±1.48
bigbench_temporal_sequences0multiple_choice_grade65.20±1.51
bigbench_tracking_shuffled_objects_five_objects0multiple_choice_grade22.48±1.18
bigbench_tracking_shuffled_objects_seven_objects0multiple_choice_grade18.46±0.93
bigbench_tracking_shuffled_objects_three_objects0multiple_choice_grade45.00±2.88

Average: 43.74%

Average score: 59.07%

Elapsed time: 02:33:24

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
eb446fe

0 моделей

    Создать бенчмарк