/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,1 млрд
Размер весов
14,5 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
mistral · dense
Опубликована
13 янв 2024

Kunoichi-DPO-v2-7B

Генерация текстаТекст → текст6 профессий

Модель семейства Mistral с 7,1 млрд параметров для генерации текста, диалогов и ответов на вопросы.

146скачиваний за 30 дней91лайквеса обновлены25 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,4416

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0763

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,4188

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3107

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,5431

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2961

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Kunoichi-DPO-v2-7B — языковая модель семейства Mistral, представленная в виде плотной авторегрессионной архитектуры MistralForCausalLM. Репозиторий содержит веса SafeTensors; модель насчитывает 7,1 млрд параметров и рассчитана на контекст до 8192 токенов. Карточка приводит результаты тестов MT-Bench, EQ-Bench, MMLU, Logic Test, AGIEval, GPT4All, TruthfulQA и Bigbench, включая оценку 8,51 на MT-Bench и 64,94 на MMLU.

Модель предназначена для генерации текста и может использоваться для диалогов, ответов на вопросы, рассуждений и других задач на основе текстового ввода. README содержит сравнительные оценки, однако не описывает конкретный процесс обучения или специальные области применения. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Сценарии применения

  • генерация ответов на текстовые запросы
  • ведение текстового диалога
  • помощь в рассуждениях и решении логических задач

Ограничения

README приводит результаты нескольких бенчмарков, но не описывает методику их получения и реальные ограничения модели. Лицензия запрещает коммерческое использование.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face
ModelMT BenchEQ BenchMMLULogic Test
GPT-4-Turbo9.32---
GPT-48.9962.5286.40.86
Kunoichi-DPO-v2-7B8.5142.1864.940.58
Mixtral-8x7B-Instruct8.3044.8170.60.75
Kunoichi-DPO-7B8.2941.6064.830.59
Kunoichi-7B8.1444.3264.90.58
Starling-7B8.09-63.90.51
Claude-28.0652.1478.5-
Silicon-Maid-7B7.9640.4464.70.54
Loyal-Macaroni-Maid-7B7.9538.6664.90.57
GPT-3.5-Turbo7.9450.28700.57
Claude-17.9-77-
Openchat-3.57.8137.0864.30.39
Dolphin-2.6-DPO7.7442.8861.90.53
Zephyr-7B-beta7.3438.7161.40.30
Llama-2-70b-chat-hf6.8651.5663-
Neural-chat-7b-v3-16.8443.6162.40.30
ModelAverageAGIEvalGPT4AllTruthfulQABigbench
Kunoichi-DPO-7B58.445.087466.9947.52
Kunoichi-DPO-v2-7B58.3144.8575.0565.6947.65
Kunoichi-7B57.5444.9974.8663.7246.58
OpenPipe/mistral-ft-optimized-121856.8544.7475.659.8947.17
Silicon-Maid-7B56.4544.7474.2661.545.32
mlabonne/NeuralHermes-2.5-Mistral-7B53.5143.6773.2455.3741.76
teknium/OpenHermes-2.5-Mistral-7B52.4242.7572.9952.9940.94
openchat/openchat_3.551.3442.6772.9247.2742.51
berkeley-nest/Starling-LM-7B-alpha51.1642.0672.7247.3342.53
HuggingFaceH4/zephyr-7b-beta50.9937.3371.8355.139.7
ModelAlpacaEval2Length
GPT-423.58%1365
GPT-4 031422.07%1371
Mistral Medium21.86%1500
Mixtral 8x7B v0.118.26%1465
Kunoichi-DPO-v217.19%1785
Claude 217.19%1069
Claude16.99%1082
Gemini Pro16.85%1315
GPT-4 061315.76%1140
Claude 2.115.73%1096
Mistral 7B v0.214.72%1676
GPT 3.5 Turbo 061314.13%1328
LLaMA2 Chat 70B13.87%1790
LMCocktail-10.7B-v113.15%1203
WizardLM 13B V1.111.23%1525
Zephyr 7B Beta10.99%1444
OpenHermes-2.5-Mistral (7B)10.34%1107
GPT 3.5 Turbo 03019.62%827
Kunoichi-7B9.38%1492
GPT 3.5 Turbo 11069.18%796
GPT-3.58.56%1018
Phi-2 DPO7.76%1687
LLaMA2 Chat 13B7.70%1513

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
5278247

0 моделей