/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Лицензия
Apache 2.0
Архитектура
mistral · dense
Базовая модель
mistral-7b-v0.3-bnb-4bit
Опубликована
12 сен 2024

Ссылки

Hugging Face

CleverBoi-7B-v2

theprint
Генерация текстаТекст → текст3 профессии

CleverBoi-7B-v2 — языковая модель для генерации текста, разработанная theprint. Она дообучена на базе unsloth/mistral-7b-v0.3-bnb-4bit с использованием набора данных CleverBoi-Abridged; обучение продолжалось одну эпоху.

689скачиваний за 30 дней0лайковвеса обновлены22 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,4532

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2886

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0264

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,217

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,2709

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,4695

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Датасет серии CleverBoi ориентирован на задачи логики, вывода, математики и программирования, поэтому модель предназначена прежде всего для текстовых сценариев, требующих рассуждений и решения задач. Заявленный язык — английский.

Модель относится к семейству Mistral и имеет размер 7 миллиардов параметров; базовая версия представлена в 4-битном формате bnb. README не содержит сведений о длине контекста, поддержке мультимодальности или специализированных режимах работы, поэтому модель следует рассматривать как текстовую. В оценках Open LLM Leaderboard средний результат составил 14,97 балла: 21,70 на IFEval, 23,44 на BBH, 1,89 на MATH уровня 5, 5,15 на GPQA, 18,66 на MuSR и 18,98 на MMLU-PRO. Эти результаты указывают на ограниченную и неравномерную эффективность в задачах следования инструкциям, общего знания и сложного рассуждения, поэтому ответы требуют проверки.

Модель распространяется по лицензии Apache-2.0. Для обучения использовались Unsloth и библиотека TRL от Hugging Face.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CleverBoi

The CleverBoi series is based on models that have been fine tuned on a collection of data sets that emphasize logic, inference, math and coding, also known as the CleverBoi data set.

This model has been fine tuned for 1 epoch on the CleverBoi-Abridged data set.

Uploaded model

  • Developed by: theprint
  • License: apache-2.0
  • Finetuned from model : unsloth/mistral-7b-v0.3-bnb-4bit

This mistral model was trained 2x faster with Unsloth and Huggingface's TRL library.

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.14.97
IFEval (0-Shot)21.70
BBH (3-Shot)23.44
MATH Lvl 5 (4-Shot)1.89
GPQA (0-shot)5.15
MuSR (0-shot)18.66
MMLU-PRO (5-shot)18.98

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
1a33977

0 моделей

    Создать бенчмарк