/ Модель

Характеристики

Контекст
131 072 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Библиотека
transformers
Опубликована
13 окт 2024

NovaSpark

Генерация текстаТекст → текст6 профессий

NovaSpark — дообученная чат-модель Llama 3.1 для диалогов, выполнения инструкций и ролевой генерации текста.

39скачиваний за 30 дней8лайковвеса обновлены14 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,1518

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3882

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2978

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,5064

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,6408

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3649

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

NovaSpark — чат-модель на базе Llama 3.1, разработанная Epiculous и дообученная на версии SuperNova-lite от GrimJim с частично ослабленными отказами. Модель содержит около 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Она предназначена для генерации текста в диалогах, следования инструкциям и ролевых сценариев; обучена на шаблоне Llama Instruct.

Автор отмечает, что дообучение частично восстановило отказы, ранее ослабленные в базовой модели, поэтому эффект снижения отказов неполный. Модель распространяется в формате Safetensors; для неё также заявлены варианты квантования EXL2 и GGUF. Лицензия — Apache-2.0.

Сценарии применения

  • ведение диалогов с ассистентом
  • выполнение текстовых инструкций
  • ролевая генерация реплик персонажей
  • создание длинных текстовых ответов с большим контекстом

Ограничения

Автор сообщает, что дообучение частично восстановило отказы, ослабленные в базовой модели, поэтому снижение отказов не гарантировано. Указание на контекст 131 072 токена не гарантирует одинакового качества генерации на всей длине.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

Switching things up a bit since the last slew of models were all 12B, we now have NovaSpark! NovaSpark is an 8B model trained on GrimJim's abliterated version of arcee's SuperNova-lite. The hope is abliteration will remove some of the inherant refusals and censorship of the original model, however I noticed that finetuning on GrimJim's model undid some of the abliteration, therefore more than likely abiliteration will have to be reapplied to the resulting model to reinforce it.

Quants!

full / exl2 / gguf

Prompting

This model is trained on llama instruct template, the prompting structure goes a little something like this:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Context and Instruct

This model is trained on llama-instruct, please use that Context and Instruct template.

Current Top Sampler Settings

Smooth Creativity: Credit to Juelsman for researching this one! Variant Chimera: Credit to Numbra! Spicy_Temp Violet_Twilight-Nitral-Special

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
a463408

0 моделей