/ Модель

Характеристики

Контекст
131 072 токена
Параметры
69,5 млрд
Размер весов
141 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
llama · dense
Опубликована
17 окт 2024

Llama-3.05-Nemotron-Tenyxchat-Storybreaker-70B

Генерация текстаТекст → текст3 профессии

Объединённая модель Llama 3.1 Nemotron и TenyxChat для ролевого общения, творческого письма и диалоговой помощи.

23скачиваний за 30 дней1лайквеса обновлены17 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Llama-3.05-Nemotron-Tenyxchat-Storybreaker-70B — объединённая модель на базе Llama 3.1 Nemotron 70B Instruct от NVIDIA и Llama-3-TenyxChat-DaybreakStorywriter-70B от Envoid. Автор карточки объединил их методом SLERP в пропорции 40/60; модель имеет плотную архитектуру LlamaForCausalLM, 69,5 млрд параметров и контекст до 131 072 токенов.

Модель предназначена для ролевого общения и творческого письма, включая продолжение диалога с сохранением его темпа и стиля. Она также может работать как разговорный помощник и поддерживает интерфейс вызова инструментов. В режиме помощника модель предупреждает перед генерацией чувствительного контента, однако автор отмечает, что после слияния возможны нежелательные особенности поведения.

Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Сценарии применения

  • написание художественных сцен и рассказов
  • продолжение ролевого диалога с сохранением его темпа
  • общение с персонажем в текстовой ролевой игре
  • поддержка творческого письма в формате диалога
  • ответы на вопросы в роли разговорного помощника

Ограничения

При слиянии SLERP могут возникать непреднамеренные особенности поведения; автор рекомендует проявлять осторожность. Для коммерческого использования лицензия CC BY-NC 4.0 не подходит.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Llama-3.05-Nemotron-Tenyxchat-Storybreaker-70B

is a 40/60 SLERP Merge of Envoid/Llama-3-TenyxChat-DaybreakStorywriter-70B onto nvidia/Llama-3.1-Nemotron-70B-Instruct-HF utilizing the following config:

models:
  - model: ./Envoid_Llama-3-TenyxChat-DaybreakStorywriter-70B
  - model: ./nvidia_Llama-3.1-Nemotron-70B-Instruct-HF
merge_method: slerp
base_model: ./nvidia_Llama-3.1-Nemotron-70B-Instruct-HF
parameters:
  t:
    - value: 0.4
dtype: bfloat16

Caution: As is always the case with SLERP merges there may be edge cases inwhich certain unintended model behaviors emerge. So always use with caution.

The 'sloppiness' of Nemotron seems to be somewhat reigned in (but still exists) while maintaining its personable assistant personality and safety (In assistant mode it will still prompt you with a warning before producing sensitive content).

Overall it provides a solid option for RP and creative writing while still functioning as an assistant model, if desired. If used to continue a roleplay it will generally follow the ongoing cadence of the conversation.

It utilizes the Llama 3 prompt format.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
66a1069

0 моделей