/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
68,7 млрд
Размер весов
138 ГБ
Архитектура
llama · dense
Опубликована
17 ноя 2023

opus-v0.5-70b

Генерация текстаТекст → текст3 профессии

Дообученная 70-миллиардная модель DreamGen для управляемого написания историй, ролевого общения и чата на английском языке.

29скачиваний за 30 дней2лайкавеса обновлены19 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DreamGen Opus V0.5 70B — языковая модель DreamGen для управляемого написания историй, чата и ролевых сценариев. Это дообученная версия meta-llama/Llama-2-70b-hf с плотной архитектурой Llama и 68,7 млрд параметров; репозиторий содержит веса PyTorch. Модель принимает текст и генерирует текст на английском языке, с контекстом до 4096 токенов.

Дообучение охватывает более миллиона токенов примеров совместного письма и свыше 20 миллионов токенов менее направленных текстовых примеров. Модель рассчитана на продолжение историй по заданной обстановке и событиям, а также на чат и ролевые игры; автор отмечает более сильные навыки ролевого общения по сравнению с предыдущей версией Opus V0 70B и большую открытость к NSFW-контекстам. Для запуска нужны значительные вычислительные ресурсы; доступны сторонние варианты квантования AWQ, GPTQ и GGUF, для которых README предупреждает о возможном снижении качества. Лицензия в предоставленных данных не указана.

Сценарии применения

  • продолжение художественной истории по описанию сцены
  • совместное написание прозы с управлением развитием сюжета
  • ролевая переписка с заданным персонажем
  • текстовый чат в вымышленных сценариях

Ограничения

Контекст ограничен 4096 токенами, а запуск 70B версии требует значительных ресурсов. Квантованные варианты могут снижать качество; модель описана как uncensored и может быть более открыта к NSFW-контекстам.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DreamGen Opus V0 70B

DreamGen Opus is a family of uncensored models fine-tuned for (steerable) story writing and the model also works great for chat / RP. The DreamGen Opus V0.5 70B model is derived from meta-llama/Llama-2-70b-hf.

You can try the Opus V0 70B (AWQ) model for free on dreamgen.com.

Quantized versions:

Other sizes:

Difference from dreamgen/opus-v0-70b

The model should be even better at role-play and chat, and be slighly more "open-minded" in NSFW contexts.

Prompting

Please see the official documentation for more detailed guide, including how to prompt the model for chat / RP.

The (collaborative / steerable) story writing task teaches the model to respect <setting> and <instruction> inserted into the prompt.

Example prompt:

<setting>
(Setting provides general overview of the story and characters)
This story is a twist on the traditional Little Red Riding Hood story.
In this variation, the Little Red Riding Hood and her grandma are secretely werevoles.
</setting>

(Previous part of the story, potentially empty)

<instruction>
(Setting tells the model what should happen in the next few sentences / paragraphs)
The Little Red Riding hood confronts The Big Bad Wolf, transforming into her wolf form.
</instruction>

Dataset

The fine-tuning dataset consisted of >1M tokens of collaborative writing task examples, each example being up to 4096 tokens. On top of that, >20M tokens of more general, but less instructed examples were included to help preserve generalization.

All prose in the dataset is from actual humans, not AI generated.

Community

Join the DreamGen community on Discord, or follow our X/Twitter account for new model releases and other news. We will soon be releasing models with longer context window, as well as models specifically fine-tuned for character chat & roleplay.

Help us shape the future of DreamGen.

Running the model

The model is should be compatible with any software that supports meta-llama/Llama-2-70b-hf. Note that because this is a 70B model, the resource requirements are large. You can try the quantized versions linked at the top, but expect a quality drop.

Running on DreamGen.com (free)

You can try the 70B (AWQ) model for free at dreamgen.com — note that an account is required. The version used for the website is the official AWQ 4bit quant dreamgen/opus-v0-70b-awq.

License

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
d172d62

0 моделей