Характеристики

Контекст: 4 096 токенов
Параметры: 68,7 млрд
Лицензия: cc-by-nc-2.0
Архитектура: llama · dense
Опубликована: 3 окт 2023

Ссылки

Hugging Face

lzlv_70b_fp16_hf

lizpreciatior

Генерация текстаТекст → текст3 профессии

Слитая модель LLaMA 2 на 68,7 млрд параметров для генерации текста, ролевых диалогов и творческого письма.

95скачиваний за 30 дней78лайковвеса обновлены29 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

lzlv 70B fp16 hf — плотное языковое семейство LLaMA 2, созданное lizpreciatior путём слияния нескольких дообученных моделей LLaMA 2 объёмом 70B. В состав вошли Nous-Hermes-Llama2-70b, Xwin-LM-7B-V0.1 и Mythospice-70b; для объединения использовались SLERP-слияния. Репозиторий содержит веса в формате safetensors, всего около 68,7 млрд параметров. Указанное нативное окно контекста — 4096 токенов.

Модель предназначена для генерации текста, ролевых диалогов и творческого письма, с упором на сочетание следования инструкциям и выразительности. Автор субъективно отмечает, что модель справлялась со сложными сценариями и казалась более творческой, чем отдельные компоненты; независимые сравнительные оценки не приведены. Для общения в README предлагается формат Vicuna. Модель рассчитана на английский язык. Лицензия — CC BY-NC 2.0, которая ограничивает коммерческое использование.

Сценарии применения

ролевые диалоги с вымышленными персонажами
написание художественных сцен и рассказов
генерация творческих ответов по инструкциям
разыгрывание сложных сценариев в диалоге

Ограничения

Оценка качества автора основана на субъективных тестах; независимые бенчмарки не приведены. Контекст ограничен 4096 токенами, а лицензия CC BY-NC 2.0 запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

lzlv_70B

A Mythomax/MLewd_13B-style merge of selected 70B models

A multi-model merge of several LLaMA2 70B finetunes for roleplaying and creative work. The goal was to create a model that combines creativity with intelligence for an enhanced experience.

Did it work? Probably, maybe. It seemed subjectively better than each of the individual models in my tests.

~~GGUF 4_K_M + 5_K_M can be found here: https://huggingface.co/lizpreciatior/lzlv_70b_fp16_hf/settings~~

Update 29/10: Thank you to TheBloke for making the whole range of quants for lzlv: https://huggingface.co/TheBloke/lzlv_70B-GGUF

Also recommended: lzlv merged with limarpv3 - check it out here: https://huggingface.co/Doctor-Shotgun/lzlv-limarpv3-l2-70b/tree/main Thanks for merging the LoRA. I think it gives the model a bit more creative spice.

lzlvV2 is in the works. Soon(tm).

Procedure:

Models used:

NousResearch/Nous-Hermes-Llama2-70b - A great model for roleplaying, but not the best at following complex instructions.
Xwin-LM/Xwin-LM-7B-V0.1 - Excellent at following instructions and quite creative out of the box, so it seemed like the best available model to act as the base for the merge.
Doctor-Shotgun/Mythospice-70b - The wildcard of the three. I was looking for a creative, NSFW-oriented model and came across this while digging through hf. I hadn't heard of it before and apparently no one had bothered to release a quantized version of this model. So I downloaded it and did it myself to test it. It turned out to be more or less what I was looking for as my third component, so I used it here.

A big thank you to the creators of the models above. If you look up Mythospice, you will notice that it also includes Nous-Hermes so it's technically present twice in this mix. This is apparently common practice amongst the cool kids who do 13B models so I don't think this hurts the model.

The merging process was heavily inspired by Undi95's approach in Undi95/MXLewdMini-L2-13B. To be specific, the ratios are:

Component 1: Merge of Mythospice x Xwin with SLERP gradient [0.25, 0.3, 0.5]. Component 2: Merge Xwin x Hermes with SLERP gradient [0.4, 0.3, 0.25].

Finally, both Component 1 and Component 2 were merged with SLERP using weight 0.5.

Peformance

I tested this model for a few days before publishing it. It seems to more or less retain the instruction-following capabilities of Xwin-70B, while seeming to have adopted a lot of the creativity of the other two models. It handled my more complex scenarios that creative models otherwise tend to struggle with quite well. At the same time, its outputs felt more creative and possibly a bit more nsfw-inclined than Xwin-70b. So, is it better? Feels like it to me, subjectively. Is it really better? No clue, test it.

Prompt format:

Vicuna USER: [Prompt] ASSISTANT:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: d5dbe51