Характеристики

Контекст: 4 096 токенов
Параметры: 120 млрд
Лицензия: Llama 2
Архитектура: llama · dense
Опубликована: 11 дек 2023

Ссылки

Hugging Face

Venus-120b-v1.1

nsfwthrowitaway69

Генерация текстаТекст → текст3 профессии

Объединённая модель Llama примерно на 120 млрд параметров для генерации связного текста, в том числе NSFW-контента.

20скачиваний за 30 дней9лайковвеса обновлены12 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Venus-120b-v1.1 — языковая модель для генерации текста, созданная путём объединения слоёв Sao10K/Euryale-1.3-L2-70B, Xwin-LM/Xwin-LM-70B-V0.1 и migtissera/SynthIA-70B-v1.5 с помощью mergekit. Автор указывает около 122 млрд параметров; метаданные Hugging Face указывают 120,1 млрд. Модель основана на архитектуре Llama и распространяется в формате safetensors. Длина контекста — 4096 токенов, основной язык карточки — английский.

Модель предназначена для связной генерации текста и сценариев с NSFW-содержимым. Автор сообщает, что версия 1.1 стала связнее версии 1.0. Карточка не приводит количественных оценок качества и не описывает детально метод объединения. Лицензия указана как llama2; README предупреждает, что модель может генерировать NSFW-контент.

Сценарии применения

генерация продолжений англоязычного текста
создание художественных текстов и ролевых диалогов
генерация NSFW-сценариев
свободный диалог с языковой моделью

Ограничения

Карточка предупреждает, что модель генерирует NSFW-контент. Контекст ограничен 4096 токенами; количественные оценки качества в README не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Venus 120b - version 1.1

image/png

Overview

Version 1.1 of the Venus 120b lineup.

Model Details

A result of interleaving layers of Sao10K/Euryale-1.3-L2-70B, Xwin-LM/Xwin-LM-70B-V0.1, and migtissera/SynthIA-70B-v1.5 using mergekit.
The resulting model has 140 layers and approximately 122 billion parameters.
See mergekit-config.yml for details on the merge method used.
See the exl2-* branches for exllama2 quantizations. The 4.85 bpw quant should fit in 80GB VRAM, and the 3.0 bpw quant should (just barely) fit in 48GB VRAM with 4k context.
Inspired by Goliath-120b

Warning: This model will produce NSFW content!

Results

Seems to be more coherent than v1.0, likely due to using SynthIA 1.2b instead of 1.5.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 4512813