Характеристики

Контекст: 4 096 токенов
Параметры: 103 млрд
Лицензия: Llama 2
Архитектура: llama · dense
Опубликована: 27 ноя 2023

Ссылки

Hugging Face

Venus-103b-v1.0

nsfwthrowitaway69

Генерация текстаТекст → текст3 профессии

Слитая 103-миллиардная модель на архитектуре Llama для генерации английского текста, в том числе контента для взрослых.

28скачиваний за 30 дней16лайковвеса обновлены30 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Venus-103b-v1.0 — плотная языковая модель для генерации текста, созданная автором nsfwthrowitaway69. Это уменьшенная версия Venus-120b, полученная слиянием слоёв Sao10K/Euryale-1.3-L2-70B, NousResearch/Nous-Hermes-Llama2-70b и migtissera/SynthIA-70B-v1.5 с помощью mergekit. Модель основана на архитектуре Llama и содержит около 102,9 млрд параметров; нативный контекст — 4096 токенов.

Модель предназначена для генерации продолжений и диалогового текста на английском языке. Автор отмечает, что ответы могут быть связнее, чем у Venus-120b, но это наблюдение не подкреплено описанными оценками. Модель способна генерировать контент для взрослых, что ограничивает её применение в аудиториях общего назначения. Для репозитория указана лицензия Llama 2; README также упоминает отдельные ветки с квантизацией ExLlama2.

Сценарии применения

генерация продолжений текста на английском языке
ведение текстовых диалогов
создание ролевых сценариев для взрослых
эксперименты со слиянием крупных языковых моделей

Ограничения

Модель может генерировать откровенный контент и не подходит для всех аудиторий; заявленное улучшение связности относительно Venus-120b не подтверждено приведёнными оценками. Нативный контекст составляет 4096 токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Venus 103b - version 1.0

image/png

Overview

A smaller version of Venus-120b that uses the same base models.

Model Details

A result of interleaving layers of Sao10K/Euryale-1.3-L2-70B, NousResearch/Nous-Hermes-Llama2-70b, and migtissera/SynthIA-70B-v1.5 using mergekit.
The resulting model has 120 layers and approximately 103 billion parameters.
See mergekit-config.yml for details on the merge method used.
See the exl2-* branches for exllama2 quantizations. The 5.65 bpw quant should fit in 80GB VRAM, and the 3.35 bpw quant should fit in 48GB VRAM.

Warning: This model will produce NSFW content!

Results

Seems to be a bit more coherent than Venus-120b, likely due to using SynthIA 1.2b instead of SynthIA 1.5.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: e1cd85e