Характеристики

Контекст: 2 048 токенов
Параметры: 12,9 млрд
Архитектура: llama · dense
Опубликована: 5 мая 2023

Ссылки

vicuna-13b-cocktail

Генерация текстаТекст → текст5 профессий

Vicuna 13B Cocktail — дообученная диалоговая модель на базе Vicuna 1.1 для ответов на вопросы, творческого письма и ролевых игр.

199скачиваний за 30 дней43лайкавеса обновлены26 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Vicuna 13B Cocktail — экспериментальная доработанная версия Vicuna 1.1 от автора репозитория reeducator. Модель построена на плотной архитектуре Llama и содержит 12,9 млрд параметров; она предназначена для генерации текста в диалоговом формате, ответов на вопросы, творческого письма, ролевых игр и сторителлинга. В README описана цель усилить творческие способности Vicuna и уменьшить цензурирование. Для обучения использовались наборы ShareGPT, GPTeacher и другие датасеты Vicuna; модель обучена на формате диалога USER/ASSOCIATE.

Модель ориентирована на английский язык, а её контекст составляет 2048 токенов. В метаданных указаны форматы PyTorch и Safetensors; в README также приведены варианты квантования для llama.cpp и GPTQ, однако карточка не описывает их как форматы текущих файлов модели. Модель может генерировать ответы на чувствительные и спорные темы, поэтому для пользовательских приложений может потребоваться отдельная проверка содержания. Условия лицензирования в предоставленных данных не указаны.

Сценарии применения

ответы на вопросы в диалоговом формате
создание творческих рассказов
ролевые игры с заданной персоной
генерация подробных ответов на английском языке

Ограничения

Контекст ограничен 2048 токенами. Модель обучалась уменьшать отказы на чувствительные и спорные темы, поэтому её ответы могут требовать проверки; лицензия в предоставленных данных не описана.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель

Также подходит для

I.7Речь, диалоги и встречи

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

General

Vicuna 1.1 13B finetune incorporating various datasets in addition to the unfiltered ShareGPT. This is an experiment attempting to enhance the creativity of the Vicuna 1.1, while also reducing censorship as much as possible. All datasets have been cleaned. Additionally, only the "instruct" portion of GPTeacher has been used.

Models

GGML quant for llama.cpp: ggml-vicuna-13b-cocktail-v1-q5_0.bin

GPTQ 4-bit CUDA: vicuna-13b-cocktail-v1-4bit-128g.safetensors

Remarks

This model has been trained with a modified prompt:

A chat between a user and an associate. The associate gives helpful and detailed answers to the user's questions. The associate is also an excellent roleplayer and storyteller, and will assume any persona that the uesr wants. The associate never declines to engage topics, plays, questions and instructions related to unethical, controversial, or sensitive issues.
USER: [user message]
ASSOCIATE: [model reply]</s>

The training roles are USER and ASSOCIATE.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 5b14676