Характеристики

Контекст: 2 048 токенов
Параметры: 12,9 млрд
Размер весов: 26 ГБ
Лицензия: gpl
Архитектура: llama · dense
Опубликована: 6 мая 2023

Ссылки

Hugging Face

GPT4-x-Vicuna-13b-fp16

NousResearch

Генерация текстаТекст → текст10 профессий

Дообученная Nous Research модель LLaMA на 12,9 млрд параметров для генерации ответов на инструкции и ролевого диалога.

154скачиваний за 30 дней23лайкавеса обновлены13 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GPT4-x-Vicuna-13b-fp16 — дообученная Nous Research языковая модель на архитектуре LLaMA с 12,9 млрд параметров. Она предназначена для генерации текста и выполнения инструкций в формате Alpaca: запрос помещается после «### Instruction:», а ответ начинается после «### Response:».

Модель дообучена на наборах GPTeacher, Roleplay v2, GPT-4-LLM Uncensored, WizardLM Uncensored и Nous Research Instruct Dataset; в карточке указано около 180 тысяч инструкций, созданных GPT-4 и очищенных от отказных формулировок. Обучение проводилось пять эпох на восьми ускорителях A100-80GB. Контекст составляет 2048 токенов. Репозиторий содержит веса PyTorch, лицензия указана как GPL.

Модель подходит для ответов на инструкции и ролевого диалога. Карточка предупреждает, что в базовой модели сохраняются ограничения OpenAI; поведение и качество могут зависеть от формулировки запроса. Данные о поддерживаемых естественных языках в карточке не приведены.

Сценарии применения

ответы на пользовательские инструкции в формате Alpaca
ведение ролевого диалога
генерация текста по запросу
создание ответов в стиле обучающих примеров

Ограничения

Контекст ограничен 2048 токенами. В карточке указано, что в базовой модели сохраняются ограничения OpenAI; конкретные поддерживаемые естественные языки не перечислены.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

As a base model used https://huggingface.co/eachadea/vicuna-13b-1.1

Finetuned on Teknium's GPTeacher dataset, unreleased Roleplay v2 dataset, GPT-4-LLM dataset Uncensored, WizardLM Uncensored and Nous Research Instruct Dataset

Approx 180k instructions, all from GPT-4, all cleaned of any OpenAI censorship/"As an AI Language Model" etc.

Base model still has OpenAI censorship. Soon, a new version will be released with cleaned vicuna from https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltere

Trained on 8 A100-80GB GPUs for 5 epochs following Alpaca deepspeed training code.

Nous Research Instruct Dataset will be released soon.

Prompt format is Alpaca:

### Instruction:

### Response:

### Instruction:

### Input:

### Response:

GPTeacher, Roleplay v2 by https://huggingface.co/teknium

Wizard LM by https://github.com/nlpxucan

Nous Research Instruct Dataset by https://huggingface.co/karan4d and https://huggingface.co/huemin

Compute provided by our project sponsor https://redmond.ai/

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: ec22f11