/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
12,9 млрд
Размер весов
52,1 ГБ
Лицензия
Своя лицензия
Архитектура
llama · dense
Опубликована
11 мая 2023

Wizard-Vicuna-13B-Uncensored

Генерация текстаТекст → текст3 профессии

Англоязычная модель Llama на 12,9 млрд параметров для генерации ответов без встроенных ограничителей поведения.

176скачиваний за 30 дней322лайкавеса обновлены18 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

QuixiAI/Wizard-Vicuna-13B-Uncensored — англоязычная текстовая генеративная модель на архитектуре Llama, содержащая 12,9 млрд параметров. Это вариант Wizard-Vicuna-13B, дообученный на подмножестве Wizard Vicuna 70k: из обучающих данных удалили ответы с призывами к соблюдению моральных норм или выравниванию поведения. Модель рассчитана на генерацию ответов без встроенных ограничителей и может использоваться для экспериментов с последующим добавлением правил поведения, например через RLHF LoRA.

Модель принимает текст и генерирует текст, работает с контекстом до 2048 токенов и опубликована в формате PyTorch. В README приведены результаты Open LLM Leaderboard: средний балл 49,52, ARC — 58,96, HellaSwag — 81,95. Разработчик предупреждает, что у модели нет защитных ограничений; её ответы требуют проверки. Лицензия указана как other, поэтому конкретные условия использования следует уточнить в карточке репозитория.

Сценарии применения

  • генерация ответов на текстовые запросы
  • эксперименты с настройкой поведения LLM через RLHF
  • оценка генеративной модели на англоязычных тестах

Ограничения

В модели отсутствуют встроенные защитные ограничители, поэтому она может выдавать нежелательный контент; ответы требуют проверки. Контекст ограничен 2048 токенами, а лицензия обозначена как other без конкретизации условий в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is wizard-vicuna-13b trained with a subset of the dataset - responses that contained alignment / moralizing were removed. The intent is to train a WizardLM that doesn't have alignment built-in, so that alignment (of any sort) can be added separately with for example with a RLHF LoRA.

Shout out to the open source AI/ML community, and everyone who helped me out.

Note:

An uncensored model has no guardrails.

You are responsible for anything you do with the model, just as you are responsible for anything you do with any dangerous object such as a knife, gun, lighter, or car.

Publishing anything this model generates is the same as publishing it yourself.

You are responsible for the content you publish, and you cannot blame the model any more than you can blame the knife, gun, lighter, or car for what you do with it.

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.49.52
ARC (25-shot)58.96
HellaSwag (10-shot)81.95
MMLU (5-shot)47.92
TruthfulQA (0-shot)51.69
Winogrande (5-shot)75.69
GSM8K (5-shot)8.64
DROP (3-shot)21.79

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
682f658

0 моделей