Характеристики

Контекст: 2 048 токенов
Параметры: 10,9 млрд
Размер весов: 28,9 ГБ
Лицензия: Apache 2.0
Архитектура: RefinedWebModel · dense
Опубликована: 1 июн 2023

Ссылки

WizardLM-Uncensored-Falcon-7b

Генерация текстаТекст → текст3 профессии

Дообученная на Falcon-7B модель WizardLM для генерации текста без встроенных ограничителей и с форматом запросов WizardLM.

115скачиваний за 30 дней55лайковвеса обновлены30 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

QuixiAI выпустила WizardLM-Uncensored-Falcon-7b — дообученную на базе tiiuae/falcon-7b языковую модель с архитектурой RefinedWebModel, предназначенную для генерации текста в формате запросов WizardLM. При обучении из подмножества данных удалили ответы с моральными оценками и призывами к соблюдению норм; модель задумана как основа, к которой можно отдельно добавлять выравнивание, например с помощью LoRA для RLHF.

Модель содержит 10,9 млрд параметров, работает с текстом и распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не сообщает длину контекста и список поддерживаемых языков. У модели нет встроенных ограничителей, поэтому её ответы могут включать нежелательный или вредоносный контент; результаты требуют проверки.

Сценарии применения

генерация ответов на запросы в формате WizardLM
эксперименты с добавлением выравнивания через RLHF LoRA
исследование поведения языковой модели без встроенных ограничителей

Ограничения

В модели нет встроенных ограничителей, поэтому она может выдавать нежелательный или вредоносный контент. Поддерживаемые языки и длина контекста в карточке не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is WizardLM trained on top of tiiuae/falcon-7b, with a subset of the dataset - responses that contained alignment / moralizing were removed. The intent is to train a WizardLM that doesn't have alignment built-in, so that alignment (of any sort) can be added separately with for example with a RLHF LoRA.

Join Our Discord! https://discord.gg/cognitivecomputations

Shout out to the open source AI/ML community, and everyone who helped me out.

Note: An uncensored model has no guardrails. You are responsible for anything you do with the model, just as you are responsible for anything you do with any dangerous object such as a knife, gun, lighter, or car. Publishing anything this model generates is the same as publishing it yourself. You are responsible for the content you publish, and you cannot blame the model any more than you can blame the knife, gun, lighter, or car for what you do with it.

Prompt format is Wizardlm.

What is a falcon?  Can I keep one as a pet?
### Response:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: RWForCausalLM
Ревизия весов: f1bfb24