/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
65 млрд
Размер весов
83,7 ГБ
Лицензия
Apache 2.0
Архитектура
RefinedWeb · dense
Опубликована
3 июн 2023

WizardLM-Uncensored-Falcon-40b

Генерация текстаТекст → текст3 профессии

Текстовая модель WizardLM на базе Falcon 40B для генерации ответов без встроенных ограничителей.

99скачиваний за 30 дней95лайковвеса обновлены3 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

QuixiAI/WizardLM-Uncensored-Falcon-40b — текстовая генеративная модель, созданная на основе tiiuae/falcon-40b. Разработчик дообучил Falcon 40B на подмножестве данных WizardLM, удалив из обучающих ответов высказывания с моральными наставлениями и ограничениями на содержание. Модель использует архитектуру RefinedWeb и формат диалога WizardLM.

Модель предназначена для генерации ответов на запросы без встроенных ограничителей, включая сценарии, где правила поведения планируется задавать отдельно, например с помощью RLHF LoRA. Она принимает текстовые запросы и генерирует текст; README не задаёт отдельной специализации по языкам или прикладной области. Веса доступны в формате PyTorch, лицензия — Apache-2.0.

Отсутствие встроенных ограничителей означает, что модель может выдавать нежелательный или вредоносный контент. Размер в метаданных указан как 65B, хотя в названии и README фигурирует Falcon 40B; это расхождение не позволяет однозначно определить точное число параметров.

Сценарии применения

  • генерация ответов в формате WizardLM
  • эксперименты с настройкой поведения языковой модели через RLHF LoRA
  • создание текстового прототипа чат-бота без встроенных ограничителей

Ограничения

В модели нет встроенных ограничителей, поэтому она может генерировать нежелательный или вредоносный контент. README и метаданные расходятся в оценке размера: указаны Falcon 40B и 65B параметров.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is WizardLM trained on top of tiiuae/falcon-40b, with a subset of the dataset - responses that contained alignment / moralizing were removed. The intent is to train a WizardLM that doesn't have alignment built-in, so that alignment (of any sort) can be added separately with for example with a RLHF LoRA.

Shout out to the open source AI/ML community, and everyone who helped me out.

Note: An uncensored model has no guardrails. You are responsible for anything you do with the model, just as you are responsible for anything you do with any dangerous object such as a knife, gun, lighter, or car. Publishing anything this model generates is the same as publishing it yourself. You are responsible for the content you publish, and you cannot blame the model any more than you can blame the knife, gun, lighter, or car for what you do with it.

Prompt format is WizardLM.

What is a falcon?  Can I keep one as a pet?
### Response:

Thank you chirper.ai for sponsoring some of my compute!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
RWForCausalLM
Ревизия весов
c0d41b9

0 моделей