/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
transformers
Опубликована
28 мар 2024

NSFW_DPO_Noromaid-7b-Mistral-7B-Instruct-v0.1-GGUF

Генерация текстаТекст → текст3 профессии

Это GGUF-квантизированная версия модели NSFW_DPO_Noromaid-7b-Mistral-7B-Instruct-v0.1, базирующаяся на Mistral-7B-Instruct-v0.1.

3 350скачиваний за 30 дней3лайкавеса обновлены6 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель разработана MaziyarPanahi, а квантизация выполнена mradermacher. Она предназначена для генерации текста и диалоговых сценариев, включая ролевые взаимодействия с контентом для взрослых; заявленный язык — английский.

Модель относится к семейству Mistral и содержит около 7 миллиардов параметров. В репозитории представлены варианты в формате GGUF с разными уровнями квантизации — от Q2_K до Q8_0, размером примерно от 3,0 до 7,9 ГБ. Более компактные варианты требуют меньше памяти, но могут уступать в качестве; Q6_K и Q8_0 обозначены как обеспечивающие очень высокое или лучшее качество, а Q4_K_S и Q4_K_M — как быстрые рекомендуемые варианты. Данные о размере контекста и поддержке модальностей, кроме текста, не указаны.

Сильной стороной модели является адаптация под ролевые и NSFW-сценарии, а наличие нескольких вариантов квантизации позволяет запускать её на оборудовании с разными ограничениями по памяти. Ограничениями являются англоязычная специализация, отсутствие мультимодальности и отсутствие опубликованных сведений о результатах оценки, безопасности и точном контекстном окне. Указана лицензия Apache-2.0 для этого репозитория, однако в метаданных также упоминается датасет с лицензией CC-BY-NC-4.0, поэтому условия использования производных компонентов следует проверить отдельно.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

About

static quants of https://huggingface.co/MaziyarPanahi/NSFW_DPO_Noromaid-7b-Mistral-7B-Instruct-v0.1

weighted/imatrix quants seem not to be available (by me) at this time. If they do not show up a week or so after the static ones, I have probably not planned for them. Feel free to request them by opening a Community Discussion.

Usage

If you are unsure how to use GGUF files, refer to one of TheBloke's READMEs for more details, including on how to concatenate multi-part files.

Provided Quants

(sorted by size, not necessarily quality. IQ-quants are often preferable over similar sized non-IQ quants)

LinkTypeSize/GBNotes
GGUFQ2_K3.0
GGUFIQ3_XS3.3
GGUFQ3_K_S3.4
GGUFIQ3_S3.4beats Q3_K*
GGUFIQ3_M3.5
GGUFQ3_K_M3.8lower quality
GGUFQ3_K_L4.1
GGUFIQ4_XS4.2
GGUFQ4_04.4fast, low quality
GGUFQ4_K_S4.4fast, recommended
GGUFIQ4_NL4.4prefer IQ4_XS
GGUFQ4_K_M4.6fast, recommended
GGUFQ5_K_S5.3
GGUFQ5_K_M5.4
GGUFQ6_K6.2very good quality
GGUFQ8_07.9fast, best quality

Here is a handy graph by ikawrakow comparing some lower-quality quant types (lower is better):

image.png

And here are Artefact2's thoughts on the matter: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

FAQ / Model Request

See https://huggingface.co/mradermacher/model_requests for some answers to questions you might have and/or if you want some other model quantized.

Thanks

I thank my company, nethype GmbH, for letting me use its servers and providing upgrades to my workstation to enable this work in my free time.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
fe278ea

0 моделей