/ Модель

Характеристики

Лицензия
GPL 3.0
Базовая модель
Qwen2.5-7B-Instruct
Опубликована
19 окт 2024

Qwen2.5-7B-Instruct-Uncensored-GGUF

Генерация текстаТекст → текст7 профессий

QuantFactory/Qwen2.5-7B-Instruct-Uncensored-GGUF — квантованная версия модели Orion-zhen/Qwen2.5-7B-Instruct-Uncensored, созданная QuantFactory с использованием llama.cpp.

11 847скачиваний за 30 дней32лайкавеса обновлены19 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

В основе лежит Qwen2.5-7B-Instruct от Qwen. Исходная модель дообучалась методами SFT и DPO на наборах данных с токсичными, нерефусальными и китайско- и англоязычными инструкциями.

Модель предназначена для генерации текста, диалоговых сценариев, выполнения инструкций, ролевых взаимодействий и задач, где требуется меньше ограничений на содержание ответов. Заявлены языки zh и en. Архитектура — языковая модель Qwen2.5 с 7 миллиардами параметров; формат GGUF подходит для запуска через совместимые инструменты экосистемы llama.cpp. Точная схема квантования и размер контекстного окна в карточке не указаны.

К сильным сторонам относятся сохранение исходных возможностей Qwen2.5-7B-Instruct при снижении склонности к отказам и возможность локального запуска в квантованном формате. Ограничение модели состоит в том, что даже после дообучения она может не создавать подробные описания некоторых экстремальных сценариев; кроме того, характеристики производительности зависят от конкретного варианта квантования и аппаратного обеспечения. Модель распространяется по лицензии GPL-3.0.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

QuantFactory Banner

QuantFactory/Qwen2.5-7B-Instruct-Uncensored-GGUF

This is quantized version of Orion-zhen/Qwen2.5-7B-Instruct-Uncensored created using llama.cpp

Original Model Card

Qwen2.5-7B-Instruct-Uncensored

This model is an uncensored fine-tune version of Qwen2.5-7B-Instruct. However, I can still notice that though uncensored, the model fails to generate detailed descriptions on certain extreme scenarios, which might be associated with deletion on some pretrain datasets in Qwen's pretraining stage.

Check out my roleplay&writing enhanced model based on this model: Orion-zhen/Meissa-Qwen2.5-7B-Instruct

Traning details

I used SFT + DPO to ensure uncensorment as well as trying to maintain original model's capabilities.

  • SFT:
    • NobodyExistsOnTheInternet/ToxicQAFinal
    • anthracite-org/kalo-opus-instruct-22k-no-refusal
  • DPO:
    • Orion-zhen/dpo-toxic-zh
    • unalignment/toxic-dpo-v0.2
    • Crystalcareai/Intel-DPO-Pairs-Norefusals

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
c7578d1

0 моделей