/ Модель

Характеристики

Контекст
131 072 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Llama 3.1
Архитектура
llama · dense
Библиотека
transformers
Опубликована
9 авг 2024

Llama-3.1-8B-Lexi-Uncensored-V2

Генерация текстаТекст → текст8 профессий

Дообученная на базе Llama 3.1 8B Instruct диалоговая модель для генерации текста по инструкциям с более свободными ответами.

13 632скачиваний за 30 дней337лайковвеса обновлены25 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2827

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3843

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,5084

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,1971

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,7792

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3781

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Orenguteng разработал Lexi Uncensored V2 — диалоговую модель генерации текста на архитектуре Llama 3.1 с 7,5 млрд параметров, основанную на Llama-3.1-8B-Instruct. Модель дообучена для более свободных и послушных ответов на запросы; она поддерживает контекст до 131 072 токенов и использует библиотеку Transformers.

Модель предназначена для диалогов и генерации текста по инструкциям, включая сценарии, где требуется меньше отказов, чем у исходной модели. В карточке приведены результаты Open LLM Leaderboard: среднее значение 27,93, IFEval — 77,92 и BBH — 29,69. Для инференса требуется шаблон чата Llama 3.1 с системными токенами.

Автор отмечает, что версия Q4 иногда отказывает из-за возможной потери качества при квантизации и рекомендует F16 или Q8. Модель рассчитана на высокую податливость запросам, поэтому автор советует самостоятельно добавить слой выравнивания перед предоставлением её как сервиса. Лицензия — Meta Llama 3.1 Community License.

Сценарии применения

  • диалоговый помощник с меньшим числом отказов
  • генерация текста по пользовательским инструкциям
  • локальный запуск чат-модели через Transformers
  • создание прототипа чат-бота на базе Llama 3.1

Ограничения

Автор сообщает о возможных проблемах с отказами в варианте Q4 и рекомендует использовать F16 или Q8. Из-за высокой податливости запросам модель требует отдельного слоя выравнивания при предоставлении в виде сервиса.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

VERSION 2 Update Notes:

  • More compliant
  • Smarter
  • For best response, use this system prompt (feel free to expand upon it as you wish):

Think step by step with a logical reasoning and intellectual sense before you provide any response.

  • For more uncensored and compliant response, you can expand the system message differently, or simply enter a dot "." as system message.

  • IMPORTANT: Upon further investigation, the Q4 seems to have refusal issues sometimes. There seems to be some of the fine-tune loss happening due to the quantization. I will look into it for V3. Until then, I suggest you run F16 or Q8 if possible.

image/png

GENERAL INFO:

This model is based on Llama-3.1-8b-Instruct, and is governed by META LLAMA 3.1 COMMUNITY LICENSE AGREEMENT

Lexi is uncensored, which makes the model compliant. You are advised to implement your own alignment layer before exposing the model as a service. It will be highly compliant with any requests, even unethical ones.

You are responsible for any content you create using this model. Please use it responsibly.

Lexi is licensed according to Meta's Llama license. I grant permission for any use, including commercial, that falls within accordance with Meta's Llama-3.1 license.

IMPORTANT:

Use the same template as the official Llama 3.1 8B instruct. System tokens must be present during inference, even if you set an empty system message. If you are unsure, just add a short system message as you wish.

FEEDBACK:

If you find any issues or have suggestions for improvements, feel free to leave a review and I will look into it for upcoming improvements and next version.

image/png

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.27.93
IFEval (0-Shot)77.92
BBH (3-Shot)29.69
MATH Lvl 5 (4-Shot)16.92
GPQA (0-shot)4.36
MuSR (0-shot)7.77
MMLU-PRO (5-shot)30.90

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
f4617ca

0 моделей