/ Модель

Характеристики

Контекст
131 072 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Llama 3.1
Архитектура
llama · dense
Опубликована
26 июл 2024

Llama-3.1-8B-Lexi-Uncensored

Генерация текстаТекст → текст4 профессии

Lexi — дообученная диалоговая модель на базе Llama 3.1 8B Instruct, настроенная на генерацию ответов с меньшим числом отказов.

120скачиваний за 30 дней48лайковвеса обновлены28 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,5057

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2718

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,7777

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3871

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,379

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,1571

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Orenguteng разработал Lexi — дообученную версию Llama 3.1 8B Instruct для генерации текста в диалогах. Модель сохраняет формат инструкций исходной модели и рассчитана на ответы с меньшим числом отказов и ограничений. Автор сообщает об улучшении результатов на некоторых оценках, но не приводит здесь подробностей о методике или численных результатах.

Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Репозиторий содержит веса Safetensors; для диалога следует применять шаблон Llama 3.1 Instruct и передавать системное сообщение, даже если оно пустое. Указана лицензия Meta Llama 3.1 Community License Agreement, допускающая коммерческое использование в её рамках.

Модель может охотно отвечать на запросы, включая вредоносные или неэтичные; перед предоставлением доступа к ней как к сервису автор рекомендует добавить собственный слой выравнивания. В README отмечено, что результаты оценки версии Q4 могут быть хуже из-за потери эффекта дообучения.

Сценарии применения

  • генерация ответов в диалоговом помощнике
  • выполнение пользовательских инструкций
  • прототипирование чат-ботов с минимальными отказами

Ограничения

Модель может выполнять вредоносные и неэтичные запросы, поэтому для сервиса автор рекомендует добавить собственный слой выравнивания. По README, оценка версии Q4 может быть хуже из-за потери эффекта дообучения.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LLM Leaderboard 2 results:

Lexi suggests that simply uncensoring the LLM makes it smarter. The dataset used to tune this model does not contain any "new knowledge" or any contamination whatsoever, yet, we see the evaluation scores shot up when we get rid of biases and refusals.

Lexi not only retains the original instruct, but it beats it.

image/png

NOTE: UGI Leaderboard

The UGI Leaderboard runs the Q4 for its evaluations which results in bad results for this model. As noted, the Q4 has issues retaining the fine tuning for some reasons ends up not as good, which will be fixed for V3.

V2 has been released, I recommend you download the new version:

https://huggingface.co/Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2

image/png

This model is based on Llama-3.1-8b-Instruct, and is governed by META LLAMA 3.1 COMMUNITY LICENSE AGREEMENT

Lexi is uncensored, which makes the model compliant. You are advised to implement your own alignment layer before exposing the model as a service. It will be highly compliant with any requests, even unethical ones.

You are responsible for any content you create using this model. Please use it responsibly.

Lexi is licensed according to Meta's Llama license. I grant permission for any use, including commercial, that falls within accordance with Meta's Llama-3 license.

IMPORTANT:

Use the same template as the official Llama 3.1 8B instruct. System tokens must be present during inference, even if you set an empty system message. If you are unsure, just add a short system message as you wish.

Feedback:

If you find any issues or have suggestions for improvements, feel free to leave a review and I will look into it for upcoming improvements and next version.

image/png

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
c3c9101

0 моделей