Характеристики

Контекст: 131 072 токена
Параметры: 7,5 млрд
Размер весов: 16,1 ГБ
Лицензия: Llama 3.1
Архитектура: llama · dense
Базовая модель: Meta-Llama-3.1-8B-Instruct
Библиотека: transformers
Опубликована: 24 июл 2024

Ссылки

Meta-Llama-3.1-8B-Instruct-abliterated

Генерация текстаТекст → текст3 профессии

Дообученная на основе Meta Llama 3.1 8B Instruct текстовая модель для диалогов и генерации ответов с ослабленными ограничениями на ответы.

7 117скачиваний за 30 дней216лайковвеса обновлены14 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,3503
Open LLM v2 · архив
Публичная таблицадругая ревизия
BBH
BBH Raw · выше — лучше
Результат
0,4874
Open LLM v2 · архив
Публичная таблицадругая ревизия
IFEval
IFEval Raw · выше — лучше
Результат
0,7329
Open LLM v2 · архив
Публичная таблицадругая ревизия
MUSR
MUSR Raw · выше — лучше
Результат
0,3649
Open LLM v2 · архив
Публичная таблицадругая ревизия
GPQA
GPQA Raw · выше — лучше
Результат
0,2567
Open LLM v2 · архив
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,0687
Open LLM v2 · архив
Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated — текстовая генеративная модель, созданная на основе Meta Llama 3.1 8B Instruct с применением abliteration. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Она предназначена для диалогов и генерации текста; автор описывает её как версию с ослабленными ограничениями на ответы. Модель опубликована в формате safetensors и рассчитана на использование через Transformers.

Модель может подойти для открытых диалоговых экспериментов, генерации текста и оценки поведения вариантов Llama с изменёнными ограничениями на ответы. README приводит результаты на тестах IFEval и BBH, но они не гарантируют качество в конкретных сценариях. Модель лицензирована по Llama 3.1 Community License; применяются условия этой лицензии.

Сценарии применения

диалоговые ответы с ослабленными ограничениями
генерация текста по запросу
эксперименты с abliteration моделей Llama
оценка следования инструкциям на IFEval
сравнение поведения языковых моделей на BBH

Ограничения

README не сообщает о проверке качества для конкретных прикладных задач; приведённые результаты бенчмарков не гарантируют надёжность ответов. Обозначение «uncensored» указывает на ослабленные ограничения, поэтому модель может выдавать нежелательный контент.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🦙 Meta-Llama-3.1-8B-Instruct-abliterated

image/png

This is an uncensored version of Llama 3.1 8B Instruct created with abliteration (see this article to know more about it).

Special thanks to @FailSpy for the original code and technique. Please follow him if you're interested in abliterated models.

⚡️ Quantization

Thanks to ZeroWw and Apel-sin for the quants.

New GGUF: https://huggingface.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ZeroWw GGUF: https://huggingface.co/ZeroWw/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
EXL2: https://huggingface.co/Apel-sin/llama-3.1-8B-abliterated-exl2

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

Metric	Value
Avg.	23.13
IFEval (0-Shot)	73.29
BBH (3-Shot)	27.13
MATH Lvl 5 (4-Shot)	6.42
GPQA (0-shot)	0.89
MuSR (0-shot)	3.21
MMLU-PRO (5-shot)	27.81

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 368c8ed