Характеристики

Контекст: 8 192 токена
Параметры: 7,5 млрд
Размер весов: 16,1 ГБ
Лицензия: Apache 2.0
Архитектура: llama · dense
Опубликована: 1 ноя 2024

Ссылки

Hugging Face arXiv 2410.24175

Llama3-Crab-DPO

THU-KEG

Генерация текстаТекст → текст8 профессий

Англоязычная модель Llama 3, дообученная для точного следования сложным инструкциям с ограничениями по формату и длине.

25скачиваний за 30 дней2лайкавеса обновлены1 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Llama3-Crab-DPO — англоязычная плотная авторегрессионная языковая модель семейства Llama 3, разработанная Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou и Juanzi Li. Модель дообучена на основе Llama3-8B с применением метода CRAB, который добавляет к инструкциям сложные ограничения, уже соблюдённые в исходных ответах, и направлен на улучшение следования таким инструкциям.

Модель предназначена для генерации текста по инструкциям с несколькими требованиями, включая заданные формат и длину ответа. Она имеет 7,5 млрд параметров и контекстное окно 8192 токена; поддерживает английский язык и распространяется в формате PyTorch. Лицензия — Apache-2.0.

Сценарии применения

генерация ответов по многоэтапным инструкциям
соблюдение заданного формата ответа
создание текста с ограничением длины
выполнение инструкций с несколькими условиями

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Llama3-Crab-DPO

📖 Paper: Constraint Back-translation Improves Complex Instruction Following of Large Language Models

Model Performance

Models	BaseModel	IFEval	FollowBench(HSR)			AVG
		AVG	L1-L2	L3-L5	AVG
GPT-3.5-turbo	GPT	66.3	74.2	61	66.2	66.3
GPT-4	GPT	81.3	80.4	69.4	73.8	77.6
Vicuna-13b-V1.5	Llama2	50.3	66.3	39.8	50.4	50.4
WizardLM-13B-V1.2	Llama2	51.4	56.5	36.9	44.7	48
Conifer-13B	Llama2	50.2	57.1	40.3	47	48.6
Zephyr-7B-beta	Mistral	45.4	54.8	38.2	44.8	45.1
Conifer-7B	Mistral	53.9	51.9	40.2	44.9	49.4
Conifer-7B-DPO	Mistral	55.7	57	45.4	50	52.9
Llama3 8B	Llama3	31.4	6.8	8.2	7.6	19.5
Llama3-crab	Llama3	46.9	51.2	26.7	36.5	41.7
Llama3-crab + DPO	Llama3	49.7	56.8	38.1	45.5	47.6
Mistral 7B	Mistral	25.2	15.5	6.5	10.1	17.7
Mistral-crab	Mistral	54.5	59.2	32.8	43.3	48.9
Mistral-crab + DPO	Mistral	59.4	59.9	42.5	49.4	54.4

Model Description

Developed by: Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou, Juanzi Li
Model type: Text Generation
Language(s) (NLP): English
Finetuned from model [optional]: Llama3-8B

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 9faf59a