/ Модель

Характеристики

Лицензия
Llama 3
Базовая модель
Llama-3-Instruct-8B-SimPO-ExPO
Опубликована
3 июн 2024

Llama-3-Instruct-8B-SimPO-ExPO-GGUF

Генерация текстаТекст → текст8 профессий

QuantFactory/Llama-3-Instruct-8B-SimPO-ExPO-GGUF — квантизированная версия модели Llama-3-Instruct-8B-SimPO-ExPO, созданная с помощью llama.cpp.

1 000скачиваний за 30 дней0лайковвеса обновлены4 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

В основе лежат Meta-Llama-3-8B-Instruct и Llama-3-Instruct-8B-SimPO; разработка ExPO выполнена в рамках подхода Weak-to-Strong Extrapolation, описанного в соответствующей научной работе. Метод объединяет веса SFT- и DPO/RLHF-чекпойнтов с коэффициентом extrapolation alpha = 0.3 для усиления соответствия человеческим предпочтениям.

Модель предназначена для генерации текста и диалоговых сценариев, где важны качество следования инструкциям и предпочтительность ответов. Она поддерживает английский язык, относится к семейству моделей примерно на 8B параметров и поставляется в формате GGUF, ориентированном на запуск через совместимое программное обеспечение на базе llama.cpp. Данные о длине контекста, конкретных схемах квантизации и модальностях, кроме текстовой генерации, в README не указаны.

По данным AlpacaEval 2.0, модель достигла 40,6% win rate и 45,8% length-controlled win rate, немного превысив исходную Llama-3-Instruct-8B-SimPO. На MT-Bench ExPO также повышал результаты исходных моделей в приведённых сравнениях. Ограничения включают зависимость качества от выбранного уровня квантизации и отсутствие в README подробностей о ресурсоёмкости, безопасности и поведении за пределами указанных бенчмарков. Лицензия указана как llama3.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Llama-3-Instruct-8B-SimPO-ExPO-GGUF

This is quantized version of chujiezheng/Llama-3-Instruct-8B-SimPO-ExPO created using llama.cpp

Model Description

The extrapolated (ExPO) model based on princeton-nlp/Llama-3-Instruct-8B-SimPO and meta-llama/Meta-Llama-3-8B-Instruct, as in the "Weak-to-Strong Extrapolation Expedites Alignment" paper.

Specifically, we obtain this model by extrapolating (alpha = 0.3) from the weights of the SFT and DPO/RLHF checkpoints, achieving superior alignment with human preference.

This extrapolated model achieves the 40.6% win rate and 45.8% LC win rate on AlpacaEval 2.0, outperforming the original Llama-3-Instruct-8B-SimPO's 40.5% and 44.7%, respectively.

Evaluation Results

Evaluation results on the AlpacaEval 2.0 benchmark (you can find the evaluation outputs on the official GitHub repo):

Win Rate (Ori)LC Win Rate (Ori)Win Rate (+ ExPO)LC Win Rate (+ ExPO)
HuggingFaceH4/zephyr-7b-alpha6.7%10.0%10.6%13.6%
HuggingFaceH4/zephyr-7b-beta10.2%13.2%11.1%14.0%
berkeley-nest/Starling-LM-7B-alpha15.0%18.3%18.2%19.5%
Nexusflow/Starling-LM-7B-beta26.6%25.8%29.6%26.4%
snorkelai/Snorkel-Mistral-PairRM24.7%24.0%28.8%26.4%
RLHFlow/LLaMA3-iterative-DPO-final29.2%36.0%32.7%37.8%
internlm/internlm2-chat-1.8b3.8%4.0%5.2%4.3%
internlm/internlm2-chat-7b20.5%18.3%28.1%22.7%
internlm/internlm2-chat-20b36.1%24.9%46.2%27.2%
allenai/tulu-2-dpo-7b8.5%10.2%11.5%11.7%
allenai/tulu-2-dpo-13b11.2%15.5%15.6%17.6%
allenai/tulu-2-dpo-70b15.4%21.2%23.0%25.7%

Evaluation results on the MT-Bench benchmark (you can find the evaluation outputs on the official GitHub repo):

Original+ ExPO
HuggingFaceH4/zephyr-7b-alpha6.856.87
HuggingFaceH4/zephyr-7b-beta7.027.06
berkeley-nest/Starling-LM-7B-alpha7.827.91
Nexusflow/Starling-LM-7B-beta8.108.18
snorkelai/Snorkel-Mistral-PairRM7.637.69
RLHFlow/LLaMA3-iterative-DPO-final8.088.45
internlm/internlm2-chat-1.8b5.175.26
internlm/internlm2-chat-7b7.727.80
internlm/internlm2-chat-20b8.138.26
allenai/tulu-2-dpo-7b6.356.38
allenai/tulu-2-dpo-13b7.007.26
allenai/tulu-2-dpo-70b7.798.03

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
6aeccc1

0 моделей