Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Z3R6X/Llama-3-8B-ORPO-V1 — разговорная языковая модель на архитектуре Llama 3, дообученная автором репозитория методом ORPO на наборе mlabonne/orpo-dpo-mix-40k. Модель содержит 7,5 млрд параметров и предназначена для генерации текста в диалоге и ответов на запросы. В README указано, что при обучении применялись LoRA с рангом 16 и 4-битная квантизация для экономии памяти; длина последовательности при обучении была сокращена до 1024 токенов. Метаданные указывают контекст до 8192 токенов и формат весов safetensors.
В README приведены результаты MMLU, BoolQ и Winogrande, полученные с lm-evaluation-harness v0.4.2; это отдельные сравнительные замеры, а не гарантия качества в конкретном применении. Модель рассчитана на текстовый ввод и генерацию текста, интерфейс чата отмечен в метаданных. Указана лицензия llama3; перед использованием следует соблюдать её условия. Карточка описывает дообучение Llama 3, поэтому производная классифицируется как finetune.
Сценарии применения
ответы на вопросы в текстовом чате
генерация диалоговых ответов
суммаризация и переформулирование текстов
проверка понимания прочитанного
оценка общих знаний в текстовых запросах
Ограничения
Длина последовательности при обучении была ограничена 1024 токенами, хотя метаданные указывают контекст модели до 8192 токенов. В README не приведены сведения о языковом охвате и оценки для конкретных прикладных сценариев.
Для каких профессий подходит14
Разделы каталога профессий, в задачах которых используется эта модель
Llama 3 8B finetuned on mlabonne/orpo-dpo-mix-40k with ORPO.
Max length was reduced to 1024 tokens. LoRA (r=16) and 4bit quantization was used to increase memory efficiency.