Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Llama-3.1-8B-TLDR-Utilitarian-baseline — экспериментальная версия Llama-3.1-8B-Instruct, дообученная авторами NBPO для диалогов на панели TL;DR. Модель оптимизировали с утилитарным взвешиванием четырёх критериев: охват, соответствие фактам, краткость и полезность. В метаданных указаны 7,5 млрд параметров, архитектура LlamaForCausalLM, библиотека Transformers и контекст до 131 072 токенов.
Модель предназначена для генерации ответов, где требуется сбалансировать эти критерии. В README описан эксперимент с одинаковым набором ответов, температурой, точкой разногласия и бюджетом оптимизатора для сравнения методов; обучение включало 300 обновлений оптимизатора при глобальном размере пакета 16. Оценивание проводили на отложенных запросах, не использовавшихся при обучении, сравнивая с общей опорной моделью; качество оценивал Llama-3.3-70B-Instruct.
Это исследовательская экспериментальная настройка, а не универсальная гарантия повышения качества: README не приводит численных результатов и не уточняет языковой охват. Унаследована лицензия Llama 3.1 (llama3.1); использование регулируется её условиями.
Сценарии применения
генерация кратких ответов на запросы
создание ответов с балансом полезности и точности
сравнение методов оптимизации предпочтений на TL;DR
оценка качества ответов по нескольким критериям
Ограничения
README не приводит численных результатов, поэтому сравнительное преимущество модели по отдельным критериям установить нельзя. Указанный эксперимент относится к панели TL;DR и сам по себе не подтверждает качество на иных задачах.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
Matched game-aggregation control: same response pool, temperatures, disagreement point and optimiser budget as NBPO, differing only in how the objective weights are chosen.
Evaluation protocol: independent objective-wise win rate against the common reference,
judged by Llama-3.3-70B-Instruct on prompt-disjoint held-out prompts, both presentation orders.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров